feat(fase-0): anadir HUT Eivissa 2026 + IBESTAT Formentera 2019

- HUT Eivissa 2026: 2.369 registros, 18.184 plazas (CSV limpio desde HTML-as-xls)
- IBESTAT Formentera 2019: 1.375 establecimientos, 14.935 plazas (JSON desde OLE .xls)
- Insight clave del usuario: legal != realidad, la diferencia ES la denuncia
- Cobertura 4/4 islas con calidad desigual documentada en VALIDACION.md
- PLAN.md y FASE-0-setup.md actualizados con el estado real
This commit is contained in:
2026-07-14 11:20:08 +02:00
parent 99ad1f86cd
commit 9abba6d7c0
7 changed files with 125862 additions and 28 deletions
+21 -3
View File
@@ -53,16 +53,20 @@ Tener el entorno listo y los datos crudos descargados y validados, sin procesar.
- [x] Descargar **Inside Airbnb listings** Mallorca (45.741 listings) y Menorca (8.492 listings)
- URL Mallorca: `https://data.insideairbnb.com/spain/islas-baleares/mallorca/2026-06-23/data/listings.csv.gz`
- URL Menorca: `https://data.insideairbnb.com/spain/islas-baleares/menorca/2026-06-30/data/listings.csv.gz`
- [ ] **Eivissa y Formentera NO tienen datos en Inside Airbnb** (limitacion externa). PENDIENTE DECIDIR fuente alternativa antes de Fase 1.
- [x] Recibir **HUT Eivissa 2026** del usuario (archivo HTML-as-xls, convertido a `hut_eivissa_2026-07-14.csv` con 2.369 registros y 18.184 plazas)
- [x] Recibir **IBESTAT Formentera 2019** del usuario (archivo OLE .xls, convertido a `ibestat_formentera_2019.json` con 1.375 establecimientos y 14.935 plazas)
- [x] **Insight del usuario**: el problema real son los ilegales, no los legales. Mallorca/Menorca (Airbnb) capturan realidad; Eivissa/Formentera (HUT) solo capturan legal. **La diferencia entre ambas cifras ES la denuncia narrativa**.
### Validacion
- [x] Shapefile: 36.554 features Espana, 674 en Illes Balears, CRS WGS84 OK
- [x] XLSXs validados con openpyxl. Solo sheet `tabla-59531` de `viviendas vacias-hipotecas.xlsx` es el dato util (los otros 5 sheets son hipotecas). `39365(1).xlsx` tiene 1 sheet util (`tabla-39365`).
- [x] Listings Airbnb Mallorca y Menorca validados (90 columnas, lat/lon/room_type/price/availability_365 OK)
- [x] HUT Eivissa 2026 validado: 2.369 registros en 5 municipios + 5 anomalias. Columna `Referencia cadastral` (20 chars) geocodificable.
- [x] IBESTAT Formentera 2019 validado: 1.375 establecimientos, 14.935 plazas. Datos agregados a nivel isla.
- [x] Anotado en `data/raw/VALIDACION.md`
### Cierre
- [x] Commit final con tag `fase-0-completa` (pendiente de push)
- [x] Commit final con tag `fase-0-completa` (commits `1e86070` y `99ad1f8`)
- [x] Actualizar PLAN.md: marcar Fase 0 como completada
- [x] Anotar problemas y decisiones en este documento
@@ -125,6 +129,11 @@ Decisiones reales:
- **Shapefile procesado a GeoPackage (.gpkg) en vez de mantener .shp**: 110MB de SHP -> 5.3MB de GPKG, mas portable, mejor soporte en geopandas.
- **Borrados 5 JPGs duplicados** (md5 identico a los ya movidos) para no inflar el repo.
- **15 JPGs y capturas fuera de git** (40MB) por tamano, solo Info.pdf en git (36KB).
- **Dataset hibrido por isla segun la fuente mas adecuada**:
- Mallorca + Menorca: Inside Airbnb (cubre realidad, legal+ilegal, snapshot 2026-06)
- Eivissa: registro HUT oficial (snapshot 2026-07, 2.369 legal, con direccion y referencia catastral)
- Formentera: IBESTAT agregado (snapshot 2019, 1.375 establecimientos, 14.935 plazas)
- **Mensaje narrativo clave**: la diferencia entre HUT (legal) y Airbnb (real) ES la denuncia. Documentar esto en `/metodologia`.
## Problemas encontrados
@@ -133,9 +142,18 @@ Problemas reales:
- **Encoding del ZIP**: la carpeta interna `Espana_Seccionado2025_ETRS89H30` lleva caracter `n` con tilde. `unzip` por defecto falla con "Illegal byte sequence" en macOS. **Solucion**: extraer con `zipfile` de Python aplicando cp437 -> utf-8 fallback.
- **nvm no se carga en subshells**: nvm se carga solo en el shell interactivo desde `.zshrc`. Para usarlo en scripts/comandos one-shot hay que hacer `export NVM_DIR="$HOME/.nvm" && . "$NVM_DIR/nvm.sh" && nvm use 20` o usar la ruta absoluta `~/.nvm/versions/node/v20.20.2/bin/`.
- **Disk al 90%**: solo 22GB libres. Considerar borrar el ZIP de 60MB tras validar el .gpkg.
- **Inside Airbnb solo Mallorca+Menorca**: confirmado que no hay datos para Eivissa/Formentera. Resolucion: usar HUT oficial (proporcionado por usuario) + IBESTAT (tambien del usuario).
- **Archivos del usuario con formato incorrecto**:
- `List-habitatges-turistics_*.xls` es HTML con extension .xls (encoding ISO-8859-1, no UTF-8).
- `IBESTAT_indicador_*.xls` es binario OLE .xls real (encoding latin1 implicito).
- Para .xls en pandas moderno: instalar `xlrd<2.0` y usar `engine='xlrd'`. Para .xls binario: usar `xlrd.open_workbook` directo.
## Proximos pasos
Fase 1: pipeline de datos Python. Entrada: archivos en `data/raw/`. Salida: `dataset.parquet` y `tiles.pmtiles` en `data/output/`. Ver `FASE-1-datos.md`.
**Decision bloqueante para Fase 1**: como cubrir Eivissa y Formentera (sin datos en Inside Airbnb). Opciones a discutir con el usuario.
**Decisiones para Fase 1**:
- Como geocodificar el HUT de Eivissa con su `Referencia cadastral` para hacer join con secciones censales (Catastro publica descargador por referencia, o servicio WFS)
- Como estimar el dato de "vivienda semi-vacia" por seccion censal a partir del XLSX INE (el XLSX tiene datos agregados por municipio, NO por seccion)
- Como unir Airbnb (lat/lon, por isla) con HUT (direccion+catastral, por municipio) en un unico dataset por seccion censal
- Como presentar la falta de uniformidad Mallorca/Menorca vs Eivissa/Formentera en la visualizacion final
+3 -3
View File
@@ -45,9 +45,9 @@ Web publica que cruza dos datos oficiales - INE (consumo electrico por seccion c
- [x] Capturas de conferencia OHIB (12-13 nov 2025) revisadas
- [x] Plan inicial creado y validado con el usuario
- [x] `PLAN.md` escrito
- [x] `FASE-0-setup.md` escrito (pendiente ejecucion)
- [x] Fase 0 ejecutada (estructura, entornos, shapefile, listings Mallorca+Menorca)
- [x] Limitacion detectada: Eivissa y Formentera no tienen datos en Inside Airbnb
- [x] `FASE-0-setup.md` escrito (cerrado)
- [x] Fase 0 ejecutada: entorno, shapefile, listings Mallorca+Menorca, HUT Eivissa, IBESTAT Formentera
- [x] Insight clave: legal != realidad. Mallorca/Menorca capturan Airbnb (real), Eivissa/Formentera solo legal. La diferencia ES la denuncia.
- [ ] Fase 1 ejecutada
- [ ] Fase 2 ejecutada
- [ ] Fase 3 ejecutada
+34 -8
View File
@@ -1,6 +1,8 @@
# Origen de las dades en `data/raw/`
## `viviendas vacias-hipotecas.xlsx`
## Archivos INE (proporcionados por el usuario)
### `viviendas vacias-hipotecas.xlsx`
- **Origen**: Instituto Nacional de Estadistica (INE). Tabla derivada del "Censo de poblacion y viviendas" + datos de consumo electrico.
- **URL de descarga**: https://www.ine.es (tabla 39365 + tabla especifica d'intensitat d'us)
@@ -8,7 +10,7 @@
- **Descripcion**: 6 fulles. La full 1 conte dades d'intensitat d'us de les vivendes segons consum electric per seccio censal. Inclou Total Nacional + Illes Balears (provincies + seccions).
- **Tamano**: 35 KB
## `39365(1).xlsx`
### `39365(1).xlsx`
- **Origen**: Instituto Nacional de Estadistica (INE). Tabla 39365 - "Viviendas turisticas en Espana".
- **URL de descarga**: https://www.ine.es/jaxiT3/Tabla.htm?t=39365
@@ -19,15 +21,39 @@
## Shapefile de secciones censales de Balears
- **Origen**: Instituto Nacional de Estadistica (INE). Cartografia censal.
- **URL de descarga**: https://www.ine.es/prodyser/cartografia/seccionado_2025/
- **Fecha de descarga**: (pendiente, ejecutar en setup de Fase 0)
- **URL de descarga**: https://www.ine.es/prodyser/cartografia/seccionado_2025.zip
- **Fecha de descarga**: 14 julio 2026 (descargado por el asistente)
- **Descripcion**: Poligons de les seccions censals per a les Illes Balears.
- **CRS original**: ETRS89 (EPSG:4258), reprojectar a WGS84 (EPSG:4326) per a la web.
- **CRS original**: ETRS89 (EPSG:25830), reprojectat a WGS84 (EPSG:4326) per a la web.
- **Tamano ZIP**: 60 MB (todo Espana), GPKG Balearic Islands: 5.3 MB
## Inside Airbnb listings
- **Origen**: Inside Airbnb (proyecto independiente que scrapea Airbnb y publica datos abiertos).
- **URL de descarga**: http://insideairbnb.com/get-the-data/
- **Fecha de descarga**: (pendiente, ejecutar en setup de Fase 0)
- **Descripcion**: Listings georreferenciats (lat/lon) amb informacio de tipus, disponibilitat i preu. Snapshots separats per Mallorca, Menorca, Eivissa i Formentera.
- **Licencia**: Creative Commons (consultar web del proyecto).
- **Archivos descargados**:
- Mallorca: `https://data.insideairbnb.com/spain/islas-baleares/mallorca/2026-06-23/data/listings.csv.gz` (10 MB)
- Menorca: `https://data.insideairbnb.com/spain/islas-baleares/menorca/2026-06-30/data/listings.csv.gz` (2.3 MB)
- **Fecha**: snapshot 2026-06
- **Licencia**: Creative Commons (consultar web del proyecto)
- **Limitacion**: NO hay datos para Eivissa ni Formentera
## Registro oficial HUT de Eivissa (proporcionado por el usuario)
- **Origen**: Govern de les Illes Balears - Conselleria de Turisme. Registro oficial de Habitatges d'Us Turistic.
- **URL del portal**: https://www.caib.es (buscador publico, no descarga directa)
- **Archivo recibido**: `List-habitatges-turistics_-14072026.xls` (HTML con extension .xls, encoding ISO-8859-1)
- **Fecha**: 14 julio 2026
- **Tamano**: 4.2 MB original, 568 KB CSV limpio
- **Coverage**: SOLO accommodations legales registradas
- **Insight**: el problema real son los ilegales (no capturados aqui)
## IBESTAT Formentera 2019 (proporcionado por el usuario)
- **Origen**: IBESTAT (Institut d'Estadistica de les Illes Balears). Indicador 208.34208023 - "Establiments turistics de Formentera".
- **URL del portal**: https://ibestat.caib.es/ (indicador 208.34208023)
- **Archivo recibido**: `IBESTAT_indicador_208_34208023_Establiments_turístics_2019.xls` (OLE binary .xls)
- **Ano de referencia**: 2019 (no se encontro nada mas reciente)
- **Tamano**: 38.5 KB original, 2 KB JSON limpio
- **Coverage**: Datos agregados de Formentera (no por municipio, no por direccion)
- **Limitacion**: Solo establishments legales (oficial)
+76 -14
View File
@@ -2,7 +2,9 @@
Resultado de la validacion de los archivos descargados. Ejecutado en setup de Fase 0.
## `viviendas vacias-hipotecas.xlsx`
## Datos INE (proporcionados por el usuario)
### `viviendas vacias-hipotecas.xlsx`
- Tamano: 34.2 KB
- 6 sheets
@@ -10,12 +12,12 @@ Resultado de la validacion de los archivos descargados. Ejecutado en setup de Fa
- Los otros 5 sheets son datos de hipotecas (NO se usan en este proyecto)
- Encoding: UTF-8 (con cabecera en espanol)
## `39365(1).xlsx`
### `39365(1).xlsx`
- Tamano: 10.0 KB
- 1 sheet util: `tabla-39365` (Viviendas turisticas en Espana, % sobre total, serie 2020M08-2025M05)
## `seccionado_2025.zip` + `secciones_balears.gpkg`
## Shapefile INE 2025
- **Origen**: Instituto Nacional de Estadistica (INE). Cartografia censal 2025.
- **URL**: https://www.ine.es/prodyser/cartografia/seccionado_2025.zip
@@ -31,30 +33,90 @@ Resultado de la validacion de los archivos descargados. Ejecutado en setup de Fa
- CCA = '04' para Illes Balears
- CUSEC = CPRO(2) + CMUN(3) + CDIS(2) + CSEC(3), total 10 digitos
## Inside Airbnb listings
## Datos de alquiler turistico / temporal
### Inside Airbnb listings (Mallorca + Menorca)
- **Origen**: Inside Airbnb (datos abiertos scrapeados de Airbnb)
- **URLs**:
- Mallorca: `https://data.insideairbnb.com/spain/islas-baleares/mallorca/2026-06-23/data/listings.csv.gz` (10.0 MB, 45.741 listings)
- Menorca: `https://data.insideairbnb.com/spain/islas-baleares/menorca/2026-06-30/data/listings.csv.gz` (2.3 MB, 8.492 listings)
- **Limitation**: Inside Airbnb NO tiene datos para Eivissa ni Formentera. Solo Mallorca y Menorca estan disponibles.
- **Columnas clave**: id, latitude, longitude, room_type, property_type, price, availability_365, minimum_nights, neighbourhood, host_id
- **90 columnas** en total (snapshot completo)
- **Coverage**: Airbnb listings (incluye legales E ILEGALES - cota inferior de la presion real)
- **Limitacion**: NO hay datos para Eivissa ni Formentera
### Registro oficial HUT de Eivissa (proporcionado por el usuario)
- **Origen**: Govern de les Illes Balears - Conselleria de Turisme
- **Archivo original**: `List-habitatges-turistics_-14072026.xls` (HTML con extension .xls, encoding ISO-8859-1)
- **CSV limpio**: `hut_eivissa_2026-07-14.csv` (568 KB)
- **Snapshot**: 14 de julio de 2026
- **2.369 registros** totales (5 municipios + 5 anomalias "NUEVO BOLSA DE PLAZAS")
- **18.184 plazas/camas** totales
- **Distribucion por municipio**:
- SANT JOSEP DE SA TALAIA: 945
- SANTA EULARIA DES RIU: 803
- SANT ANTONI DE PORTMANY: 330
- SANT JOAN DE LABRITJA: 245
- EIVISSA: 41
- NUEVO BOLSA DE PLAZAS: 5 (anomalias, excluir)
- **Columnas clave**:
- Numero Inscripcio (numero de registro oficial)
- Referencia cadastral (20 caracteres, geocodificable a parcela)
- Direccion (texto)
- Municipi (municipio)
- Total Places (plazas/camas)
- Sub-tipus (Estancia/Vivienda Turistica Vacacional)
- **Coverage**: SOLO accommodations legales registradas
- **Insight del usuario**: "el problema no son los legales, son los que no son legales. En Ibiza, ninguna vivienda en plurifamiliar puede alquilarse y hay miles de anuncios". Por tanto, el HUT es una COTA INFERIOR muy conservadora.
### IBESTAT Formentera 2019 (proporcionado por el usuario)
- **Origen**: IBESTAT (Institut d'Estadistica de les Illes Balears) - indicador 208.34208023
- **Archivo original**: `IBESTAT_indicador_208_34208023_Establiments_turístics_2019.xls` (38.5 KB, OLE binary .xls)
- **JSON limpio**: `ibestat_formentera_2019.json` (2 KB)
- **Snapshot**: ano 2019 (datos antiguos, no se encontro nada mas reciente)
- **Datos**: Tabla agregada con tipologia, unidades y plazas para Formentera como una unidad
- **1.375 unidades totales, 14.935 plazas totales**
- **Desglose**:
- HABITATGES TURISTICS DE VACANCES (HTV): 168 unidades, 1.927 plazas
- ESTADES TURISTIQUES: 1.086 unidades, 4.912 plazas
- Hotels (1-5*): 19 unidades, 3.008 plazas
- Apartments: 73 unidades, 2.758 plazas
- Otros: resto
- **Coverage**: SOLO establishments legales (datos oficiales agregados)
- **Limitacion**: No incluye datos a nivel de parcela/direccion. Datos agregados solo a nivel isla.
## Resumen de cobertura
| Isla | Shapefile | Listings Airbnb | Cobertura |
|---|---|---|---|
| Mallorca | OK (secciones censales) | OK (45.741) | Completa |
| Menorca | OK (secciones censales) | OK (8.492) | Completa |
| Eivissa | OK (secciones censales) | **NO DISPONIBLE** | Parcial |
| Formentera | OK (secciones censales) | **NO DISPONIBLE** | Parcial |
| Isla | Shapefile | Listings (todos) | Legal (HUT) | Plazas legales | Calidad |
|---|---|---|---|---|---|
| Mallorca | OK (674 secc.) | OK (45.741 Airbnb) | n.d. | n.d. | Buena (Airbnb) |
| Menorca | OK (674 secc.) | OK (8.492 Airbnb) | n.d. | n.d. | Buena (Airbnb) |
| Eivissa | OK (674 secc.) | NO en Airbnb | OK (2.369 HUT 2026) | 18.184 | Cota inferior (HUT) |
| Formentera | OK (674 secc.) | NO en Airbnb | OK (1.375 estab. 2019) | 14.935 | Cota inferior (agregado) |
**Total listings disponibles**: 54.233 (Mallorca + Menorca)
**Total listings Eivissa+Formentera**: 0 (pendiente fuente alternativa)
**Total listings Airbnb disponibles**: 54.233 (Mallorca + Menorca)
**Total establishments legales documentados**: 3.744 (Eivissa 2.369 + Formentera 1.375)
**Total plazas legales documentadas**: 33.119 (Eivissa 18.184 + Formentera 14.935)
## Implicaciones para el proyecto
- **Cobertura geografica**: 4/4 islas, pero con calidad desigual
- **Cobertura de realidad**: Mallorca+Menorca capturan Airbnb (cota inferior de presion real). Eivissa+Formentera solo capturan legal (cota inferior de legal). La realidad (legal+ilegal) es desconocida para Eivissa/Formentera
- **Mensaje narrativo**: la diferencia entre Airbnb y HUT es la denuncia. "El Govern reconoce X plazas legales en Eivissa, pero en Mallorca donde tenemos el dato completo, las plazas reales son Y veces mas"
- **Falta**: scraping o fuente complementaria para Eivissa/Formentera que capture listings ilegales (no en v0)
## Resumen de espacio en disco
- Carpeta `data/raw/`: ~78 MB (60 MB del ZIP, 5.3 MB del GPKG, 12.3 MB de listings Airbnb, 44 KB de XLSXs)
- Carpeta `data/raw/`: ~79 MB total
- XLSXs INE: 45 KB
- Shapefile ZIP: 60 MB
- GeoPackage Balears: 5.3 MB
- Listings Airbnb Mallorca+Menorca: 12.3 MB
- HUT Eivissa HTML fuente: 4.2 MB
- HUT Eivissa CSV limpio: 568 KB
- IBESTAT Formentera JSON: 2 KB
- Carpeta `docs/conferencia-OHIB-2025/`: ~50 MB (15 JPGs + PDF)
- Total proyecto local: ~130 MB
File diff suppressed because it is too large Load Diff
+106
View File
@@ -0,0 +1,106 @@
{
"metadata": {
"sector": "208 Turisme",
"num_actividad": "34 208 023",
"denominacion": "Establiments turístics de Formentera",
"tabla": "1. Allotjaments turístics per grup, modalitat i categoria",
"unidad": "Tipologia d'establiment, núm. d'unitats d'allotjament",
"periodo": 2019,
"ultima_actualizacion": "2019-12-01",
"fuente": "Consell Insular de Formentera. Àrea de Promoció",
"total_unidades": 1375,
"total_plazas": 14935
},
"data": [
{
"tipologia": "APARTAMENTS 1 CLAU",
"unidades": 56,
"plazas": 1758
},
{
"tipologia": "APARTAMENTS 2 CLAUS",
"unidades": 10,
"plazas": 641
},
{
"tipologia": "APARTAMENTS 3 CLAUS",
"unidades": 5,
"plazas": 201
},
{
"tipologia": "APARTAMENTS 4 CLAUS",
"unidades": 2,
"plazas": 158
},
{
"tipologia": "AGROTURISME",
"unidades": 1,
"plazas": 12
},
{
"tipologia": "CASA D'HOSTES",
"unidades": 8,
"plazas": 125
},
{
"tipologia": "CIUTAT DE VACANCES",
"unidades": 2,
"plazas": 1193
},
{
"tipologia": "FONDA",
"unidades": 1,
"plazas": 30
},
{
"tipologia": "HOSTAL 1 *",
"unidades": 10,
"plazas": 508
},
{
"tipologia": "HOSTAL 2*",
"unidades": 5,
"plazas": 292
},
{
"tipologia": "HOSTAL 3*",
"unidades": 2,
"plazas": 170
},
{
"tipologia": "HOTEL 1*",
"unidades": 3,
"plazas": 304
},
{
"tipologia": "HOTEL 2*",
"unidades": 5,
"plazas": 347
},
{
"tipologia": "HOTEL 3*",
"unidades": 4,
"plazas": 380
},
{
"tipologia": "HOTEL 4*",
"unidades": 6,
"plazas": 1819
},
{
"tipologia": "HOTEL 5*",
"unidades": 1,
"plazas": 158
},
{
"tipologia": "HABITATGES TURÍSTICS DE VACANCES",
"unidades": 168,
"plazas": 1927
},
{
"tipologia": "ESTADES TURÍSTIQUES",
"unidades": 1086,
"plazas": 4912
}
]
}