DANE-data 📊🇨🇴

📖 Documentación · 📦 PyPI

Microdatos del DANE listos para analizar — Gran Encuesta Integrada de Hogares (GEIH, 2007–2026) y Encuesta Anual Manufacturera (EAM, 1992–2024).

Dos formas de usarlo:

Ambas usan el mismo motor: descargan del ANDA del DANE, unen los módulos, armonizan las variables entre épocas (nombres, separadores, coma decimal, factores de expansión, revisiones CIIU) y calculan indicadores ponderados como lo hace el DANE.

Instalación de la app

1. En la página de Releases descargue dane-data-<versión>.zip (en Assets).

2. Descomprímalo donde quiera.

3. Doble clic en el lanzador de su sistema:

   Sistema	Archivo
   Windows	Abrir dane-data (Windows).bat
   Mac	Abrir dane-data (Mac).command
   Linux	abrir-dane-data.sh

La primera vez necesita internet y tarda 1–3 minutos: el lanzador instala uv, que descarga Python 3.12 y las librerías exactas de uv.lock dentro de la carpeta (.venv/), sin tocar el resto del sistema. Las siguientes veces abre en segundos. El navegador se abre solo; para cerrar la app basta cerrar la ventana de la terminal.

Primera vez en Windows: si aparece "Windows protegió su PC" → Más información → Ejecutar de todas formas. En Mac: si dice "desarrollador no identificado" → clic derecho → Abrir → Abrir.

Instalación con pip

pip install "dane-data[app]"   # librería + aplicación
pip install dane-data          # solo la librería
dane-data app

Instalación para desarrollo

git clone https://github.com/IntegralIndefinida/DANE-data
cd DANE-data
pip install -e ".[app]"        # librería + aplicación
# pip install -e .             # solo la librería
# o con uv:  uv run --extra app dane-data app

Requiere Python ≥ 3.10.

🖱️ La aplicación

dane-data app          # o doble clic en el lanzador; el navegador se abre solo

Cada tabla se descarga en CSV, Excel o Stata, y cada página muestra el código Python equivalente: así se pasa de la aplicación al notebook sin empezar de cero.

Para usarla en un aula (el profesor la sirve y los estudiantes entran desde la red local): dane-data app --address 0.0.0.0.

🐍 La librería

import dane_data as dd

# 1. ¿Dónde están (o estarán) los datos?  Se recuerda para siempre.
dd.set_paths(geih="~/datos/GEIH/data", eam="~/datos/EAM/data", save=True)

# 2. Descargar (incremental: lo ya bajado se salta)
dd.geih.download([2024, 2025])
dd.eam.download(range(2014, 2025))

# 3. Cargar: una persona por fila, módulos ya unidos y variables armonizadas
df = dd.geih.load(2025)                                  # todos los meses
df = dd.geih.load([2024, 2025], months=[1, 2, 3])        # primer trimestre
df = dd.geih.load(2025, columns=["P6500", "P7070"])      # + variables DANE extra
df = dd.geih.load(2016, empalme=True)                    # serie de empalme (marco 2018)
df = dd.geih.load(range(2015, 2026), variables=["fex", "sexo", "ocupado"])  # solo esas columnas

# 4. Indicadores laborales ponderados
dd.geih.indicadores(df)                                  # TGP, TO, TD, informalidad, ingresos…
dd.geih.indicadores(df, por=["sexo", "zona"])
dd.geih.indicadores(df, por="grupo_edad", anual=False)   # mensual
dd.geih.serie_indicadores(range(2007, 2027), por="sexo")  # precalculado por año, sin cargar microdatos
dd.geih.serie_indicadores(range(2015, 2027), filtros={"edad": (15, 28)})   # jóvenes

# 5. Tablas ponderadas de cualquier cosa
dd.tabla(df, por=["anio", "nivel_educativo"], estadistico="porcentaje")
dd.tabla(df[df.ocupado == 1], por="departamento", variable="ingreso_laboral", estadistico="mediana")
# lo mismo, año por año y guardado en caché (sirve para muchos años sin cargarlos en memoria)
dd.geih.serie_tabla(range(2007, 2027), por="departamento", variable="ingreso_laboral", estadistico="mediana",
                    poblacion="ocupado", filtros={"sexo": ["Mujer"]})
dd.geih.exportar(range(2015, 2026), "ocupados.csv", poblacion="ocupado")  # CSV armonizado, mes a mes

# 6. EAM
eam = dd.eam.load(range(2012, 2025))                     # un establecimiento-año por fila
dd.eam.resumen(eam, por=["anio", "sector"])              # VA, empleo, productividad, participación laboral
panel = dd.eam.panel(eam, balanceado=True)               # índice (nordest, anio)
dd.eam.supervivencia(eam)                                # % de plantas que reaparecen cada año
dd.eam.deflactar(eam, ["valagri"], ipp_por_anio)         # a precios constantes

# 7. Diccionario oficial
dd.buscar_variable("pensión")
dd.describir("P6920")

También en terminal:

dane-data estado                               # rutas y años/meses disponibles
dane-data descargar geih --anios 2024 2025
dane-data descargar geih --anios 2016 --empalme
dane-data descargar eam --anios 2022 2023 2024
dane-data config --geih RUTA --empalme RUTA --eam RUTA

Vea examples/01_primeros_pasos.ipynb para un recorrido completo.

Variables armonizadas

Las variables en minúscula las crea dane-data y significan lo mismo en todos los años. Las de MAYÚSCULA (GEIH) son las originales del DANE.

GEIH: anio, mes, fex, sexo, edad, grupo_edad, dpto, departamento, zona, condicion (Ocupado / Desocupado / Inactivo / Fuera de la PET), pet, fuerza_trabajo, ocupado, desocupado, inactivo, formal, cotiza_pension, ingreso_laboral, smlv, ratio_smlv, horas_semana, posicion_ocupacional, rama2d, rama_rev, nivel_educativo, jefe_hogar.

EAM: todas las columnas en minúscula, más anio, ciiu, ciiu_rev, division, sector, departamento.

Lo que dane-data resuelve por usted

Las cargas de la GEIH se guardan en caché (~/.cache/dane_data, parquet): un año completo tarda ~6 s la primera vez y ~1 s después. Los resultados de dd.geih.serie_indicadores, serie_tabla y serie_frecuencias se calculan un año a la vez y se guardan por año: toda la serie 2007–2026 tarda alrededor de un minuto la primera vez y es instantánea después. Se recalculan solos si cambia algún archivo del año, la consulta (filtros, meses, variables) o el código de dane-data. Todas las tablas y gráficas de la app salen de ahí, así que la app nunca tiene más de un año de microdatos en memoria. dd.geih.clear_cache() borra estas cachés.

Validación

Con los datos reales, TD, TGP, TO y ocupados de cada mes de 2007–2026 y del empalme 2010–2020 coinciden con los anexos del DANE, con diferencias menores a 0,01 puntos. También coinciden las cabeceras y cada sexo donde el DANE los publica por mes, y las tasas anuales, que son el promedio de los niveles mensuales. Por ejemplo, la desocupación promedio fue 10,5 % en 2019 y 10,2 % en 2023. Las pruebas (pytest) usan datos sintéticos con las rarezas de cada época. Si encuentran los datos reales, también los comparan mes a mes con las cifras publicadas (tests/datos/dane_publicado.csv) y buscan huecos o saltos bruscos en la serie.

⚠️ Advertencias metodológicas

• Informalidad: formal = afiliado a salud (P6090) y cotizando a pensión (P6920). Es una definición por seguridad social; la oficial del DANE incluye el tamaño de la empresa.
• Serie principal vs. empalme: para series largas 2010–2020 comparables con 2021+, use empalme=True.
• PET: desde 2022 son las personas de 15 años o más; antes, 12+ (urbano) y 10+ (rural).
• Ingresos: INGLABO en pesos corrientes; la GEIH 2007 no lo trae.
• EAM: los montos vienen en miles de pesos corrientes. Según los propios archivos, la CIIU es Rev. 2 hasta 2000, Rev. 3 en 2001–2011 y Rev. 4 desde 2012 (la documentación del ANDA dice otra cosa; vea las diferencias con la documentación del DANE); los sectores no se comparan entre revisiones sin una correlativa.
• Muestras pequeñas: con menos de ~100 observaciones (n_muestra) las cifras no son confiables.
• El salario mínimo histórico (dd.SMLV) está tomado de los decretos; verifíquelo antes de publicar.

📋 Diferencias con la documentación del DANE (ANDA)

Cuando los datos contradicen la documentación oficial del ANDA (diccionarios DDI, etiquetas de categorías), dane-data sigue los datos y lo anota aquí. El buscador de variables (dd.buscar_variable, dd.describir y la página 📚 Diccionario) muestra el DDI tal como lo publica el DANE, así que en estos casos no coincide con las variables armonizadas.

Estructura

src/dane_data/
├── config.py          rutas (set_paths, variables de entorno, ~/.config/dane_data/config.json)
├── _io.py             lectura robusta de CSV/TXT del DANE
├── stats.py           tablas, medias y cuantiles ponderados
├── referencias.py     SMLV, departamentos, diccionarios DDI (data/*.json)
├── geih/              downloader.py · loader.py · indicadores.py
├── eam/               downloader.py · loader.py · indicadores.py
├── cli.py             comando `dane-data`
└── app/               aplicación Streamlit (Inicio.py + paginas/)

Los descargadores provienen de los repositorios GEIH y EAM originales; se adaptaron para reportar progreso y permitir cancelar.

Licencia y cita

Código: MIT. Datos: DANE, Archivo Nacional de Datos (ANDA). Cite como DANE. Gran Encuesta Integrada de Hogares (GEIH) [microdatos] / Encuesta Anual Manufacturera (EAM) [microdatos].