Skip to main content

SIU Harvest

Project description

Build Status

SIU Harvester

Esta extensión de CKAN permite cosechar (harvest) datos expuestos en sistemas SIU.
El Sistema de Información Universitaria es un conjunto de aplicaciones que permite de manera gratuita a las Universidades argentinas contar con las herramientas de software para su gestión integral.

Esta extensión de CKAN esta pensada para obtener estos datos y publicarlos en formatos reutilizables para darles mayor accesibilidad al público general.

Portal de transparencia

SIU incluye un portal de transparencia que incluye un API.
Estos datos se toman de la base SIU-Wichi, que contiene datos provenientes de los módulos SIU-Pilaga (Presupuesto), SIU-Mapuche (RRHH), SIU-Diaguita (Compras y Patrimonio) y SIU-Araucano (Académicos).

Instalacion

pip install ckanext-siu-harvester
or
pip install -e git+https://github.com/avdata99/ckanext-siu-harvester.git#egg=ckanext-siu-harvester

And
pip install -r https://raw.githubusercontent.com/avdata99/ckanext-siu-harvester/master/requirements.txt

Agregar origen

La URL los harvest sources de este tipo son de la forma:

http://wichi.siu.edu.ar/pentaho/plugin/cda/api/doQuery

Debe elegir la URL de la instancia de la que desea obtener datos

Configuración

Para conectarse es requisito que para cada harvest source definir una configuración.
Ejemplo:

{
    "username": "user",
    "password": "password"    
}

Datos a extraer

Estos endpoints pueden incluir multiples recursos. Cada recurso es un query al endpoint ya listo para usar.
Estos ya están configurados en el directorio ckanext/siu_harvester/harvesters/siu_transp_data/queries/

Por ejemplo egresados-pos-facultad.json

{
    "name": "distribucion-de-egresados-por-facultad",
    "title": "Distribución de egresados por facultad",
    "notes": "Esta es la cantidad de egresados por facultad de este año",
    "iterables": {
        "anio_param": "paramprm_ej_presup"
    },
    "tags": [
        "Egresados"
    ],
    "params": {
        "paramprm_ej_academ": 2020,
        "path": "/home/SIU-Wichi/Portal Transparencia/cda/5_academica.cda",
        "dataAccessId": "tablero_26",
        "outputIndexId": 1,
        "pageSize": 0,
        "pageStart": 0,
        "sortBy": "2D",
        "paramsearchBox": null}
 }

De esta forma este harvester va a iterar por los años disponibles y creará un dataset para cada año.
Es posible agregar más queries para consumir más datos.

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

ckanext-siu-harvester-0.2.0.tar.gz (24.1 kB view hashes)

Uploaded source

Supported by

AWS AWS Cloud computing Datadog Datadog Monitoring Facebook / Instagram Facebook / Instagram PSF Sponsor Fastly Fastly CDN Google Google Object Storage and Download Analytics Huawei Huawei PSF Sponsor Microsoft Microsoft PSF Sponsor NVIDIA NVIDIA PSF Sponsor Pingdom Pingdom Monitoring Salesforce Salesforce PSF Sponsor Sentry Sentry Error logging StatusPage StatusPage Status page