gicc-datasets

Datasets versionados en Amazon S3, desde Python o la terminal.

Sube carpetas, ZIP o archivos. Descarga versiones específicas y verifica su contenido con SHA-256. Cada usuario utiliza sus propias credenciales AWS y los permisos asignados a su bucket y prefijo.

Instalar

Python 3.11 o posterior. Se recomienda un entorno virtual.

pip install gicc-datasets

Empezar

Necesitas un perfil AWS con lectura y escritura limitadas al destino asignado. No necesitas ser administrador ni listar todos los buckets.

# Sustituye los valores por los que te entregue el responsable de AWS.
gicc-datasets configure --profile gicc --bucket mi-bucket \
  --prefix datasets/mi-equipo/ --region us-east-1

gicc-datasets doctor

# Revisa el contenido antes de subirlo.
gicc-datasets upload ./encuesta --dataset encuesta --version 1.0.0 --dry-run

gicc-datasets upload ./encuesta --dataset encuesta --version 1.0.0

gicc-datasets download encuesta --version 1.0.0 --output ./descargas/encuesta

doctor comprueba el listado del prefijo; no prueba la escritura ni modifica S3.

Tres formas de subir

Anteponer gicc-datasets a cada comando. Una versión publicada no se reemplaza desde el cliente; usa una versión nueva para actualizar datos.

Python

from gicc_datasets import DatasetClient

client = DatasetClient(
    profile="gicc",
    bucket="mi-bucket",
    prefix="datasets/mi-equipo/",
    region="us-east-1",
)

client.upload("./datos", dataset="muestra", version="1.0.0")
client.download("muestra", version="1.0.0", output="./descargas/muestra")

En un servicio con rol AWS, omite profile para usar la cadena de credenciales de Boto3.

Consultar

gicc-datasets list
gicc-datasets versions muestra
gicc-datasets info muestra --version 1.0.0
gicc-datasets --json list

Acceso y alcance

• Instalar el paquete no concede acceso a S3. AWS aplica los permisos de cada identidad.
• La configuración guarda destino y nombre de perfil, sin credenciales.
• No incluye operaciones de borrado, administración IAM ni modificación de ACL.
• Las descargas verifican tamaño y SHA-256 antes de copiar los datos al destino.
• La protección contra sobrescrituras de versiones corresponde al cliente; no sustituye controles de retención en AWS.

Tutorial · Permisos · Formato y límites

Las guías también están en docs/ del archivo fuente descargable en PyPI. Los enlaces a GitHub requieren acceso al repositorio privado.

MIT · pshiguihara