Helpers for AWS most common operations. Includes clipboard auth
Project description
Data Science Helpers
AWS Handler
AWSHandler es un wrapper para funcionalidades de aws. Autentica automaticamente tomando las credenciales desde el clipboard (solo tienen que copiarlas desde Get credentials --> Command Line or Programatic Access --> Copy Credentials) y luego borra el clipboard
Instalacion
!pip install m-data-science-helpers
Ejemplo de uso
from m_data_science_helpers.aws_utils import AWSHandler
# Con las credenciales en clipboard, crear una instancia de AWSHandler (podes obtenerlas desde desde Command Line or Programatic Access)
aws_handler = AWSHandler()
Consultar datos usando Athena
sql = "SELECT * FROM mi_base_de_datos.mi_tabla LIMIT 10"
database = "mi_base_de_datos"
result_df = aws_handler.query(sql, database)
print(result_df)
Listar tablas y vistas en una base de datos
database_info = aws_handler.list_tables("mi_base_de_datos")
print(database_info)
Listar todas las bases de datos
databases = aws_handler.list_data_sources()
print(databases)
Guardar un DataFrame en S3
aws_handler.save_df(df, 'mi_bucket', 'filename.parquet', file_format='parquet')
Cargar un DataFrame desde S3
loaded_df = aws_handler.load_df('mi_bucket', 'filename.parquet')
print(loaded_df)
Listar todos los buckets disponibles
aws_handler.list_all_buckets()
Listar objetos en una carpeta específica de un bucket de S3
aws_handler.list_bucket("mi_bucket", "prefijo_carpeta/")
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Close
Hashes for m_data_science_helpers-0.1.2.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | 222a9b94466d98537e0444ec0d559538867b799424a8ae111a318ae358b653b7 |
|
MD5 | d59181b423891d6faab340771e35ce1c |
|
BLAKE2b-256 | 8091d629e42771972b2aef32a2c66d5012770b2b52582fa0aeebf4c0f10862a2 |
Close
Hashes for m_data_science_helpers-0.1.2-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 8615ca18497f6022ff82dc16093957d0d1e957589c4289bc9feccfc02960d534 |
|
MD5 | 78ef7607a72299fbbb0ce254789d14e8 |
|
BLAKE2b-256 | 36bd2c3d187877a0a9c73a8ba844b5951d00ec9ebdb8eb6ef8bc9ff53f6dbfba |