Funcionalidades Spark criadas para facilitar a criação de aplicações que utilizam este framework em serviços AWS
Project description
Table of content
O que é a biblioteca sparksnake?
A biblioteca sparksnake proporciona uma forma fácil, rápida e eficiente para utilizar funcionalidades Spark através de serviços de analytics na AWS. Com ela, é possível se servir de classes, métodos e funções codificadas em pyspark que visam simplificar, ao máximo, a jornada de uso deste framework através das particularidades encontradas em serviços AWS, como o Glue e o EMR, por exemplo.
Note Agora a biblioteca sparksnake possui uma documentação oficial no readthedocs! Acesse o seguinte link e confira detalhes técnicos de usabilidade, exemplos práticos e muito mais!
Funcionalidades
- 🤖 Simplificação de construção de aplicações Spark através de classes e métodos já codificados
- 🌟 Consolidação de funcionalidades mais comuns envolvendo processos de ETL em pyspark
- ⚙️ Abstração do todo o processo de setup de um job Glue através de uma linha de código
- 👁️🗨️ Aprimoramento do observability da aplicação através de mensagens detalhadas de log no CloudWatch
- 🛠️ Tratamento de exceções já embutidos nos métodos da biblioteca
Contatos
Referências
Python
Docs
- Eduardo Mendes - Live de Python 189 - MkDocs
- MkDocs
- pmdown-extensions
- GitHub - MkDocs Themes
- GitHub - Material Theme for MkDocs
- Material for MkDocs - Setup
Github
- GitHub Actions - pypa/gh-action-pypi-publish
- Medium - Major, Minor and Patch
- Medium - Automate PyPI Releases with GitHub Actions
Tests
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for sparksnake-0.1.3-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | af91400cc31a8576aba23c3cbe962266c41edc37308bd0582c5f705150c22e31 |
|
MD5 | ace056fe93337085659e2fd40ae12d14 |
|
BLAKE2b-256 | f85666a4f0d3af637ec85ea15874936c58d0870010767d0fb0112827a15371e4 |