sparksnake 0.1.4

Funcionalidades Spark criadas para facilitar a criação de aplicações que utilizam este framework em serviços AWS

Table of content

• Table of content
• O que é a biblioteca sparksnake?
• Funcionalidades
• Contatos
• Referências

O que é a biblioteca sparksnake?

A biblioteca sparksnake proporciona uma forma fácil, rápida e eficiente para utilizar funcionalidades Spark através de serviços de analytics na AWS. Com ela, é possível se servir de classes, métodos e funções codificadas em pyspark que visam simplificar, ao máximo, a jornada de uso deste framework através das particularidades encontradas em serviços AWS, como o Glue e o EMR, por exemplo.

Note Agora a biblioteca sparksnake possui uma documentação oficial no readthedocs! Acesse o seguinte link e confira detalhes técnicos de usabilidade, exemplos práticos e muito mais!

Funcionalidades

• 🤖 Simplificação de construção de aplicações Spark através de classes e métodos já codificados
• 🌟 Consolidação de funcionalidades mais comuns envolvendo processos de ETL em pyspark
• ⚙️ Abstração do todo o processo de setup de um job Glue através de uma linha de código
• 👁️‍🗨️ Aprimoramento do observability da aplicação através de mensagens detalhadas de log no CloudWatch
• 🛠️ Tratamento de exceções já embutidos nos métodos da biblioteca

---

Contatos

• Thiago Panini - LinkedIn
• paninitechlab @ hashnode

---

Referências

Python

• Python - Packaging Python Projects

Docs

• Eduardo Mendes - Live de Python 189 - MkDocs
• MkDocs
• pmdown-extensions
• GitHub - MkDocs Themes
• GitHub - Material Theme for MkDocs
• Material for MkDocs - Setup

Github

• GitHub Actions - pypa/gh-action-pypi-publish
• Medium - Major, Minor and Patch
• Medium - Automate PyPI Releases with GitHub Actions

Tests

• Codecov - Setting Threshold
• Codecov - About the Codecov YAML
• Codecov - Status Checks
• Codecov - codecov.yml Reference
• Codecov - Ignore Paths