sparksnake 0.1.2

Funcionalidades Spark criadas para facilitar a criação de aplicações que utilizam este framework em serviços AWS

Table of content

• Table of content
• O que é a biblioteca gluesnake?
• Funcionalidades
• Contatos
• Referências

O que é a biblioteca gluesnake?

A biblioteca gluesnake proporciona uma forma fácil, rápida e eficiente para o desenvolvimento de aplicações Spark a serem submetidas como jobs Glue na AWS. Consolidando uma série de funcionalidades envolvendo ambas as ferramentas, gluesnake centraliza classes, métodos e funções codificadas em pyspark que visam simplificar ao máximo a jornada de imersão em jobs Glue.

Note Agora a biblioteca gluesnake possui uma documentação oficial no readthedocs! Acesse o seguinte link e confira detalhes técnicos de usabilidade, exemplos práticos e muito mais!

Funcionalidades

• 🤖 Simplificação de construção de aplicações Spark através de classes e métodos já codificados
• 🌟 Consolidação de funcionalidades mais comuns envolvendo processos de ETL em pyspark
• ⚙️ Abstração do todo o processo de setup de um job Glue através de uma linha de código
• 👁️‍🗨️ Aprimoramento do observability da aplicação através de mensagens detalhadas de log no CloudWatch
• 🛠️ Tratamento de exceções já embutidos nos métodos da biblioteca

---

Contatos

• Thiago Panini - LinkedIn
• paninitechlab @ hashnode

---

Referências

Python

• Python - Packaging Python Projects

Docs

• Eduardo Mendes - Live de Python 189 - MkDocs
• MkDocs
• pmdown-extensions
• GitHub - MkDocs Themes
• GitHub - Material Theme for MkDocs
• Material for MkDocs - Setup

Github

• GitHub Actions - pypa/gh-action-pypi-publish
• Medium - Major, Minor and Patch
• Medium - Automate PyPI Releases with GitHub Actions

Tests

• Codecov - Setting Threshold
• Codecov - About the Codecov YAML
• Codecov - Status Checks
• Codecov - codecov.yml Reference
• Codecov - Ignore Paths