carlton 2.0.0

Carlton, uma poderosa biblioteca de ingestão de dados na cloud

Carlton Data Master

Carlton Framework

Introdução

Bem-vindo à documentação da Carlton, uma poderosa biblioteca de ingestão de dados na cloud. Carlton foi projetada para simplificar o processo de captura e transformação de dados armazenados em um data lake, seguindo os padrões de ingestão da arquitetura de medalhão da Databricks.

Esse framework foi elaborado para o projeto Data Master Douglas Leal, onde Carlton é utilizado como biblioteca padrão de utilizacão.

Funcionalidades Principais

A arquitetura de medalhão organiza os dados em três camadas: Bronze, Silver, e Gold. Cada uma dessas camadas desempenha um papel crucial na preparação dos dados para consumo final. Atualmente, Carlton fornece cobertura as principais funcionalidade:

• Conformidade com Padrões: Todos os dados ingeridos e transformados seguem os padrões de ingestão e qualidade da arquitetura de medalhão da Databricks.
• Qualidade nos dados: Gerando logs de dados necessários para tomada de decisão.

Casos de Uso

Carlton é ideal para:

• Equipes de dados que precisam automatizar o processo de ingestão em ambientes de nuvem.
• Organizações que utilizam a arquitetura de medalhão da Databricks para gerenciar seus dados.

Começando

Para começar a utilizar Carlton, siga as instruções detalhadas na seção início rápido.

1. Pré-requisitos

Atualmente, Carlton foi desenvolvido para ser utilizado em um ambiente cloud, que executa em python. Sua fonte principal de consumo dos dados, quando ingestão, é o adls e/ou eventhub.

1. Início rápido

Baixe carlton do pypi

pip install carlton==2.0.0

Execute um script de ingestão com seguinte comando:

poetry run carlton 'ingest' "-function" "ingest" "-storage_name_src" "stadrisk" "-container_src" "ctrdriskraw" "-file_resource" "adls" "-type_run" "batch" "-storage_name_tgt" "stadrisk" "-container_tgt" "dtmaster-catalog" "-schema_name" "bronze" "-table_name" "account" "-file_extension" "csv" "-path_src" "account" "-file_header" "true" "-file_delimiter" ","

Referências

• Poetry Documentation
• Data Contract
• Medallion Architecture