dataforge-dfg 0.1.0

A lightweight ELT framework in pure Python — dbt meets dlt

🔥 DataForge (DFG)

Motor de ELT em Python puro — dbt meets dlt. Simples, rápido, sem dependências pesadas.

O DataForge unifica ingestão e transformação de dados em uma única ferramenta de linha de comando. Escreva modelos Python para extrair dados de qualquer fonte e modelos SQL com Jinja2 para transformá-los — tudo no mesmo pipeline, com DAG automático, testes, snapshots SCD2 e documentação visual incluídos.

pip install dataforge-dfg[duckdb]

---

⚡ Início em 60 segundos

# Instala com DuckDB
pip install dataforge-dfg[duckdb]

# Cria o projeto
mkdir meu_projeto && cd meu_projeto
dfg init

# Executa o pipeline
dfg run

# Visualiza o grafo de dependências
dfg docs --serve

---

✨ O que o DataForge faz

Funcionalidade	Comando
Ingestão via Python (APIs, arquivos, DBs)	dfg ingest
Transformação SQL com Jinja2 + DAG automático	dfg transform
Pipeline completo (ELT)	dfg run
Testes de qualidade de dados	dfg test
Snapshots SCD Tipo 2	dfg snapshot
Carga de CSVs estáticos	dfg seed
Documentação HTML com grafo interativo	dfg docs
Compilação Jinja2 (dry-run)	dfg compile
Diagnóstico do ambiente	dfg debug
Busca nos logs	dfg log

---

🗄️ Bancos Suportados

pip install dataforge-dfg[duckdb]    # DuckDB
pip install dataforge-dfg[postgres]  # PostgreSQL
pip install dataforge-dfg[mysql]     # MySQL
pip install dataforge-dfg[all]       # Todos
# SQLite já vem embutido no Python

---

📝 Exemplo Rápido

Modelo Python — Ingere dados de uma API:

# models/ingest_produtos.py
DEPENDENCIES = []

def model(context):
    import urllib.request, json
    with urllib.request.urlopen("https://api.exemplo.com/produtos") as r:
        return json.loads(r.read())["data"]

Modelo SQL — Transforma os dados ingeridos:

-- models/stg_produtos.sql
{{ config(materialized='table') }}

SELECT
    id          AS produto_id,
    UPPER(nome) AS nome,
    preco::FLOAT AS preco
FROM {{ ref('ingest_produtos') }}
WHERE ativo = true

Contrato de dados — Garante qualidade:

# models/schema.yml
version: 1
models:
  - name: stg_produtos
    columns:
      - name: produto_id
        tests: [not_null, unique]

dfg run     # executa tudo
dfg test    # valida os contratos

---

📚 Documentação Completa

Consulte o arquivo DOCUMENTACAO.md para o guia completo com todos os comandos, casos de uso e exemplos.

---

🤝 Contribuindo

Contribuições são bem-vindas! Veja CONTRIBUTING.md para as diretrizes.

git clone https://github.com/seu-usuario/dataforge
cd dataforge
python -m venv .venv && source .venv/bin/activate  # ou .venv\Scripts\Activate.ps1
pip install -e ".[dev]"
pytest

---

📄 Licença

MIT © Matheus — veja LICENSE.