fabricgov 0.4.0

Biblioteca Python para extralçao automatizada de dados para governança em Microsoft Fabric

fabricgov

Biblioteca Python para assessment automatizado de governança em ambientes Microsoft Fabric

---

🎯 O que é?

fabricgov automatiza coleta de dados de governança em Microsoft Fabric via CLI ou Python.

Principais features:

• 🔍 Inventário completo de workspaces e 27+ tipos de artefatos
• 🔐 Coleta de acessos (workspaces, reports, datasets, dataflows)
• 💾 Sistema de checkpoint para tenants grandes (retoma de onde parou)
• 📊 Export em JSON ou CSV
• ⚡ CLI pronto para uso
• 🛡️ Rate limit handling automático

---

📦 Instalação

# Via pip (recomendado)
pip install fabricgov

# Ou via Poetry
poetry add fabricgov

# CLI fica disponível
fabricgov --help

---

🚀 Quick Start

1. Configure credenciais (.env)

FABRICGOV_TENANT_ID=seu-tenant-id
FABRICGOV_CLIENT_ID=seu-client-id
FABRICGOV_CLIENT_SECRET=seu-client-secret

📘 Como obter credenciais →

---

2. Use o CLI

# Testa credenciais
fabricgov auth test

# Coleta inventário
fabricgov collect inventory

# Coleta acessos (com checkpoint automático)
fabricgov collect workspace-access
fabricgov collect report-access
fabricgov collect dataset-access
fabricgov collect dataflow-access

# Ou coleta tudo de uma vez
fabricgov collect all-access

Flags disponíveis:

• --format json|csv (padrão: csv)
• --output DIR (padrão: output)
• --resume/--no-resume (padrão: resume habilitado)

---

3. Ou use como biblioteca Python

from fabricgov.auth import ServicePrincipalAuth
from fabricgov.collectors import WorkspaceInventoryCollector
from fabricgov.exporters import FileExporter

# Autentica
auth = ServicePrincipalAuth.from_env()

# Coleta inventário
collector = WorkspaceInventoryCollector(auth=auth)
result = collector.collect()

# Exporta
exporter = FileExporter(format="csv", output_dir="output")
exporter.export(result, [])

---

📊 Coletores Disponíveis

Coletor	O que coleta	Checkpoint
WorkspaceInventoryCollector	Inventário completo (workspaces + 27 tipos de artefatos)	✅
WorkspaceAccessCollector	Roles (Admin, Member, Contributor, Viewer)	✅
ReportAccessCollector	Permissões em reports	✅
DatasetAccessCollector	Permissões em datasets	✅
DataflowAccessCollector	Permissões em dataflows	✅

📘 Ver exemplos detalhados →

---

💾 Sistema de Checkpoint

Para tenants grandes, o checkpoint salva progresso automaticamente:

# Execução 1: processa 200 itens, salva checkpoint
fabricgov collect report-access
# ⏹️ Rate limit atingido (429)

# Aguarda ~1h30min

# Execução 2: retoma de onde parou (automático)
fabricgov collect report-access
# ✓ Processa mais 200 itens...

Como funciona:

1. Detecta rate limit (429)
2. Salva checkpoint automaticamente
3. Encerra script (terminal liberado)
4. Na próxima execução, retoma de onde parou

📘 Entenda limitações de rate limit →

---

🏗️ Arquitetura

fabricgov/
├── cli/                # CLI via Click
├── auth/               # ServicePrincipalAuth + DeviceFlowAuth
├── collectors/         # 5 collectors com checkpoint
├── exporters/          # JSON/CSV export
├── checkpoint.py       # Sistema de checkpoint
└── exceptions.py       # Exceções customizadas

---

📊 Exemplo de Output

output/
├── inventory_result.json           # Reutilizável entre collectors
├── checkpoint_report_access.json   # Checkpoint (auto-removido ao completar)
└── 20260225_143000/                # Timestamped folder
    ├── summary.json
    ├── workspaces.csv
    ├── reports.csv
    ├── workspace_access.csv
    ├── report_access.csv
    ├── dataset_access.csv
    └── dataflow_access.csv

---

⚠️ Limitações Conhecidas

Rate Limiting

• APIs Admin: ~200 requests/hora (não documentado)
• Tenants grandes: múltiplas execuções com pausas de ~1h30min
• Checkpoint permite retomar sem perder progresso

Personal Workspaces

• Não suportam APIs de usuários (retornam 404)
• Filtrados automaticamente (30-60% dos workspaces em tenants típicos)

Performance

• 200 workspaces: ~10 min
• 663 reports: ~5h (4 execuções com pausas)
• 2000+ itens: requer coleta agendada

📘 Lista completa de limitações →

---

🗺️ Roadmap

✅ v0.3.0 (Atual) - 2026-02-23

• CLI completo (fabricgov command)
• DatasetAccessCollector
• DataflowAccessCollector
• 5 collectors com checkpoint
• Estimativa de tempo restante em coletas
• Primeira Versão no Pypi
• Progress bars visuais

✅ v0.4.0 (Atual) - 2026-02-24

• RefreshHistoryCollector (histórico de execuções)
• RefreshScheduleCollector (agendamentos configurados)
• CLI: fabricgov collect refresh-history
• CLI: fabricgov collect refresh-schedules
• CLI: fabricgov collect all-refresh
• CLI: fabricgov auth sp (renomeado de auth test)

✅ v0.5.0

• CLI: Orquetradros de Chamada Full
• Progress bars visuais nos coletores além do inventário

✅ v0.6.0

• Integração com KeyVault

✅ v0.7.0

• Report HTML

🎯 v1.0.0

• MkDocs para documentação

📘 Ver changelog completo →

---

📚 Documentação

• Autenticação — Service Principal setup
• Coletores — Exemplos e casos de uso
• Exportadores — Integração com Power BI, Pandas
• Limitações — Rate limits, performance
• Contribuindo — Como contribuir

---

📄 Licença

MIT License - veja LICENSE

---

👤 Autor

Luciano Borba — Consultor Data Engineering

---

⭐ Se este projeto foi útil, considere dar uma estrela no GitHub!