doctoralia-scrapper 2.6.0

Pipeline Docker-first para scraping de reviews, geração de respostas e relatórios Telegram com API, dashboard, Redis/RQ, Selenium e n8n.

Wiki · Quickstart · API REST · Dashboard · Telegram · n8n · About

Por que este projeto existe

Este repositório organiza uma rotina operacional completa para reviews do Doctoralia. Em vez de tratar scraping como um script solto, ele une coleta, análise, geração de respostas, snapshots persistidos, histórico, observabilidade, autenticação do dashboard e distribuição por Telegram em uma mesma stack local.

O que você encontra aqui

Tour visual

Workspace operacional Perfis, pendências, saúde da stack, relatórios e histórico de snapshots.	Scheduler Telegram Recorrência, scraping novo, geração, anexos, health e histórico persistido.

Como a stack funciona

Início rápido

Docker

cp .env.example .env
cp config/config.example.json config/config.json

docker compose up -d --build
docker compose ps

URLs locais esperadas:

• API: http://localhost:8000/docs
• Dashboard: http://localhost:5000 (redireciona para /login quando a auth estiver ativa)
• Telegram scheduling: http://localhost:5000/notifications/telegram/schedule
• n8n: http://localhost:5678 com Basic Auth configurada no .env
• Selenium status: http://localhost:4444/status

Primeiro acesso ao dashboard:

• usuário padrão: o campo user_profile.username em config/config.json (por padrão, admin)
• senha inicial: a API_KEY enquanto o bootstrap estiver ativo e ainda não existir dashboard_password_hash
• troca de senha: faça depois do login em http://localhost:5000/me

Desenvolvimento local

make venv
cp .env.example .env
cp config/config.example.json config/config.json

make api
make dashboard

Comandos úteis:

make run-url URL="https://www.doctoralia.com.br/medico/exemplo"
make run-full URL="https://www.doctoralia.com.br/medico/exemplo"
make test
make lint

Endpoints que importam

Estado atual do projeto

Redis em localhost:6379

Se você abrir http://localhost:6379 no navegador e receber ERR_EMPTY_RESPONSE, isso é esperado.

• Redis está rodando.
• O browser fala HTTP.
• Redis não fala HTTP.

Validação correta:

docker compose exec -T redis redis-cli ping

Saída esperada:

PONG

Wiki do repositório

O README agora é só a entrada. A documentação foi reorganizada em formato de wiki dentro de docs/.

Assets visuais adicionados

• docs/assets/logo.svg
• docs/assets/banner.svg
• docs/assets/social-card.svg
• docs/assets/workflow-platform.svg
• docs/assets/workflow-telegram.svg

Convenções técnicas

• Imports internos padronizados em formato absoluto: from src...
• Dependências gerenciadas por poetry
• Formatação com black e isort
• Testes com pytest

Limitações atuais

• Rate limiting global da API REST ainda não existe como middleware completo.
• O scheduler recorrente depende da API estar de pé.
• A troca de senha do dashboard hoje valida apenas o mínimo de caracteres no backend; complexidade adicional ainda é recomendação de UX, não requisito de servidor.
• Ainda há espaço para subir coverage em src/scraper.py, src/response_generator.py, src/telegram_notifier.py e src/dashboard/.

Licença

MIT