🌐 Um simples scraper que retorna o HTML completo de uma URL usando BeautifulSoup
Project description
🚀 README.md
# 🌐 Scrapy-HTML
🔍 **Scrapy-HTML** é um pacote Python simples e eficiente que faz scraping do conteúdo HTML completo de qualquer página web fornecida. Ele utiliza as bibliotecas **BeautifulSoup4** e **Requests** para realizar a raspagem e retornar o HTML de forma estruturada e legível.
---
## ✨ **Características Principais**
- 🌎 Faz scraping de qualquer página web com uma URL válida.
- ⚡ Retorna o HTML formatado e legível usando `BeautifulSoup.prettify()`.
- 🔒 Tratamento de erros robusto para URLs inválidas ou problemas de rede.
- 💡 Leve e fácil de usar, com dependências mínimas.
---
## ⚡ **Instalação**
Para instalar o pacote diretamente do **PyPI**, execute:
```bash
pip install scrapy-html
💻 Como Usar
🔥 Exemplo básico de uso:
from scrapy_html.scraper import get_html_content
# 🌐 URL da página que deseja raspar
url = "https://www.example.com"
# 🔄 Obtendo o conteúdo HTML da página
html = get_html_content(url)
# 📝 Exibindo o HTML formatado
print(html)
🔍 Saída esperada:
<html>
<head>
<title>Example Domain</title>
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents.</p>
</div>
</body>
</html>
🛠 Requisitos
- Python >= 3.6
- beautifulsoup4
- requests
As dependências são instaladas automaticamente com o comando pip install scrapy-html.
🧪 Testes
Este projeto inclui testes básicos usando pytest. Para rodar os testes localmente:
pip install pytest
pytest tests/
🎨 Recursos Futuros
- 🌐 Suporte a diferentes parsers (
lxml,html5lib). - 🔄 Scraping assíncrono para maior desempenho.
- ⚡ Download de recursos estáticos (imagens, CSS, JS).
- 🎛 Parâmetros adicionais para scraping parcial.
- 🧪 Testes automatizados avançados com
requests-mock.
🏗 Estrutura do Projeto
scrapy_html/
│
├── scrapy_html/ # 📦 Código principal
│ ├── __init__.py
│ └── scraper.py # ⚡ Função principal do scraper
│
├── tests/ # 🧪 Testes automatizados
│ └── test_scraper.py
│
├── setup.py # ⚙️ Configuração para PyPI
├── pyproject.toml # 📦 Configuração moderna
├── README.md # 📚 Documentação do projeto
├── LICENSE # 📜 Licença MIT
└── MANIFEST.in # 📋 Inclusão de arquivos extras
🔧 Contribuindo
Contribuições são bem-vindas! 🚀
Para contribuir, siga estas etapas:
- Fork este repositório.
- Crie uma nova branch:
git checkout -b minha-nova-funcionalidade
- Faça suas alterações e faça commit:
git commit -m "✨ Adicionando nova funcionalidade incrível"
- Envie para o branch:
git push origin minha-nova-funcionalidade
- Abra um Pull Request. 💡
📝 Licença
Distribuído sob a Licença MIT. Veja o arquivo LICENSE para mais informações.
👨💻 Autor
Desenvolvido por Roberto Lima 🚀✨
💬 Contato
- 📧 Email: robertolima.izphera@gmail.com
- 💼 LinkedIn: Roberto Lima
⭐ Gostou do projeto?
Deixe uma ⭐ no repositório e compartilhe com a comunidade! 🚀✨
---
## 🌟 **O que este README oferece?**
- 🎯 **Descrição clara** do projeto e seu propósito.
- 🛠 **Instruções detalhadas de instalação** e **uso prático**.
- 🧪 **Guia de testes** para garantir que o código funciona.
- 🏗 **Estrutura do projeto** para facilitar a navegação.
- 🔄 **Seção de contribuição** para quem deseja ajudar no desenvolvimento.
- 📝 **Licença e informações do autor** para transparência.
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
scrapy-html-0.1.2.tar.gz
(4.3 kB
view details)
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file scrapy-html-0.1.2.tar.gz.
File metadata
- Download URL: scrapy-html-0.1.2.tar.gz
- Upload date:
- Size: 4.3 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.11.7
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
1a8b20de571f6e4f810e46bb63edc5219f781016020338e16c0e862c7d99b805
|
|
| MD5 |
2951cc3feddfcd799d6dfadc38fa9156
|
|
| BLAKE2b-256 |
f99e0a6373726ee9947714ad7c86875d9662f9e2984d67a8a85926be2d890219
|
File details
Details for the file scrapy_html-0.1.2-py3-none-any.whl.
File metadata
- Download URL: scrapy_html-0.1.2-py3-none-any.whl
- Upload date:
- Size: 4.2 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.11.7
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
e2785a44399194367e6ad2100a7ab44dfb7fbabb90de807eda516d8845c4a555
|
|
| MD5 |
d31f1f0b741aaa92f4d4f3acd6f797e7
|
|
| BLAKE2b-256 |
6358ad67b41666624e542865516a1d3e3d28c4069153b7fee384a79ca52d5281
|
