Web Content Extractor

Librería Python para descargar páginas web y obtener HTML, texto visible y enlaces absolutos. HTTP es el transporte predeterminado y Playwright permite renderizar páginas con JavaScript.

Requisitos

• Python 3.13+
• uv

Instalación

uv sync

Para usar Chromium como fallback ante respuestas HTTP 403/503 o para renderizar páginas directamente, instala el navegador:

uv run playwright install chromium

Uso

import asyncio
from web_content_extractor import WebContentClient, extract_links


async def main():
    client = WebContentClient(max_chars=8_000)
    page = await client.fetch("https://example.com")

    print(page.url)   # URL final después de redirecciones
    print(page.text)  # Texto visible compacto
    print(len(page.html))

    for link in extract_links(page.html, page.url):
        print(link.text, link.url)


asyncio.run(main())

fetch(url, use_browser=True) abre directamente Chromium. Por defecto, se usa HTTP y se intenta una vez el navegador ante HTTP 403/503. No se evaden bloqueos ni verificaciones anti-bot.