🕷️ SuperSpider

反检测 Web 爬虫库 — 基于 Camoufox 反检测浏览器，轻松绕过 Cloudflare、Akamai、PerimeterX 等反爬系统。

✨ 特性

• 🛡️ 反检测 — 基于 Camoufox，自动绕过主流反爬系统
• 🔌 REST API — 通过 camofox-browser 服务，支持远程控制
• 🎯 简洁 API — 一行代码获取页面，类似 Selenium/Playwright
• 🌐 代理支持 — 内置 SOCKS5/HTTP 代理配置
• 📊 结构化提取 — 支持 CSS 选择器和 JSON Schema 提取
• 🔍 搜索引擎 — 内置 Google/Bing/DuckDuckGo 搜索

📦 安装

pip install super_requests

🚀 快速开始

基础用法

from super_requests import SuperSpider

with SuperSpider() as spider:
    # 获取页面 HTML
    html = spider.fetch("https://example.com")
    
    # 获取页面信息
    title = spider.get_title()
    url = spider.get_url()
    
    # 爬取链接
    links = spider.scrape_links()
    for link in links:
        print(f"{link['text']} -> {link['href']}")
    
    # 爬取表格
    data = spider.scrape_table("table")
    for row in data:
        print(row)

带代理

from super_requests import SuperSpider, BrowserConfig, ProxyConfig

proxy = ProxyConfig(
    host="50.3.64.229",
    port=443,
    username="your-username",
    password="your-password",
    protocol="socks5"
)

config = BrowserConfig(proxy=proxy)

with SuperSpider(config) as spider:
    html = spider.fetch("https://example.com")

搜索引擎

with SuperSpider() as spider:
    # Google 搜索
    spider.google_search("Camoufox 反检测浏览器")
    results = spider.scrape_links("#search a")
    
    # Bing 搜索
    spider.bing_search("Python 爬虫")
    results = spider.scrape_links("#b_results a")

交互操作

with SuperSpider() as spider:
    # 导航
    spider.navigate("https://example.com/login")
    
    # 填写表单
    spider.type_text('input[name="username"]', "myuser")
    spider.type_text('input[name="password"]', "mypass")
    
    # 点击按钮
    spider.click('button[type="submit"]')
    
    # 等待页面加载
    spider.wait_for("#dashboard")
    
    # 滚动加载
    spider.scroll(500)
    
    # 获取内容
    html = spider.get_html()

JavaScript 执行

with SuperSpider() as spider:
    spider.navigate("https://example.com")
    
    # 执行任意 JavaScript
    result = spider.evaluate("""
        Array.from(document.querySelectorAll('h2'))
            .map(el => el.textContent.trim())
    """)
    print(result["result"])  # ['标题1', '标题2', ...]
    
    # 结构化提取
    schema = {
        "type": "object",
        "properties": {
            "title": {"type": "string", "x-ref": "e1"},
            "description": {"type": "string", "x-ref": "e2"}
        }
    }
    data = spider.extract(schema)

📋 API 参考

SuperSpider

BrowserConfig

ProxyConfig

🏗️ 依赖

SuperSpider 需要 camofox-browser 服务运行：

# 安装 camofox-browser
npm install -g @askjo/camofox-browser

# 启动服务
camofox-browser --port 9377

📄 License

MIT License - 详见 LICENSE

🔗 相关项目

• Camoufox — 反检测浏览器核心
• camofox-browser — REST API 服务