Dhole 是一个 MCP 服务器，为 AI 代理提供网页抓取、整站爬取和无密钥网页搜索。HTTP 被拦截时自动升级到反检测浏览器，可读取 PDF（含扫描件 OCR），全部本地运行、无需任何 API key。

功能特性

• 智能抓取：HTTP 优先（~1 秒），被拦截或遇到 JS 空壳时自动升级 Patchright 隐身浏览器并求解 Cloudflare 验证；全部失败时回退 Wayback Machine 快照
• 网页搜索：多引擎并行（bing / duckduckgo / brave / yahoo / yandex 等），本地 ONNX 神经重排序，跨引擎共识排名；fetch_content=true 直接抓回 top3 全文
• 整站爬取：同域最佳优先遍历，内容自适应提取，sitemap 模式，页数 / 深度 / token 预算控制
• PDF + OCR：结构化 Markdown 输出，扫描件与 CID 损坏自动 OCR
• 结构化提取：CSS 选择器 / JSON-LD / 自动模式 schema，支持多 URL 批量并行
• Agent 友好：每次调用返回 next_action 建议与来源分类；超长内容自动分页；SQLite 缓存加速重复抓取
• 优雅降级：浏览器依赖缺失时自动切换纯 HTTP 模式（Termux / 精简容器可用）

安装

未发布到 PyPI，从源码安装。需要 Python 3.11+。

git clone https://github.com/ouli-1242/dhole-mcp.git
cd dhole-mcp
pip install .[all]              # 完整版；精简版（纯 HTTP + 搜索）用 pip install .
playwright install chromium     # 反检测浏览器引擎（~150MB，完整版需要）

卸载：

pip uninstall dhole-mcp
rm -rf ~/.dhole                 # 运行时缓存（Windows: rd /s /q %USERPROFILE%\.dhole）

使用

在 MCP 客户端（Claude Code / Cursor / OpenCode 等）配置中添加：

{ "mcpServers": { "dhole": { "command": "dhole" } } }

无需参数、无需密钥、无需环境变量。CLI 自带诊断命令：

dhole -v    # 查看版本 + 更新状态
dhole -u    # 自更新（本 fork 默认关闭）

工具

配置

所有环境变量均可选，默认零配置可用：

已知限制

• 无法绕过 DataDome / Akamai / 交互式 Turnstile；需要登录的网站不在设计范围内
• duckduckgo / brave / yahoo 需要 VPN 可达（bing / yandex 国内直连）
• 搜索引擎限速时熔断器自动冷却 60 秒，重度使用建议配置代理
• YouTube 仅能获取少量文本

贡献

欢迎 issue 与 PR，规范见 CONTRIBUTING.md。

致谢

本项目是 dondai1234/master-fetch 的二创（衍生作品），上游以 MIT 协议发布，原始版权文本已完整保留于 LICENSE。src/dhole_mcp/search_metasearch.py 派生自 ddgs，声明见 NOTICE.ddgs.txt。

许可证

MIT