mcp-feed-fetcher

网页抓取与 RSS 监控 MCP 工具——异步抓取 RSS/Atom/HTML 并返回结构化数据。

功能

• 自动内容识别：自动检测 RSS 2.0 / Atom 1.0 / HTML 内容类型，统一解析为标准结构
• 批量抓取：支持单 URL 或批量 URL，asyncio 并发请求，结果顺序与输入严格一致
• 智能缓存：TTL 内存缓存（默认 5 分钟），基于规范化 URL 去重，避免重复网络请求
• 容错与重试：对网络瞬时错误和 HTTP 5xx 自动指数退避重试，4xx 不重试
• 编码自适应：优先 Content-Type charset，缺失时 charset-normalizer 自动探测常见编码
• 安全保护：响应体 5MB 上限截断保护，避免 OOM

安装

pip install mcp-feed-fetcher
# 或
uv add mcp-feed-fetcher

使用

MCP Server 启动

python -m mcp_feed_fetcher
# 或
uv run mcp-feed-fetcher

MCP 客户端配置

{
  "mcpServers": {
    "feed-fetcher": {
      "command": "uv",
      "args": ["run", "mcp-feed-fetcher"]
    }
  }
}

工具

fetch_latest_updates

抓取 RSS/Atom feed 或 HTML 文章列表页，返回结构化 JSON。

环境变量

输出格式

单 URL 返回单个结果对象；多 URL 返回数组且顺序与输入一致。

成功结果：

{
  "source_url": "string",
  "resolved_url": "string",
  "fetched_at": "ISO8601",
  "content_type": "rss|atom|html|html_unknown",
  "from_cache": false,
  "truncated": false,
  "total_found": 10,
  "items": [
    {
      "title": "string",
      "publish_date": "ISO8601|null",
      "summary": "string|null",
      "url": "string",
      "authors": ["string"]
    }
  ]
}

失败结果：

{
  "source_url": "string",
  "resolved_url": "string|null",
  "fetched_at": "string|null",
  "content_type": null,
  "from_cache": false,
  "truncated": false,
  "total_found": 0,
  "items": [],
  "error": "string",
  "status_code": null,
  "retry_count": null
}

依赖

• Python >= 3.10
• mcp >= 1.0.0
• httpx >= 0.27.0
• beautifulsoup4 >= 4.12
• lxml >= 5.0
• feedparser >= 6.0
• cachetools >= 5.0
• python-dateutil >= 2.8
• charset-normalizer >= 3.0
• tenacity >= 8.0