Netspy

一个上手简单、结构清晰的 Python 爬虫框架： 你只写 start_requests 和 parse，框架负责调度、下载、重试、去重、批量落库。

单机（AirSpider）到分布式（Spider / TaskSpider / BatchSpider）全部可用， 并支持浏览器 TLS 指纹伪装。 变更见 CHANGELOG，后续规划见 Roadmap。

安装

pip install netspy            # 核心
pip install "netspy[all]"     # 含渲染 / 各类存储 / Redis / CLI / 指标 / 指纹伪装

也可以按需装单项：render · mongo · mysql · postgres · elasticsearch · kafka · redis · cli · metrics · curl。

快速开始

pip install "netspy[cli]"
netspy create -p news_crawler
cd news_crawler && python main.py

或直接写：

import netspy as mw


class NewsSpider(mw.AirSpider):
    def start_requests(self):
        yield mw.Request("https://news.ycombinator.com/", callback=self.parse)

    def parse(self, request, response):
        for a in response.css("span.titleline > a"):
            yield {"title": a.css("::text").get(), "url": a.css("::attr(href)").get()}


NewsSpider().start()

示例

examples/ 里有可以直接跑的完整例子：

python examples/books_toscrape.py   # 两级抓取：列表页翻页 → 详情页

文档

完整文档：https://apersonw.github.io/netspy/ （本地预览：pip install "netspy[docs]" && mkdocs serve）

能力一览

开发

conda env create -f environment.yml && conda activate netspy
pre-commit install
pytest && ruff check . && mypy

CI（GitHub Actions）：ruff + mypy(strict) + pytest（Python 3.10–3.13）+ mkdocs build。

License

MIT