一个简单快速的异步爬虫框架
Project description
HSSP 爬虫框架
一个基于python asyncio开发的爬虫框架 (开发中)
作者
特性
- 使用scrapy框架的选择器
parsel作为内置网页选择器 - 基于tenacity的自动异常重试
- 基于fake-useragent的可选随机UA
- 可选的多种下载器: httpx、aiohttp、requests等
- 请求前、响应后、重试后监听
安装
使用 pip 安装 hssp
pip install hssp
使用 rye 安装 hssp
rye add hssp
路线图
- 基于fake-useragent的随机UA
- curl-cff的支持
- drissionpage的支持
支持
如需支持，请发送电子邮件至 xhrtxh@gmail.com。
开发测试
项目使用rye管理依赖，需先安装rye
rye sync
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
hssp-0.4.4.tar.gz
(18.7 kB
view hashes)
Built Distribution
hssp-0.4.4-py3-none-any.whl
(18.9 kB
view hashes)
