Crawlo
基于 asyncio 的现代化高性能 Python 异步爬虫框架
Python 3.8+ · 已适配 Python 3.14
✨ 快速开始（3步上手）
1. 安装
pip install crawlo
2. 创建爬虫
crawlo startproject myproject
cd myproject
crawlo genspider example example.com
3. 运行
crawlo run example
🚀 核心特性
⚡ 高性能异步架构
- 基于 asyncio + aiohttp/httpx/curl-cffi 多种协议下载器
- 智能并发控制，连接池复用，自动优化吞吐量
- 支持 HTTP/2、TLS 指纹模拟（绕过 JA3 检测）
🛡️ 强大的反反爬能力
- HybridDownloader：5 级检测优先级，自动切换协议/浏览器引擎
- Cloudflare 自动绕过：检测挑战页面后自动切换隐身浏览器
- 4 种浏览器下载器：Playwright / Camoufox / CloakBrowser / DrissionPage
- BROWSER_ 统一配置层*：一套参数覆盖所有浏览器下载器
- 自适应选择器：网站改版时自动重新定位元素（选择器自愈） — 使用指南 →
🤖 AI 集成（MCP Server）
- Claude / Cursor 直接调用 Crawlo 抓取能力
- 三种抓取模式：
basic（1-3s）→stealth（3-10s）→max-stealth（10s+） - 浏览器单例池：stealth/max-stealth 模式复用实例
- 结构化错误返回：区分
TIMEOUT/CONNECTION_ERROR等，含建议提示
📊 四级背压防线
- Engine 层请求生成控制 + QueueManager 策略驱动
- 智能增强：
IntelligentBackpressureCalculator+BackpressureMonitor
📬 多渠道通知系统
- 5 种渠道：钉钉 / 飞书 / 企业微信 / 邮件 / 短信
- 30+ 预定义模板，异步发送，消息去重 + 窗口限制
🔄 三种部署模式
| 模式 | 配置 | 协调机制 | 适用场景 |
|---|---|---|---|
| 内存模式 | RUN_MODE='standalone' QUEUE_TYPE='memory' |
无（单机自动退出） | 开发调试、快速验证 |
| 多节点协作 ⭐ | RUN_MODE='auto' QUEUE_TYPE='redis' |
竞争消费（BZPOPMIN） | 多机并发，可接受任务丢失 |
| 分布式系统 | RUN_MODE='distributed' QUEUE_TYPE='redis_stream' |
ACK + 心跳 + 故障转移 | 生产环境，任务可靠性高 |
📚 文档
| 你是？ | 推荐阅读 |
|---|---|
| 新手 | 5分钟快速上手 → 安装指南 |
| 开发者 | 配置指南 → 调度指南 |
| 运维 | 三种部署模式详解 → 检查点系统 → 生产部署指南 |
📖 浏览完整文档
包含快速入门、使用指南、核心概念、API 参考、实战案例、FAQ 等全部内容。
💡 示例项目
查看 examples/ 目录：
- 基础示例 - 快速上手
- 高级示例 - 复杂场景
- 生产级示例 - 可直接用于生产
🤝 贡献
欢迎提交 Issue 和 Pull Request！
📄 许可证
本项目采用 BSD 3-Clause 许可证 - 查看 LICENSE 文件了解详情。
⭐ 如果这个项目对你有帮助，请给我们一个 Star！
1 maintainer
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
crawlo-1.7.2.tar.gz
(73.3 MB
view details)
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file crawlo-1.7.2.tar.gz.
File metadata
- Download URL: crawlo-1.7.2.tar.gz
- Upload date:
- Size: 73.3 MB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via:
twine/6.2.0 CPython/3.13.13
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
0a8867e9d7b3ff0fcc3533a5d350d559a50f97de18a7b2dc4b5e2ae98c147476
|
|
| MD5 |
67ec6fa98f313a4578de0fd6e4dc2ae6
|
|
| BLAKE2b-256 |
9f28867d25c2a2ead74a4caa8fb40b88e40cd50ab27e5039fc8cb783f6a8d48e
|
File details
Details for the file crawlo-1.7.2-py3-none-any.whl.
File metadata
- Download URL: crawlo-1.7.2-py3-none-any.whl
- Upload date:
- Size: 1.4 MB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via:
twine/6.2.0 CPython/3.13.13
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
ca5c521088f6f4e6293208683e1f75f33f5989a32e83d3487677565d97c062aa
|
|
| MD5 |
4f3f003a39ebfefc2fafa5c340f9f885
|
|
| BLAKE2b-256 |
7dabbf1584bb1aaf0f2b90d24a223d7d45292a0d58dccc75c5b0040b11814633
|
