spider_hole
Project description
cobweb
通用爬虫框架： 1.单机模式采集框架；2.分布式采集框架
5部分
starter -- 启动器
scheduler -- 调度器
distributor -- 分发器
storer -- 存储器
utils -- 工具函数
need deal
- 队列优化完善，使用queue的机制wait()同步各模块执行？
- 日志功能完善，单机模式调度和保存数据写入文件，结构化输出各任务日志
- 去重过滤（布隆过滤器等）
- 防丢失（单机模式可以通过日志文件进行检查种子）
- 自定义数据库的功能
- excel、mysql、redis数据完善
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
cobweb-launcher-0.1.22.tar.gz
(19.5 kB
view hashes)
Built Distribution
Close
Hashes for cobweb_launcher-0.1.22-py3-none-any.whl
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 | 312b2e6ca8790c5fb27d0a53de9d6105848872bbdf7565538e19192750aab3c9 |
|
| MD5 | 4de80fd4cedc27523d6ae772c65b4d05 |
|
| BLAKE2b-256 | 1e52ff197a5037b4ac392f9e195facd80915249ef2e11a54648615e5146c16bf |
