hoopa 0.0.3

Asynchronous crawler micro-framework based on python.

hoopa

简介

hoopa 是一个基于异步的快速、轻量、分布式爬虫框架

• 支持基于内存、redis、rabbitmq的优先级队列
• 支持aiohttp、httpx
• 支持断点续传

环境要求：

• Python 3.7.0+
• Works on Linux, Windows, macOS

安装

# For Linux & Mac
pip install -U hoopa[uvloop]

# For Windows
pip install -U hoopa

小试一下

创建爬虫

hoopa create -s first_spider

创建后的爬虫代码如下：

import hoopa


class FirstSpider(hoopa.Spider):
    async def start_requests(self):
        yield hoopa.Request("https://www.baidu.com")

    async def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    FirstSpider().start()

TODO

• 用于debug的缓存爬虫

感谢

• ruia
• feapder
• scrapy