scrapy 扩展库:用于扩展 Scrapy 功能来解放双手。
Project description
来自
https://github.com/shengchenyang/AyugeSpiderTools/blob/master/docs//docs/intro/install.md
增加个人使用的模板
安装
python 3.8+
可以直接输入以下命令:
pip install gzspidertools
可选安装1,安装数据库相关的所有依赖:
pip install gzspidertools[database]
可选安装2,通过以下命令安装所有依赖:
pip install gzspidertools[all]
注:详细的安装介绍请查看安装指南。
用法
# 查看库版本
ayuge version
# 创建项目
ayuge startproject <project_name>
# 进入项目根目录
cd <project_name>
# 替换(覆盖)为真实的配置 .conf 文件:
# 这里是为了演示方便,正常情况是直接在 VIT 中的 .conf 文件填上你需要的配置即可
cp /root/mytemp/.conf DemoSpider/VIT/.conf
# 生成爬虫脚本
ayuge genspider <spider_name> <example.com>
# 运行脚本
scrapy crawl <spider_name>
# 注:也可以使用 ayuge crawl <spider_name>
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
gzspidertools-0.0.2.tar.gz
(71.2 kB
view hashes)
Built Distribution
gzspidertools-0.0.2-py3-none-any.whl
(104.4 kB
view hashes)
Close
Hashes for gzspidertools-0.0.2-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 9feef63adc009c3428a2efb5e0b8287469e284a29ef6f5b79463099eadfb1331 |
|
MD5 | 903155f85d5ad708b6e5575502ca7dfd |
|
BLAKE2b-256 | 900792a3b0c087ba2a9c921f9df08d01f30006caefee14eca1fb386b74a524a6 |