gzspidertools 0.0.22

魔改使用工具库

安装

可以直接输入以下命令：

.. code:: bash

pip install gzspidertools

---

可选安装1，安装数据库相关的所有依赖：

.. code:: bash

pip install gzspidertools[database]

---

可选安装2，通过以下命令安装所有依赖：

.. code:: bash

pip install gzspidertools[all]

注：详细的安装介绍请查看 安装指南_。

用法

开发人员只需根据命令生成示例模板，再配置相关设置即可。

用法 ::

查看库版本

gzcmd version

创建项目

gzcmd startproject <project_name>

进入项目根目录

cd <project_name>

替换(覆盖)为真实的配置 .conf 文件：

这里是为了演示方便，正常情况是直接在 VIT 中的 .conf 文件填上你需要的配置即可

cp /root/mytemp/.conf DemoSpider/VIT/.conf

生成爬虫脚本

gzcmd genspider <spider_name> <example.com>

运行脚本

scrapy crawl <spider_name>

注：也可以使用 gzcmd crawl <spider_name>

跑通测试

前提：需要在 tests 的 VIT 目录下创建 .conf 文件，已给出示例文件，请填写测试所需内容，然后：

• 可以直接使用 tox 来运行测试。
• 本库以 poetry_ 开发，那么直接新环境下运行 poetry install 后，手动运行目标测试或 pytest 命令来测
  试等皆可。
• 也可以使用 make 工具，make start 然后 make test 即可。