A spider of Bilibili
Project description
A spider of BiliBili.
基于python3编写的一个bilibili多线程爬虫。
安装
安装python 3.7
安装bilispider
- pip3 install bilispider
快速入门
Windows
- 在cmd中使用bilispider启动,输入
bilispider –help
以查看帮助 - 在cmd中使用
python -m bilispider
Linux
- 在终端中使用
python3 -m bilispider
启动
作为模块导入
import bilispider
- 使用
help(bilispider.bilispider)
以查看用法 - 实例化类:
s = bilispider.spider(tid,config={})
- tid:分区的编号,查询方法见GUI和高级用法
- config:字典类型变量(可选),用于指定设置参数,用法见高级用法
- 开始爬取:
s.auto_run()
- 若希望控制运行过程请见高级用法
GUI控制模式(测试版本)
- 在控制台使用
bilispider --gui
或python -m bilispider --gui
(Linux下为python3 -m bilispider --gui
)详见GUI指南
设置参数
-h
,--help
:打印帮助信息并退出-v
,--version
:显示版本-t
,--tid
:通过分组id进行爬取 可使用逗号连接多个tid,如:-t 1,2,3
-u
,--url
: 通过视频网址或av号自动识别分区并爬取 注意:仅在无(--tid,-t)时生效-lc
,--loadconfig
: 指定配置文件 注意:单独指定的参数将覆盖配置文件参数--output
: `指定控制台输出模式 默认为1- 0-无输出
- 1-进度条模式
- 2-输出日志
--logmode
:指定日志保存模式 默认为1- 0-不保存
- 1-仅保存错误
- 2-保存所有输出
--debug
:启用调试--saveconfig
,-sc
:根据参数保存配置文件并退出 注意:使用该参数不会爬取数据--thread_num
,-tn
:指定线程数,默认为2- 注意:线程数过多可能导致IP封禁
--gui
,-g
:打开可视化界面 (测试)--safemode
:安全模式 (测试)
参数实例
bilispider --tid 30
bilispider -t 30
bilispider -u https://www.bilibili.com/video/av61967870
bilispider -u av61967870
bilispider -u 61967870
bilispider -t 30 --output 2 --logmode 2 --debug
bilispider -t 30 --output 2 --logmode 2 -sc config.json
bilispider -lc config.json
GUI指南
- 在 从url识别中 输入av号或视频地址,点击确认获取分区信息
- 点击确认以提交参数
HTTP服务器
- 运行内置httpsever模块或使用BiliSpider_HTTPserver启动服务器
- 服务器将运行于1214端口
- 通过访问data路径可获取爬虫状态和系统资源信息,例如:
- 返回值为json格式
高级用法
咕咕咕
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
bilispider-0.3.4.tar.gz
(12.1 kB
view hashes)
Built Distribution
bilispider-0.3.4-py3-none-any.whl
(14.2 kB
view hashes)
Close
Hashes for bilispider-0.3.4-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | df801519ced6f8b8bdc97db5ca7f5a335ffaf60ba55ed9ccd6495fcc5b7ee271 |
|
MD5 | 646d67cbcf22d0c61e4ba3730e8cb0d2 |
|
BLAKE2b-256 | c9bfaa66f8ec83e9d7739f869b2eb0ebd97d2bfb9feb8f95c72fb8a7716ca262 |