bilispider 0.9.1

A spider of Bilibili

A spider of BiliBili.

基于python3编写的一个bilibili多线程爬虫。

安装

安装python 3.7

• https://www.python.org/downloads/

安装bilispider

• pip3 install bilispider

快速入门

Windows

• 在cmd中使用bilispider启动，输入bilispider –help以查看帮助
• 在cmd中使用python -m bilispider

Linux

• 在终端中使用python3 -m bilispider启动

作为模块导入

• import bilispider
• 使用help(bilispider.bilispider)以查看用法
• 实例化类：s = bilispider.spider(tid,config={})
  • tid:分区的编号，查询方法见GUI和高级用法
  • config：字典类型变量(可选)，用于指定设置参数，用法见高级用法
• 开始爬取：s.auto_run()
  • 若希望控制运行过程请见高级用法

GUI控制模式(测试版本)

• 在终端使用bilispider --gui或python -m bilispider --gui(Linux下为python3 -m bilispider --gui )

  详见GUI指南

设置参数

• -h，--help：打印帮助信息并退出
• -v,--version：显示版本
• -t,--tid：通过分组id进行爬取 可使用逗号连接多个tid，如：-t 1,2,3
• -u,--url: 通过视频网址或av号自动识别分区并爬取 注意：仅在无(--tid,-t)时生效
• -lc,--loadconfig: 指定配置文件 注意：单独指定的参数将覆盖配置文件参数
• --output: `指定控制台输出模式 默认为1
  • 0-无输出
  • 1-进度条模式
  • 2-输出日志
• --logmode：指定日志保存模式 默认为1
  • 0-不保存
  • 1-仅保存错误
  • 2-保存所有输出
• --debug：启用调试
• --saveconfig,-sc：根据参数保存配置文件并退出 注意：使用该参数不会爬取数据
• --thread_num,-n：指定线程数，默认为2
  • 注意：线程数过多可能导致IP封禁
• --gui,-g：打开可视化界面 (测试)
• --safemode：安全模式

参数实例

bilispider --tid 30
bilispider -t 30

bilispider -u https://www.bilibili.com/video/av61967870
bilispider -u av61967870
bilispider -u 61967870

bilispider -t 30 --output 2 --logmode 2 --debug
bilispider -t 30 --output 2 --logmode 2 -sc config.json
bilispider -lc config.json

GUI指南

基本设置

• 在 从url识别中 输入av号或视频地址，点击确认获取分区信息
• 点击确认以提交参数

高级设置

HTTP服务器

• 运行内置httpsever模块或使用BiliSpider_HTTPserver启动服务器
• 服务器将运行于1214端口
• 通过访问data路径可获取爬虫状态和系统资源信息，例如：

  http://localhost:1214/data

• 返回值为json格式

高级用法

咕咕咕

参考数据

分区id

分区id	分区名	参考视频数
12		1
16		1674
17	单机游戏	4619262
19	Mugen	72150
20	宅舞	169883
21	日常	4561408
22	鬼畜调教	118462
24	MAD·AMV	348606
25	MMD·3D	385817
26	音MAD	51707
27	综合	823079
28	原创音乐	45282
29	音乐现场	507884
30	VOCALOID·UTAU	197616
31	翻唱	678780
32	完结动画	15889
33	连载动画	25896
37	人文·历史	90880
39	演讲• 公开课	662700
41		2
43		1
46		25
47	短片·手书·配音	242761
50		1
51	资讯	22952
53		161
54	OP/ED/OST	320
56		4
59	演奏	559064
60		1
63		2
65	网络游戏	3120252
67		127
71	综艺	781218
74		541
75	动物圈	895904
76	美食圈	843589
77		7
79		3
80		14
82		696
83	其他国家	132
85	短片	310021
86	特摄	128915
94		3
95	手机平板	273307
96	星海	115603
98	机械	197551
114		1
116		1
118		1
120		2
121	GMV	136090
122	野生技术协会	450310
124	趣味科普人文	431702
125		10
126	人力VOCALOID	30570
127	教程演示	1239
128		2340
130	音乐综合	997474
131	Korea相关	1319188
132		2
134		2
135		15
136	音游	382552
137	明星	1891614
138	搞笑	966316
139		10
140		1
141		3
142		1
143		2
145	欧美电影	891
146	日本电影	95
147	国产电影	3884
152	官方延伸	129248
153	国产动画	13416
154	三次元舞蹈	296980
156	舞蹈教程	27794
157	美妆	466928
158	服饰	175771
159	T台	21836
161	手工	498822
162	绘画	414602
163	运动	713928
164	健身	109358
166	广告	177150
168	国产原创相关	95777
169	布袋戏	26372
170	资讯	6646
171	电子竞技	2238886
172	手机游戏	3821050
173	桌游棋牌	337709
174	其他	1154288
175	ASMR	68
176	汽车	279524
178	科学·探索·自然	38250
179	军事	14365
180	社会·美食·旅行	102552
182	影视杂谈	332506
183	影视剪辑	2050261
184	预告 资讯	291825
185	国产剧	4826
186	港台剧	1
187	海外剧	1392
189	电脑装机	100080
190	摄影摄像	68519
191	影音智能	37262
192	风尚标	52235
193	MV	296537
194	电音	134399
195	动态漫·广播剧	22596