Skip to main content
Join the official 2019 Python Developers SurveyStart the survey!

A spider of Bilibili

Project description

A spider of BiliBili.

基于python3编写的一个bilibili多线程爬虫。

安装

安装python 3.7

安装bilispider

  • pip3 install bilispider

快速入门

Windows

  • 在cmd中使用bilispider启动,输入bilispider –help以查看帮助
  • 在cmd中使用python -m bilispider

Linux

  • 在终端中使用python3 -m bilispider启动

作为模块导入

  • import bilispider
  • 使用help(bilispider.bilispider)以查看用法
  • 实例化类:s = bilispider.spider(tid,config={})
    • tid:分区的编号,查询方法见GUI和高级用法
    • config:字典类型变量(可选),用于指定设置参数,用法见高级用法
  • 开始爬取:s.auto_run()

GUI控制模式(测试版本)

  • 在终端使用bilispider --guipython -m bilispider --gui(Linux下为python3 -m bilispider --gui )

    详见GUI指南

设置参数

  • -h--help:打印帮助信息并退出
  • -v,--version:显示版本
  • -t,--tid:通过分组id进行爬取 可使用逗号连接多个tid,如:-t 1,2,3
  • -u,--url: 通过视频网址或av号自动识别分区并爬取 注意:仅在无(--tid,-t)时生效
  • -lc,--loadconfig: 指定配置文件 注意:单独指定的参数将覆盖配置文件参数
  • --output: `指定控制台输出模式 默认为1
    • 0-无输出
    • 1-进度条模式
    • 2-输出日志
  • --logmode:指定日志保存模式 默认为1
    • 0-不保存
    • 1-仅保存错误
    • 2-保存所有输出
  • --debug:启用调试
  • --saveconfig,-sc:根据参数保存配置文件并退出 注意:使用该参数不会爬取数据
  • --thread_num,-n:指定线程数,默认为2
    • 注意:线程数过多可能导致IP封禁
  • --gui,-g:打开可视化界面 (测试)
  • --safemode:安全模式

参数实例

bilispider --tid 30
bilispider -t 30

bilispider -u https://www.bilibili.com/video/av61967870
bilispider -u av61967870
bilispider -u 61967870

bilispider -t 30 --output 2 --logmode 2 --debug
bilispider -t 30 --output 2 --logmode 2 -sc config.json
bilispider -lc config.json

GUI指南

基本设置

GUI窗口

  • 在 从url识别中 输入av号或视频地址,点击确认获取分区信息
  • 点击确认以提交参数

高级设置

GUI窗口高级选项

HTTP服务器

高级用法

咕咕咕

参考数据

分区id

分区id 分区名 参考视频数
12 <unnamed> 1
16 <unnamed> 1674
17 单机游戏 4619262
19 Mugen 72150
20 宅舞 169883
21 日常 4561408
22 鬼畜调教 118462
24 MAD·AMV 348606
25 MMD·3D 385817
26 音MAD 51707
27 综合 823079
28 原创音乐 45282
29 音乐现场 507884
30 VOCALOID·UTAU 197616
31 翻唱 678780
32 完结动画 15889
33 连载动画 25896
37 人文·历史 90880
39 演讲• 公开课 662700
41 <unnamed> 2
43 <unnamed> 1
46 <unnamed> 25
47 短片·手书·配音 242761
50 <unnamed> 1
51 资讯 22952
53 <unnamed> 161
54 OP/ED/OST 320
56 <unnamed> 4
59 演奏 559064
60 <unnamed> 1
63 <unnamed> 2
65 网络游戏 3120252
67 <unnamed> 127
71 综艺 781218
74 <unnamed> 541
75 动物圈 895904
76 美食圈 843589
77 <unnamed> 7
79 <unnamed> 3
80 <unnamed> 14
82 <unnamed> 696
83 其他国家 132
85 短片 310021
86 特摄 128915
94 <unnamed> 3
95 手机平板 273307
96 星海 115603
98 机械 197551
114 <unnamed> 1
116 <unnamed> 1
118 <unnamed> 1
120 <unnamed> 2
121 GMV 136090
122 野生技术协会 450310
124 趣味科普人文 431702
125 <unnamed> 10
126 人力VOCALOID 30570
127 教程演示 1239
128 <unnamed> 2340
130 音乐综合 997474
131 Korea相关 1319188
132 <unnamed> 2
134 <unnamed> 2
135 <unnamed> 15
136 音游 382552
137 明星 1891614
138 搞笑 966316
139 <unnamed> 10
140 <unnamed> 1
141 <unnamed> 3
142 <unnamed> 1
143 <unnamed> 2
145 欧美电影 891
146 日本电影 95
147 国产电影 3884
152 官方延伸 129248
153 国产动画 13416
154 三次元舞蹈 296980
156 舞蹈教程 27794
157 美妆 466928
158 服饰 175771
159 T台 21836
161 手工 498822
162 绘画 414602
163 运动 713928
164 健身 109358
166 广告 177150
168 国产原创相关 95777
169 布袋戏 26372
170 资讯 6646
171 电子竞技 2238886
172 手机游戏 3821050
173 桌游棋牌 337709
174 其他 1154288
175 ASMR 68
176 汽车 279524
178 科学·探索·自然 38250
179 军事 14365
180 社会·美食·旅行 102552
182 影视杂谈 332506
183 影视剪辑 2050261
184 预告 资讯 291825
185 国产剧 4826
186 港台剧 1
187 海外剧 1392
189 电脑装机 100080
190 摄影摄像 68519
191 影音智能 37262
192 风尚标 52235
193 MV 296537
194 电音 134399
195 动态漫·广播剧 22596

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for bilispider, version 0.8.9
Filename, size File type Python version Upload date Hashes
Filename, size bilispider-0.8.9-py3-none-any.whl (23.4 kB) File type Wheel Python version py3 Upload date Hashes View hashes
Filename, size bilispider-0.8.9.tar.gz (22.0 kB) File type Source Python version None Upload date Hashes View hashes

Supported by

Elastic Elastic Search Pingdom Pingdom Monitoring Google Google BigQuery Sentry Sentry Error logging AWS AWS Cloud computing DataDog DataDog Monitoring Fastly Fastly CDN SignalFx SignalFx Supporter DigiCert DigiCert EV certificate StatusPage StatusPage Status page