A toolkit for downloading and processing novels.
Project description
novel-downloader
异步、可扩展的小说下载与处理工具包。
支持断点续爬、多格式导出、文本处理流水线, 并提供 CLI 与可选 Web 界面。
文档: 项目文档
运行要求: Python 3.11+ (CI 覆盖: 3.11 ~ 3.14)
功能特性
- 异步与高性能下载
- 可恢复下载 (断点续爬)
- 可插拔 HTTP 后端:
aiohttp/httpx/curl_cffi - 多格式导出: TXT / EPUB / HTML
- 文本处理流水线: 去广告、繁简转换、自动翻译等
- 图片章节与混淆章节支持 (可选)
- 插件系统: 可扩展站点解析器、导出器、Pipeline 等
- CLI 与可选 Web GUI
完整功能列表见: 功能总览
安装与更新
使用 pip 安装最新稳定版本:
pip install -U novel-downloader-spiritlhl
PyPI 发行包名为 novel-downloader-spiritlhl, 安装后的导入名与 CLI 命令保持不变, 仍然使用 novel_downloader、novel-cli、novel-web。
如需启用 Web GUI:
pip install novel-downloader-spiritlhl[web-ui]
如需启用其它可选功能 (Web UI、图片转文字、额外后端等), 请参见: 安装指南
快速开始 (CLI)
# 下载一本小说
novel-cli download https://www.example.com/book/123/
# 使用站点 + 书籍 ID
novel-cli download --site n23qb 12282
更多示例见: CLI 使用示例
编程接口 (Programmatic API)
import asyncio
from novel_downloader.plugins import registrar
from novel_downloader.schemas import BookConfig, ClientConfig
async def main() -> None:
site = "n23qb"
# 指定书籍 ID
book = BookConfig(book_id="12282")
# 创建客户端
cfg = ClientConfig(request_interval=0.5)
client = registrar.get_client(site, cfg)
# 在异步上下文中执行下载
async with client:
await client.download_book(book)
# 下载完成后执行导出操作
client.export_book(book, formats=["txt", "epub"])
if __name__ == "__main__":
asyncio.run(main())
更多示例见: API 示例
贡献与开发
git clone https://github.com/spiritLHLS/novel-downloader.git
cd novel-downloader
# 可选: 为多语言支持编译翻译文件
# pip install babel
# pybabel compile -d src/novel_downloader/locales
pip install .
# 或安装带可选功能:
# pip install .[all]
# pip install -e .[dev,all]
欢迎提交 Issue / PR。
致谢
本仓库基于上游项目 saudadez21/novel-downloader 演化维护, 在此向原项目及历史贡献者致谢。
注意事项
- 站点结构变更: 若目标站点页面结构更新或章节抓取异常, 欢迎提 Issue 或提交 PR
- 登录支持范围: 登录功能受站点策略与接口限制, 部分场景需要手动配置 Cookie 或进行账号绑定
- 请求频率: 请合理设置抓取间隔, 避免触发风控或导致 IP 限制
项目说明
- 本项目仅供学习和研究使用, 不得用于任何商业或违法用途
- 请遵守目标网站的
robots.txt及相关法律法规 - 使用本项目产生的任何法律责任由使用者自行承担, 作者不承担相关责任
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file novel_downloader_spiritlhl-3.1.1.post2026053002.tar.gz.
File metadata
- Download URL: novel_downloader_spiritlhl-3.1.1.post2026053002.tar.gz
- Upload date:
- Size: 736.3 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.13.13
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
228e9e6aa4aef2d736d4117a5c391d6168a80ce55ebda3d8620f3b5474779411
|
|
| MD5 |
4bd151338c2a936ab1a6e578ccc6e70a
|
|
| BLAKE2b-256 |
24c34670dfb455367da72a39c44897a6885f738072196f297c6d0598800985d6
|
File details
Details for the file novel_downloader_spiritlhl-3.1.1.post2026053002-py3-none-any.whl.
File metadata
- Download URL: novel_downloader_spiritlhl-3.1.1.post2026053002-py3-none-any.whl
- Upload date:
- Size: 972.6 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.13.13
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
d36d9ce058f3b09e03231a7f6376923398812e0f0a326087a6e1ab9498560279
|
|
| MD5 |
12c050d3e023ce60681a100e951a674c
|
|
| BLAKE2b-256 |
21d0ea839a1bc1cd17bca4dc68112af7d3be684d3166d13ae0b19db8aaf0c173
|