keaixiaojiycw-tieba-post-crawler 0.3.0

贴吧一体化异步爬取与HTML/LLM数据处理工具箱

贴吧一体化工具箱 (tieba-toolkit)

本项目将高效的贴吧异步爬虫 (craw3.4.8.py) 和 Apple 风格的 HTML 查看器生成工具 (conv_v2.1.py) 封装成了一个易于安装和使用的 Python 库及命令行工具。

---

🚀 1. 核心功能与特性

模块	功能描述
异步爬虫	基于 aiotieba，实现高并发、异步的帖子内容和图片爬取。
断点续爬	自动记录 checkpoint，支持中断后恢复爬取，无需担心进度丢失。
图片下载	多工作线程异步下载帖子中所有图片资源，支持重试机制。
HTML 转换	将爬取的原始 JSON 数据转换为单文件、美观的 Apple 风格 HTML 查看器，支持异步加载和分页浏览，便于本地离线预览。
CLI 命令行	提供 tieba-cli 命令，统一管理爬取、转换和列表查看功能。

---

⚙️ 2. 安装与环境要求

2.1 环境要求

• Python 3.8+
• 贴吧登录凭证：BDUSS（必须通过环境变量设置）

2.2 安装

使用 pip 即可从 PyPI 安装 tieba-toolkit（假设您已完成发布）：

pip install tieba-toolkit