Pre-release
This release is a pre-release and may not be stable for production use.
NOSP：轻量爬取工具
NOSP 是一个轻量级、模块化的 Python 框架，专为高效的网络爬取而设计。它为开发者提供了构建健壮且可扩展的网络爬虫所需的基本工具，同时处理常见的技术挑战，如并发、HTTP 请求、内容解析和数据存储。
作为一个专门的工具包，NOSP 通过提供预构建的组件，简化了复杂的爬取流程，帮助开发者专注于数据提取，而非底层实现细节。
主要特性
| 特性 | 描述 |
|---|---|
| 多线程爬取 | 内置线程池管理，支持高效并发操作 |
| HTTP 请求处理 | 强大的请求管理，支持重试机制、代理配置、请求/响应拦截器 |
| 内容解析 | 基于 XPath 的强大内容提取工具，支持结构化数据抽取 |
| 数据库集成 | 直接集成 MySQL 和 Redis，支持便捷的数据存储与缓存 |
| 错误处理 | 全面的异常管理机制，确保爬虫在异常情况下的稳定性与韧性 |
| 资源提取 | 提供专用工具，用于从网页中提取附件、图片等二进制资源 |
框架架构
NOSP 采用模块化设计，将关注点分离到独立组件中，同时保持清晰的接口定义。这种设计允许开发者按需使用特定模块，提升灵活性与可维护性。
核心组件
BaseSpider类：框架的核心，负责协调爬取工作流程，调度请求、解析与存储。- 模块化结构：各功能模块（如请求、解析、存储）松耦合，易于替换或扩展。
何时使用 NOSP？
NOSP 在以下场景中特别有价值：
- ✅ 需要构建可维护、结构化的网络爬虫
- ✅ 项目要求高效率，需支持并发操作
- ✅ 希望避免重复实现常见功能（如代理管理、解析逻辑、数据存储）
- ✅ 需要一个灵活可扩展的基础框架，适应不同爬取需求
适用范围：既适用于简单的数据抓取任务，也足以支撑复杂的生产级爬虫系统。
核心概念
NOSP 围绕以下核心概念构建，理解这些概念是高效使用框架的关键：
| 概念 | 说明 |
|---|---|
| 爬虫 (Spider) | 协调整个爬取流程的核心类，定义起始 URL、解析逻辑和后续请求 |
| 请求 (Request) | 封装 HTTP 请求，支持自定义 headers、cookies、代理、重试等 |
| 解析器 (Parser) | 负责从网页 HTML 内容中提取结构化数据，支持 XPath 和正则表达式 |
| 存储 (Storage) | 处理爬取数据的持久化，支持写入数据库（MySQL/Redis）或本地文件 |
1 maintainer
Metadata
1 maintainer
Release files for nosp 0.9.5b1
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | |
|---|---|---|---|
| nosp-0.9.5b1.tar.gz | 35.1 kB | Details |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Reset |
|---|---|---|---|---|
| nosp-0.9.5b1-py3-none-any.whl | Python 3 | none | any | Details |
Total release size: 73.3 kB
Release files / nosp-0.9.5b1.tar.gz
| Download URL | nosp-0.9.5b1.tar.gz |
|---|---|
| Size | 35.1 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
c7249a80df7b0fd9d8e3fa7b4208be4f169b69d98a389940352e0dbc8b49e145
|
|
BLAKE2b-256 checksum How to use checksums |
2eb3360aab920d0fd0b85d27315fd7e141681f7366afc5769a8a9c20302040c5
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
uv/0.6.9
|
Release files / nosp-0.9.5b1-py3-none-any.whl
| Download URL | nosp-0.9.5b1-py3-none-any.whl |
|---|---|
| Size | 38.2 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
17cea4e45ef5f5fadfaef477e0c3a7b1881c3ef65f13152dba96eb47b03076e3
|
|
BLAKE2b-256 checksum How to use checksums |
d5b7093e825e17ad7099b669c6b66bf5917395ac73dfe8ba6a4113fa80d2389e
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
uv/0.6.9
|
