⭐️ 简介
本库是一个基于 python 的工具集，用于记录数据到文件。
使用方便，代码简洁，是一个可靠、省心且实用的工具。
支持多线程同时写入文件。
使用手册： 📒点击打开
✨️ 理念
简单，可靠，省心。
📕 背景
进行数据采集的时候，常常要保存数据到文件，频繁开关文件会影响效率，而如果等采集结束再写入，会有因异常而丢失数据的风险。
因此写了这些工具，只要把数据扔进去，它们能缓存到一定数量再一次写入，减少文件开关次数，且在程序崩溃或退出时尽量自动保存。
它们使用非常方便，无论何时何地，无论什么格式，只要使用add_data()方法把数据存进去即可，语法极其简明扼要，使程序员能更专注业务逻辑。
它们还相当可靠，作者曾一次过连续记录超过 300 万条数据，也曾 50 个线程同时运行写入数万条数据到一个文件，依然轻松胜任。
工具还对表格文件（xlsx、csv）做了很多优化，封装了实用功能，可以使用表格文件方便地实现断点续爬、批量转移数据、指定坐标填写数据等。
🍀 特性
- 可以缓存数据到一定数量再一次写入，减少文件读写次数，降低开销。
- 支持多线程同时写入数据。
- 写入时如文件打开，会自动等待文件关闭再写入，避免数据丢失。
- 对断点续爬提供良好支持。
- 可方便地批量转移数据。
- 可根据字典数据自动创建表头。
- 自动创建文件和路径，减少代码量。
🌠 概览
这里简要介绍各种工具用途，详细用法请查看使用方法章节。
⚡ 记录器Recorder
Recorder的功能简单直观高效实用，只做一个动作，就是不断接收数据，按顺序往文件里添加。可以接收单行数据，或二维数据一次写入多行。
它支持 csv、xlsx、json、txt 四种格式文件。
from DataRecorder import Recorder
data = ((1, 2, 3, 4),
(5, 6, 7, 8))
r = Recorder('data.csv')
r.add_data(data) # 一次记录多行数据
r.add_data('abc') # 记录单行数据
r.record() # 记录到文件
⚡ 表格填充器Filler
Filler用于对表格文件填写数据，可以指定填其坐标。它的使用非常灵活，可以指定坐标为左上角，填入一片二维数据。还封装了记录数据处理进度的功能（比如断点续爬）。
除此以外，它还能给单元格设置链接和样式。
它只支持 csv 和 xlsx 格式文件。
from DataRecorder import Filler
f = Filler('results.csv')
f.add_data((1, 2, 3, 4), 'a2') # 从A2单元格开始，写入一行数据
f.add_data(((1, 2), (3, 4)), 'd4') # 以D4单元格为左上角，写入一片二维数据
f.record() # 记录到文件
⚡ 二进制数据记录器ByteRecorder
ByteRecorder用法最简单，它和Recorder类似，记录多个数据然后按顺序写入文件。不一样的是它只接收二进制数据，每次add_data()只能输入一条数据，而且没有行的概念。
支持任意文件格式。
from DataRecorder import ByteRecorder
b = ByteRecorder('data.file')
b.add_data(b'*****************') # 向文件写入二进制数据
⚡ 数据库记录器DBRecorder
支持 sqlite，用法和Recorder一致，支持自动创建数据库、数据表、数据列。
from DataRecorder import DBRecorder
d = DBRecorder('data.db')
d.add_data({'name': '张三', 'age': 25}, table='user') # 插入数据到user表
d.record()
d.record() # 记录到文件
☕ 请我喝咖啡
如果本项目对您有所帮助，不妨请作者我喝杯咖啡 ：）
1 maintainer
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file DataRecorder-3.6.2.tar.gz.
File metadata
- Download URL: DataRecorder-3.6.2.tar.gz
- Upload date:
- Size: 29.6 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via:
twine/4.0.2 CPython/3.11.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
8c9024736692af68b947fd884589e685c4f27bc29d031b81164457b09c60e1e5
|
|
| MD5 |
b727accd988227086e92fce611f46c41
|
|
| BLAKE2b-256 |
b4a143d52eada4e1364f8d1a5da99b855798f945228ffb7dfb199f675c1d2c2b
|
File details
Details for the file DataRecorder-3.6.2-py3-none-any.whl.
File metadata
- Download URL: DataRecorder-3.6.2-py3-none-any.whl
- Upload date:
- Size: 37.5 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via:
twine/4.0.2 CPython/3.11.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
41ad022c4c1db58a0f4236f6a4991d1f98cd76ec049484b172bbb3040455e5ff
|
|
| MD5 |
a639336f491d20f2e94a6c8303f8c834
|
|
| BLAKE2b-256 |
3305f0064d93a0b922ea7ad5d40a0dfaac45de37f783a85a2900e6ce8a01dbc3
|
