Skip to main content

A powerful data format conversion tool

Project description

DataFlow - 数据格式转换工具

一个简单而强大的数据格式转换工具,支持多种数据格式之间的相互转换。

功能特性

  • 多格式支持: CSV, JSON, XML, Excel, YAML, TSV
  • 批量转换: 支持文件夹批量处理
  • 自定义映射: 字段映射和转换规则
  • 数据验证: 转换前后数据完整性检查
  • 命令行界面: 易于自动化集成

安装

pip install dataflow-converter

快速开始

基本转换

# CSV 转 JSON
dataflow convert input.csv output.json

# JSON 转 Excel
dataflow convert data.json result.xlsx

# 批量转换
dataflow batch ./input_folder ./output_folder --from csv --to json

Python API

from dataflow import Converter

# 创建转换器
converter = Converter()

# 转换文件
converter.convert('input.csv', 'output.json')

# 批量转换
converter.batch('./input_folder', './output_folder', from_format='csv', to_format='json')

使用场景

  1. 数据迁移: 在不同系统之间迁移数据
  2. 数据清洗: 转换过程中进行数据格式化和清理
  3. API 集成: 将 API 响应转换为所需格式
  4. 数据分析: 准备数据用于分析工具
  5. 自动化脚本: 在自动化流程中进行数据转换

支持的格式

格式 读取 写入 说明
CSV 逗号分隔值
JSON JavaScript Object Notation
XML 可扩展标记语言
Excel Microsoft Excel (.xlsx)
YAML YAML Ain't Markup Language
TSV 制表符分隔值

高级功能

字段映射

dataflow convert input.csv output.json --mapping '{"old_name": "new_name"}'

数据验证

from dataflow import Converter, Validator

converter = Converter()
validator = Validator()

# 转换前验证
if validator.validate('input.csv'):
    converter.convert('input.csv', 'output.json')

开发

安装开发依赖

git clone https://github.com/jameshuh/dataflow.git
cd dataflow
pip install -e .[dev]

运行测试

pytest tests/

许可证

MIT License

作者

James H. - 独立开发者

贡献

欢迎贡献!请查看 CONTRIBUTING.md 了解详情。

捐赠

如果这个工具对你有帮助,欢迎支持开发:

定制开发服务

需要特定功能或定制化解决方案?我提供专业的数据转换和处理开发服务:

服务内容

  • 定制转换规则: 复杂字段映射、数据清洗、格式转换
  • 批量处理脚本: 大规模数据自动化处理
  • API 集成: 与现有系统无缝集成
  • 性能优化: 处理百万级数据的性能调优
  • 私有部署: 企业级定制和私有化部署

为什么选择定制服务

  • ✅ 基于成熟的开源项目,降低风险
  • ✅ 快速交付(通常1-3天)
  • ✅ 源代码交付,完全可控
  • ✅ 技术支持和维护

联系方式

欢迎咨询,免费评估需求!

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

dataflow_converter-0.1.0.tar.gz (8.9 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

dataflow_converter-0.1.0-py3-none-any.whl (10.5 kB view details)

Uploaded Python 3

File details

Details for the file dataflow_converter-0.1.0.tar.gz.

File metadata

  • Download URL: dataflow_converter-0.1.0.tar.gz
  • Upload date:
  • Size: 8.9 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.2.0 CPython/3.9.6

File hashes

Hashes for dataflow_converter-0.1.0.tar.gz
Algorithm Hash digest
SHA256 fba2ce10f76b905533804aeeae91d704d8aa0acea093b3a6f460a146ab96b7ea
MD5 83addf1e606042d8bca41a30f4c3ed3e
BLAKE2b-256 c7331767eb2e398ea293f92951a9f521daa7d7c6109cb81ee724140636df4b7d

See more details on using hashes here.

File details

Details for the file dataflow_converter-0.1.0-py3-none-any.whl.

File metadata

File hashes

Hashes for dataflow_converter-0.1.0-py3-none-any.whl
Algorithm Hash digest
SHA256 4e4961fadaa461e6812662d0b7691ae5c262817efb9feb200d75c553762e08d4
MD5 6aa04b38fb4fb790a578065f54027163
BLAKE2b-256 e80658d01f6b4d7f9aa0dab89cb082292a3a5ea372daa071ea260d35008c668a

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page