SQLite CDC 同步引擎

SQLite CDC 同步引擎是一个 Python 库和 CLI 工具，用于将 SQLite 数据库的变更实时同步到 MySQL 或 Oracle 数据库。 代码由Claude Code + Kimi-K2.5 + spec-kit 生成，人工进行少量微调与验证，用于体验Vibe Coding能力，同时作为小规模场景下生产环境使用。

特性

• CDC 变更捕获: 通过审计日志表捕获 SQLite 数据变更
• 双模式同步: 支持存量数据全量同步和增量实时同步
• 多目标支持: 可同时同步到多个 MySQL/Oracle 目标库
• 字段映射: 支持字段名映射和值转换
• 最终一致性: 断点续传、幂等写入保证 exactly-once 语义
• CLI + 库: 既可作为命令行工具使用，也可作为 Python 库集成

快速开始

安装

pip install sqlite-cdc

命令行使用

# 生成配置模板
sqlite-cdc init sync.yaml

# 执行同步（存量 + 增量）
sqlite-cdc sync --config sync.yaml --mode full

Python 库使用

import asyncio
from sqlite_cdc import SyncEngine, load_config

async def main():
    config = await load_config("sync.yaml")
    engine = SyncEngine(config)
    await engine.start()

if __name__ == "__main__":
    asyncio.run(main())

配置示例

source:
  db_path: "./app.db"
  tables: ["users", "orders"]

targets:
  - name: "mysql_prod"
    type: "mysql"
    connection:
      host: "localhost"
      port: 3306
      database: "backup"
      username: "${MYSQL_USER}"
      password: "${MYSQL_PASSWORD}"

mappings:
  - source_table: "users"
    target_table: "users_backup"
    field_mappings:
      - source_field: "email"
        converter: "lowercase"

batch_size: 100
checkpoint_interval: 10

文档

• 快速开始指南
• API 参考
• 配置详解

开发

# 安装开发依赖
pip install -e ".[dev]"

# 运行测试
make test

# 代码检查
make lint

# 格式化代码
make format

许可证

MIT License