autotest-agent

AI 驱动的 Python 单元测试生成工具。输入源码，自动生成 pytest 测试，沙箱验证，失败自修复。

当前架构（2026-08）

CLI → Orchestrator.run(source)
  ├─ 文件级 (默认): 每个 .py 文件 → 一个 agent
  └─ 组级 (AUTOTEST_GROUP=on): 项目函数 → 依赖图 → 社区检测分组 → 每组一个 agent

Agent 循环 (AUTOTEST_PIPELINE=fixed 时启用, 无 LLM 决策):
  generate_test → run_test → fix_test(收敛刹车) → get_coverage → done
默认 ReAct (LangChain React agent): LLM 自主迭代, recursion_limit 上限

依赖分组 (A2):
  DependencyGraph.build() 建跨文件边 → GroupBuilder 社区检测分组
  → DepGroup 拓扑排序合并源码 (被依赖方在前) → LLM 看完整因果链

组间并行 (B2):
  asyncio.gather 并发跑每组
  tools.py 模块全局 → ContextVar, 每组独立状态, 无串扰

核心能力

质量评估（cerberus 46 组，历史数据）

关键洞察：覆盖率 93.9%（行覆盖）与突变杀死率 33.7%（行为覆盖）的巨大差距，说明测试走到大多数代码行，但只验证了 1/3 的操作符行为。这是"断言深度不足"的量化证据——prompt 应更强调对每个操作符分支写具体断言，而非仅让测试跑通。

评估工具：evaluate_generated.py 9 维评估，支持通过率/覆盖率/突变/幻觉/黑盒/模块/重复/断言/盲区。

用法

# 安装
pip install -e .

# 配置 API key (推荐环境变量; 或写 autotest.yaml 的 llm.api_key)
export DEEPSEEK_API_KEY=sk-xxx

# 文件级生成
autotest generate ./src/ --coverage 80

# 组级生成 (依赖分组 + 并行)
AUTOTEST_GROUP=on autotest generate ./src/ --coverage 80

# 预览
autotest generate ./src/ --dry-run

对比

• 固定管道 vs ReAct: 固定管道快 8x (5轮封顶), ReAct 覆盖率略高 (LLM 自主迭代)。默认走 ReAct；固定管道用 AUTOTEST_PIPELINE=fixed
• 组级 vs 文件级: 组级根治跨文件盲区 (LLM 看完整依赖链), 文件级简单。组级用 AUTOTEST_GROUP=on

项目结构

src/autotest/
├── cli/               # CLI 入口 (generate / config)
├── analyzer/          # AST 解析、依赖图、分组、introspector
├── agent/             # ReAct agent、固定管道引擎、工具、ContextVar 状态、沙箱
├── llm/               # LangChain/DeepSeek Provider、PromptTemplate、middleware
├── config.py          # 配置模型 (llm/agent/execution/output)
└── orchestrator.py    # 文件级 + 组级调度
test_projects_real/    # cerberus 真实项目 (验证用)
generated_tests/       # 生成测试输出
run_cerberus.py        # cerberus 全量生成脚本
evaluate_generated.py  # 9 维质量评估
_deprecated/           # 历史死代码归档 (含 checkpoint/rate_limiter/edge_detector/mock_constructor 等)

注：早期设计模块（edge_detector、mock_constructor、metrics、output、verify、sdk、trace、plugins、rate_limiter）已归档到 _deprecated/，未参与主流程。

License

MIT