silprespec-emulator — 前置规范效果实验台

通用实验台：从 8 种前置规范方式中选择/裁剪，对输入真实执行（LLM 真填空），观测填入内容、重试次数、撑满失败、重现性。不替用户选方式，只管执行并产出可观测结果。

版本：0.3.2b3 | 作者：wUwproject | 许可证：Apache 2.0

目录

• 一、它是什么
• 二、环境要求与依赖
• 三、启动
• 四、命令行参数
• 五、8 种前置规范方式
• 六、观测结果
• 七、配置详解
• 八、界面
• 九、目录结构
• 十、边界说明

一、它是什么

按方法论（08a 前置规范>后置验证 / 08b 填空的边界 / 08c 槽位的减法 / 09b 穷举一致性）设计的前置规范效果实验台。用户根据自己的场景选择一种或多种前置规范方式、自由裁剪配置，对输入真实执行（LLM 真填空），观测每种方式填入了什么、重试几次、是否撑满失败、并行下重现性如何。

二、环境要求与依赖

• Python 3.11+（setup.bat 启动时检测）
• 仅标准库（http.server / threading / json / urllib），无第三方 pip 依赖（见 requirements.txt）
• LLM 由外部后端服务提供：LM Studio（默认 http://localhost:1234）/ Ollama（http://localhost:11434）/ 任意 OpenAI 兼容 API

三、启动

• 一键启动（bat）：双击 setup.bat（端口 8805）
• 命令行（Web UI，默认行为）：python main.py（默认 LM Studio）、python main.py --backend ollama
• 批处理：python main.py --batch input.json output.json

四、命令行参数

五、8 种前置规范方式

空坐标形态（每种可配）：点对点 / 点对面 / 面对面

六、观测结果

• 填入了什么（实际填空内容——门禁填了哪个词、凝练成什么、槽位填了什么）
• 重试次数（是否撑满 max_retry）
• 撑满失败次数
• 命中/留空/编造分布
• 重现性：并行 N 次各方式跨 run 填入一致率

七、配置详解

配置优先级：代码级默认 < config.json 用户持久化 < 命令行参数（LLM 创建永远从 config 读取，不硬编码）。

config.json 结构（代码级默认值，见 config_manager.py 的 DEFAULT_CONFIG）：

{
  "llm": {
    "backend": "lm-studio",
    "base_url": "",
    "model": "",
    "api_key": "not-needed",
    "timeout": 120,
    "max_tokens": 4096,
    "temperature": 0.7
  },
  "parallel": 5,
  "custom_templates": []
}

后端默认地址（BACKEND_DEFAULTS）：lm-studio → http://localhost:1234；ollama → http://localhost:11434；custom → 空（需自填 --base-url 或 config）。

八、界面

深色主题，三 Tab：配置（方式多选 + 各方式 JSON 配置）/ 运行（输入 + 并行数）/ 结果（填入内容 + 重试 + 撑满 + 重现性）。

九、目录结构

silprespec-emulator/
├── main.py / setup.bat / requirements.txt
├── config.json             # 持久化配置（配置推动）
├── data/experiment.json
└── silprespec_emulator/
    ├── config_manager.py   # ConfigManager + DEFAULT_CONFIG（配置推动）
    ├── pipeline_model.py   # 8种方式配置 + 结果模型 + 重现性
    ├── simulator.py        # 执行引擎 + 8种方式真实执行器
    ├── llm_client.py       # 多后端 LLM
    └── web_ui.py

十、边界说明

• 8 种都是前置规范；后置验证（任务完成后对全量结果的验证）不在本系统
• 本系统不替用户选方式——用户按自己场景裁剪，系统只管执行并产出可观测结果