EconLab · 异质 LLM 主体经济实验沙盘
一个以 c-ABM(completely Agent-Based Modeling) 七条原则为设计目标、可插拔、可复现、带会计双通道校验的 LLM 多主体经济实验室。
- 方法论来源:Leigh Tesfatsion 的 ACE: A Completely Agent-Based Modeling Approach,以及本项目上传的《ACE 范式下的 LLM 异质主体经济沙盘:分级实施大纲》。
- 默认真实后端:MiniMax M3.1-Flash-Preview(OpenAI-compatible Chat Completions,已实测可用)。
- 可选免费后端:本机 DSH 插件 our-free-model 的 loopback forward(模型别名
kilo-auto/free),只用于零成本管线 smoke,不进入 MiniMax 证据链;见docs/FREE_MODEL.md。 - 设计目标不是“让 LLM 扮演经济学家回答题”,而是让异质主体在一个价格与交易必须从主体行为中涌现的世界里反复决策。
1. 五分钟跑通
1.1 环境
项目已在 Windows + Python 3.11 下验证;依赖:
cd "C:\Users\HarryXu\Desktop\LLM_economy_lab_micro¯o"
python -m pip install -r requirements.txt
不安装也可以直接运行,当前 bundled Python 已带 numpy / pandas / matplotlib / statsmodels / PyYAML / requests。
1.2 先跑离线 mock(不花钱,验证整条管线)
python -m econlab run configs/ultimatum_mock.yaml --root runs
python -m econlab dashboard --root runs
python -m econlab serve --root runs --port 8765
打开 http://127.0.0.1:8765/dashboard.html,再点进某次实验的 report.html。
mock 后端是确定性人格启发式,不是语言模型;报告会显示醒目的“离线 mock”横幅。它只用于检查 prompt → 解析 → schema 校验 → 内核 → 会计 → 报告这条链。
1.3 跑真实 M3.1
# 方式一:环境变量
$env:MINIMAX_API_KEY="sk-..."
# 方式二:本地 .env(已 gitignore;CLI 启动时自动加载,已存在的环境变量优先)
Copy-Item .env.example .env # 然后填入 key
python -m econlab probe-api
python -m econlab run configs/ultimatum_llm.yaml --root runs
# 一次跑完两个预注册 live 实验并做 artifact 级核验:
python scripts/live_evidence.py
- 端点:
https://api.minimaxi.com/v1/chat/completions - 模型:
MiniMax-M3.1-Flash-Preview(API 返回的 model 字段为MiniMax-M3.1-Flash) - M3.1 默认强制 thinking,
reasoning_content与最终content分开;本项目显式设置max_tokens,避免推理把输出预算吃光。 - 预算有硬上限:
max_usd / max_calls / max_tokens,超限记为budget_exceeded,不会静默继续烧钱。
1.3b 可选:our-free-model 免费车道
不花 API 费用的另一条真实 LLM 路径:本机 DSH 插件 dsh-our-free-model 启用 loopback forward 后,EconLab 用 provider: openai_compatible 直接调用它。
python scripts/free_model_forward.py status # 查看插件/forward 状态(只读)
python scripts/free_model_forward.py enable # 启用 127.0.0.1:18899
python scripts/free_model_forward.py env # 把 forward key 写入本地 .env(不打印)
python -m econlab run configs/ultimatum_llm_free.yaml
- 前提:DSH 桌面宿主正在运行;forward 只绑定 loopback,不暴露局域网。
- 模型
kilo-auto/free是网关别名,上游可能变化;catalog 中其他免费模型未全部验证(部分需要 Bun,本机未安装)。 - 已跑 3 seeds × 3 periods smoke:3/3 verify pass,18 calls / 46,844 tokens / $0,报价 0.500/0.433/0.483(mean 0.4722)。只是管线/成本证据,不是行为结论,也不进入 MiniMax 汇总;免费上游可能记录 prompt,勿发敏感数据。详见
docs/FREE_MODEL.md。
1.4 交互式实验设计台
python -m econlab ui --root ui_runs --port 8766
打开 http://127.0.0.1:8766/。MiniMax API key 由页面顶部的 MiniMax API Key 密码框输入,
仅在该次任务的内存中使用;不写入 job.json / config.yaml / artifacts / 日志,也不使用服务器
环境变量作为默认值。刷新页面或关闭服务后需要重新输入。
可以:
- 场景卡片选场景,自动带出中文说明、设计提示、分组参数与预设主体;支持深链
/?scenario=macro; - 参数设置带完整可读性:中文名 + 键名 + 单位 + 默认值 + help(是什么)+ impact(调高会怎样);
rate 类按 % 显示(
0.20↔ 20%),金额类按分→≈¥实时换算;按组折叠,支持搜索、 只看已修改、恢复默认/整组默认;高级参数默认收起; - 增删主体、改 count/policy/persona/memory/tools(persona/params JSON 实时校验与格式化,tools 点选 chips);
- 用参数路径 + 逗号取值生成 variants(带预览 chips);
- 校验配置、估算成本、后台运行、轮询进度、打开报告;运行队列含冻结 YAML 下载与详情/日志;
- 跑完后在运行队列直接点 逐期财务 ↗,逐个主体看它每一期的财务状况;
- 载入
configs/*.yaml或导入/导出 JSON; - LLM 模式:探测可用模型与思考档位 → 选模型 → 按「主体模板 × 模型 × 记忆 × 思考强度 × 数量」分组; 每组可单独覆盖模型(同一实验并排比较两个后端),分组结果直接走同一条内核校验/运行路径;
- 插件场景:通过
econlab.pluginsentry point 安装的第三方场景自动出现在卡片列表,带 「插件 · 包名」徽标与 capabilities/源码模块信息;顶栏显示插件数与加载失败数。
点击“运行实验”时若选择 minimax 且有 LLM 主体,页面会要求先输入 API key;选择 mock 不需要 key。
UI 是本地单用户工具,只绑定 127.0.0.1。
设计台、报告页与 dashboard 共用同一套设计 tokens,并跟随系统深色模式。实现、参数元数据
契约与扩展方式见 docs/UI.md。
1.5 一条命令做一次“真实 + 可复现”的实验
python -m econlab validate configs/ultimatum_llm.yaml
python -m econlab estimate configs/ultimatum_llm.yaml
python -m econlab run configs/ultimatum_llm.yaml --root runs --resume
python -m econlab verify archive/legacy_live_runs/ultimatum_minimax_m3_1/baseline__s1
python -m econlab replay runs/ace_labor_market_demo/demo__s1
verify现在是 artifact 级核验器:从transactions.jsonl/stock_flows.jsonl/events.jsonl/config.json/initial_state_frozen.json重算,不读metrics.json的自报结果。退出码0= 通过、2= 不一致、3= legacy;修复前生成的 run 缺少 provenance / event 链接字段,会被标记为 legacy(exit code 3),请用新代码重跑后再核验(上面示例中的 live run 若仍是修复前产物,也会返回 3)。
replay是完整仿真重放:从turns.jsonl重建 recorded Action 流,用同一份代码重新执行每个 period/phase 的 validate / handle_action / settlement,再逐通道比较 events、transactions、stock flows、turns、证据链、series、metrics 与 checkpoint。它不调用 LLM,也不重放 policy 私有记忆。现代 artifact 可 exact replay;schema 演进前的旧 macro artifact 不保证逐字节复现。用法、16 项检查与样例见docs/REPLAY.md。macro 生成版本(v10,2026-11-17):省略
model_version的新 macro 配置默认macro-v10-output-labor-demand(M3-1 劳动市场修复:firm 目标纳入 output/inventory 通道、分离需求随机取整、被分离者一期搜索滞后;strict labour-market 默认继续开启)。仓库内 16 个 pre-v9 历史配置仍显式 pin 为macro-v8-legacy,v9/v8 逐位保留可重跑;已冻结的backtest_macro*.yaml未改,若重跑旧生成必须显式加model_version: macro-v8-legacy。v10 的 5-seed 主结果、事件契约与 H3 v8/v9 回归见docs/prereg/MACRO-M3-001-v10-labor-market.md与audit/findings/M3-001-v10-labor-analysis.md;v9 迁移的 10 个 primary run、E0–E3 与 literal-script-v2 vs corrected decision 见docs/ENGINE_MIGRATION.md(v9 现为历史生成)。
2. 实际跑出来的结果(不是示意)
本仓库的 runs/ 下有已完成的可复查运行:
| 实验 | 后端 | 规模 | 结果 | 成本 |
|---|---|---|---|---|
ultimatum_minimax_m3_1 |
MiniMax M3.1-Flash-Preview | 5 seeds × 3 periods × 1 pair | 5/5 种子报价份额 0.50(sd=0),接受率 1.00;compliance=pass,6/6 verify pass(新格式) | 30 次调用 / 43,221 tokens / $0.0106 |
ultimatum_llm_tools |
MiniMax M3.1-Flash-Preview | 2 seeds × 3 periods × 1 pair,tools=calculator/history_stats | 报价 0.50、接受率 1.00,与无工具臂相同;模型 0 次工具调用(只让 prompt 变长约 30%),compliance/verify pass | 12 次调用 / 22,074 tokens / $0.00702 |
ultimatum_llm_memory |
MiniMax M3.1-Flash-Preview | 4 probes(none/clear/shuffle/placebo)× 2 seeds × 5 periods,buffer memory | 8/8 run 报价 0.50、接受率 1.00;三种记忆干预均无可检测差异 → 记忆结论作废(memory_probe.py 判定),compliance/verify pass |
80 次调用 / 139,625 tokens / $0.044152 |
engel_llm_live |
MiniMax M3.1-Flash-Preview | 16 户(12 rule + 4 LLM)× 6 期 × 2 seeds | 全样本弹性 0.950,但 LLM 子样本弹性 ≈1.00、份额恒 0.600 → 未复现 Engel 定律(事后分析脚本),compliance/verify pass | 58 次调用 / 188,962 tokens / $0.089941 |
ultimatum_llm_ablation |
MiniMax M3.1-Flash-Preview | 4 个累积臂(baseline/+config/+memory/+tools)× 2 seeds × 3 periods | 8/8 compliance+verify pass;48 calls、无 repair;prompt token 随累积上升(6,941→10,910/run),但各臂报价 0.500、接受率 1.000、工具 0 调用 → 只作成本/结构样本 | 48 次调用 / 78,764 tokens / $0.025267 |
ultimatum_minimax_m3 / ..._text01 |
MiniMax-M3 / MiniMax-Text-01 | 同协议 5 seeds × 3 periods,各 5 runs | M3 报价恒 0.50(sd=0);Text-01 报价 0.433–0.583(mean 0.4767,sd 0.0619);acceptance 全 1.00;10/10 verify pass;三后端移动表见 BACKEND_SENSITIVITY.md | 60 次调用 / 约 $0.0227 |
ultimatum_free_kilo |
our-free-model 2.8.0 本地 forward → kilo-auto/free(免费网关) |
3 seeds × 3 periods × 1 pair | 3/3 verify pass;报价 0.500/0.4333/0.4833(mean 0.4722,sd 0.0347)、接受率 1.00;上游别名采样有方差,但仅 smoke,不作行为结论 | 18 calls / 46,844 tokens / $0.00 |
macro_backend_{m3,m31,text01} |
MiniMax-M3 / M3.1-Flash-Preview / Text-01 | 2 LLM 家庭 + rule 企业/政府/央行,16 期 × 1 seed × 3 后端 | 三相关全负但移动明显:okun −0.694/−0.597/−0.646,phillips −0.789/−0.900/−0.781,mean_output 6.31/5.81/8.19;3/3 verify pass;失业率 17.5–41.3% 病态,均值不可读作宏观水平 | 135 次调用 / 614,438 tokens / $0.41373 |
ultimatum_existence_ladder |
zero / rule / LLM | 3 臂 × 5 seeds × 3 periods | zero 0.466(0.385–0.571)、rule 0.450、LLM 0.500;eta2 variant 0.196 < seed 0.209 → 与种子噪声同量级;15/15 verify pass | 30 次调用 / 约 $0.01 |
ultimatum_factorial_live |
LLM | factors memory[none,buffer5] × knowledge[full,ablated],3 seeds × 3 periods | 12/12 全部 0.500/1.000 → factor ANOVA degenerate(无方差可分解);12/12 verify pass;负结果 | 72 次调用 / 约 $0.014 |
l1_002_architecture(M4-1) |
MiniMax-M3.1-Flash / DeepSeek-flash | 3 臂(zero / single_controller / multi_agent)× 5 seeds × 3 periods × 5 pairs;主面板 15 runs + DeepSeek 敏感性 15 runs | partial_support(L1 2/3):H2 支持(对人类的均值差 +0.078 CI [0.055,0.097]、拒绝率差 −0.147 CI [−0.16,−0.12]、5/5 非退化);H3 支持(η²_agent 0.752 vs η²_seed 0.041、置换 p=0.0002,zero 对照 p=0.226);H1 未复现(multi 与 single 均值同为 0.478,逐 seed 仅 3/5 更接近人类 0.40、距离差 −0.004 CI [−0.02,0.014]);30/30 verify pass |
主面板 303 calls / 536,928 tokens / $0.1971;DeepSeek 301 calls / 469,921 tokens / $0.1564 |
l2_002_factorial(M4-2) |
MiniMax-M3.1-Flash | 2×2×2 正交因子 existence(LLM/rule)× memory(none/buffer5)× knowledge(full/ablated)× 5 seeds × 6 期 × 3 对;主面板 40 runs + 记忆探针面板 20 runs | partial_support(L2 1/3):H1 存在性支持(LLM vs rule 的报价份额差 +0.0735,CI [0.0669, 0.0792],seed noise 0.0082,5/5 同向);H2 记忆未支持(+0.0097,CI [0.0033, 0.0169] 排除 0 但 **seed noise 0.0112 > |
点估计 |
evidence_pipeline + claim_ledger(M4-4/M4-5,2026-11-17) |
审计工具(无新 run) | 932 runs(current 405)/ 41 份预注册 / 20 条 claim | 证据合规流水线:current 405/405 合规(R1 生成时签名 / R2 engine+model_version / R3 treatment / R4 预注册链接)、预注册 41/41、batch l3_003_macro / l3_003_engel 各 10/10 verify;strict-v2 预注册 run 缺 model_version/world.treatment 在 run 前即 ConfigError。claim ledger:20 条(supported 4 / partial 4 / not_supported 6 / descriptive 1 / engineering 4 / unverified 1),逐条含 prereg+finding 双证据,--check 与 Markdown 逐字节一致;负结果全部入账 |
0 |
l3_003_macro + l3_003_engel(M4-3) |
MiniMax-M3.1-Flash | macro:rule / LLM 两臂 × 5 seeds × 40 期(6 个 LLM 决策主体 + rule 家庭/政府/央行);engel:rule / LLM 两臂 × 5 seeds × 40 期(8 个 LLM 消费者 + 4 rule anchor);两面板各 10 runs | l3_not_supported(L3 1/4):H4 Engel 支持(LLM 必要品收入弹性 0.7477 CI [0.5986, 0.9205]、份额-收入斜率 −0.0600 CI [−0.0812, −0.0242],4/5 种子满足 0<弹性<1 且斜率<0);H1 Phillips 未支持(2/5 为负,点估计 −0.0033 CI [−0.0439, 0.0458])、H2 Okun 未支持(3/5,−0.0290 CI [−0.0537, −0.0044])、H3 Beveridge 未支持(0/5,+0.1746 CI [0.0826, 0.2624]);rule 臂 H1/H2/H4 呈期望符号、H3 因 macro-v10 构造为正(不作涌现证据);20/20 verify pass;2 个种子退化指标显式标红 |
macro 1,208 calls / 3,642,585 tokens / $1.2379;engel 1,601 calls / 5,922,904 tokens / $1.9473;合计 $3.1852(另有 402/529 失败重试约 $1.1–1.3) |
l4_010_realtime_vintages(M5-1/M5-2) |
rule/mechanism(macro-v8-legacy,200 户) |
12 个美国实时 vintage episodes(Philadelphia Fed RTDSM)× 20 seeds = 240 成员;4 期 warmup + 8 期评估;forecast 冻结后才读实际值 | l4_010_not_supported:H1 校准未达成(gdp_yoy 80% 区间覆盖率 0.4896,目标 0.80–0.90;PIT mean 0.4714;MAE 13.8268 vs naive 3.2978);H2 技能未达成(skill>0 目标 0/3:gdp −3.1928、du −0.6001、pi −3.5394);设计门禁(12 episodes 窗口不交/vintage 唯一/无重复 episode/每 episode 20 成员且非退化)全部通过;v2 重跑 score.json 与 attempt-1 逐字节相同 |
$0(rule-only、无 API;runtime 4655.172s) |
l4_011_llm_arms(M5-3/M5-4) |
MiniMax-M3.1-Flash / MiniMax-M3 / MiniMax-M2.7 / deepseek-flash / deepseek-v4-pro(2 个后端) | macro LLM 臂:17 主体(6 LLM)× 2 个 vintage episodes × 5 seeds = 10 runs;ultimatum_architecture multi_agent:5 个模型身份 × 5 seeds = 25 runs | l4_011_llm_arms_supported(M5-3 + M5-4 达成):35/35 verify pass 且签名范围 generation、compliance 全 pass、fallback 0;H1 技术门禁 supported(两场景 LLM 臂各 5 seeds 签名通过);H2 身份敏感性 supported——池化种子噪声 0.013036,最大身份差 minimax_m27 vs deepseek_v4pro gap 0.0300(95% CI [−0.0433,−0.0167])、为种子噪声的 2.30×,η² identity 0.5083 / backend 0.4631、ANOVA F 5.168 p=0.0050;macro LLM 描述评分 gdp skill −3.2767(仅描述、不参与判定) |
合计 1,490 calls / $0.9938(macro 734 calls $0.5897 + ultimatum 756 calls $0.4041) |
m6_replay_panel(M6-1/M6-3,2026-11-18) |
rule/mechanism(无 LLM、无 API) | 20 个内置场景 × 5 seeds(901–905)= 100 runs;每个 run 完整重放全部 period | m6_3_replay_supported:100/100 replay pass、100/100 per-period material-state 链逐项复现、原始链 100/100、0 结构违规、0 覆盖违规;每期 material state 的 ledger/stock-flow/state 变化必须由同期交易/库存流/事件闭合(period_state_closure hard compliance);ACE 再审计 5 PASS / 2 PARTIAL / 0 FAIL,G5 未通过(laws-as-agents 未完成) |
0(rule-only) |
macro_sfc_ext |
规则主体 | 40 periods × 3 seeds,贷款偿还/欠息 + 三部门 SFC | 3/3 verify pass;政府/央行/企业残差全 0;默认轨迹 0 差异 | 0 |
transfer_{ultimatum,public_goods} |
MiniMax M3.1 | 4 personas × 2 games × 2 seeds | live 迁移 Spearman=1.0 但 n_matched=2 → INSUFFICIENT_N,external_validity=False;4/4 live verify pass | 61 次调用 / 约 $0.03 |
macro_advanced_finance |
规则主体 | 40 periods × 3 seeds,商业银行 + 政府债券 + SFC/资金流量矩阵 | 3/3 verify pass;ff 存量/流量矩阵行和残差 = 0、银行/债券/部门恒等式全 0;默认关闭时既有轨迹 0 差异 | 0 |
macro_full_sfc |
规则主体 | 40 periods × 3 seeds,银行+债券+投资+完整 FoF | 3/3 verify pass;ff_full_matrix / ff_full_flow / sector_saving_investment 残差全 0;总净财富=资本 book value;不是 DSGE | 0 |
l4_backtest(欧元区 2008-09,无条件) |
规则主体 | 真实初值(ECB)→8 期,确定性修复后重跑 | 负面/弱:Δu 1/2(n=2)、ΔHICP 5/8、GDP 3/6;累计 Δu +2.70 vs 0.00、ΔHICP −2.47 vs +0.02(不一致);nMAE 1.14/0.85/4.71 | 0 |
l4_backtest_conditional(2008/2020/2011) |
规则主体 | 真实 GDP 反推 demand 路径(预注册 v2),3 episodes × 4 runs | mixed_weak:pooled Δu 8/15=0.533、Δπ 17/29=0.586、z 相关 −0.18/+0.15、水平 nMAE 7.40/2.02;GDP 输入匹配差(clip 75–83%)→ 历史复现未达成 | 0 |
policy_experiments |
规则主体 | 5 treatments × 10 seeds × 40 periods(macro_full_sfc 全开) | 50/50 verify pass;SFC gate PASS(0/50 残差>1e-9);fiscal_expansion output +4.7% 但 household consumption −10.1%/W1_pc −7.9%(政府购买挤出消费)、high_tax output −2.9%/debt −9.5%、tight_reserves 实际指标 0(仅 reserves↔cb_lending 互补 34 万)、high_policy_rate bank profit 符号翻转;模型内福利代理≠规范福利;LOO/bootstrap 仅描述性 | 0 |
l4_backtest_conditional_v3(2008/2020/2011) |
规则主体 | dual-channel demand+productivity(预注册 L4-002),30 底层 run | 仍 mixed_weak:pooled Δu 7/14=0.500、Δπ 13/29=0.448、z +0.010/+0.225、水平 nMAE 8.43/1.90;conditioning_failed 58%、g2 split_dependent 触发;双通道未改善条件化质量;独立交叉核对 175/175 PASS | 0 |
macro_interbank |
规则主体 | 40 periods × 3 seeds,银行+债券+投资+完整 FoF+P9(同业/期限结构/信用风险/资本约束) | 3/3 verify pass;旧矩阵/完整矩阵/流量/储蓄-投资/银行平衡残差逐期 0;同业敞口 329–338k、短/长债 1.34–1.60M、NPL 24–36%、资本率 4.5–45%;默认关闭时 80 期对拍 0 差异;仍不是 DSGE | 0 |
l4_backtest_identified_v4(2008/2020/2011) |
规则主体 | 第二外部信号(Eurostat 消费)+ 2×2 数据反演(预注册 L4-003),21 底层 run;artifact 7d6b42c3…(元数据修复版,交叉核对 v4 记录项已闭环) |
h0_retained(负面):pooled Δu 8/15=0.533、Δπ 10/29=0.345、z +0.018/−0.448、水平 nMAE 10.08/2.65;2×2 识别失败(B_t 奇异/cond≈1e8、 ridge 0 季启用、fallback 主导)→ 第二信号未改善复现;独立交叉核对进行中 | 0 |
l4_backtest_identified_v5(2008/2020/2011) |
规则主体 | GDP+GDP 平减指数(Eurostat PD15_EUR)2×2 数据识别(预注册 L4-004),21 底层 run;artifact 5cc2d3a5…(独立交叉核对 267/267 PASS) |
h0_retained(E0 pass,负面):pooled Δu 方向 6/11=0.545、u 水平 nMAE 10.58、episodes 1/3;2×2 这次满秩启用(ridge 8/12/12 季、fallback 0)但两 target 输入匹配差(GDP nMAE 3.2–12.9,平减 2.4–22.4)→ u 仍未复现;π 仅作 polluted 诊断 | 0 |
l4_backtest_identified_v6b(2008/2020/2011) |
规则主体 | v6b 增强模型(200h×32f,劳动需求+消费动态+产能/初始库存修复;预注册 L4-006),21 底层 run;artifact af51592c…(交叉核对 395/395 PASS) |
mixed_weak(部分复现):pooled Δu 方向 18/23=0.783、3/3 episodes≥0.5 达标;u 水平 nMAE 15.09 失败(条件化路径把 u 推到 31.5–43pp,layoffs 53–73)→ 方向改善但水平未复现;ridge 8/8/8、fallback 0;π 仅污染诊断 | 0 |
l4_backtest_identified_v7(2008/2020/2011) |
规则主体 | v7 水平锚定模型(200h×32f,employment_level_anchor_enabled + elasticity 0.50;预注册 L4-007)+ GDP-only 序贯 1×1 识别(productivity≡1.0),15 底层 run;artifact 640430f8…(MD 元数据修正版 89b0695f…;独立交叉核对 10/10 PASS) |
mixed_weak(部分复现):pooled Δu 方向 17/22=0.773、3/3 episodes≥0.5 达标;u 水平 nMAE 1.176 未达 1.0 阈值(较 v6b 15.09 降 12.8×;模型 u 峰值 9.5/13.0/10.5pp;conditioning_failed 0/0/0)→ H1 不支持、非 H0;GDP 输入精确匹配(gate pass)但不能宣称历史复现 | 0 |
l4_backtest_identified_v8(2008/2020/2011) |
规则主体 | v8 500h×32f 更细网格(预注册 L4-008,0.2pp),15 核心 run + 10 elasticity 诊断;artifact a0fc6c46…(独立交叉核对 250 项 0 FAIL) |
仍 mixed_weak:pooled Δu 20/27=0.741、3/3 episodes≥0.5;u 水平 nMAE 1.439 失败(比 v7 1.176 更差,比无条件 0.921 差 56.4%);方向包络 [0.667,0.833] 稳健通过、水平包络 [1.289,1.590] 稳健失败;elasticity 0.35/0.65 因冻结 identity 自检 false 记为 INVALID_IDENTITY / 非确认性 → 更细网格仍未复现历史 | 0 |
l4_v7_boundary_checks(post-hoc) |
规则主体 | seed 稳健性 3 runs(ea_2008,12 期)+ 量化分辨率分析(读冻结 artifact 640430f8…) |
3/3 verify pass;3 seeds 全序列逐位相同(config 无随机项,seed 噪声恰为 0);u MAE 0.2917pp / nMAE 0.2590 / Δu 6/6;200 户 0.5pp 网格下 u 水平 nMAE 逐点 ±0.25pp 区间 [0.8557,1.5524] 含阈值 1.0、方向 tie 区间 [0.5312,0.7500] 含 0.65 → recorded decision 不改,但该分辨率不足以分辨 H1/H0,需预注册更细网格(L4-008 已完成:500 户/0.2pp,仍 mixed_weak,见 §20) | 0 |
ultimatum_multimodel_{20261109,20261109b} |
13 个免费车道 + MiniMax M3 | 2 个冻结快照;计划 66 runs,完成 24 / 9 个模型身份 / 7 个完整 3 seeds(A 19、B 5) | availability-conditioned 描述性复制:complete eta²=0.545、pooled within sd=0.02546;模型均值 0.30–0.50,多模型饱和到 0.50;A 20×429+3×403、B 4×429+1 partial;不是模型能力排名、不是外部效度;24/24 verify pass | 免费 $0 + MiniMax 3 runs 约 $0.0064 |
public_goods_mekvabishvili_mock |
mock | 10 players × 10 期 × 3 seeds(与人类 4 人固定组/10 轮设计刻意错配) | 3/3 verify pass;first 0.6133 vs 人类 0.7885(W1 0.2089)、mean 0.3132 vs 0.7397、last 0.0283 vs 0.6188、slope −0.0700 vs −0.0133;设计错配 + 同质规则,不构成外部效度;人类基准见 data/human_benchmarks/public_goods_mekvabishvili2021.json |
0 |
binary_ultimatum_{rule,mock,live} |
规则 / mock / MiniMax M3.1 | 3 臂 16 runs(rule/mock 各 6、live 4;2 seeds × low/high effort) | 16/16 verify pass;OSF wphqm 人类 15 指标描述性对照:live proposer reveal 0.9750 vs 人类 0.6977、responder case1 接受 0.0000 vs 0.5172(超公平拒绝)、case2 均 100%(结构性);live 仅 2 seeds × 2 effort、effort 无成本,不构成外部效度 | live 123 calls / 292,494 tokens / $0.1252 |
dsge_benchmark |
DSGE 基准(独立模型,非 run) | 小型 NK 3 方程(IS/NKPC/Taylor)+ ABM IRF 对比 | 无 p 值/因果:4/4 维度冲击当期同号、平均 shape corr +0.646;需求→通胀 +0.824,需求→产出 +0.234(非单调),供给向不稳健;DSGE 是独立基准,ABM 仍是 reduced-form,不可校准互比 | 0 |
macro_minimax_smoke |
MiniMax M3.1-Flash-Preview | 2 LLM households + 1 LLM firm, 2 periods, 1 seed | 管线闭合:6 次决策、无重试(max_tokens=4096 重跑;2048 时 3/6 次被 reasoning 截断),compliance=pass,verify pass;只作管线证据 |
6 次调用 / 16,136 tokens / $0.010008 |
double_auction_rule |
规则主体 | 3 buyers × 3 sellers × 6 periods × 3 seeds | CDA / uniform 两种机制,效率 0.98–1.00(修复后重跑,verify pass) | 0 |
public_goods_mock |
mock | 4 players × 6 periods × 3 seeds × 2 institutions | 贡献份额约 0.46–0.50(修复后重跑,verify pass) | 0 |
macro_calibrated |
规则主体 | 10 households × 3 firms × 80 periods × 5 seeds | Okun/Phillips/Beveridge 在 5 个种子上全部为负;mean U≈6.8%,mean π≈0.55%/季(修复后重跑,全部 compliance=pass / verify pass) | 0 |
macro_rule |
规则主体 | 10 households × 3 firms × 80 periods × 3 seeds × 3 treatments | 校准基线 + 高税/弱匹配处理组(修复后重跑,9/9 verify pass) | 0 |
macro_sfc |
规则主体 | 10 households × 3 firms × 80 periods × 3 seeds,贷款偿还 5% + 欠息清偿 | sfc_residual_max=0;3/3 compliance+verify pass;默认参数下既有轨迹不变(16 个共同列 0 差异) |
0 |
macro_phillips_sensitivity |
规则主体 | 10 households × 3 firms × 40 periods × 3 seeds × 3 处理 | Phillips 相关系数对 reduced-form 系数的敏感性表;9/9 verify pass;只作假设敏感性,不是因果识别 | 0 |
真实运行的关键事实:
-
免费车道(独立样本,不计入上面的 MiniMax 汇总):
ultimatum_free_kilo3 seeds × 3 periods,3/3 verify pass;18 calls / 46,844 tokens / $0;报价 0.500/0.4333/0.4833(mean 0.4722,sd 0.0347),接受率 1.00。这是上游免费网关的采样,不是行为结论,见docs/FREE_MODEL.md。 -
合计 60 个 MiniMax API live run / 592 次调用 / 1,520,063 tokens / $0.7592(成功 run 的 usage 估算;另有约 $0.27 因宏观首轮 200k token 预算触顶而浪费;最终账单以官方为准)。关键结果:工具臂 0 次调用工具、记忆探针对行为无影响 → 记忆结论作废、Engel 的 LLM 子样本弹性≈1 → 未表现出 Engel;M3 与 M3.1 在最后通牒上行为完全相同、Text-01 是唯一有种子方差的 LLM 后端;宏观三后端的 Okun/Phillips/Beveridge 相关移动明显(单 seed、劳动市场病态);L1 三组对照的臂间差异与种子噪声同量级;L2 factorial 在该任务上完全退化(全部 0.5);L4 跨情境迁移 n=2、明确不是外部效度。
-
M4-1(L1-002,2026-11-17):三臂架构阶梯(zero / LLM 单控制器 / LLM 多主体)× 5 seeds + DeepSeek 后端敏感性。H2/H3 成立、H1 失败 → L1 2/3
partial_support:多主体并没有比单控制器更接近人类均值(两臂均值同为 0.478,人类文献均值 0.40),但分布差异可量化、主体身份方差显著大于种子噪声。按预注册不加种子、不改 prompt;这是“架构阶梯方向效应未复现”的负结果,不能外推为“架构无关”。详见docs/LIVE_RUNS.md§1ae 与audit/findings/L1-002-architecture-ladder.md。 -
M4-2(L2-002,2026-11-17):2×2×2 正交因子(存在性 × 记忆 × 认知)× 5 seeds + 记忆探针面板。H1 存在性成立、H2/H3 未支持 → L2 1/3
partial_support:LLM 主体比 rule 主体报价高约 7.35 个份额点(CI 排除 0 且远超种子噪声);记忆(buffer5 vs none)方向为正但效应落在种子噪声内,且探针只由 placebo 臂驱动——不能宣称“记忆内容被有效使用”;通用经济知识开关无可检测差异。按预注册不加种子、不改 prompt/温度/persona;负结果与正结果同等报告。详见docs/LIVE_RUNS.md§1af 与audit/findings/L2-002-three-axis-factorial.md。 -
M4-3(L3-003,2026-11-17):macro(Phillips/Okun/Beveridge)与 engel(Engel 定律)两个 live 面板,rule vs LLM 各 5 seeds × 40 期(burn-in 8),判据为 LLM 行为臂在 ≥4/5 个 seed 上呈现期望符号。只有 H4 Engel 成立(4/5)→ L3 1/4
l3_not_supported:LLM 家庭必需品收入弹性 0.7477(CI [0.5986,0.9205])、份额-收入斜率 −0.0600(CI [−0.0812,−0.0242]);H1 Phillips 仅 2/5 负(−0.0033)、H2 Okun 3/5 负(−0.0290)、H3 Beveridge 0/5 负且全正(+0.1746,与macro-v10劳动力需求通道的构造限制一致)。按预注册不加种子、不改 prompt/温度;负结果与正结果同等报告。engelllm__s5经历 HTTP 402(充值)与多次 HTTP 529 过载,修复传输层 529 可重试后用ECONLAB_PROVIDER_MAX_RETRIES=8跑通,已在预注册 §10 披露。详见docs/LIVE_RUNS.md§1ag 与audit/findings/L3-003-directional-facts.md。 -
M4-4(证据合规流水线,2026-11-17):新增
econlab/evidence.py的 strict-v2 元数据预检(run前强制model_version+world.treatment,否则ConfigError)与scripts/evidence_pipeline.py(inventory + 证据门禁 R1–R4 + 预注册校验 + 可选 batch 逐 run verify,输出无时间戳、二次运行逐字节一致)。实测 932 runs / current 405 / legacy 527 / incomplete 35;门禁 405/405、预注册 41/41、l3_003_macro/l3_003_engel各 10/10 verify。注意:旧 M2 配置多数缺model_version,重跑前需补齐(它们本就是 legacy 的 missing_model_version 512)。产物audit/findings/evidence_pipeline.md。 -
M4-5(报告与 claim ledger,2026-11-17):新增机器可读
audit/findings/claim_ledger.json+ 生成/校验器scripts/claim_ledger.py+docs/CLAIM_LEDGER.md(20 条 claim,逐条证据链接;supported/partial/not_supported 必须有 prereg + finding 双证据,--check校验路径存在与 Markdown/JSON 逐字节一致)。docs/L4_BOUNDARY.md新增 §4.2,明确 M4 只提升内部证据可复算性、不改变 Level 1–4 判定;L1 架构方向、L2 记忆/认知、L3 Phillips/Okun/Beveridge 的负结果全部入账,未省略。 -
L4 流水线已交付并跑通小样本:累积消融 8/8、冲击 arms 9/9、后端敏感性表(含 3 个真实 LLM 后端的移动表:Text-01 vs M3 offer share −4.67%,M3.1 vs M3 = 0;再加 24-run/9-identity 的跨模型描述表,7 个完整 3-seed,complete eta²=0.545、pooled within sd=0.02546)、历史伪平行集合预测 L4-009(GDP pooled skill −0.7246、80% coverage 0.8438;mixed_weak,非 Level 3)。跨模型表是 availability-conditioned 描述统计,不是模型能力排名,也不是外部效度。 详见
docs/L4_EXTERNAL_VALIDITY.md、docs/L4_BOUNDARY.md与docs/BACKEND_SENSITIVITY.md。 -
M5-1/M5-2(L4-010,2026-11-17):把 L4 从“历史伪平行”推进到实时 vintage、多 episode、发布前冻结的预测检验——12 个美国 RTDSM 实时 vintage episode(评估窗两两不相交、1968-Q4…2021-Q4)、200 户
macro-v8-legacy规则模型 × 20 seeds = 240 成员,先冻结 forecast 再读 latest-vintage 实际值。判定l4_010_not_supported:gdp_yoy80% 区间覆盖率 0.4896(目标 0.80–0.90)、PIT mean 0.4714;三个目标的 skill 全负(gdp −3.1928、du −0.6001、pi −3.5394),skill>0目标 0/3。设计门禁全部通过(独立性、无重复 episode、非退化),因此这是该冻结规则模型在真实实时 vintage 初值下不具校准/技能的负结果,不是设计失败;按预注册不追加种子、不调参。M5-2 验收未达成,且本面板无 LLM 臂(M5-3 未满足)。详见docs/LIVE_RUNS.md§1ah 与audit/findings/L4-010-realtime-vintages/primary_report.md。 -
M5-3/M5-4(L4-011,2026-11-17):L4 的 LLM 臂不再缺席——两个场景各一个五种子 LLM 面板(macro 实时 vintage 17 主体/6 LLM × us_1981q3/us_2008q4;ultimatum_architecture multi_agent 10 LLM 主体)共 10 + 25 = 35 runs,全部 generation 签名 + verify pass + compliance pass + fallback 0;模型身份覆盖 2 个后端 × 5 个身份(MiniMax-M3.1-Flash / M3 / M2.7;deepseek-flash / deepseek-v4-pro)。判定
l4_011_llm_arms_supported:H1 技术门禁达成;H2 身份敏感性达成——池化种子噪声 0.013036,最大身份差 0.0300(CI [−0.0433,−0.0167])为噪声的 2.30×,η² identity 0.5083 / backend 0.4631。这只证明 LLM 臂可运行、可签名、可跨后端比较,不构成外部效度或 Level 3/4 证据;身份差异是敏感度描述、不作能力排名;macro LLM 的预测评分只作描述且 gdp skill 仍为负(−3.2767)。两处呈现问题(两两表 gap 列取绝对值 vs CI 用有符号差;macro du 描述评分因未从失业率水平差分而为 n=0)已发勘误、未改冻结脚本。详见docs/LIVE_RUNS.md§1ai 与audit/findings/L4-011-llm-arms.md。 -
M5-5(失败模式登记与 claim ledger,2026-11-17):中央 claim ledger 从 20 条扩到 26 条(新增 6 条 L4 实时预测 claim:L4-010 设计达标、L4-010 校准/技能
not_supported、L4-011 LLM 臂技术门禁supported、L4-011 身份敏感性supported、L4-011 macro 描述评分、L4-011 冻结与勘误纪律),statuses = supported 6 / partial 4 / not_supported 7 / descriptive 2 / engineering 6 / unverified 1;python scripts/claim_ledger.py --check→ OK claims=26。台账明确登记未达成项:M5-2(L4-010 校准与技能)、G4 外度门禁(L1 2/3、L2 1/3、L3 1/4、L4 Level 2 未达成),并声明不得宣称 Level 3/4 或外部效度。产物docs/CLAIM_LEDGER.md与audit/findings/claim_ledger.json。 -
M6-1/M6-3(state-diff 闭合与完整重放,2026-11-18):内核新增 per-period material-state 链(period、material/ledger/stocks/public/scenario_state 五个 hash 与交易/库存流/事件计数),并把它写成 hard compliance 检查:任意相邻期的 material 变化必须由同期 ledger 交易、stock flow 或非 observer 事件闭合,否则 run 不通过;
World.material_state显式排除时钟与 agent 私有状态。重放侧新增period_state_hashes逐项比较。审计结果:100 个 current run 影子 state-diff 审计 0 违规,100/100 rule/mechanism run 完整重放 pass 且 per-period 链逐项复现、0 结构/覆盖违规(20 场景 × 5 seeds,runs/m6_replay_panel)。这只证明世界状态与会计因果可重放,不重放 LLM 私有记忆,也不是经济结论。详见docs/prereg/M6-REPLAY-AUDIT.md、audit/findings/M6-1-state-diff-replay-audit.md与audit/findings/M6-3-replay-audit.md。 -
M6-2/M6-4/M6-5(laws-as-agents 评估、L5 阻断与 ACE 再审计,2026-11-18):M6-2 未达成——macro v10 已把劳动目标/匹配/结算的一部分搬进 market agent 的
set_targets/clear,但生产、税、价格指数等法则仍在MacroScenario方法里,24 个场景同构,且无 institution/law registry;迁移估计 15–20 人日、会使现有 1,067 run 与带链面板作废,故本轮如实记为 PARTIAL 并给出分阶段方案(audit/findings/M6-2-laws-as-agents-assessment.md)。M6-4 blocked:L4-010 为l4_010_not_supported、M5-2 参数重校准评估为 negative,L5 Gate 0 未过,只更新 scoping 文档、不写训练代码。M6-5 ACE 再审计从 3 PASS / 4 PARTIAL 提升为 5 PASS / 2 PARTIAL / 0 FAIL(MP1/MP2/MP3/MP4/MP6 PASS,MP5/MP7 PARTIAL),仍低于 G5 的“≥6 PASS + laws-as-agents”,G5 不通过;claim ledger 扩到 31 条(新增 5 条 M6 claim)。详见docs/ACE_SEVEN_PRINCIPLES_AUDIT.md§10。 -
宏观第一版用
max_tokens=2048时有 3/6 次被 reasoning 截断并触发 repair(9 calls / $0.0236);按预注册提高到 4096 重跑后为 6 calls / $0.0100——reasoning 预算是 M3.1 的主要成本陷阱,已写进docs/LIVE_RUNS.md§2 与 §5。 -
5 个种子上报价份额全部是 0.50、接受率 100%,种子间方差为 0;这恰是“单模型 × 单 prompt × 3 期重复”的行为样本,不能外推为“LLM 都这样”,也不能做机制归因。
-
每决策约 1,441 tokens(含 reasoning),约 $0.00035/次;
llm_calls.jsonl的 finish_reason/usage/cached_tokens 齐全,本次无长度截断。 -
预注册与执行记录见
docs/prereg/(LIVE-001 最后通牒 5 seeds、LIVE-002 宏观 smoke、LIVE-003 工具臂、LIVE-005 记忆探针)。每次运行都有 config_hash、initial_state_hash、evidence hash chain 与 artifact 级 verify。
runs/下全部 run 都通过 artifact 级verify(截至 2026-10-29:原 41 个 mock/rule + 12 个新格式 live + 24 个记忆轴 mock 运行)。修复前的 3 个 live run 已移到archive/legacy_live_runs/,标为 legacy(exit 3),其旧 compliance 自报不能当作新证据。报告第 6 节会把本次报价 0.50 与人类区间 0.40–0.50 对照(判为区间内),但方差/相关结构仍未识别。
研究纪律:报告里的“均值”不是结论。先看方差分解和核验,再看处理组差异;单一 seed 的差异一律不作机制解释。
3. 为什么它不是“给 LLM 出一道题”
项目以 ACE 七条原则为设计目标,并尽量把它们变成结构约束。下表是设计对应关系,不代表七条原则已全部满足;当前通过的是结构核验(ComplianceChecker),不是 c-ABM 合规证明。审计发现的边界与修复状态见 docs/AUDIT_MP1_MP7.md 与 docs/FIXES.md(修复记录,Lead 维护);2026-11-09 修复后再审计(416 run / 0 FAIL / 3 PASS / 4 PARTIAL)见 docs/ACE_SEVEN_PRINCIPLES_AUDIT.md;2026-11-18 M6 再审计为 1,067 run / 0 FAIL / 5 PASS / 2 PARTIAL(MP5/MP7 PARTIAL,G5 未通过,见同文 §10)。
| 原则 | 工程落点 |
|---|---|
| MP1 主体定义 | 任何能通过 Action 改变世界轨迹的软件实体都是 agent;每个事件必须声明 provenance(action / mechanism / environment / observer),action 事件绑定 actor_id + action_id |
| MP2 主体范围 | 家庭、企业、政府、央行、市场/拍卖者、冲击过程都可以是 agent |
| MP3 局部建构性 | agent 只收到 Observation(自己的状态 + 公开信息 + 收件箱);AgentContext 不带 world/recorder,语义校验只接收 SemanticView 纯快照。Python 插件仍是可信代码,不是沙箱 |
| MP4 自主性 | 每期行动由当期主体状态集合决定(phase 开始时统一构建 Observation 快照);工具调用不算行动 |
| MP5 系统建构性 | 状态变化由 scenario 的 transition function 在 agent action 的 handle 内应用;期初注入/结算由持久 mechanism agents 的 action 触发;内置场景无 environment 事件,所有变化归因到 action/mechanism |
| MP6 历史性 | 所有事件、交易、行动 append-only 记录;period>0 的交易/商品流链接 event_id;审计前冻结证据副本并计算 hash chain;账本可独立 replay |
| MP7 培养皿实验者 | 配置 hash 期末比对、初始状态 hash 记录在案;finalize 不得改动证据;compliance fail 视为 run 失败(runner 门控) |
两条不变式:
- 主体不得直接读取其他主体内部状态;一切跨主体信息经 environment 的 message bus。API 不再把
World/recorder交给 policy,但这只是 API 边界,不是安全沙箱。 - 状态更新由 kernel 调度的 scenario 转移函数完成;agent 只表达 action,不写账本、不改别人状态。生命周期钩子(
begin_period/after_phase/end_period/finalize)只能执行显式声明的 mechanism / environment 机制,并必须带对应 provenance——environment 事件的 kind 必须在scenario.environment_events中声明且 payload 含rule。
价格约束尤其重要:内核和 scenario 不允许写“市场出清价”。价格只能来自
- 企业 agent 的
price_set, - 市场/拍卖者 agent 的
clearing/trade, - 或央行 agent 的
policy_rate。
由 environment 机制产生的 clearing_price / trade 事件必须有 environment provenance、source=None,并通过 price_ref 指向同一期由 agent 发出的 price_set。ComplianceChecker 的 prices_emerge_from_agents 与 event_provenance 检查这些规则;无主体来源的 equilibrium_price / market_clearing_price / externally_set_price 直接 fail。
4. 五层架构
┌──────────────────────────────────────────────────────────────┐
│ 5. 实验与记录层 runner / treatments / seeds / reports │
├──────────────────────────────────────────────────────────────┤
│ 4. 观测与校验层 Observation / Recorder / Compliance / Replay│
├──────────────────────────────────────────────────────────────┤
│ 3. 主体运行时层 Agent × Policy × Memory × Tools × Provider │
├──────────────────────────────────────────────────────────────┤
│ 2. 制度与市场层 Ultimatum / PublicGoods / Auction / Exchange│
│ / Macro (gov, central bank, matching) │
├──────────────────────────────────────────────────────────────┤
│ 1. 世界资源层 Ledger(复式记账) / StockBook(商品守恒) │
└──────────────────────────────────────────────────────────────┘
插拔只允许发生在层间接口:
- 世界模块:市场机制、制度、空间/网络
- 主体认知组件:后端、配置/persona、记忆、工具
- 实验配置:主体清单与数量、处理因子、种子
不要在单个主体的业务逻辑里插拔;那会破坏两条不变式。
详细契约见 docs/ARCHITECTURE.md 与 docs/PLUGINS.md;完整配置字段见 docs/CONFIG.md。
5. 主体:数量、存在性与复杂程度
一个 agent 由 type + role + policy + persona + memory + tools + params 定义。count 可为 0(关闭配置主体;scenario setup 自动创建的 mechanism agents 不受 count 控制,见 §13),也可以在同一实验里混用不同复杂度:
agents:
- id: buyer
type: auction_trader
role: buyer
count: 3
complexity: 0 # 0 zero-intelligence, 1 rule, 2 LLM, 3 LLM+tools
policy: {kind: zero}
- id: seller
type: auction_trader
role: seller
count: 3
policy:
kind: llm
persona: {name: "Northstar", risk_aversion: 0.6}
memory: {kind: buffer, max_items: 5}
tools: [calculator, history_stats]
四条异质性轴(与上传方法论一致):
| 轴 | 档位 |
|---|---|
| 配置轴 | persona、禀赋、收入组、风险/时间偏好、行为规范 |
| 认知轴 | 不同后端、thinking/思维强度、温度、知识消融 |
| 记忆轴 | none / buffer / window / salient;clear/shuffle/placebo 忠实度探针已实现并有 mock 管线验证(runs/ultimatum_memory_*,探针判定脚本 scripts/memory_probe.py);真实 LLM 记忆证据待跑 |
| 存在性轴 | zero / rule / LLM / LLM+tools,各自 n 从 0 到 N |
knowledge: full | ablated | minimal 是显式处理因子:ablated 会在 system prompt 中禁止使用经济学教科书知识,把“预训练污染”从隐藏假设变成可比较的对照组。
6. 内置场景
| 场景 | 覆盖 | 关键指标 | 人类/理论基准 | 层级 |
|---|---|---|---|---|
ultimatum |
最后通牒、重复博弈、公平/互惠 | offer share, acceptance, surplus | Güth 1982;Camerer 2003 | L1–L2 |
binary_ultimatum |
二元选择最后通牒、揭示顺序 | proposer reveal rate, offer share, acceptance | Güth 1982;Camerer 2003 | L1 |
ultimatum_architecture |
单控制器 vs 多主体协议架构 | offer share, acceptance, 架构差异 | Sreedhar 2024(架构对照,非复现目标) | L1 |
public_goods |
公共品、惩罚、条件合作 | contribution share, decay slope, punishment | Fehr & Gächter 2002 | L1–L2 |
double_auction |
CDA、统一价格拍卖、市场设计 | efficiency, CE deviation, price dispersion | Smith 1962 | L1–L2 |
exchange |
Varian 交换、均衡、福利 | CE price, excess demand, efficiency ratio | Varian ch. 5–6, 16, 31–33 | L2–L3 |
macro |
家庭、企业、政府、央行、搜寻匹配、冲击 | output, inflation, unemployment, Okun/Phillips/Beveridge;SFC 残差(央行贷款) | Mankiw 宏观章节;ABIDES-Economist | L3 calibrated skeleton |
engel |
双商品(necessity/luxury)、收入异质、Stone-Geary 偏好、拍卖者调价 | necessity 份额、分位份额、份额-收入斜率、收入弹性 | Engel 1857;Deaton & Muellbauer 1980(rule 臂为构造对照,LLM 臂为行为检验) | L2–L3 |
normal_form_game |
声明式 2×2 收益矩阵:囚徒困境 / 猎鹿 / 协调 / 性别战;同时决策 + 裁判结算 | cooperation_rate, action_counts, surplus, efficiency | Axelrod 1984;Camerer 2003;Dal Bó & Fréchette 2011 | L1 |
second_price_auction |
密封投标二价(Vickrey)拍卖;估值阶梯可配;最高价赢、付第二高价 | truthful_rate, overbid_rate, efficiency, revenue | Vickrey 1961;Kagel & Levin 2002;Cooper & Fang 2008 | L1 |
trust_game |
重复信任/投资博弈;投资者转出、乘数放大、受托人返还;两对主体 | mean_transfer_share, mean_return_share, efficiency | Berg, Dickhaut & McCabe 1995;Johnson & Mislin 2011 | L1 |
dictator_game |
重复独裁者博弈;独裁者单方分配、接受者完全被动;匿名结构 | mean_give_share, positive_give_rate, payoffs | Forsythe et al. 1994;Engel 2011;Camerer 2003 | L1 |
matching_deferred_acceptance |
两侧匹配市场;双方提交严格排名,机制主体运行 Gale-Shapley 提议方主动 DA;真实偏好私人 | truthful_rate, stability_rate, match_rate, efficiency | Gale & Shapley 1962;Dubins & Freedman 1981;Roth 1982/2008 | L1 |
english_dutch_auction |
升价(English)/降价(Dutch)时钟拍卖;策略以提交 drop-out / 接受阈值表达;tick 可配 | efficiency, revenue, truthful_rate, overbid_rate, 二价收入缺口 | Vickrey 1961;Kagel & Levin 2002;Coppinger, Smith & Titus 1980 | L1 |
asset_market_bubble |
随机股息有限期资产市场;股息 {0,100,200} 均匀抽取,统一价格集合竞价,基本面价值公共已知 | price_fundamental_ratio, price_above_fundamental_rate, max ratio, volume, volatility | Smith, Suchanek & Williams 1988(理论点 1.0);Palan 2013 | L1 |
coase_property_rights |
双边污染外部性科斯谈判;两种产权归属(工厂生产权 / 农民清洁权)、提议-回应-执行三阶段、完全信息 | bargaining_efficiency, agreement_rate, production_rate, 双方累计收益 | Coase 1960;Hoffman & Spitzer 1982;Cason & Plott 1996(理论点 1.0) | L1 |
intertemporal_consumption |
5 期消费-储蓄;常数收入、零利率、不可借贷;处理组在未宣布的第 2 期收到一次性 500 分收入 | mpc_windfall, cumulative_response, mpc_average_after_windfall, final cash, 未消费份额 | Jappelli & Pistaferri 2010;Parker et al. 2013;Souleles 1999(人类 MPC 宽泛区间;理论完美平滑点 0.25) | L1 |
information_cascade |
二元状态序贯决策;私人信号准确率 0.7,玩家按 id 顺序公开猜测,两条同向公开决策构成级联 | cascade_follow_rate, accuracy, signal_agreement_rate, cascade_decision_share, total_payoff | Anderson & Holt 1997;Banerjee 1992;Bikhchandani, Hirshleifer & Welch 1992(级联跟随理论点 1.0) | L1 |
adverse_selection |
旧车市场(柠檬市场);自然抽车况,卖家挂牌、买家序贯购车;不完全信息 vs 完全信息两臂 | good_sold_rate, efficiency, bad_sold_rate, quality_sold_share, trade_rate, mean_price | Akerlof 1970;Lynch, Miller, Plott & Porter 1986;Kagel & Levin 2001(理论极端:好车退出 0.0) | L1 |
ad_as |
单一商品 AD-AS 闭环:企业定价+生产、家庭消费需求、政府购买(需求冲击臂)、生产率冲击(供给冲击臂)、市场机制按比例清算 | mean_price, mean_output, 冲击窗口均值、通胀、超额需求 | Mankiw AD-AS;Varian 教材口径;方向由预注册配对差检验,不是文献区间 | L3 |
expectation_formation |
学习型通胀预期闭环:cobweb 反馈、5 名预测者按外推/锚定规则逐期提交预测、market 机制按规则结算;处理臂切换预测规则混合 | mean_abs_forecast_error, mean_forecast_bias, forecast_dispersion, realized inflation;alpha_hat 由分析脚本逐 run 估计 | Evans & Honkapohja 2001;Hommes 2011;Mankiw 2020(方向由预注册配对差检验,不是文献区间) | L3 |
open_economy |
小型开放经济:本国家庭消费/进口、外国部门出口需求、厂商固定价格生产与市场结算;名义汇率处理臂(baseline 1.00 / 贬值 1.10 / 升值 0.90)自第 3 期生效,Marshall-Lerner 方向检验 + SFC 恒等式残差 | mean_trade_balance, mean_exports, mean_imports, window_mean_trade_balance, identity_residual_max, savings_gap_max | Mankiw 2020;Blanchard 2017;Krugman, Obstfeld & Melitz 2018(方向由预注册配对差检验,不是文献区间) | L3 |
growth_model |
增长模型:索洛闭环,家庭按外生储蓄率积累资本、厂商按生产函数产出、技术冲击 AR(1);储蓄率处理臂(baseline 0.20 / low_saving 0.10 / high_saving 0.30)× 80 期,检验稳态收敛与储蓄率比较静态 | mean_output, final_output, mean_capital, final_capital, convergence_ratio, mean_output_growth, theoretical_steady_state_capital_cents | Solow 1956;Romer 2019;Mankiw 2020;Barro & Sala-i-Martin 2004(比较静态与收敛由预注册配对差/斜率检验,不是文献区间) | L3 |
banking_money |
银行与货币创造:央行设定准备金率、家庭在现金/存款间配置、银行按超额准备金放贷、市场机制结算;三臂 baseline rr=0.10 / tight rr=0.20 / no_bank(整表移除银行主体,可插拔性控制)× 20 期,检验货币乘数与会计恒等式 | mean_money_multiplier, window_money_multiplier, mean_currency, mean_deposits, mean_reserves, mean_money_supply, mean_loan_issued, base_money_identity_residual_max, bank_balance_identity_residual_max | Samuelson 1948;Tobin 1963;Blanchard 2017;Mankiw 2020(乘数上界 (1+c)/(rr+c) 是会计性质、no_bank 是构造控制;差异由预注册配对检验) | L3 |
public_debt |
公债与李嘉图等价闭环:家庭跨期消费、政府按冻结税表/发债融资、债券市场惰性持有;处理臂 financing={tax,debt} × household_rule_mix={mixed,ricardian},未宣布第 3–6 期收入冲击后检验债务融资的消费反应与前瞻家庭的反应 | mean_consumption, window_mean_consumption, max_debt, mean_taxes, mean_interest, debt_identity_residual_max, cash_conservation_residual_max | Barro 1974;Ricardo 1817;Mankiw 2020(方向由预注册配对差检验,不是文献区间) | L3 |
io_market_structure |
产业组织市场结构对照:完全竞争 / 异质成本行业供给 / 垄断 / 古诺寡头 / 伯特兰价格竞争 / 三级价格歧视;rule 基线按结构解析求解,输出 CS/PS/TS/DWL | price, quantity, consumer_surplus, producer_surplus, total_surplus, deadweight_loss | Varian ch. 22–25、27;Tirole 1988(解析基准、rule 构造对照,不是人类行为复现) | L1 |
second_welfare_theorem |
第二福利定理闭环:规划者提交一次性转移、市场机制求竞争均衡、检验目标配置是否可被价格支撑;两主体 Cobb-Douglas 解析基准 | distance_to_target, supported, price, utility_a, utility_b | Varian ch. 31、33;Mas-Colell, Whinston & Green 1995(解析基准,rule 构造对照) | L1 |
M2-001 首个正式预注册结果(2026-11-16):囚徒困境 5 seeds 的 LLM 合作率均值 0.0700(95% bootstrap CI [0.0500, 0.0900]),低于人类宽泛区间 [0.30,0.60],判定 h0_retained(比人类更接近纯自利均衡);另三个矩阵仅作探索性报告(猎鹿 0.61 跨 seed 不稳定、协调/性别战 1.00 天花板)。20/20 run compliance+verify 通过、成本 418 calls / USD 0.2263。明细见
audit/findings/M2-001-analysis.md。
M2-002 二价拍卖预注册结果(2026-11-16):5 seeds 的 LLM 真话率均值 0.8300(95% bootstrap CI [0.7700, 0.8900]),落在人类宽泛区间 [0.30, 0.95] 内,判定 h1_supported;分配效率均值 0.95(CI [0.91, 0.99],不低于预注册下限 0.90),过度出价率 0.13。5/5 run compliance+verify 通过、成本 122 calls / USD 0.1065。明细见
audit/findings/M2-002-analysis.md。
M2-3~M2-12 十个 micro 场景 LLM 结果(2026-11-17):十个场景按同一验收样板落地(场景 + 双基准 + 预注册 + rule 基线 + LLM 5 seeds + 分析脚本 + 测试 + UI/ODD/docs),全部使用 MiniMax-M3.1-Flash-Preview live 并签名
model_version。主判定按预注册口径(bootstrap 95% CI),不得把 mixed_weak / design_inadequate 当作行为确认。
场景(实验) 主指标(人类/理论基准) LLM 结果(95% CI) 判定 调用 / 成本 public_goods_punishment(M2-003)late_share 配对差 ON−OFF(人类 [0.10,0.70]) 惩罚 0.6050 vs 无惩罚 0.4833;差 0.1217 [0.0692,0.1642] h1_supported 946 / USD 1.2436 trust_game(M2-004)mean_transfer_share(人类 [0.30,0.60]) 0.3903 [0.2033,0.6210];返还 0.5136 [0.4467,0.5805] mixed_weak 144 / USD 0.1655 dictator_game(M2-005)mean_give_share(人类 [0.10,0.45]) 0.2500(5 seed 全同值,sd=0) design_inadequate 50 / USD 0.0164 matching_deferred_acceptance(M2-006)truthful_rate(理论点 1.0) 0.9222 [0.8667,0.9667];stability 0.8667 mixed_weak 121 / USD 0.1212 english_dutch_auction(M2-007)efficiency(两臂 CI 下界 ≥0.90) english 1.0(ceiling)/ dutch 0.9950 [0.9850,1.0] mixed_weak(两臂不一致) 252 / USD 0.2158 asset_market_bubble(M2-008)price/fundamental ratio(理论点 1.0) 1.2000 [0.6000,1.8000];above_rate 0.4 consistent_with_fundamental 140 / USD 0.1804 coase_property_rights(M2-009)bargaining_efficiency(理论点 1.0) factory 0.9600 [0.8800,1.0];farmer 1.0(ceiling) mixed_weak(两臂不一致) 236 / USD 0.1732 intertemporal_consumption(M2-010)mpc_windfall(人类 [0.05,0.60]) −0.3300 [−0.8850,0.1050];结构 gate 失败 design_inadequate 118 / USD 0.1088 information_cascade(M2-011)cascade_follow_rate(理论点 1.0) 0.9633 [0.9233,1.0000] h1_supported 139 / USD 0.1262 adverse_selection(M2-012)配对差 good_sold_rate(文献描述性 [0.0,0.8]) incomplete 0.1167 vs full 0.4550;差 −0.3383 [−0.5300,−0.1333] h1_supported 294 / USD 0.3880 十个实验合计约 USD 2.74(M2-003 占 946 calls / USD 1.2436;含 1 次 HTTP 529 后的
no_punishment__s5补跑)。读法:M2-005 与 M2-010 的 design_inadequate 是设计与跨 seed 方差问题(不是"没有效应"的证据);M2-007/M2-009 的 mixed_weak 来自两臂不一致或天花板;所有 LLM 结果只覆盖单后端/单温度/提示下的 5 seeds,不能外推为人类基准复现。M2-012 的 full 臂 s4 曾因 LLM 提交已被请求的车况而崩溃:已把 scenario 级validate_action接进 policy repair 校验(World._policy_validator,见econlab/kernel.py与tests/test_kernel_validator.py),补跑后 10/10 run 通过。明细见audit/findings/M2-00x-analysis.md与docs/ROADMAP.md的 M2 实施状态。M3-1 劳动市场修复结果(MACRO-M3-001,2026-11-17):新生成
macro-v10-output-labor-demand修复 v9 的模型内失业陷阱(v9 冻结基线 5-seedmean_unemployment0.18575,远超验收带)。v10 三处机制:firmdesired_employment = max(v9 递归值, desired_output / max(0.5, labor_productivity))(输出/库存劳动需求通道)、分离取整改为 floor + Bernoulli 随机化、被分离者一期搜索滞后。冻结后--force重跑 5 seeds × 80 期 rule/mechanism 基线:逐 seedmean_unemployment0.1000 / 0.08375 / 0.07125 / 0.10375 / 0.08500,5-seed 均值 0.08875(8.875%),sd 0.0132、95% bootstrap CI [0.0790, 0.0985] →h1_supported(落在 M3-1 验收带 [3%, 10%];s4 单 seed 10.375% 微超上界,如实报告);mean_output 10.25–10.74、季度通胀 +0.51% 至 −1.29%。事件契约:price_set/labor_targets_set扩展 firm 意愿字段 + 新增labor_target_realized(target / separations / layoffs / current_after / vacancies),5/5 run 每期 3 家全量通过恒等式与 gap 检查;H3 v9/v8 显式 pin 各 5 seeds 逐位回归regression_verified(10 runs、0 metric mismatch、max series abs diff 0.0);H4 Okun/Phillips 符号方向仅描述。冻结前后数值逐位一致。这是模型内验收,不是现实校准、因果效应或预测。预注册docs/prereg/MACRO-M3-001-v10-labor-market.md,明细见audit/findings/M3-001-v10-labor-analysis.md。M3-2 模拟面板 Phillips 斜率估计(MACRO-M3-002,2026-11-17):把 macro 规则里写死的
price_phillips=0.50/wage_phillips=0.80升级为可从模型自身 panel 估计的 reduced-form 投影量。冻结面板configs/macro_phillips_estimation.yaml= macro v10、80 期 × 全新 seeds 11–20、参数与 v10 迁移完全一致、world.treatment=neutral_control、0 budget;10/10 run verify + evidence gate 通过(current 197/197)。估计量:within-seed FE OLS + seed-cluster CR1 标准误 + 整 seed bootstrap(10,000 次)95% CI,控制 demand/productivity shock。价格斜率 −0.07339(95% CI [−0.09198, −0.05168],within R² 0.265);工资增长斜率 −0.13640(95% CI [−0.15713, −0.10924],within R² 0.439);符号均为负、CI 排除 0 → 合并判定h1_supported;逐 seed 与 leave-one-seed-out 符号稳定,二次运行逐字节一致。边界:两个斜率是内嵌建模假设在模型自身数据上的投影(衰减比 0.147 / 0.170,来自部分调整/上下限/指数化),不是结构参数、不是经验 Phillips 曲线、不是外部证据;估计脚本纯读 artifact、未改macro.py(v10 sha 保持 M3-1 冻结值),成本 0。预注册docs/prereg/MACRO-M3-002-phillips-slope.md,明细见audit/findings/M3-002-phillips-estimation.md。
M3-3 AD-AS 总需求—总供给方向检验(MACRO-M3-003,2026-11-17):新增独立场景
ad_as(不改macro.py,保住 M3-1/M3-2 冻结 sha):单一商品、企业每期定价并生产、家庭按实际工资与价格提交消费需求、政府购买商品(需求冲击臂)、shock agent 抽生产率(供给冲击臂)、市场机制按比例清算;10 期、冲击从第 3 期起、3 臂(baseline / demand 政府支出×1.5 / supply 生产率×0.90)× seeds 1–5 配对,窗口 periods 3–10 的均值差 + 整 seed bootstrap(10,000 次)95% CI。结果:demand 臂 产出 +235.88(CI [229.83,243.73])、价格 +5.13(CI [4.73,5.53]);supply 臂 产出 −219.00(CI [−225.78,−213.45])、价格 +8.68(CI [8.45,8.90]),四个对比逐 seed 同号(5/0 或 0/5)、CI 全部排除 0 →h1_supported(需求冲击产出↑价↑、供给冲击产出↓价↑,符合教科书符号)。15/15 run compliance+verify pass、calls=0、成本 USD 0,二次分析逐字节一致。边界:这是模型内 reduced-form 方向检验,不是现实识别、因果或校准;幅度是冻结参数集(成本凸性/部分调整/实际工资消费规则)的属性,不是校准目标。框架扩展:场景可用类属性price_agent_kinds声明本场景合格价格主体(ad_firm;注册键全局唯一使新场景不能复用macro的firm),compliance 将它与默认白名单取并集,只放开价格主体资格。预注册docs/prereg/MACRO-M3-003-ad-as.md,明细见audit/findings/M3-003-ad-as.md。人类/理论基准已数据化:报告第 6 节把模拟均值与带来源的文献区间/符号先验做自动对照(
econlab/analytics/benchmarks.py,6 场景 11 条),并显式标注未识别的量(人类方差、跨指标相关结构、参考 sd、p 值一律不编造)。方差/相关结构入口已实现:通过ECONLAB_BENCHMARKS注入带来源的分布(个体级或组级)或相关系数(distribution/summary/correlations/joint_observations),报告自动增加 sd 比、标准化均值差、分位 Wasserstein-1、相关差;示例见examples/benchmarks/ultimatum_human_example.json(synthetic,仅演示格式,不是人类数据)。免费数据源的调研与核验清单(OSF/Zenodo/AEA/Mendeley/RePEc 等 + 已核验数据线索 + 检索式 + 导入器)见docs/L1_DATA_SOURCES.md;python scripts/import_human_benchmarks.py可把 CSV 转成合规 benchmark JSON。仓库随附一份经转换的真实人类公共品组级基准(Dannenberg et al. 2019,Zenodo DOI 10.5281/zenodo.2594793,CC-BY-4.0;76 组 / 380 人 / 1900 观测,Game A phase 1):data/human_benchmarks/public_goods_dannenberg2019.json,用ECONLAB_BENCHMARKS注入后报告会自动出 6 指标方差/分位 W1/相关对照;原始个体数据与data/human_raw/不随仓库分发。另内置一份真实公共宏观参考:data/human_benchmarks/macro_us_annual_reference.json(World Bank 美国年度序列,Okun/Phillips 滚动窗口均值+sd,明确标注年度 vs 季度口径差异),报告会自动出 sd 比/标准化均值差,结果与边界见docs/REAL_DATA_BENCHMARKS.md。口径见docs/BENCHMARKS.md。
M3-4 预期形成:外推式与锚定式预测规则的误差与模型内锚定(MACRO-M3-004,2026-11-17):新增独立场景
expectation_formation(不改macro.py):cobweb 型通胀反馈 π_t = clamp(intercept + φ·mean_forecast + innovation),5 名预测者每期按自身风格提交预测(外推式 prev+λ(prev−prev2) / 锚定式 w·target+(1−w)·prev),market 机制按规则结算;10 期、3 臂(baseline = 3 外推 + 2 锚定 / adaptive = 全外推 / anchored = 全锚定且 anchor_weight 覆盖为 0.8)× seeds 1–5 配对。两个主指标都是预注册配对检验:H1 预测误差排序(adaptive−anchored 的 mean_abs_forecast_error 配对差 > 0)与 H2 模型内锚定强度(逐 run 的 alpha_hat = mean_forecast 对目标缺口的无截距斜率;anchored−adaptive > 0)。结果:H1 误差差 +0.0471(95% CI [0.0231, 0.0710],5/0 为正);H2 锚定强度差 +0.9402(95% CI [0.9066, 0.9659],5/0 为正)→ 合并判定h1_supported;anchored 臂 alpha_hat 均值正好恢复 0.8000(每个 seed 同值),adaptive 臂为负(−0.1402),因为外推动量对目标缺口是反向加载——这正是 H2 采用跨臂排序而非单臂水平的原因。15/15 rule run compliance+verify pass、calls=0、成本 USD 0,分析脚本两次运行逐字节一致。边界:模型内 reduced-form 检验;alpha_hat 只是对假设规则参数的 recovery,不是经验锚定、不是理性预期检验;误差幅度差是所设规则与噪声水平的属性,不是校准目标。另附 LLM 臂(configs/expectation_formation_llm.yaml,5 个带 persona 的 LLM 预测者,逐 run 预算 0.60 USD / 400 calls;描述性对照,不参与判定):5/5 run 完成并 verify pass(首次 s3 遇 provider HTTP 529 后删除失败目录--resume补跑;合计 628 calls / USD 0.6371);误差均值 0.2891(sd 0.0506,介于 baseline 0.2943 与 adaptive 0.2740 之间、高于 anchored 0.2270),alpha_hat 均值 0.1329(sd 0.0597,远低于 anchored 的 0.8000),平均偏差 −0.0085。该臂只说明「LLM 预测者在同一规则环境里没有自发恢复锚定权重」,不是模型能力排名、不是理性预期检验。预注册docs/prereg/MACRO-M3-004-expectation-formation.md,明细见audit/findings/M3-004-expectation-formation.md。 M3-5 开放经济:汇率处理臂、贸易余额与 SFC 恒等式(MACRO-M3-005,2026-11-17):新增独立场景open_economy(不改macro.py):本国家庭每期消费者国内商品与进口品(q = e·P*/P 下的替代与进口弹性)、外国部门按 q 提交出口需求、厂商按固定价格生产并付工资、市场机制按比例配给并逐笔结算;阶段顺序 announce → demand → export → produce → settle。10 期、3 臂(baseline e=1.00 / depreciation e=1.10 / appreciation e=0.90,均自第 3 期起生效)× seeds 1–5 配对;外国需求用 shock agent 的 AR(1) 因子(ρ=0.5、σ=0.05)驱动,同一 seed 三臂共享同一冲击路径。两个主指标都是预注册配对检验:H1 贬值臂贸易余额上升(depreciation−baseline 的 window trade balance 配对差 > 0)与 H2 升值臂贸易余额下降(appreciation−baseline < 0)。结果:H1 +1,515.00(95% CI [1,470.00, 1,582.50],5/0 为正);H2 −1,547.50(95% CI [−1,620.00, −1,495.00],0/5)→ 合并判定h1_supported;描述性渠道为贬值臂出口 +17.65、进口 −25.00,升值臂出口 −18.48、进口 +30.00,方向符合 Marshall-Lerner(η_import=0.9 + η_export=0.6 > 1)。SFC 恒等式(Δ 净国外资产 = 贸易余额、家庭部门现金变动 = 贸易余额)在 15/15 run 的整数账本上精确为 0(identity_residual_max = savings_gap_max = 0),并作为技术门禁。15/15 rule run compliance+verify pass、calls=0、成本 USD 0,分析脚本两次运行逐字节一致。边界:模型内 reduced-form 检验;汇率臂是 modeler 设定水平而非估计的政策效应,方向由假设弹性保证,恒等式是会计校验而非经验发现,5 seeds 的 cluster bootstrap 只描述该冻结配置的种子间变异。预注册docs/prereg/MACRO-M3-005-open-economy.md,明细见audit/findings/M3-005-open-economy.md。 M3-6 增长:储蓄率比较静态与索洛稳态收敛(MACRO-M3-006,2026-11-17):新增独立场景growth_model(不改macro.py):4 个 rule/mechanism 主体(技术 shock agent 抽 AR(1) 生产力因子、家庭按 modeler 设定的储蓄率行动、厂商按 y = round(A·K^0.30·100^0.70) 生产、市场机制结算投资与折旧并积累资本),phase 顺序 tech → household → produce → settle;资本以「资本分」计,无货币账本现金流(库存账户 + produce/depreciate 流)。80 期、3 臂(baseline s=0.20 / low_saving s=0.10 / high_saving s=0.30)× seeds 1–5 配对;初始资本 400 分同时低于 baseline/high 稳态(724.58 / 1293.14)并高于 low_saving 稳态(269.18),因此三臂都在收敛过程中。两个预注册检验:H1a 高储蓄臂末 20 期平均产出高于 baseline(high−baseline 配对差 > 0)、H1b 低储蓄臂低于 baseline(low−baseline < 0)、H2 稳态收敛(每 run log 缺口对期数斜率 < 0 且合并 CFD 上界 < 0)。结果:H1a +32.16(95% CI [32.01, 32.33],5/5 正);H1b −41.25(CI [−41.43, −41.06],5/5 负);H2 −0.0310(CI [−0.03154, −0.03035],15/15 斜率为负)→ 合并判定h1_supported;arm summary 末资本 K/K* 为 1.0714(low)/ 0.9705(baseline)/ 0.9524(high),收敛半衰期 27.3 / 20.4 / 20.6 期。15/15 rule run compliance+verify pass、calls=0、成本 USD 0,分析脚本两次运行逐字节一致(json sha4D796077…、md sha482B2B73…)。边界:模型内 reduced-form 检验;储蓄率是外生参数,比较静态是生产函数与折旧率的算术后果,+32/−41 产出分是冻结参数与整数取整的函数,不是真实储蓄政策效应;稳态水平解析匹配是 plumbing 校验而非校准结果;5 seeds 的 cluster bootstrap 只描述该冻结配置的种子间变异。未做 Romer 内生增长、增长核算与 TFP 经验分解。预注册docs/prereg/MACRO-M3-006-growth.md,明细见audit/findings/M3-006-growth.md。 M3-7 银行与货币创造:准备金率、货币乘数与银行主体可插拔(MACRO-M3-007,2026-11-17):新增独立场景banking_money(不改macro.py):8 主体(5 家庭、央行、银行、市场机制),phase 顺序 policy → allocate → lend(optional=True,no_bank 臂无主体也可跑)→ settle。央行按 modeler 设定提交准备金率 rr;家庭在现金与存款之间按目标现金比率 c 配置(c 由自身 base 与每期小噪声决定,clamp [0.01, 0.40]);银行按 excess = reserves − round(rr·deposits) 放贷并均摊给家庭;市场机制结算并写会计恒等式(H = currency + reserves、M = currency + deposits、L = deposits − reserves)。20 期、窗口末 5 期、3 臂(baseline rr=0.10 / tight rr=0.20 / no_bank 整表覆盖 agents 移除银行主体)× seeds 1–5 配对。三个预注册检验:H1a baseline 乘数高于 no_bank、H1b tight 高于 no_bank、H2 baseline 高于 tight(逐 seed 窗口均值配对差 > 0 且 bootstrap 95% CI 下界 > 0)。结果:H1a +5.5299(95% CI [5.4905, 5.5749],5/0 为正);H1b +3.1434(CI [3.1282, 3.1626],5/0);H2 +2.3865(CI [2.3608, 2.4126],5/0)→ 合并判定h1_supported。窗口乘数 baseline 6.5299 ± 0.0555(解析上界 (1+0.05)/(0.10+0.05)=7.0,距上界 −0.3651)、tight 4.1434 ± 0.0224(上界 4.2,距上界 −0.0383)、no_bank 恒 1.0;no_bank 臂每期 deposits/loans/reserves 全 0 且agent_metrics7 个(有银行臂 8 个),直接演示银行主体可插拔。会计恒等式(H/M/L 两条)在 15/15 run 逐期残差 ≤ 1e-9 并作为技术门禁;15 run 共 11 期出现准备金率瞬时低于要求(家庭撤资,无同业市场缓冲),仅作描述性披露、不作门禁。15/15 rule run compliance+verify pass、calls=0、成本 USD 0,分析脚本两次运行逐字节一致(json sha940D33CA…、md sha5F8CA0E7…)。边界:模型内 reduced-form 检验;乘数上界是假设现金比率与准备金率下的会计性质,no_bank是构造性控制(零种子变异),不是行为估计或校准目标;家庭现金比率与银行放贷规则是规则/机制主体,不含银行间市场、利率定价、资本充足率或金融危机;5 seeds 的 cluster bootstrap 只描述该冻结配置的种子间变异。预注册docs/prereg/MACRO-M3-007-banking-money.md,明细见audit/findings/M3-007-banking-money.md。 M3-8 公债与李嘉图等价:债务融资 vs 税收融资的消费反应(MACRO-M3-008,2026-11-17):新增独立场景public_debt(不改macro.py):8 主体(5 家庭pd_household、政府pd_government、收入冲击pd_shock、债券市场机制pd_bond_market),phase 顺序 shock → policy → consume → settle。收入冲击走 AR(1) 因子(ρ=0.5、σ=0.02,clamp [0.85,1.15]);政府按冻结税表公告 spending/tax(tax 臂恒 base_tax=400×5 户;debt 臂冲击窗口 3–6 期税收为 0、第 7 期起改按 repayment_tax=900 偿还),缺口在债券市场发债(利率 2%);家庭分 ricardian(消费 base_income−base_tax)与 myopic(消费 income−tax)两种规则;所有政府支出与家庭消费都以burn离场,债券市场资金惰性持有。10 期、窗口 3–6、3 臂(tax_mixed / debt_mixed / debt_ricardian)× seeds 1–5 配对。两个预注册检验:H1 债务融资臂的窗口平均消费高于税收融资臂(debt_mixed−tax_mixed > 0)、H2 前瞻家庭混合臂低于纯债务融资臂(debt_ricardian−debt_mixed < 0)。结果:H1 +800.00(95% CI [800.00, 800.00],5/5 为正);H2 −797.50(95% CI [−820.90, −772.30],0/5)→ 合并判定h1_supported;描述性 D1(ricardian−tax)仅 +2.50(CI [−20.90, 27.70])。arm summary 窗口消费 tax_mixed 2997.6 ± 37.87、debt_mixed 3797.6 ± 37.87、debt_ricardian 3000.1 ± 7.60;平均负债 0 / 3277 / 3277 分、最大负债 8243 分、期末负债 0、平均税收 2000 / 2200 / 2200 分。会计恒等式(债务路径 D_t = D_{t−1} + issuance − redemption;全系统现金守恒含禀赋收入、支出焚烧与消费离场)在 15/15 run 逐期残差 ≤ 1e-9 并作为技术门禁(debt_identity_residual_max = cash_conservation_residual_max = 0)。15/15 rule run compliance+verify pass、calls=0、成本 USD 0,分析脚本两次运行逐字节一致(json sha7EEB076D…、md sha2901FB3D…)。边界:模型内 reduced-form 检验;H1 的零种子方差是冻结规则的性质(两臂家庭噪声逐 seed 相互抵消、收入冲击路径相同),不是估计不确定度;政府税表、发债上限、债券市场惰性持有(不认购、不定价)与家庭消费规则都是 modeler 设定而非最优化,负债路径与恒等式是会计铅管校验而非经验发现;5 seeds 的 cluster bootstrap 只描述该冻结配置的种子间变异。预注册docs/prereg/MACRO-M3-008-public-debt.md,明细见audit/findings/M3-008-public-debt.md。
与 Varian / Mankiw 的映射
- Varian 中级微观:预算约束、偏好、效用、选择、需求、交换、均衡、福利、拍卖、垄断/寡头(可用
double_auction+ persona/rule 扩展)、外部性(可用public_goods扩展)。 - Mankiw 宏观:国民收入核算、失业、通胀、货币与利率、总需求/总供给(
ad_as)、经济周期、财政政策、开放经济(open_economy)、增长(growth_model)。 - 学术前沿:异质主体宏观、市场微观结构、机制设计与 LLM 行为、记忆忠实度、知识消融、后端敏感性、并行预测。
完整问题族与实验设计见 docs/EXPERIMENTS.md。
插件示例与索引
- 官方示例包(3 个):
plugins_examples/posted_price_market(挂牌价市场,规则/LLM 卖方与买方)、plugins_examples/cournot_competition(古诺双寡头,2 家厂商选产量、消费者预算注入、机制主体清算)与plugins_examples/trust_game_repeated(重复信任/投资博弈,投资者转出、乘数放大、受托人返还,规则/LLM 双方)。三者都通过econlab.pluginsentry point 安装,核心零改动;安装后 CLI//api/meta/UI 自动出现对应场景与主体。 - 插件索引:
plugins/index.json(机器可读,含每个示例包的 entry point、manifest、scenarios/agents、requirements)与docs/PLUGIN_INDEX.md(人读表格);python scripts/build_plugin_index.py --check校验索引与磁盘一致。 - 安装与自检:
pip install -e plugins_examples/posted_price_market && pip install -e plugins_examples/cournot_competition && pip install -e plugins_examples/trust_game_repeated,随后python -m econlab.cli list --plugins。 - 版本与发布:v1.0.0(
release/VERSION);发布包自检python scripts/release_check.py,证据 bundlepython scripts/evidence_bundle.py --verify,文档新鲜度python scripts/check_doc_freshness.py;对外可宣告/不可宣告清单见docs/RELEASE_STATEMENT.md与docs/RELEASE_CHECKLIST.md。
v1.0 发布(2026-11-18)
- 发布物:版本三处一致(
release/VERSION/pyproject.toml/econlab.__version__= 1.0.0);scripts/release_check.py构建 wheel 并在干净临时目录安装,验证 1.0.0、内置场景数与python -m econlab.cli list(v1.0.0 时为 25 个,v1.1 起为 27 个)(8 项检查 PASS,archive/checks/release_check.json)。wheel 为本地构建,未上传 PyPI。 - 证据 bundle:
release/v1.0.0/收录预注册、结项报告、claim ledger、机器检查与发布文档,附每文件 SHA-256、聚合bundle_sha256、SHA256SUMS与独立 stdlib verifier;python scripts/evidence_bundle.py --verify可外部复算(当前发布 bundle:137 文件,bundle_sha256=9c0a173286e3bc627e8708d190cee938e062cee94cf200315678827558d9084d)。它证明发布时文件内容,不证明外部效度。 - 发布纪律:
docs/RELEASE_STATEMENT.md列可宣告/不可宣告;docs/RELEASE_CHECKLIST.md逐行记录 DoD 与 Gate G0–G6;scripts/claim_review.py扫描公开文档过度声明;scripts/check_doc_freshness.py校验版本/计数/索引/claim 渲染一致。 - 判定:v1.0.0 是工程发布,不是 G6 通过。G6 仍不通过(官方示例 2/3、无 institution/law registry、L1 2/3、L2 1/3、L3 1/4、L4 未达 Level2、外部 reviewer 未做);发布后可继续的优先级见
docs/ROADMAP.md。
7. 一次实验的产物
每个 run 目录下都有:
config.json 冻结配置 + config_hash
initial_state.json 初始主体状态、账本、商品(人类可读快照)
initial_state_frozen.json 初始状态 hash 的精确输入(verify 用)
events.jsonl 全部世界事件(append-only,带 provenance / actor_id / action_id)
turns.jsonl 每次主体决策(observation hash + action_id + action + policy;默认含完整 observation)
llm_calls.jsonl 每次 provider 调用的 prompt/response/usage/latency/cost
transactions.jsonl 每笔复式记账交易(meta.event_id 链接事件)
stock_flows.jsonl 每笔商品来源/去向(meta.event_id 链接事件)
series.csv 期度聚合指标
metrics.json 最终指标 + agent_metrics + compliance + budget + evidence
compliance.json 结构核验报告
evidence.json 审计前冻结的事件/交易/商品流 hash、链式 hash 与条数(可选 HMAC 签名)
ledger.json 期末账户余额
stocks.json 商品守恒报告
agents.json 期末主体状态
run.json run 级元数据(含 provenance 计数)
checkpoint.json 期末快照(diagnostic only,无 restore)
report.html 自包含报告(内联图表)
agents.html 主体逐期财务明细(自包含,内联逐期数据)
agents_finance.csv 主体逐期财务明细导出(全部 run 的逐期数据 + 账户余额)
transactions.jsonl 可以独立重放;ComplianceChecker 每个 run 都做一次 Ledger.replay() 并比较余额。商品账本做 initial + produced - consumed = current 校验。period>0 的每笔 transaction / stock flow 都必须通过 meta.event_id 链接到真实事件,否则 state_change_provenance fail;审计只读 finalize 前冻结的 evidence.json 副本。
7.1 主体逐期财务明细(agents.html)
report.html 回答的是聚合层的问题(处理组之间差多少、方差在哪)。要看单个主体每一期的财务状况,
用同一实验目录下的 agents.html:每次 run 结束自动生成,也可给历史实验补建:
python -m econlab report runs/macro_advanced_finance
页面提供五个区块:主体逐期明细(处理组 → 种子 → 主体 → 指标四联动)、同一主体跨处理组对比、 同 run 群体对比与期末排名、账本科目余额、口径与来源。数据来自两个独立通道的合并:
| 列 | 来源 | 口径 |
|---|---|---|
| 场景自记字段 | agents.json → state.history |
由场景在每期结束时写入(收益、收入、支出、利润、价格……),字段随场景不同 |
| 现金余额 | transactions.jsonl 重放 |
该主体 cash 账户在本期全部流水结算后的余额 |
| 净资产 | transactions.jsonl 重放 |
该主体全部资产负债表账户(资产、负债、权益)的带符号余额合计,与 Ledger.net_worth 同口径 |
- 重放结果与
ledger.json快照逐账户一致;抽出的现金余额与agents.json里主体自己缓存的cash一致,两条通道互为校验。 - 宏观场景里政府、央行没有场景 history,但持有账本账户,因此仍会出现在明细页中(
shock、market这类无账户主体除外)。 - 期号 0 表示初始状态(初始禀赋),不是一次实验期。
- 金额单位是分(整数),与账本记账精度一致;负数表示负债或亏损。
- 净资产只统计账本科目,不含存货等实物资产,企业口径会低估真实资产。
页面数值全部由 run 产物生成,没有手工填写的数字;完整逐期明细另存为 agents_finance.csv。
8. 真实 LLM 接入:M3.1 的工程细节
- 端点:
POST https://api.minimaxi.com/v1/chat/completions(国内站;国际站为api.minimax.io)。本项目实测api.minimaxi.com可用。 - 模型名:
MiniMax-M3.1-Flash-Preview可用;MiniMax-M3.1在该端点不存在。 - 思考:M3.1 默认 thinking,不能关闭;
reasoning_content单独返回。max_tokens太小会把预算全花在 reasoning 上,导致 content 为空,policy 会走 repair turn。示例配置用2048。 - n=1:不能用多样本;异质性靠独立调用 + 独立 persona。
- 不支持的硬约束:
presence_penalty/frequency_penalty/logit_bias不作为动作合法性手段;合法性靠 schema 校验 + 重试。 - 工具:工具调用被封装在单次决策内部,不推进时钟;工具失败计入 trace,不静默重试。
- 价格缓存:prompt 前缀稳定(persona 在 system,动态观察在 user),支持
prompt_cache_key的部署可进一步降本。 - 成本:按 M3 公开价目估算($0.30/$1.20 per Mtok,缓存 $0.06),实际以账单为准。脚本里的
budget是硬熔断。
9. Schema 之外的语义校验与 LLM repair turn
JSON schema 只能约束类型/范围,管不了“预算是否够”“支出是否超过可用资源”。Scenario.validate_action() 负责语义约束:
exchange:x + p_y·y <= x_endow + p_y·y_endow;macro:家庭spend <= cash + last_income + benefit。
LLMPolicy 在 schema 校验之后调用 ctx.validate_action();validator 只接收 SemanticView 纯快照(own / public / cash / extra),不含 World/Ledger/recorder。如果语义不合法,会把错误写进 repair prompt,让模型在同一次决策内重试。只有重试耗尽才失败,非 LLM policy 由内核直接拒绝。
# 概念上的调用顺序
action = agent.act(obs, ctx) # Agent.act 强制 action.actor_id = agent.id
action.action_id = ... # kernel 分配,供 action 事件回溯
semantic_errors = scenario.validate_action(world, agent, action) # kernel 侧语义校验
if semantic_errors: raise ContractError(...)
scenario.handle_action(world, agent, action, obs) # 仅此处可发 action 事件
测试:tests/test_semantic_retry.py(先返回超预算 demand,再返回合法 demand)。
10. 宏观校准:符号可复现
configs/macro_calibrated.yaml 是 80 期、5 seeds 的校准基线。改动包括:
- 单位成本改用正常产能产出,避免衰退时单位成本机械上升;
- 价格方程加入需求/库存/失业缺口(价格 Phillips);
- 工资方程加入失业缺口(工资 Phillips)与名义趋势;
shockagent 同时产生生产率、需求、分离率冲击;- 匹配函数
M = min(U,V,m0·sqrt(UV)),m0=0.65,分离率均值 0.06。
结果(5 seeds × 80 periods,规则主体;2026-10-29 边界修复后重跑,5 个 run 全部 compliance=pass、artifact verify pass、environment provenance=0;80 期 series 与上一轮逐 seed 完全一致):
| seed | Okun | Phillips | Beveridge | mean U | mean π |
|---|---|---|---|---|---|
| 1 | -0.718 | -0.054 | -0.490 | 0.051 | 0.015 |
| 2 | -0.771 | -0.178 | -0.607 | 0.086 | -0.001 |
| 3 | -0.691 | -0.145 | -0.636 | 0.066 | 0.002 |
| 4 | -0.735 | -0.195 | -0.769 | 0.065 | 0.015 |
| 5 | -0.684 | -0.469 | -0.610 | 0.069 | -0.004 |
python scripts/calibrate_macro.py --json runs/macro_calibration.json
python -m econlab run configs/macro_calibrated.yaml --root runs --force
这是方向性校准,不是结构估计;80 期相关性仍是描述性的,不能做点预测。汇总:平均 U ≈ 6.8%,平均季度通胀 ≈ 0.55%。换 agent 数量、ID、LLM 后端或样本长度后必须重新验证。详见 docs/CALIBRATION.md。
11. 如何做一次可信的实验
- 先预注册并用工具校验:假设、主体设计、异质性档位、种子方案、主指标、验证计划;模板见
docs/RESEARCH_PROTOCOL.md,python scripts/check_prereg.py <file.md> --config <yaml>检查必需章节(缺项 exit 2)。 - 先跑 rule/zero 基线:确认会计与机制本身能跑通,再换 LLM。
- 不少于 5 个种子(L1 下限;L2 建议 10+);报告均值、方差、相关结构,不只报均值。
- 做方差分解:处理组 / 种子 / 后端 / 主体身份(ANOVA eta² 准入 + 可选 MixedLM,seed 随机截距;单变体、单后端或饱和设计会显式标“不可估计”,不会假装能分解)。若某轴效应小于种子噪声,降级该轴,而不是继续加种子。
- 做记忆忠实度探针:清空/打乱/替换记忆后行为不变,则记忆相关结论作废。
- 做后端敏感性表:固定环境换后端,系数移动量写进正文(
python scripts/backend_sensitivity.py;最后通牒 5-seed 与宏观 16 期 ×1 seed 的三后端移动表已产出;单后端/缺同协议组会显式标不可对照;更长样本的宏观系数敏感性仍未做)。 - 做累积消融(L4):baseline → +config → +memory → +tools,用
ablations:块自动展开(见configs/ultimatum_llm_ablation.yaml);冲击响应用configs/macro_shock_arms.yaml。 - 并行预测只当脚手架:
python scripts/parallel_prediction.py --run-dir <run> --series <csv>;没有外部序列时会明确输出 scaffold only,不会伪造历史对比。 - 写清楚“这一层撑不住什么结论”:报告底部自动带
caveats,但作者仍要自己写。
已知失效模式与对策见 docs/METHOD.md。
12. 目录
econlab/
contracts.py Action/Spec/Observation/AgentContext/PhaseSpec/Event + provenance 常量
semantics.py 无 World 的 SemanticView 与语义校验(供 LLM repair)
config.py YAML/JSON 解析、variants、seeds、冻结
ledger.py 复式记账 + 独立 replay
stocks.py 商品守恒
kernel.py World、phase 快照、事件归因、审计、证据冻结
compliance.py 事件归因、状态变更链接、finalize 完整性、价格来源、封装、随机完备性等检查
verify.py artifact 级核验器(重算账本/商品/事件/配置)
recorder.py append-only 记录
runner.py treatments × seeds、预算、失败处理(compliance fail 即失败)
scenarios/ ultimatum / binary_ultimatum / ultimatum_architecture / public_goods / double_auction / exchange / macro / engel / normal_form_game / second_price_auction / trust_game / dictator_game / matching_deferred_acceptance / english_dutch_auction / asset_market_bubble / coase_property_rights / intertemporal_consumption / information_cascade / adverse_selection / ad_as / expectation_formation / open_economy / growth_model / banking_money / public_debt(+ plugins_examples/ 下 posted_price_market、cournot_competition、trust_game_repeated 三个可安装示例)
agents/base.py agent 基类与通信
policies/ zero / rule / mechanism / llm / isolated(可选进程隔离)
llm/ MiniMax、mock、prompt、parse、memory、tools、budget
analytics/ summary、variance decomposition(四因子 + MixedLM)、benchmarks(人类基准对照)、HTML report
ui.py 交互式实验设计台的 HTTP API 与 job manager
ui_assets/ 无外部依赖的单页前端(HTML/CSS/JS)
l4_realtime.py L4-010 实时 vintage 预测:manifest 校验、pre-origin 隔离、forecast 冻结/校验、CRPS/PIT/coverage 评分、判定
cli.py run / estimate / ui / probe-api / report / verify / replay / serve
configs/ 可直接运行的实验配置
docs/ 方法、架构、UI、校准、问题族、插件、研究协议、真实运行记录、ODD+D、基准(含真实数据)、后端敏感性、replay、v9 迁移、L4 边界台账、L4 并行集合、ACE 七原则边界台账、L5 范围、审计与修复记录、路线图(ROADMAP.md)、legacy 证据规则(LEGACY_EVIDENCE.md)、测试基线(TEST_BASELINE.md)、插件 30 分钟上手(PLUGIN_QUICKSTART.md)
data/human_benchmarks/ 真实公共数据参考(World Bank 美国年度序列 + 原始缓存;读法见 REAL_DATA_BENCHMARKS.md)
data/realtime/ Philadelphia Fed RTDSM 实时 vintage 原始 xlsx + 12 episode manifest + provenance(L4-010;见 data/realtime/README.md)
examples/benchmarks/ 个体级人类数据注入示例(synthetic,仅演示格式)
scripts/ calibrate_macro / live_evidence / memory_probe / engel_llm_subsample / backend_sensitivity / parallel_prediction / parallel_ensemble / parallel_design_validation / l4_parallel_primary / build_realtime_episodes / l4_010_realtime_primary / odd_report / fetch_real_benchmarks / ace_principles_audit / ace_labor_market_equivalence / engine_migration / verify_all_runs / legacy_inventory / check_evidence_compliance / check_doc_links / new_plugin / migrate_scenario_metadata / analyze_m3_001 / analyze_m3_003 / analyze_m3_004 / analyze_m3_005 / analyze_m3_006 / analyze_m3_007 / analyze_m3_008 / analyze_l1_002 / analyze_l2_002 / analyze_l4_011 / evidence_pipeline / claim_ledger / state_diff_audit / replay_audit / m6_replay_panel / estimate_phillips / check_prereg / check_m3_regression / odd_report / release_check / evidence_bundle / evidence_verify_template / build_plugin_index / check_doc_freshness / claim_review
tests/ 1623 个测试 + 197 subtests(governance / verify / plugin isolation / evidence integrity / benchmarks / variance / memory / ablation / schema / ODD / factorial / prereg / SFC / full SFC / transfer / advanced finance / backtest / importers / env / free-model forward / UI / plugins / per-agent backend / per-agent 预算 / 四轴 agent_personas / 报告方差分解 / evidence gate / prereg config / normal-form game / second-price auction / binary ultimatum / ultimatum architecture & heterogeneous / W4a replay 兼容性门控 / human benchmarks / kernel state closure / kernel state diff (M6) / kernel policy validator / ACE labour-market agent / macro v10 labor market / Phillips estimation / AD-AS / expectation formation / open economy / growth model / banking money / public debt / L1-002 architecture ladder / L2-002 three-axis factorial / L3-003 directional facts / evidence pipeline / claim ledger / treatment disclosure / 制度 registry / 世界法则所有权检查 / macro v11 law agents 与人口迁移 / macro v12 labor-price law agents / lifecycle 动作层 / L2-003 四轴预注册配置 / L3-004 macro-v11 方向性面板 / W8.4 全场景 5-seed 描述性面板生成与分析 等;2026-11-20(v1.1 W8.4 全场景面板收尾后)全量 **1623 passed + 197 subtests**(47 warnings,exit 0,539.09s;基线见 docs/TEST_BASELINE.md;含 M1 插件 SDK、M2 micro pack 十场景、M3-1 macro v10 劳动市场、M3-2 Phillips 斜率估计、M3-3 AD-AS、M3-4 预期形成、M3-5 开放经济、M3-6 增长、M3-7 银行/货币、M3-8 公债/李嘉图等价、M4-1 L1-002 架构阶梯(21 tests)、M4-2 L2-002 三轴 factorial(17 tests)、M4-3 L3-003 方向性四事实(20 tests)、M4-4 证据流水线(16 tests)、M4-5 claim ledger(19 tests)、M5-1/M5-2 L4-010 实时 vintage(24 tests)与 M5-3/M5-4 L4-011 LLM 臂与身份敏感性(13 tests)、M6-1/M6-3 per-period material-state 链与重放审计(8 tests)、M7 发布工程(wheel/插件索引/证据 bundle/文档新鲜度/claim 审查,11 tests),以及冻结回归/UI 契约修复);以 `python -m pytest -q` 输出为准)
runs/ **1464 个 run**(不含 archive;2026-11-11 快照为 522 个,之后新增 M2-1/M2-2 与 M2-3~M2-12 的 rule+LLM 实验、M2-003 补跑、M3-1 v10 迁移、M3-2 Phillips 估计面板 10 个、M3-3 AD-AS 15 个 rule run、M3-4 预期形成 15 个 rule run + 5 个 LLM run、M3-5 开放经济 15 个 rule run、M3-6 增长 15 个 rule run、M3-7 银行/货币 15 个 rule run、M3-8 公债/李嘉图等价 15 个 rule run、M4-1 L1-002 主面板 15 个 + DeepSeek 敏感性 15 个 run、M4-2 L2-002 主面板 40 个 + 记忆探针 20 个 run、M4-3 L3-003 macro 面板 10 个 + engel 面板 10 个 run、M5-3/M5-4 L4-011 macro LLM 面板 10 个 + ultimatum 5 身份 25 个 run 等;2026-11-20(W8.4 后)`scripts/legacy_inventory.py`:**current 936 / legacy 528 / incomplete_dirs 35**,证据门禁 `--scope current` **936/936 pass**;M4-4/M4-5 不新增 run,只新增审计/claim ledger 产物;M5-1/M5-2(L4-010)用 lightweight 模拟,不写 engine run 目录;M5-3/M5-4(L4-011)新增 35 个 run;M6-1/M6-3 重放面板新增 100 个 run(20 场景 × seeds 901–905,每 run 带 per-period 链),M8-001 新增 5 个双真实后端 run(ultimatum × seeds 1–5,登记 strict-v2 预注册后整体重生成),M9-001/W2.6 新增 3 个内置 macro lifecycle run(macro-v11 默认、household entry/exit),W4a/L1-003 新增 60 个预注册架构面板 run(3 arms × 5 pairs × 5 periods × 20 seeds,见 [W4a 结果](audit/findings/W4a-L1-003-result.md)),W4b/L2-003 新增 160 个四轴主面板 run + 20 个记忆探针 run(16 cells × 10 seeds;4 arms × 5 seeds,见 [W4b 结果](audit/findings/W4b-L2-003-result.md)),W4c/L3-004 新增 10 个 macro-v11 方向性面板 run(2 臂 × 5 seeds × 40 期,见 [W4c 结果](audit/findings/W4c-L3-004-result.md)),W8.4 新增 135 个全场景 LLM 5-seed 描述性面板 run(27 builtin × seeds 1–5,3,415 calls / $1.9335,见 [W8.4 面板](audit/findings/W8.4-scenario-panel.md)),故为 1464 个 run)。存量证据口径(2026-11-11):**522/522 verify pass**(2026-11-11 Wave3 全量,wall 1551.664s,checked_at 2026-11-11T09:01:08Z;见 archive/checks/verify_all_runs_2026-11-11_final.json,154,378 B,sha256 32af6a04…;signature_counts retroactive 484 / generation 38,0 violations;新增 `evidence_signature` 的 generation/retroactive scope 语义与 `engine_metadata` 检查);**2026-11-18 全量重跑 1067/1067 pass**(wall 1055.6s,checked_at 2026-11-18T03:23:59Z,signature legacy-format 522 / generation 545,0 violations,见 archive/checks/verify_all_runs.json;最新一次为 M6-1/M6-3 后),M5-3/M5-4 后为 967/967 pass(wall 1166.191s,signature legacy-format 522 / generation 445,0 violations),M5-1/M5-2 之前(M4-3 后)为 932/932 pass(wall 1011.083s,legacy-format 522 / generation 410),M4-3 之前(M4-2 后)为 912/912 pass(wall 1190.065s,signature legacy-format 522 / generation 390),M4-2 之前(M4-1 后)为 852/852 pass(wall 1443.851s,legacy-format 522 / generation 330),M4-1 之前(M3-8 后)为 822/822 pass(wall 2709.534s,legacy-format 522 / generation 300),再前一次 M3-7 后为 807/807 pass(wall 1094.474s,legacy-format 522 / generation 285),再前一次 M3-6 后为 792/792 pass(wall 1147.741s,legacy-format 522 / generation 270);`runs/` 下另有 **35 个残缺 run 目录**(无 `run.json`,多为失败/网络错误现场,如 `failed_network` 或 M2 LLM 批次中 HTTP 529 中断目录),verify/审计会**静默跳过**、不计入 1067;覆盖 mock / rule / 校准 / live / 免费车道 / 消融 / 三后端 / 阶梯 / factorial / SFC / 迁移 / 高级金融 / 完整 FoF / P9 金融深化 / 政策实验 / backtest / v7/v8 设计验证 / PGG mock / binary ultimatum / 跨模型)。v6(L4-005)因测试隔离缺陷/并发编辑作废,归档 archive/invalid_v6_partial_rerun(仅诊断,不计入证据);早期 multimodel smoke 归档 archive/legacy_multimodel_smoke_20261109;修复前 live 移至 archive/legacy_live_runs;2026-11-16 M0-3 盘点把这 522 个 run 全部归为 legacy(当时 current 0;原因:512 无 model_version、484 无 engine_version、484 retroactive signature、522 无 world.treatment),另有 35 个残缺目录;M1–M3 之后的新 run 已带 generation signature/model_version/prereg,2026-11-17(M4-2 后)盘点为 current 385 / legacy 527 / incomplete 35;legacy/current 定义与引用纪律见 docs/LEGACY_EVIDENCE.md,外部效度只能引 current
13. 诚实的能力边界
- 已有能力(能力已实现 ≠ 验收达成;逐层验收判定见下一条):L0 内核/契约/会计/核验 + ODD+D 文档骨架(
docs/ODD_PLUS_D.md)+ message/Observation schema 版本校验(compliance 15 项;P12 新增treatment_disclosure,旧 run 为 14 项快照;2026-11-11 起第 15 项对counterfactual_protocol=conditional_backtest的 run 强制要求world.treatment,历史 166 个含shock_schedule的 config 作为 legacy artifact 接受,清单audit/fix/treatment_disclosure_legacy.json)+ 2026-10-30 硬化(机制 action 绑定、价格伪造检测、ctx.llm 收窄、turns 证据链);L1 最小可证伪闭环(zero/rule/LLM 三组同实验对照 15 runs + 数据化人类/理论基准对照,方差/相关结构可注入);L2 重复博弈与四轴处理面 + factorial 处理设计(factors自动展开、decompose_factors逐因子 eta²;ultimatum 任务上退化,负结果)+ 记忆/工具轴探针(负结果);L3 的宏观骨架 + 方向性校准 + Engel 场景 + SFC/资金流量矩阵(可选商业银行 + 政府债券,feature-flagged) + Phillips 敏感性;L4 的报告义务流水线 + 可执行 backtest(累积消融、后端敏感性表、冲击 arms、欧元区 2008-09 backtest、历史伪平行集合预测 L4-009、种子离散度)。 - 验收判定(2026-11-11 全面审计;
audit/findings/consolidated_audit_2026-11-11.md):L1 2/3(2026-11-17 L1-002 预注册三臂对照:②、③ 达成,① 未达成):新增ultimatum_architecture三臂(zero/single_controller/multi_agent)15 个 live run,multi 0.500 sd 0 / single 0.450 sd 0.1118 / zero 0.466 sd 0.0723(配对差 +0.050、方向一致率 0.20,未复现 88% vs 50%);heterogeneous η²_agent mock 0.759 CI[0.739,0.898]、live(3/5)0.422 CI[0.402,0.722] 均不含 0;2026-11-17 L1-002 重做:multi 与 single 均值同为 0.478,H1 架构方向未复现(3/5 seeds、距离差 −0.004 CI[−0.02,0.014]),H2 分布差异支持(均值差 +0.078 CI[0.055,0.097]、拒绝率差 −0.147)、H3 身份方差支持(η²_agent 0.752 vs seed 0.041、p=0.0002,zero 对照 p=0.226);人类方差/相关仍不可识别;L2 1/3(2026-11-17 L2-002 预注册 2×2×2 factorial:H1 达成,H2/H3 未达成):旧 factorial 12 runs 全.5degenerate,L2-002 重做 40 runs + 记忆探针 20 runs——H1 存在性 +0.0735 CI[0.0669,0.0792](seed noise 0.0082、5/5 同向),H2 记忆 +0.0097 CI[0.0033,0.0169] 但 seed noise 0.0112 > 点估计 → 未支持(探针 detectable 主要由 placebo 臂驱动、clear/shuffle 未达阈值),H3 认知 +0.0053 CI[−0.0077,0.0202] → 未支持;L3 1/4(2026-11-17 L3-003 预注册方向性四事实:H4 Engel 支持,H1 Phillips、H2 Okun、H3 Beveridge 未支持,判定l3_not_supported)——macro 面板 LLM 臂 Phillips 2/5 负(−0.0033)、Okun 3/5 负(−0.0290)、Beveridge 0/5 负(+0.1746);engel 面板 LLM 臂 Engel 4/5 支持(弹性 0.7477 CI[0.5986,0.9205]、份额-收入斜率 −0.0600 CI[−0.0812,−0.0242]);rule 对照的 Phillips 项是内嵌 reduced-form,不能当涌现证据、L4 报告义务形式齐备、Level 2/3/4 能力验收 0/3 未达成、L5 仅 scoping(Gate 0 未过,M6-4 blocked);ACE 七原则 0 FAIL / 5 PASS / 2 PARTIAL(2026-11-18 M6 再审计;全仓 compliance 1,067/1,067 pass;W2.5 复核 artifact 为 1,073/1,073,判定仍不升级;MP5/MP7 仍 PARTIAL,G5 未通过)。因此不能宣告 c-ABM compliant、不能宣告外部效度,LLM 主体也不等于人类主体。 - M7 v1.0.0 发布工程(2026-11-18):发布包(wheel 本地可装、版本三处一致)、插件索引(
plugins/index.json+docs/PLUGIN_INDEX.md,2 个官方示例插件、安装后 27 场景)、证据 bundle(release/v1.0.0,137 文件 + 每文件 SHA-256 + 聚合bundle_sha256+ 独立 verifier)、文档新鲜度(11 项检查)与 claim 审查(8 个公开文档、0 warning/0 critical)均完成;claim ledger 扩到 37 条。G6 不通过:DoD 证据项(官方示例 2/3、无 institution/law registry、L1 2/3、L2 1/3、L3 1/4、L4 未达 Level2)与外部 reviewer 均未满足;v1.0.0 是工程发布,不是 ACE 合规、外部效度或人类替代性的证据。 - M4-4/M4-5(2026-11-17):证据合规流水线与中央 claim ledger 已落地——
scripts/evidence_pipeline.py实测 current 405/405 合规、预注册 41/41、两个 batch 20/20 verify;docs/CLAIM_LEDGER.md20 条 claim 逐条有证据链接(--check通过),且把 L1 架构方向、L2 记忆/认知、L3 Phillips/Okun/Beveridge 的负结果全部入账。这只是证据治理:G4 外度门禁仍未通过(L1 2/3、L2 1/3、L3 1/4),不改变任何外部效度或人类替代性结论。 - L0 收尾硬化(2026-10-30):mechanism 事件必须绑定本期同 source 的真实 action(伪造/缺失 → ContractError);
prices_emerge_from_agents能抓机制伪造 price_set 与缺 price_ref 的 mechanism trade;ctx.llm收窄为只暴露complete()/model(无 provider/recorder);evidence 新增 turns.jsonl 链式 hash 与 verify 的turns_evidence(新 run pass、旧 run warn 但 pass)。仍不是形式化合规:窄 ctx.llm 是 API 形状约束,不是沙箱。 - 方差分解的边界:ANOVA eta² 是描述性准入筛查,MixedLM(seed 随机截距)给出 ICC;factorial 设计用
decompose_factors逐因子估计,但当某指标在所有臂上取值相同时返回degenerate(不会假装可分解);单变体/单后端/饱和设计同理写“不可估计 + 原因”,p/ICC 不作结论。 - 记忆/工具/Engel 三轴的 live 负结果(都要单独报告):(1) 记忆轴 mock 管线通过(24/24),但真实 LLM 探针三干预无差异 → 记忆结论作废;(2) 工具臂真实 LLM 0 次工具调用,只增加 prompt 成本;(3) Engel 的 rule 臂"定律"是 Stone-Geary 构造性质,LLM 子样本弹性 ≈1.00、份额恒 0.600 → LLM 家庭未表现出 Engel。这三条都属于大纲 §7 的失效模式(伪理性/工具误用/高估人类理性),不是"证明定律不成立"。详见
docs/MEMORY_TOOLS.md、docs/ENGEL.md。 - L4 的边界:本轮交付的是报告义务流水线 + 小样本演示 + 可执行无条件/条件 backtest(累积消融、冲击 arms、最后通牒 5-seed 三后端移动表、宏观 16 期三后端系数移动表、跨情境迁移 live(n_matched=2,INSUFFICIENT_N)、欧元区 2008-09 无条件 backtest、2008/2020/2011 条件 backtest(预注册 v2) + v3 双通道条件 backtest(预注册 L4-002;mixed_weak、g2 触发)、v4 数据识别双通道 backtest(预注册 L4-003;用 Eurostat 消费做 2×2 反演,结果 h0_retained:2×2 在冻结模型中奇异/共线、ridge 0 季启用、fallback 主导,第二信号仍未改善复现)、v5 deflator 2×2 识别(预注册 L4-004;h0_retained)、v6b 增强模型条件 backtest(预注册 L4-006;劳动需求+消费动态修复 productivity 通道后:Δu 方向 18/23=0.783、3/3 episodes 达标,但 u 水平 nMAE 15.09、模型 u 冲到 31.5–43pp → mixed_weak,方向复现但水平未复现;v6 作废不计)、v7 水平锚定模型 + GDP-only 序贯识别(预注册 L4-007;Δu 方向 17/22=0.773、3/3 episodes 达标,但 u 水平 nMAE 1.176 未达 1.0 → mixed_weak;较 v6b 水平误差降 12.8×,仍不能宣称历史复现;secondary 已于 2026-11-09 运行:dual-diag/attribution 两组输入 gate 失败、elasticity override 未生效=INVALID,均不参与判定,见 §19.1)、并行预测脚手架、种子离散度);结果仍弱/负:无条件 backtest 累计 Δu/ΔHICP 不一致;条件 backtest 预注册判定 mixed_weak(pooled Δu 0.533、Δπ 0.586、z 相关 −0.18/+0.15、水平 nMAE 7.40/2.02),且条件化质量差(GDP 输入匹配 nMAE 1.9–10.4、clip 75–83%、k 病态),说明单需求通道无法复现 GDP 路径——历史复现未达成;照实记录、未调参;没有真正的外部效度证据,不能宣称 L4 已实现。见
docs/L4_EXTERNAL_VALIDITY.md§12 与docs/prereg/L4-001-conditional-backtest.md。 - L4 外部效度边界台账(2026-11-09):新增
docs/L4_BOUNDARY.md,按 claim 逐条列出 L4 能/不能宣告什么。三项报告义务(后端敏感性表、种子离散度、冻结原语声明)的机器可读产物已齐备;但外部效度未达成:Level 2 历史复现 v2–v8 全部 mixed_weak/h0,Level 3 只做了历史伪平行(L4-009;mixed_weak、GDP skill 为负),未达成,Level 4 跨情境 n_matched=2 不足。24-run 跨模型表是 availability-conditioned 描述统计,不是模型能力排名;条件 backtest 的 GDP 输入匹配是构造性的,不构成历史复现。详见docs/L4_BOUNDARY.md§2–§6。2026-11-11 全面审计维持该边界:报告义务形式齐备,Level 2/3/4 能力验收 0/3 未达成。 - L4-010 实时 vintage 多 episode 预测(M5-1/M5-2,2026-11-17,预注册;非 Level 3/4):这是本仓库第一次用实时 vintage(Philadelphia Fed RTDSM 原始 xlsx,vintage 数据只含发布当时可得的值)做 12 个 episode 的发布前冻结预测检验。结果全负:
gdp_yoy80% 区间覆盖率 0.4896、PIT mean 0.4714(目标 0.80–0.90);skill_score>0目标 0/3(gdp −3.1928、du −0.6001、pi −3.5394);pooled gdp MAE 13.8268 vs naive 3.2978。设计门禁(12 个独立 episode、窗口不交、vintage 唯一、200 户初始失业网格 12 个互异值、每 episode 20 成员非退化、无重复 episode)全部通过,v2 重跑score.json与 attempt-1 逐字节一致。因此 L4 外部效度仍未达成、Level 2/3/4 仍未达成;单臂规则模型(无 LLM 臂)也意味着 M5-3 未满足。详见docs/LIVE_RUNS.md§1ah、docs/L4_BOUNDARY.md§4.3 与docs/prereg/L4-010-realtime-vintages.md。 - L4-011 LLM 臂 + 模型身份敏感性(M5-3/M5-4,2026-11-17,预注册):两个 LLM 场景面板(macro 实时 vintage 10 runs;ultimatum_architecture 25 runs)× 5 个模型身份 / 2 个后端,35/35 generation 签名 + verify pass。判定
l4_011_llm_arms_supported:M5-3(两场景 LLM 臂五种子签名)与 M5-4(≥2 后端 × ≥3 身份、差异与种子噪声比较并进正文)均达成——池化种子噪声 0.013036、最大身份差 0.0300(2.30× 噪声、CI 排除 0)、η² identity 0.5083。这只是 LLM 臂的可运行性/可比较性证据:不改变 L4 外部效度与 Level 2/3/4 判定,也不是模型能力排名;macro LLM 的 gdp 预测 skill 仍为 −3.2767(描述性)。详见docs/LIVE_RUNS.md§1ai、docs/L4_BOUNDARY.md§4.4 与docs/prereg/L4-011-llm-arms.md。 - L4 DSGE 基准(2026-11-02):新增独立
econlab/dsge.py小型新凯恩斯 3 方程基准(IS/NKPC/Taylor、BK 判定、闭式 IRF)与scripts/dsge_vs_abm.py;ABM vs DSGE 描述性对比:4/4 维度冲击当期同号、平均 shape corr +0.646;需求→通胀最稳(+0.824),需求→产出弱且非单调(+0.234),供给向不稳健(新息估计符号翻转)。这只是 DSGE 基准对照,不是把 ABM 变成 DSGE,也不能当校准/结构估计/外部效度,见docs/DSGE_BENCHMARK.md。 - 未实现/弱实现:人类基准的方差、相关结构对照机制已实现(
ECONLAB_BENCHMARKS注入distribution/summary/correlations/joint_observations,报告自动出 sd 比/标准化均值差/Wasserstein-1/相关差);已内置一份真实公共宏观参考(World Bank 美国年度序列:okun_corr 参考 −0.83±0.22、phillips_corr −0.25±0.34;模拟 −0.72±0.04 / −0.21±0.16 → sd 比 0.16/0.46),但这是年度 vs 季度、美国 vs 模型世界的口径错配,只能作参考;人类实验数据已不只 literature range:内置 Dannenberg 2019 PGG(76 组)、**Mekvabishvili Zenodo 5033369 PGG(12 完整组/480 观测)**与 **OSF wphqm 二元最后通牒(43 proposer/245 responder)**三份真实 fixture,并跑了public_goods_mekvabishvili_mock(3 runs,设计错配)与binary_ultimatum_{rule,mock,live}(16 runs)描述性对照——但组级 vs run 级、tiny-n、设计差异,仍不构成外部效度或人类替代性证据;L3 在 2026-11-17 L3-003 之前只有 rule 基线的方向性校准;L3-003 把 LLM 处理组纳入预注册判据后,只有 Engel 定律通过(Phillips 2/5、Okun 3/5、Beveridge 0/5 呈期望符号),说明方向性符号在 LLM 处理组下并不稳健,更不能当结构估计。 - L5 未实现,且 2026-11-18 起 Gate 0 明确 blocked,只有立项范围:
docs/L5_RESEARCH_SCOPE.md写清研究问题(冻结原语 vs 再定心、Lucas 批判、一步重训残差)、所需管线、最小可行 Phase-1、决策 gate(L4 外部效度样本、合法数据、预注册、算力预算)与非目标;当前代码无任何训练/再定心实现。 - 宏观模型在全部金融 flag 关闭时是单商品、固定资本、无商业银行/债券市场的简化闭环;打开 banking/gov_bond/investment/full_sfc 后是简化的金融部门 + 完整 FoF 矩阵,但仍不是 DSGE;不能做点预测,只能做方向性、机制性讨论。
- L3 的两条硬边界(已扩展):(1) 金融深化是 feature-flagged 的简化部门:
banking_enabled/gov_bond_enabled/investment_enabled/full_sfc_enabled打开后有商业银行、政府债券、投资/资本积累、银行利润分配,以及完整 FoF 矩阵(cash_currency/deposits/bank_loans/cb_lending/reserves/gov_bonds/firm_equity/capital + net_worth,5 部门 + rest_of_world=0);macro_full_sfc上 7 个金融工具行和=0、capital+net_worth 行和=0、部门列和=0、ff_full_matrix/flow/saving-investment 残差全 0,默认关闭时既有轨迹 0 差异;但不是 DSGE/完整资金流量表——无跨期最优化/理性预期/唯一均衡/结构冲击识别,无二级/银行间市场、资本充足率、违约、债券到期再融资、期限结构,家庭存款比例固定 50%,资本按历史 book value、存货不在矩阵内;残差 0 只证明实现内会计恒等式,不是宏观因果;(2) Phillips 关系是 reduced-form 内嵌假设(价格/工资方程里的price_phillips/wage_phillips),相关性是自洽性检查;configs/macro_phillips_sensitivity.yaml显示把系数置 0 会让 40 期下 Phillips 相关明显移动(且基线本身已有种子符号为正)——所以这些相关性不是涌现证据、不能当校准验收。2026-11-17 L3-003 的 LLM 臂结果(Phillips 2/5、Okun 3/5 呈负)进一步说明:这些相关性在 LLM 处理组下并非稳健符号,不能作为校准验收。 - L3 金融深化的 P9 扩展(2026-11-02,默认关闭):
interbank_enabled(两家银行同业准备金拆借)、term_premium_enabled(政府债券短/长两档+期限溢价)、credit_risk_enabled(NPL 迁移/核销/债务减免)、capital_requirement_enabled(equity/RWA 资本约束,低于下限限制放贷/分红);FoF 矩阵扩到 11 个金融工具 + capital + net_worth,macro_interbank3/3 verify pass、所有残差逐期 0、默认关闭时 80 期对拍 0 差异;仍不是 DSGE(无最优化/预期/唯一均衡;同业无网络/拍卖,无二级市场、债券到期再融资、完整收益率曲线,无存款保险/破产处置/抵押品,NPL 是确定性规则,资本约束是单一合并比率),见docs/CALIBRATION.md§4.1e。 - L3 部门级政策实验(2026-11-02):
configs/macro_policy_experiments.yaml(baseline/high_tax/fiscal_expansion/tight_reserves/high_policy_rate × 3 seeds × 40 periods)15/15 verify pass,SFC gate PASS(残差全 0);scripts/policy_experiments.py汇总效应 + 种子离散度 + gate 退出码;这是 reduced-form ABM 参数实验,不是可识别结构冲击、不是福利/因果分析,见docs/POLICY_EXPERIMENTS.md。 - LLM 行为结论只对“该模型 × 该 prompt × 该温度 × 该样本”成立;不要把它当作人类样本的替代品。
ComplianceChecker是结构核验:compliance=pass只表示通过当前检查项(事件归因、状态变更链接、finalize 完整性、价格来源、初始条件、随机完备性、会计、消息/observation schema、treatment 披露等 15 项),不代表完全 c-ABM 合规,也不代表外部效度;已知边界与修复状态见docs/AUDIT_MP1_MP7.md与docs/FIXES.md;2026-11-09 再审计(0 FAIL / 3 PASS / 4 PARTIAL)见docs/ACE_SEVEN_PRINCIPLES_AUDIT.md,P12 修复后的 claim ledger 见docs/ACE_BOUNDARY.md。- ACE 七原则 P12 边界修复(2026-11-09,判定仍 0 FAIL / 3 PASS / 4 PARTIAL):
World.frozen_state()纳入scenario_state(state_hash/initial_state_frozen.json覆盖场景局部状态;不可序列化抛ContractError;旧 run 不追溯);默认路径 labor-target 覆盖新增labor_target_setmechanism 事件,(2026-11-09 当时)默认关闭的labor_market_agent_enabled严格模式用显式laborphase + marketset_targetsaction(demoruns/ace_labor_market_demo/demo__s140 期 verify pass;strict vs off 131 列 max abs diff 0.0);条件 backtest 的 treatment 在 config/artifact 披露并由第 15 项 compliance 校验;2026-11-11 起强制面已落到新协议:econlab/backtest.py在注入shock_schedule时写world.counterfactual_protocol="conditional_backtest",econlab/compliance.py:592-664对该协议下缺失world.treatment的 run fail(treatment 需声明 kind、description/source,modeler_supplied_exogenous_schedule,not_external_validity=true,并绑定 shock schedule sha256);历史 166 个含params.shock_schedule的 config 无该协议标记,按 legacy artifact 接受(当前 0 declared / 166 undisclosed,清单见audit/fix/treatment_disclosure_legacy.json);旧 artifact 不追溯、不补写 treatment;因此不能写成“全部 treatment 已强制”;MP3/MP5/MP6/MP7 仍 PARTIAL,见docs/ACE_BOUNDARY.md。P12 同时修改了econlab/scenarios/macro.py与econlab/backtest.py(默认轨迹数值等价;v7/v8 旧 artifact 保留原 sha,见docs/L4_BOUNDARY.md§8)。2026-11-18 M6 再审计修正:MP3 与 MP6 已升级为 PASS(MP5/MP7 仍 PARTIAL;见docs/ACE_SEVEN_PRINCIPLES_AUDIT.md§10)。2026-11-11 现状修正(对 v9):econlab/scenarios/macro.py默认model_version已是macro-v9-strict-labor(macro.py:655-656),即严格劳动市场默认 ON(strict_default = False if legacy else labor_demand_enabled,macro.py:994;省略model_version的 config 走 v9),上文“默认关闭”只适用于 2026-11-09 的 v8 时代;19 个 macro yaml 显式 pinmodel_version= 18 个macro-v8-legacy+ 1 个macro-v9-migration,因此 L4 v2–v9 与校准证据仍主要走 legacy 覆盖路径。 - macro v9 strict labour-market 默认迁移(ENGINE-001,2026-11-10):新默认
macro-v9-strict-labor在 price 后新增laborphase;v8 legacy 路径保留且macro_v8_migration_control与已提交macro_calibrated的 19 个共同 numeric metrics / 13 个共同 series 列逐位一致。10/10 primary run verify+compliance pass;E3 显示默认改变是实质的:mean_unemployment +0.11825(6.75%→18.58%)、mean_inflation −0.02101/季、mean_output +7.7%。这不是“v9 更真实”:5 seeds、80 期、rule/mechanism agents、无 LLM,v9 的高失业水平是该简化模型的模型内行为。E1 有 post-primary 修正:literal-script-v2 =migration_invalid(132 个 control-only P9 金融指标 +variant标签),corrected =migration_verified_behavior_changed(共同指标/序列逐位为 0;metric 交集是修脚本 bug,忽略variant是偏离预注册)。两个判定都必须在报告中并列,见docs/ENGINE_MIGRATION.md与runs/engine_001_migration/report.md。 - L4-009 历史伪平行集合预测(2026-11-10,预注册;非实时):冻结
macro-v8-legacy+ 预声明 32 seeds × 3 episodes,在 pre-origin 初值上生成集合,冻结 forecast 后才读 actual。判定 mixed_weak:GDP pooled MAE 5.5185 vs naive 零增长 3.1998,skill −0.7246(点预测不如 naive);80% coverage 0.8438、PIT 0.5605(区间通过,但来自极宽 spread:GDP q05–q95 宽度 36.6–45.6pp、sd 14.0–16.9)。post-primary 发现 ea_2008 与 ea_2020 的 forecast 逐位相同(100 户模型把 7.9%/7.8% 初始失业都取整为 8 人),有效独立 episode=2;去重复子集 skill 仍负、coverage 仍 pass。独立交叉核对(task-33,只读)为 PASS_WITH_WARNINGS:32 checks = 27 PASS / 4 WARN / 0 FAIL / 1 NOT_CHECKED,96/96 observation 字段(含 CRPS)与指标在 1e-12 内一致、无未解释数值差异、独立重算 decision 仍为 mixed_weak;WARN 为 frozen_inputs 14 vs 预注册 15(design-only 文件)、rule 简写、MD 缺 runtime/timestamp、重复 episode(均不改判定)。不宣称 Level 3、实时预测、概率预测或外部效度;artifactruns/l4_parallel_ensemble_primary/,核对报告runs/l4_parallel_ensemble_crosscheck/report.json(sha25680ba5bde…),详见docs/L4_PARALLEL_ENSEMBLE.md。 - 生产、税/转移/商品配给/央行流动性等宏观机制现由持久 mechanism agents(market settle / pool / endowment)的 action 执行;内置场景
environment_events=(),截至 2026-11-11 Wave3 全量核验的 522 个 run 共 9,918,351 条事件(transactions 8,984,501、turns 672,703、agents 43,404;provenance action 9,744,083、mechanism 111,345、observer 62,923、environment 0;另有 35 个残缺目录不计);v8 前审计的 environment=0 结论仍成立,新增跨模型 run 抽检 901 条事件无 environment 来源。机制规则仍在 scenario transition 中应用,但只作为 agent action 的后果,见docs/ARCHITECTURE.md§3。 - Python 插件默认是可信代码:API 不把
World/recorder 交给 policy,validator 只见SemanticView。需要隔离第三方插件时可用policy.kind: isolated(每决策独立子进程,拿不到 World;仍不是 OS 沙箱,见docs/PLUGINS.md§10)。 - live 覆盖率(2026-11-11 Wave3 全量复核):522 run 中 live 参与 104 个(19.9%)——MiniMax 80(M3.1-Flash-Preview 65、M3 9、Text-01 6)+ 免费
openai_compatible24;mock 67、none 351。按 scenario:ultimatum 79、ultimatum_architecture 13、macro 4、binary_ultimatum 4、engel 2、public_goods 2。live 共 1,038 calls / 2,870,718 tokens(prompt 2,287,052 + completion 583,666;cached 929,040),$0.986941。live 只用于 LLM 相关臂;rule/mechanism/backtest 不需要 provider(L4 的 202 个 backtest/设计验证 run 全 rule/mechanism、0 LLM;macro 315 run 中 live 仅 4,均为 1-seed smoke/后端敏感性)。104/522 是组件覆盖率,不是外部效度或代表性;修复前 3 个 live run 已移到archive/legacy_live_runs/(verify exit 3),有效 live 样本主要是 5-seed 最后通牒 + 15 个 architecture/heterogeneous 对照 + 2-seed 工具臂 + 1-seed 宏观 smoke,够作方法层样本与成本校准,仍不够机制归因或宏观结论。 exchange的预算约束、macro的家庭支出现在有语义校验 + LLM repair turn:schema 合法但预算不可行的 action 会被打回重试,而不是静默裁剪;超过重试次数才失败。- mock 后端的知识消融在构造上不产生行为差异;它只能验证管线,不能用来估计知识效应。
ultimatum/public_goods/double_auction/macro会在 setup 自动创建持久 mechanism agents(endowment / pool / settle 等),以保证期初资源注入与结算由 agent action 执行;这些 agent 会出现在agents.json/turns.jsonl中。double_auction/exchange/macro在配置没有显式 market/auctioneer 时也会自动创建机制 agent;如果要测试“无市场”处理组,需要显式改 scenario。exchange的种子变异通过scenario.params.endowment_jitter(规则配置为 0.2)注入,不同 seed 不再产生相同轨迹。- UI 是本地单用户工具,没有认证;不要绑定
0.0.0.0暴露公网。后台 run 在 UI 进程内,关闭 UI 会中断未完成的 run。 - 宏观校准是方向性校准,不是结构估计;80 期相关性的标准误未做 HAC 修正,不能当点预测。
PhaseSpec.mode显式区分 simultaneous(默认,phase 快照)与 sequential(逐 actor 重建 Observation);内置场景全部 simultaneous,Stackelberg 顺序应拆 phase 或显式 sequential。- evidence 有 event/transaction/stock-flow 链式 hash;
econlab/signing.py+scripts/evidence_keys.py支持 HMAC-SHA256 签名:新 run 若存在环境变量ECONLAB_EVIDENCE_KEY或默认 key 文件.econlab/evidence.key(已 gitignore),freeze_evidence(econlab/kernel.py:1052-1060)在生成时写入signed_at_generation=true的签名;verify 重算 HMAC 并输出signature.{present,scope,key_source},新增--require-signature(generation 或 retroactive 均算)与--require-generation-signature(仅 generation)两个全量校验开关,summary 带signature_counts。484 个旧 run 均已做回顾性 attestation(attestation="retroactive-2026-11-11"、signed_at_generation=false;verify 的scope=retroactive会产生 warn checkevidence_signature_scope),2026-11-11 新增 38 个 run 为生成时签名(signed_at_generation=true);generation-signed = 38、旧 484 永久为 retroactive,所以 retroactive 是本地 tamper-evidence,不是第三方时间戳,也不证明旧 run 在生成时已签名,不能当外部审计或时间证明。metrics.json/run.json自新 run 起写engine_version/schema_version,verify 新增engine_metadata检查(旧 484 份无该字段→warn,新 38 份有→pass);全量台账archive/checks/verify_all_runs_2026-11-11_final.json(522/522 pass,154,378 B,sha25632af6a04…,signature_counts generation 38 / retroactive 484,0 violations)。没有 key 时链可抓常规篡改,但不是密码学认证。 - 开放系统 API
World.create_agent / destroy_agent / subsume_agent已有测试,仅允许在 phase 之间调用;内置场景未使用,以免改变现有校准。
14. 参考与方法论对应
- ACE 七原则
- 上传的
final_turn_001.md(六层实施路线、四轴异质性、方差分解、action/tool 分离、L0–L5 边界) - Tesfatsion, Modeling Economic Systems as Locally-Constructive Sequential Games (2017)
- Varian, Intermediate Microeconomics, 9th ed.
- Mankiw, Principles of Economics / Intermediate Macroeconomics
- EconAgent (ACL 2024), ABIDES / ABIDES-Economist, Shachi (2025)
本项目把这些文献的设计约束落成代码;不宣称复现了它们的全部结果。
Metadata
Release files for econlab 1.1.0
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | Provenance | Actions |
|---|---|---|---|---|
| econlab-1.1.0.tar.gz | 1.2 MB | Without provenance | Details for econlab-1.1.0.tar.gz |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Actions Reset |
|---|---|---|---|---|
| econlab-1.1.0-py3-none-any.whl | Python 3 | none | any | Details for econlab-1.1.0-py3-none-any.whl |
Total release size: 2.1 MB
Release files / econlab-1.1.0.tar.gz
| Download URL | econlab-1.1.0.tar.gz |
|---|---|
| Size | 1.2 MB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
994a6cb337ea74bc2070a212b56f20406889568743cd29152e6fd7a47508480f
|
|
BLAKE2b-256 checksum How to use checksums |
5afb748516590383b76e1bef4ad018a0dc82aca6f8f47dfcf2a1e5e27421e8fd
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/7.0.0 CPython/3.11.9
|
Release files / econlab-1.1.0-py3-none-any.whl
| Download URL | econlab-1.1.0-py3-none-any.whl |
|---|---|
| Size | 870.1 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
0b965e7dcbfb664e5227a7e3d1ded5c55b16a165e3fedc7bb46df9255afbb567
|
|
BLAKE2b-256 checksum How to use checksums |
7e70b7dfb57a0d517a23729ed235fe291be7e51b8031f37e3408a9f3d6f51c66
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/7.0.0 CPython/3.11.9
|
Security for econlab 1.1.0
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
No provenance found
None of the files in this release were uploaded with provenance metadata.
A note on package security
PyPI is a repository for distributing packages, not a service for auditing them. While third-party security researchers and our staff do their best to detect and remove malicious packages, PyPI cannot guarantee the quality, security or suitability of any given package.
To learn more about protecting yourself from malicious actors, visit our package security documentation.