τ³-bench airline MCP

该包把固定版本 τ³-bench 的 14 个 airline Agent 工具暴露为标准 MCP；用户侧模拟器工具、评分条件、reset 和 snapshot 不会出现在 Agent 工具列表中。

本地验证

uvx --from ./tools/tau3_airline_mcp tau3-airline-mcp --list-tools
uvx --from ./tools/tau3_airline_mcp tau3-airline-mcp

第一条命令应输出 14 个工具及函数签名。第二条启动 stdio MCP，供 MCP Inspector 或本地客户端连接。

打包

uv build tools/tau3_airline_mcp --out-dir dist/tau3_airline_mcp

产物为 automodel_tau3_airline_mcp-0.1.0-py3-none-any.whl。包内包含固定提交所需的 airline DB、policy、tasks、split 和最小 airline 运行代码，部署时不需要再从 GitHub 拉取完整 τ³-bench 框架。

在百炼脚本部署

百炼云端不能读取本机路径。官方文档给出的 Python 标准分发路径是公共 PyPI；也可先把 wheel 上传到可公开下载的 OSS 地址，或把本项目对应目录推送到公开 Git 仓库，然后：

1. 打开百炼 MCP 管理 → 创建 MCP 服务 → 使用脚本部署。
2. 安装方式选择 uvx，部署地域选择北京；低频评测选择基础模式。模板已经指定阿里云 PyPI 镜像，只用于安装 MCP SDK 与 Pydantic。
3. 使用以下任一配置模板：
   • bailian-mcp-config.pypi.template.json：发布到公共 PyPI 后使用，兼容性最明确；
   • bailian-mcp-config.wheel.template.json：替换公开 OSS 地址，版本和内容容易冻结；
   • bailian-mcp-config.git.template.json：直接从公开 Git 提交安装。
4. 提交部署，在“工具”页确认恰好出现 14 个工具，并测试 list_all_airports。
5. 在 airline Agent 中只挂载这个 MCP，粘贴 agent_system_prompt_zh.md，并在其后附上 datasets/v1/resources/tau3/airline_policy.md 完整原文。
6. 将相同 Agent 配置复制为 AUTO、经济、均衡、性能四个版本，只修改模型模式。

百炼官方支持使用 uvx 托管 Python stdio MCP，也支持连接远程 streamableHttp MCP。控制台入口和配置格式见自定义 MCP 服务。

正式批量评测的状态隔离

脚本部署版适合确认安装、14 个工具 schema 和单任务调用。它在一个 MCP 进程内维护 airline 数据库，百炼是否为每个 Agent 会话重建该进程并没有稳定契约，因此不能据此假设不同任务天然隔离。

正式运行 tau3_airline.jsonl 时使用 tools/tau3_openapi_adapter/：

• Agent 只看到 /tools/* 对应的 14 个工具；
• 评测调度器在每个 case_id 前调用隐藏的 /admin/reset；
• 任务结束后调用隐藏的 /admin/snapshot，交给官方 evaluator 判分；
• 通过 AI 网关将 14 个业务接口导入为一个 MCP 服务，admin 接口不导入；
• 禁止并发复用同一状态实例。需要并发时按 run_id 分片实例，或为服务增加按运行 ID 隔离的状态存储。

这条远程路径多一个部署步骤，但才能保证端到端任务成功率可复现。