国产大模型统一调用网关（cn-model-gateway）

开发者：牛魔科技工作室

把 10 家国产大模型统一封装成一个常驻 MCP 服务，对外暴露 8 个标准 MCP 工具。 纯 Python 标准库，零第三方依赖，填好 config.json 的 api_key 即可运行。

支持的模型厂商（10 家）

环境变量优先级高于 config.json，两者都没有则视为未配置。

提供的 8 个 MCP 工具

配置方法

编辑连接器目录下的 config.json，把要用到的厂商 api_key 填进去即可：

{
  "deepseek": { "api_key": "sk-你的密钥" },
  "zhipu":    { "api_key": "你的密钥" }
}

不填的厂商保持空字符串会自动跳过，不影响其他厂商使用。 未配置任何 Key 时连接器仍可正常启动，list_providers / health_check 可用， 调用类工具会返回中文配置引导，不会崩溃。

能力特性

• 能力画像自动选路：ask_model 不指定 provider 时，按任务类型与能力评分自动挑最优模型
• 自动故障转移：超时或失败自动切换备用模型
• 统一中文错误映射：不暴露原始英文 API 报错
• 使用量统计：内置 SQLite（WAL 模式）记录调用量、token 消耗与各模型占比
• 硬件感知并发控制：自动采集 CPU / 内存，动态限制并发，不拖慢本机
• 流式 SSE 输出：支持 stream_chat 逐字返回

与 cn-llm-router 的分工

两者是上下两层，不是重复，建议同时安装：

目录结构

cn-model-gateway-connector/
├── mcp_server.py         入口：加载配置 → 注册适配器 → 启动 MCP stdio 服务
├── mcp.json              MCP 服务器声明
├── connector-meta.json   连接器元信息（source / 版本 / 示例）
├── config.json           API Key 配置（默认全空，开箱即用）
├── src/                  核心实现
│   ├── mcp_server.py     JSON-RPC 2.0 服务与 8 个工具
│   ├── router.py         路由（转发到 llm_core）
│   ├── llm_core/         适配器内核、错误映射、能力评分
│   ├── adapters/         10 家厂商适配器
│   ├── frameworks/       LangChain / AutoGPT / CrewAI / Coze / Dify 适配
│   ├── monitor.py        使用量统计
│   ├── benchmark.py      性能基准测试套件
│   └── price_tracker.py  价格追踪
└── icon.svg

注意事项

• 本连接器只做协议网关：不做本地推理、不做微调、不做私有部署
• 所有日志输出到 stderr，stdout 专用于 MCP 协议通信
• 需要 Python 3.9+

有更好建议：njskills@agent.qq.com