mxdeploy

国产 GPU（MetaX 曦云 C500 / MXMACA 生态）一键部署 + 评测 + AI 排障 CLI。 一条命令把模型跑起来，出 benchmark 报告，报错自动诊断。

Features

• 一键部署：精度检查 → vLLM 配置生成 → 服务拉起 → 健康检查，全程自动化，FP8 等不支持的模型自动拦截
• 环境体检：自动检测 mx-smi / torch(+metax) / vLLM(+maca) 适配状态，部署前先排雷
• 性能评测：流式压测吞吐 / 首token延迟 / P95 / TPOT / 显存，输出 table / JSON / Markdown 报告
• AI 排障：内置真实踩坑知识库（8+ 条规则），喂日志即出根因和修复方案，critical 级别自动失败退出

安装

pip install mxdeploy

要求 Python 3.10+，目标平台为 Linux（模力方舟曦云 C500 实测环境）。

快速开始

# 1. 环境体检 —— 检测 mx-smi / torch(+metax) / vLLM(+maca)
mxdeploy init

# 2. 一键部署模型
mxdeploy deploy Qwen/Qwen2.5-3B-Instruct

# 3. 性能测试，出报告
mxdeploy bench Qwen/Qwen2.5-3B-Instruct

# 4. AI 排障 —— 把报错日志喂给它
mxdeploy doctor deploy.log

命令一览

实测数据

Qwen2.5-3B-Instruct 全精度 FP16 @ 模力方舟曦云 C500 16G vGPU：

完整报告见 docs/BENCHMARK_3B_C500_16G.md。

排障知识库

全部规则来自真实部署实测，命中即给出修复方案：

兼容性

• 平台：Linux（模力方舟曦云 C500 实例实测）
• Python：3.10+
• 依赖：沐曦适配版 torch（+metax）、vllm（+maca）——切勿用 pip 覆盖官方适配版
• 注意：非交互 SSH 环境需显式 export MACA_PATH=/opt/maca

开发

git clone https://github.com/leo1852098393-blip/mxdeploy
cd mxdeploy
pip install -e ".[dev]"
pytest        # 40 tests

License

Apache-2.0