llm-benchmark-runner

LLM 推理性能测评 CLI 工具 -- 测量 TTFT / TPS / ITL / E2E 延迟，输出标准 JSON 可直接导入 Web 端 查看可视化图表。

适用于浏览器无法触达的场景（CORS 未配置、无头服务器 SSH 环境、CI/CD 集成等）。

安装

pip：

pip install llm-benchmark-runner

uv：

uv pip install llm-benchmark-runner

从源码（开发模式）：

cd runner
pip install -e .

使用

# 基本用法
llm-benchmark --url http://localhost:11434 --model llama3.2

# 完整参数
llm-benchmark \
  --url http://localhost:11434 \
  --model llama3.2 \
  --name "My Ollama" \
  --prompt "Write a short essay about AI." \
  --max-tokens 512 \
  --repeat 10 \
  --concurrency 1,2,4,8 \
  --output results.json

# 也可以用 python -m 方式运行
python -m llm_benchmark_runner --url http://localhost:11434 --model llama3.2

参数说明

输出格式

输出的 JSON 文件遵循 BenchmarkSession 标准格式，包含：

• 测评配置（prompt、maxTokens、repeatCount、concurrencyLevels）
• 每个端点的聚合指标（TTFT / TPS / ITL / E2E 的 mean/median/p95/p99/min/max/stdDev）
• 并发压测结果（各并发级别的吞吐量和延迟）
• 五维雷达评分（Speed / Responsiveness / Smoothness / Scalability / Stability）
• 原始请求数据（逐请求的 token 时间戳）

导入 Web 端

输出的 JSON 文件可直接导入 Web 端的 "历史记录 -> 导入 JSON" 查看可视化图表：

1. 打开 Web 端（https://benchmark-for-llm.vercel.app）
2. 切换到 "历史记录" Tab
3. 点击 "导入" 按钮
4. 选择 CLI 输出的 JSON 文件

支持的 API 格式

• OpenAI Chat Completions API（/v1/chat/completions）
• Ollama（兼容 OpenAI 格式 + 原生格式）
• LM Studio
• vLLM
• llama.cpp
• 任何支持 SSE streaming 的 OpenAI 兼容 API

开发

cd runner
uv build          # 构建分发包
uv publish        # 发布到 PyPI（需要配置 token）

License

MIT