No project description provided
Project description
msServiceProfiler 工具介绍
概述
msServiceProfiler 是一款基于昇腾平台，支持MindIE Service框架和vLLM框架的服务化调优工具。
其性能采集与数据解析能力已嵌入昇腾CANN工具包，支持MindStudio Insight、Chrome Tracing、Grafana多个平台数据可视化。
目前，扩展能力服务化性能数据比对工具和vLLM服务化性能采集工具已在本仓库开源。
硬件环境
| 类型 | 配置参考 | 服务化性能数据比对工具 | vLLM服务化性能采集工具 |
|---|---|---|---|
| 服务器 | Atlas 800I A2 推理产品 | √ | √ |
| 推理卡 | Atlas 300I Duo 推理卡+Atlas 800 推理服务器（型号：3000） | √ |
特性清单
服务化性能数据比对工具
支持对使用msServiceProfiler工具采集的性能数据进行差异比对，通过比对快速识别可能存在的问题点。
️vLLM服务化性能采集工具
基于Ascend-vLLM，提供性能数据采集能力，结合msServiceProfiler的数据解析与可视化能力，可以vLLM服务化推理调试调优。
️服务化自动寻优工具
基于msServiceProfiler工具采集的性能数据，提供服务化参数自动寻优能力，可以对服务化的参数以及测试工具的参数进行寻优。
安装指南
目前工具支持源码下载，脚本调用。
源码下载
git clone https://gitee.com/ascend/msit.git
支持与帮助
🐛 Issue提交
💬 昇腾论坛
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file msserviceprofiler-1.1.0.tar.gz.
File metadata
- Download URL: msserviceprofiler-1.1.0.tar.gz
- Upload date:
- Size: 100.3 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/5.0.0 CPython/3.8.19
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
4f0b06132130e88cd5f51ac7c748060ecd82d297629064bf03f12feb3a7f5b17
|
|
| MD5 |
43cb97122484474d2d106e37b48a13bd
|
|
| BLAKE2b-256 |
bb2a95faf94899d1ea8d2daeaaeae64aefafecce8955c7ae96d738f31ad985cf
|
File details
Details for the file msserviceprofiler-1.1.0-py3-none-any.whl.
File metadata
- Download URL: msserviceprofiler-1.1.0-py3-none-any.whl
- Upload date:
- Size: 162.7 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/5.0.0 CPython/3.8.19
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
5379ac1c79a7434c17ecebe99779a0635b5b24dbab2440a83282afeee5a275dc
|
|
| MD5 |
34b1a1f2b62036320f729b6e571be460
|
|
| BLAKE2b-256 |
c7cbf5f1e3315b2f84bd212d41ce17231ffddc532bf7c1b8d8074067749c7202
|
