A web server for deploy ml/dl model
Project description
介绍
fastml-engine. 采用Gunicorn Web服务框架搭建,以简化模型推理工程部署的工作内容
功能特性
集成Gunicorn Flask 服务组件,稳定可靠,可用于生产.
统一推理服务接口,支持多种接口请求格式(text/json/octet-stream/form-data)
搭配inference-template使用,支持自定义模型推理代码
支持简便的启动命令
安装
pip install fastml-engine
使用说明
下载 inference-template-python 代码地址
启动服务
fastml server --help #查看帮助 #service_path参数为inference-template-python目录的绝对路径 fastml server --service-path /home/<service_path> --host 0.0.0.0 --port 5000 #在未声明service-path参数的情况下,则使用当前命令执行路径 fastml server --host 0.0.0.0 --port 5000 #支持定义 model-path参数声明模型存放路径,未声明则默认使用<service-path>/model fastml server --service-path /home/<service_path> --model-path /opt/model --host 0.0.0.0 --port 5000 #快速启动,执行如下命令,采用默认参数 fastml server
- 验证服务a)通过浏览器访问健康检查接口 ip:port/healthb)查看启动日志,日志目录在代码根路径/logs目录下
API接口
接口说明 |
URI |
请求协议 |
返回内容 |
---|---|---|---|
健康检查 |
/health |
GET |
{ status:UP} |
推理接口 |
/algo/{endpoint} |
POST |
返回预测结果 |
健康检查接口响应报文
{
"status": "UP"
}
推理接口响应报文
{
"status": true,
"data": {
"k": "v"
},
"metadata": {
"duration": 1.65576171875,
"content_type": "json"
}
}
测试
注意:请求头需要添加Content-Type参数,用来指定请求报文格式
Content-Type |
说明 |
---|---|
text/plain |
文本格式 |
application/json |
json格式 |
application/octet-stream |
文件 |
multipart/form-data |
form-data格式 |
日志
运行日志存放在推理引擎根目录logs文件夹下
access.log为请求调用日志
error-access.log为错误日志
app.log为业务日志,使用python logging模块打印
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distributions
No source distribution files available for this release.See tutorial on generating distribution archives.
Built Distribution
Close
Hashes for fastml_engine-1.0.7-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 4b576d9aba498f3cf1abf2bc1f29dd525954ebd112242deb084214a32980d463 |
|
MD5 | fff0fb1af9b0e87d85b6c08da7e87b7d |
|
BLAKE2b-256 | 54da95b18b4beb1185e5b8289a7d568d272b2014c206ce1eab23b11499cbd42f |