tencent-tiinfer 0.1.5

Model Serving made Efficient in the Cloud

框架环境变量

环境变量	说明	默认值
TI_MODEL_DIR	模型路径	/data/model
TI_PREPROCESS_NUMS	预处理进程数	0
TI_INFERENCE_NUMS	推理进程数	1
TI_POSTPROCESS_NUMS	后处理进程数	0
TI_INFERENCE_MAX_BATCH_SIZE	推理Batch数	1

说明

• 当TI_PREPROCESS_NUMS==0且TI_POSTPROCESS_NUMS==0时;

  model_service.py 文件中preprocess，postpress，predict 函数在一个进程中执行

• 否则，model_service.py 文件中preprocess, postpress, predict 函数分别处于不同进程中执行，

  load 函数与predict 函数处于同一进程;