TI Containers

了解 TI Containers

1. TI Containers 是腾讯云智能钛机器学习平台 TI-ONE 提供的 TI SDK 训练任务的容器环境初始化工具。
2. TI Containers 支持基于Tensorflow、Pytorch、MXNet、Scikit-Learn框架，以及Horovod的提交的训练任务初始化准备工作。
3. 用户可基于 TI Containers，构建符合自身应用的训练镜像。

安装 TI Containers

环境要求

Python2.7、Python3.6及以上

源码安装

python setup.py install

生成whl包

python setup.py bdist_wheel

TI Containers 训练规范

目录规范

用户在通过TI SDK提交训练任务后，TI训练后台将会初始化训练任务的容器环境，主要包括：

1. 拉取训练的多个通道数据到输入数据目录/opt/ml/input/data/，以通道名称进行目录布局
2. 构建训练实例需要的超级参数配置、资源配置、通道配置到输入配置目录/opt/ml/input/config/
3. 若用户提供训练entry point，拉取训练代码到代码目录/opt/ml/code

例如，某个训练任务，TI SDK构建的目录结构形式如下：

|-- code
|   `-- train.py
|-- input
│　　`── config
│　　    ├── hyperparameters.json
│　　    └── resourceconfig.json
│　　    └── inputdataconfig.json
|   `-- data
|       `-- train
|           `-- train.tfrecords
|       `-- test
|           `-- test.tfrecords
|-- model
`-- output
    `-- failure

具体的目录含义为：

其中/opt/ml/input/config/resourceconfig.json的具体示例如下：

{"current_host":"timaker-test-worker-0.worker.timaker-test.svc.cluster.local","hosts":["timaker-test-worker-0.worker.timaker-test.svc.cluster.local"]}

/opt/ml/input/config/hyperparameters.json的具体示例如下：

{"ti_enable_gpu_exclusive":"true","batch-size":"128","ti_enable_cls_log":"true"}

/opt/ml/input/config/inputdataconfig.json的具体示例如下：

{"training":{"TrainingInputMode":"File"}}

环境变量

TI Containers 提供了训练环境各种资源和参数环境变量定义，在训练脚本中可以直接访问这些环境变量获取相关属性，包括：

启动规范

TI SDK 训练任务执行train命令启动训练：

1. TI Containers已支持train命令启动训练，因此所有内置镜像均已支持train命令启动；
2. 如果是自定义镜像任务，你需要构建自己的train命令，并放入系统环境变量中，以便启动训练；自定义镜像任务具体参见 使用自定义镜像训练模型