Yucebio-Wdladaptor 0.0.13

Yucebio Wdl适配器

Yucebio Wdl适配器

• 根据不同云平台的Cromwell基础设施将通用的workflow内容转换适合对应平台的版本
• 已经支持的云
  • Yucebio 本地SGE集群
  • 阿里云批量计算平台
  • 亚马逊云Batch平台

安装

# 初始化环境，如通过conda初始化python>=3.8的环境
conda create -n python3.8 python=3.8

# 安装依赖包
pip install click icecream requests
# 安装
pip install Yucebio-Wdladaptor

配置(基于Yucebio-Config，配置文件在~/.yucebioconfig/...)

# 查看使用方式
yucebio_wdl_adaptor --help

# 设置指定平台的配置信息
yucebio_wdl_adaptor config -p <platform> -g <global_path> -s <simg_path> -h <host> -r runtime1,runtime2
# -p --platform     需要设置的平台
# -h --host         待设置平台的cromwell api地址，如 http://host:port
# -g --global_path  公共文件路径，用于替换输入文件中的__GLOBAL__
# -s --simg_path    singularity镜像路径，用于替换输入文件中的__SIMG__
# -r --runtimes     当前平台需要支持的额外自定义runtime属性（未知的runtime将被移除）

转换wdl到指定平台

yucebio_wdl_adaptor convert -p <platform> -i <json> [--submit|-s] [--runtimes|-r runtime1,runtime2] <WDL>
# -i --input    JSON文件路径
# -p --platform 平台名称
# -s --submit   是否直接投递任务【default:False】
# -r --runtimes 转换过程中每个task都需要添加的自定义runtime属性，多个属性之间使用逗号分隔，每个属性都必须在JSON文件中存在对应的初始值。
# WDL           workflow文件路径

更新阿里云可用实例类型

第一次执行时必须提供ACCESS_KEY ID 和 SECRECT。第一次执行成功后，会自动保存到配置文件中

yucebio_wdl_adaptor update-bcs-instance -i <ACCESS_KEY_ID> -s <ACCESS_KEY_SECRECT>
# -i --access_id        阿里云ACCESS_KEY_ID
# -s --access_secrect   阿里云ACCESS_KEY_SECRECT

附录

各个平台可用自定义RUNTIME属性

通用属性

• cpu
• memory

阿里云

• rescource_type 控制生成竞价型或按需型实例
• systemDisk
• cluster
• mounts, vpc
• continueOnReturnCode, failOnStderr

SGE

• owner： 指定sge任务属主
• 'cpu', 'memory', "sge_queue", "sge_project", "mount", 'continueOnReturnCode'
• simg

亚马逊

• cpu
• memory
• docker
• disk