Trainify-proto 0.0.5

Trainify-proto

Trainify-proto

本工具是CAV2022中Trainify: A CEGAR-Driven Training and Verification Framework for Safe Deep Reinforcement Learning的原型工具，Trainify-proto在论文代码的基础上进行了重构改进，增强了易用性、可拓展性和通用性，实现了自定义抽象训练流程和自选形式化验证等功能。

安装

1. pypi （完整功能）

   pip install Trainify-proto

   如果想体验最新功能，可以安装测试版本

   pip install -i https://test.pypi.org/simple/ Trainify-proto

2. git clone（完整功能）

   通过git clone项目到本地，集成进自己的项目中使用

3. web在线使用（部分功能）

核心模块

abstract 存放抽象相关工具

agents 存放自带agent/policy

core 核心组件

data 训练数据保存

env 存放自带env

evaluate 评估模块

test 测试代码

utils 工具函数

查看训练/验证结果

# 先安装tensorboard
pip install tensorboard
# log_dir替换为需要查看的实验目录
tensorboard --logdir=log_dir

开发内容

1. 环境与状态抽象 需要输入的环境信息：

   Dim:2
   State_var: x1, x2
   Range: [0,1] [0,4]
   dqn or ddpg
   Env class obj
   dynamics:  x1' = x1 + t *x2^2
                       x2' = x2+ t* x1
   

2. 训练Policy与Agent

3. 验证规则

   1. AG(safe) AF(taget)
   2. 返回['safe']的函数

4. 统一输出

   1. 命令行中的统一格式规范的输出
   2. tensorboard 作为图表形式

发布

切换到publish分支：git checkout publish

打包：python setup.py sdist bdist_wheel

测试版本：python -m twine upload --repository-url https://test.pypi.org/legacy/ dist/*

正式版本：python -m twine upload dist/*