Lightweight tool for using Qunomon, AIT
Project description
qunomon-lite: Lightweight tool for using Qunomon, AIT
QunomonおよびAIT(AI system Test package)の簡易利用ツール
📌 Description
Qunomonが提供する一部の機能を簡易的に利用できる、コマンドライン・Pythonツールです。 Qunomonを起動することなくAIT(AI system Test package)を実行することができます。 下記に挙げるようなユースケースにおいて、ML開発者がPoCや開発時にコマンドラインやPythonプログラム・Jupyterノートブックから利用したり、ML開発パイプライン上で利用されることを想定しています。
- ML開発者が、自身の開発環境で、QunomonのAIシステム評価パッケージ(AIT: AI system Test package)をお試しで使ってみたい
- ML開発者が、Qunomonの品質レポートを基に、MLモデルの改善対応を行っていて、AITをワンタイムで実行して改善具合を見たい
- ML開発パイプラインにて、AITを実行し、品質指標として活用したい
Note: 当ツールはQunomonを置き換えるものではありません。ユースケースによって、Qunomonの利用を検討ください。
✅ Features
「AITの実行」や「AITの実行結果表示」に関して、より柔軟な使い方を実現する機能を提供します。
機能a. AITの実行
- ✅ ローカル環境(Docker)でAIT実行
- ✅ パブリックAITの利用
- ⬛ プライベートAITの利用
機能b. AITの実行結果表示
- ✅ AITローカル実行結果の閲覧
- ⬛ AITローカル実行結果の測定値(Measures)の取得
- ⬛ AITローカル実行結果の一覧
💾 Install
Requirements
- docker
- python, pip
Step
-
Install
pip install qunomon-lite
開発中の最新はGitHubリポジトリからインストールできます
pip install -U git+https://github.com/ads-ad-itcenter/qunomon-lite.git
🚀 Usage
使用例:
- CUI: examples/example-cli.md
- Python: examples/example-notebook.ipynb
AITの実行(パブリックAIT)
-
実行したいAITを探し、AIT毎に提供されている
ait.manifest.json
を参照して、実行に必要となるファイルやパラメータを用意しておく -
AITを実行し、結果を表示
-
CUI:
qunomon-lite ait run <ait-name>:<ait-version> [--inventories <inventory-name>=<path> ... ] [--params <param-name>=<value> ... ] qunomon-lite ait result-show
-
Python:
from qunomon_lite import ait result = ait.run( '<ait-name>:<ait-version>', inventories={'<inventory-name>': '<path>', ...}, params={'<param-name>': '<value>', ...}, ) result.show()
-
AITの実行結果表示
-
AIT実行結果の閲覧
-
CUI:
qunomon-lite ait result-show {latest|<run-id>}
-
Python:
result = ait.result(未指定 or 'latest' or '<run-id>') # 未指定 or 'latest': 最新の実行結果 result.show()
-
ℹ️ Anything else
...TBD...
📋 LICENCE
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distributions
No source distribution files available for this release.See tutorial on generating distribution archives.
Built Distribution
Close
Hashes for qunomon_lite-0.1.1-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 56275865492481134260d3b734bb8fb774a40476438499d4036652730edc867f |
|
MD5 | 11f83ae1819688fd392f98d396f055bd |
|
BLAKE2b-256 | a11623581ced79c21caada623fcd50196af9dd1b71a628a22cd4a46272550816 |