openmind-evaluate
介绍
Evaluate 提供了一个用于评测大语言模型下游任务得分情况的库，包含了三种评估类型。 Metric: 用来通过预测值和参考值进行模型评价，是传统意义上的指标；例如：f1， bleu， rouge等 Comparison: 同一个测试集对两个（多个）模型评价，比如俩模型结果的 match 程度 Measurement：用来评价数据集，比如字数、去重后的词数等。
Openmind_evaluate基于Openmind的space，提供了适配Evaluate三种评估策略的适配，用户不再需要从 Huggingface直接下载，而是通过Openmind的space就可以访问三种评估策略。
软件架构
软件架构说明
安装教程
git clone https://gitee.com/foundation-models/openmind-evaluate.git
cd openmind-evaluate
pip install -e .
使用说明
import evaluate
import openmind_evaluate
#从metric里导入accuracy：
acc = evaluate.load('accuracy')
acc.compute(references=[0,1,0,1], predictions=[1,0,0,1])
# {'acc': 0.5}
公网地址声明
本代码仓包含公网地址，公开性声明请参考《公网地址声明》。
贡献
欢迎参与社区贡献，详情参考Contributor Wiki。
许可证
安全声明
为保障使用过程安全，推荐用户参考《安全声明》了解相关安全信息，进行必要的安全加固。
3 maintainers
Metadata
3 maintainers
Release files for openmind-evaluate 0.7.0
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Reset |
|---|---|---|---|---|
| openmind_evaluate-0.7.0-py3-none-any.whl | Python 3 | none | any | Details |
Release files / openmind_evaluate-0.7.0-py3-none-any.whl
| Download URL | openmind_evaluate-0.7.0-py3-none-any.whl |
|---|---|
| Size | 14.9 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
9dbd9e2f1dfea90e60cc090fb0d51b23463d87089db7b982c500bb0b21c8f3e4
|
|
BLAKE2b-256 checksum How to use checksums |
03dd208448668f8c5e45ab626994daf38ccc526b4c5e5c96455106944b02c95c
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/5.1.1 CPython/3.9.6
|
