openmind-evaluate 0.7.0

The openmind-evaluate is a product which allows you to use evaluate in openMind community.

openmind-evaluate

介绍

Evaluate 提供了一个用于评测大语言模型下游任务得分情况的库，包含了三种评估类型。 Metric: 用来通过预测值和参考值进行模型评价，是传统意义上的指标；例如：f1， bleu， rouge等 Comparison: 同一个测试集对两个（多个）模型评价，比如俩模型结果的 match 程度 Measurement：用来评价数据集，比如字数、去重后的词数等。

Openmind_evaluate基于Openmind的space，提供了适配Evaluate三种评估策略的适配，用户不再需要从 Huggingface直接下载，而是通过Openmind的space就可以访问三种评估策略。

软件架构

软件架构说明

安装教程

git clone https://gitee.com/foundation-models/openmind-evaluate.git
cd openmind-evaluate
pip install -e .

使用说明

import evaluate
import openmind_evaluate

#从metric里导入accuracy：
acc = evaluate.load('accuracy')
acc.compute(references=[0,1,0,1], predictions=[1,0,0,1])
# {'acc': 0.5}

公网地址声明

本代码仓包含公网地址，公开性声明请参考《公网地址声明》。

贡献

欢迎参与社区贡献，详情参考Contributor Wiki。

许可证

木兰宽松许可证 2.0

安全声明

为保障使用过程安全，推荐用户参考《安全声明》了解相关安全信息，进行必要的安全加固。