The package contains functions for calculating ranking metrics
Project description
Описание
Данный репозиторий содержит реализацию алгоритмов ранжирования Bm25, LaBSE, MsMarcoST, MsMarcoCE с подсчетом метрик:
- Top@1;
- Top@3;
- Top@5;
- Средняя позиция в выдачах (AverageLoc);
- Cредняя относительная позиция в выдачах (AverageRelLoc);
- Оценка как часто фейковый документ выше всех релевантных (FDARO@v1);
- Оценка как часто фейковый документ выше хотя бы одного релевантного (FDARO@v2);
- Частота попадания фейкового документа в топ 25% (UpQuartile).
Установка
Для установки пакета воспользуйтесь командой
pip install docs-ranking-metrics
Пример использования
Пример использования представлен в examples/using_metrics.py
# Объявление метрик
metrics = [LaBSE(), Bm25()]
# Объявление класса агрегирующего обновление метрик
rank_metrics = RankingMetrics(metrics)
...
'''
Обновление значений метрик, где
query - запрос по которому сгенерирован документ,
sentences - массив документов,
labels - метки документов
'''
rank_metrics.update(query, sentences, labels)
...
# Получение значений подсчитанных метрик ввиде словаря
rank_metrics.get()
# Получение значений метрик при помощи функции show_metrics
rank_metrics.show_metrics()
Возможный вывод метода get:
{
'LaBSE_AverageLoc': 10.5,
'Bm25_AverageLoc': 1.13513,
'LaBSE_Top@1': 0.0,
'LaBSE_Top@3': 0.013513,
'LaBSE_Top@5': 0.013513,
'Bm25_Top@1': 0.91891,
'Bm25_Top@3': 1.0,
'Bm25_Top@5': 1.0,
'LaBSE_FDARO': 0.6216,
'Bm25_FDARO': 1.0
}
Возможный вывод метода show_metrics():
LaBSE_AverageLoc: 4.5 Bm25_AverageLoc: 3.0
-----------------------------
LaBSE_AverageRelLoc: 0.75 Bm25_AverageRelLoc: 0.5
-----------------------------
LaBSE_Top@1: 0.0 Bm25_Top@1: 0.5
LaBSE_Top@3: 0.5 Bm25_Top@3: 0.5
LaBSE_Top@5: 0.5 Bm25_Top@5: 1.0
-----------------------------
LaBSE_FDARO@v1: 0.5 Bm25_FDARO@v1: 0.5
LaBSE_FDARO@v2: 0.5 Bm25_FDARO@v2: 0.5
-----------------------------
LaBSE_UpQuartile: 0.5 Bm25_UpQuartile: 0.5
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
docs-ranking-metrics-0.0.4.tar.gz
(12.7 kB
view hashes)
Built Distribution
Close
Hashes for docs-ranking-metrics-0.0.4.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | 91ca5d633f80ad1a3fa532bf9f8261bffd08dd8d7fb6198946d34653c65f3f96 |
|
MD5 | 9fe417fd17e08a3fda25c40e2da19a78 |
|
BLAKE2b-256 | fb40bafbc4696182ddfbc44c09d76c8178cf2b965cad1e8c02b07be039ee3919 |
Close
Hashes for docs_ranking_metrics-0.0.4-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 4ebe7229e863dd36d2b27d4e310e05557f9ba7590856c15fe5b9dc3cb2790a89 |
|
MD5 | eee48289d31db757d17d9dbff7b95429 |
|
BLAKE2b-256 | fe103ae57fa1bf5b4dd4c3a0050ab0b7b71054b563f6683bdbe9e16d0358427d |