The package contains functions for calculating ranking metrics
Project description
Описание
Данный репозиторий содержит реализацию алгоритмов ранжирования Bm25, LaBSE с подсчетом метрик:
- Top@1;
- Top@3;
- Top@5;
- Средняя позиция в выдачах (AverageLoc);
- Оценка как часто фейковый документ выше релевантных (FDARO)
Установка
Для установки пакета воспользуйтесь командой
pip install docs-ranking-metrics
Пример использования
Пример использования представлен в examples/using_metrics.py
# Объявление метрик
metrics = [LaBSE(), Bm25()]
# Объявление класса агрегирующего обновление метрик
rank_metrics = RankingMetrics(metrics)
...
'''
Обновление значений метрик, где
query - запрос по которому сгенерирован документ,
sentences - массив документов,
labels - метки документов
'''
rank_metrics.update(query, sentences, labels)
...
# Получение значений подсчитанных метрик ввиде словаря
rank_metrics.get()
Возможный вывод метода get:
{
'LaBSE_AverageLoc': 10.5,
'Bm25_AverageLoc': 1.13513,
'LaBSE_Top@1': 0.0,
'LaBSE_Top@3': 0.013513,
'LaBSE_Top@5': 0.013513,
'Bm25_Top@1': 0.91891,
'Bm25_Top@3': 1.0,
'Bm25_Top@5': 1.0,
'LaBSE_FDARO': 0.6216,
'Bm25_FDARO': 1.0
}
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
docs-ranking-metrics-0.0.3.tar.gz
(10.3 kB
view hashes)
Built Distribution
Close
Hashes for docs-ranking-metrics-0.0.3.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | fa78b23c1f8f5da1b4a1179820ea4fc8130b1537b4f8ce38e8bb16fa8e9a702c |
|
MD5 | 5a967cc327023205084fceec9cc93121 |
|
BLAKE2b-256 | 4c3c208aa6ef35264b9a287afaf244bdb0412236de3bf0bb64f3583352b9404d |
Close
Hashes for docs_ranking_metrics-0.0.3-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 910cb77bfb1ae168660ca8b351336f7f5d40531a52efdc35af75485be0af5163 |
|
MD5 | efcd831dcc1a34d53184fd1ef22d47e9 |
|
BLAKE2b-256 | 4749a54cf31692833a2dda8c07579fe6e71d723753bdd1eaff4f0eab74ef8750 |