Среднеобратный ранг

Среднеобратный ранг (MRR) — статистическая оценка откликов процесса на запросы, упорядоченных по вероятности и правильности. Характеризует эффективность информационного поиска. Обратный ранг в данном случае означает обратное число номера (ранга) первого правильного ответа в списке откликов. Среднеобратный ранг определяется как среднее обратных рангов по всем запросам Q:[1]

где означает положение первого релевантного документа для запроса i.

Обратное значение среднеобратного ранга соответствует среднему гармоническому между рангами.

Пример

Рассмотрим три запроса, которые переводят русские слова из единственного числа в родительный падеж множественного числа. Во всех случаях данного примера система делает три попытки, первые попытки считаются системой наиболее правильными:

Запрос Ответы Правильный ответ Ранг Обратный ранг
кочерга кочерг, кочергей, кочерёг кочерёг 3 1/3
попадья попадь, попадей, попадьёв попадей 2 1/2
турок турок, турков, турчан турок 1 1

По этим примерам мы вычисляет среднеобратный ранг как (1/3 + 1/2 + 1)/3 = 11/18 , то есть приближённо 0.61.

Если же ни один из ответов не правильный, среднеобратный ранг считается равным 0. Обратите внимание, что только первый релевантный ответ учитывается, а последующие релевантные ответы игнорируются.

См. также

Ссылки
  • (2002) «Evaluating web-based question answering systems». Proceedings of LREC.

Примечания
  1. E.M. Voorhees (1999). «Proceedings of the 8th Text Retrieval Conference». TREC-8 Question Answering Track Report: 77–82.
  2. D. R. Radev, H. Qi, H. Wu, W. Fan (2002). «Evaluating web-based question answering systems» in Proceedings of LREC..
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.