Mean_reciprocal_rank
「平均逆数順位」
平均逆数ランクは、クエリのサンプルに対して可能な応答のリストを生成するプロセスを評価するための統計的尺度であり、正しい確率によって並べ替えられます。クエリ応答の逆数ランクは、最初の正解のランクの乗法逆数です。1 位は 1、2 位は1 ⁄ 2、3位は
1 ⁄ 3などです。平均逆数ランクは、クエリ Q のサンプルに対する結果の逆数ランクの平均です: MRR 1 | | Q | |∑ I = 1
| | Q | | 1 ランク I .
{ {text{MRR}}={frac {1}{|Q|}}sum _{i=1}^{|Q|}{frac {1}{{text{rank} }_{私}}}。！}
どこ
ランク I { {text{rank}}_{i}}
は、 i番目のクエリに対する最初の関連ドキュメントの順位を示します。
平均逆数ランクの逆数値は、ランクの調和平均に対応します。
例
たとえば、英語の単語を複数形に翻訳しようとするシステムに対して、次の 3 つのサンプル クエリがあるとします。いずれの場合も、システムは 3 つの推測を行います。最初の推測が最も正しいと考えられます。
クエリ
提案された結果
正解
ランク
相互ランク 猫 猫、猫、猫 猫3 1/3
トーラス
鳥居、鳥居、トーラス
とり2 1/2
ウイルス
ウイルス， virii， viri
ウイルス1 1
これらの 3 つのサンプルが与えられると、平均逆数ランクを (1/3 + 1/2 + 1)/3 = 11/18 または約 0.61 として計算できます。
提案された結果がどれも正しくない場合、逆数ランクは 0 です。 最初に関連する回答のランクのみが考慮されることに注意してさらに関連する可能性のある回答は無視されます。ユーザーがさらに関連する項目にも関心がある場合は、平均精度が代替指標になる可能性が
こちらもご覧ください
情報検索
質疑応答
参考文献
^ E.M. ボーヒーズ(1999). 「第8回テキスト検索会議議事録」 (PDF) . TREC-8 質問応答トラック レポート. pp.77–82。
^ DR ラデヴ; H.チー; H.ウー; W. ファン （2002)。「ウェブベースの質問応答システムの評価」 (PDF) . LRECの議事録。