RecallとMRRとは何ですか

チャットボットの精度評価で使用している、RecallとMRRについて説明します。

Recallとは

回答候補の中に、回答が入っている割合です。
回答候補が3つの場合、3つの中のいずれかに回答が表示された割合が表示されます。

MRRとは

Recallのうち、回答が何番目に表示されているかを加味した回答率を示します。
1番目に表示されているのか、2番目に表示されているのかなどを加味し、割合が大きい場合、精度が高い状況となります。

MRR:正答が出てきている順番も加味した回答率
Recall:回答表示の中に正答が入っている確率

TOP
picture
minimize