正誤判定機能について
ユーザーからの質問に対して、チャットボットが正しく回答できているかを判定する機能です。
質問に対して正しい回答を登録することで、機能を活用することができます。
チャットボットの正答率を自動で判定することができるので、チャットボットの精度確認やチューニングに効果的です。
回答の正誤を登録する方法
質問に対して正しい回答を登録する方法は2つあります。
- 実際のユーザーの質問から登録する
- 想定される質問から登録する
実際のユーザーの質問から登録する
ユーザーからの質問に対して、正しい回答を登録する方法は2つあります。
■チャット履歴から登録する
チャット履歴から登録する手順はこちらから確認してください。
■回答の正誤判定の「不明」一覧から登録する
- 該当のチャットボットを開き、左側の「分析」→「回答の正誤判定」をクリックします。
- 「不明」が選択されていることを確認します。
- 「フィルタを追加」をクリックします。
- 検索したい期間を指定し、検索マークをクリックします。
- 画面を下にスクロールし、「手動判定モードに切替」を選択します。
- 質問の回答候補が出てくるので、正解の回答がある場合は「正解として登録」し、質問として該当しない質問は「無効」のチェックボックスをクリックします。
回答候補に正解が複数ある場合は、複数を「正解として登録」することができます。
【回答候補を正解として登録する】
【質問を無効登録する】
- 画面を下にスクロールし「登録」をクリックして完了です。
想定される質問から登録する
あらかじめ、想定される質問とそれに対する正しい回答を登録する（＝教師データを作る）ことができます。手順はこちらから確認してください。
正誤判定の確認方法
正誤判定を行う
正誤判定には毎日0時に自動で行われる「日時判定」と、自分で期間を指定して行う「手動判定」があります。
■日時判定について
毎日0時に、前日のチャット履歴に対して正誤判定を自動で行います。
例：9/20の0時に「9/19の0-24時のチャット履歴」に対して正誤判定を行う。
■手動判定の手順
- 該当のチャットボットを開き、左側の「分析」→「回答の正誤判定」をクリックします。
- 下にスクロールし「正誤判定」をクリックします。
- 表示されている日付をクリックます。
- カレンダーが表示されるので、正誤判定を行いたい日を選択し「OK」をクリックします。
- 正誤判定が実行されます。
正誤判定の見方
正誤判定履歴には、「日時判定」と「手動判定」のどちらも正誤判定を行った順番に表示されます。
・RecallとMRRの数値で正答率の判断を行ってください。RecallとMRRについてはこちらを確認してください。
・質問数の不正解のところに数値が入っている場合、チューニングを行ってください。 
【不正解の質問を確認する方法】
- 該当のチャットボットを開き、左側の「分析」→「回答の正誤判定」をクリックします。
- 「不正解」をクリックします。
- 「フィルタを追加」をクリックします。
- 検索したい期間を指定し、検索マークをクリックすると対象期間の「不正解の質問」を確認できます。
