回答の正誤判定

「回答の正誤判定」とは、チャットボットの精度を分析する機能です。教師データを用い、問い合わせ内容に対する回答が正しいかどうかを自動的に同様に判定します。
※この機能は、チャットの精度には影響しません。
　ただし正解登録を行ったデータは、チャット側の「類似質問の提案機能」に使用されます。

該当のチャットボットを開き、左側の「分析」→「回答の正誤判定」をクリックします。

表示項目
「すべて」・・・チャットボットのやりとりを、正誤判定の結果で絞り込まずに表示します。
「正解」・・・手動判定、自動判定にかかわらず質問に対して表示された回答を正解登録したものが表示されます。
「不正解」・・・手動判定、自動判定にかかわらず質問に対して表示された回答を不正解登録したものが表示されます。
「不明」・・・手動判定、自動判定にかかわらず質問に対して表示された回答に正解、不正解、質問の無効登録をしていないものがされます。
※登録されている正誤の数が少ない場合、すべての正誤判定結果が「不明」となります。
「無効」・・・手動判定、自動判定にかかわらず質問に対して表示された回答に質問の無効登録したものが表示されます。

絞り込み
検索したキーワードを入力すると、絞り込みを行えます。
正誤判定の厳密さ
自動判定機能を使用する際、判定の基準（厳密さ）を設定できます。
・数値を高くすると、教師データと関連性が高い履歴データのみを対象とします。
・数値を低くすると、より幅広い履歴データを対象として含めます。
※設定値は「手動実行」、「日次実行」、「自動チューニング」での実行のいずれにも反映されます。

0時に自動で正誤判定の処理を実施します。
正誤判定が実行される条件は「前日のチャットデータがある、かつ手動正解データが1件でも登録されている場合」のみとなります。

<正誤判定結果表示例>

「教師データの表示」ボタンをクリックすると、「登録済み教師データ一覧」画面が表示されます。
「登録済み教師データ一覧」画面では、登録済みの教師データの削除や、類似質問の登録をすることが可能です。

教師データの表示画面で利用可能な機能は以下の通りです。

フィルタ設定

以下の4つでフィルタをかけることができます。
(1)分類タグ
学習データに紐づく分類タグごとに表示されます。
(2)種別
教師データの登録元ごとに表示されます。
(3)学習データに含まれるか
現在適用されているチャットボットの学習データに反映されている/反映されていない教師データの絞り込みができます。
反映されていない場合、以下のようなマークが表示されます。
(4)期間
登録期間を指定して教師データの絞り込みができます。
教師データの削除
任意の教師データのチェックボックスにチェックを入れて、右下の「削除」ボタンをクリックすると、
教師データが削除されます。

教師データから類似質問への登録・編集
正解データに登録された教師データは、類似質問として登録されます。
この時、チャット画面に表示させる/させない、文言の修正等を行うことができます。
※この機能は「類似質問の提案機能」の利用が必須となります。設定方法はこちらをご参照ください。

「正誤判定の厳密さ」の横にあるスライダーを動かします。

・数値を高くすると、教師データと関連性が高い履歴データのみを対象とします。
・数値を低くすると、より幅広い履歴データを対象として含めます。
数値が決まったら、「更新」ボタンをクリックします。

※設定値の違い例(結果は質問内容、回答で異なります。環境に合った設定をお試し下さい。)

設定を変更したら、下記3つの方法で「正誤判定」を行います。

毎日0時頃に、前日のチャット履歴に対して正誤判定を自動で行います。
※設定は不要です。
「回答の正誤判定」画面より、実施結果を確認できます。
手動実行との違い：種別が「日次」になっていることが確認できます。

左メニューの「チューニング」>「自動チューニング」をクリックします。
自動チューニング画面にて、「正誤判定」を選択し、「実行対象に追加する」をクリックします。
※その他合わせてチューニングを行う場合は、その項目にて「実行対象に追加する」をクリックします。
「設定内容確認」でチューニング内容を確認し、問題なければ「実行」をクリックします。

※詳しい自動チューニングの設定につきましてはこちら

自動判定の結果で「不明」が多い場合は、「正誤判定の厳密さ」の数値を下げていただき、判定結果が表示されるかご確認ください。