回答の正誤判定

「回答の正誤判定」とは、チャットボットの精度を分析する機能です。教師データを用い、問い合わせ内容に対する回答が正しいかどうかを自動的に同様に判定します。
※この機能は、チャットの精度には影響しません。
　ただし正解登録を行ったデータは、チャット側の「類似質問の提案機能」に使用されます。

該当のチャットボットを開き、左側の 「分析」→「回答の正誤判定」 をクリックします。

回答の正誤判定

• 表示項目
  「すべて」・・・チャットボットのやりとりを、正誤判定の結果で絞り込まずに表示します。
  「正解」・・・手動判定、自動判定にかかわらず質問に対して表示された回答を正解登録したものが表示されます。
  「不正解」・・・手動判定、自動判定にかかわらず質問に対して表示された回答を不正解登録したものが表示されます。
  「不明」・・・手動判定、自動判定にかかわらず質問に対して表示された回答に正解、不正解、質問の無効登録をしていないものがされます。
  ※登録されている正誤の数が少ない場合、すべての正誤判定結果が「不明」となります。
  「無効」・・・手動判定、自動判定にかかわらず質問に対して表示された回答に質問の無効登録したものが表示されます。

• フィルタを追加
  表示する回答にフィルタの追加を行えます。判定、分類タグ、種別に対してフィルタの追加が可能です。

• 絞り込み
  検索したキーワードを入力すると、絞り込みを行えます。

正誤判定

0時に自動で正誤判定の処理を実施します。
正誤判定が実行される条件は「前日のチャットデータがある、かつ手動正解データが1件でも登録されている場合」のみとなります。

手順

1. 正誤判定を手動で行う場合は「正誤判定」→「対象日付」を選択します。
   
2. 「OK」をクリックします。
   

<正誤判定結果表示例>

教師データの表示

「教師データの表示」ボタンをクリックすると、「登録済み教師データ一覧」画面が表示されます。
「登録済み教師データ一覧」画面では、登録済みの教師データを削除や類似質問の登録をすることが可能です。

教師データの表示画面で利用可能な機能は以下の通りです。

• フィルタ設定
  
  以下の4つでフィルタをかけることができます。
  • 分類タグ
    学習データに紐づく分類タグごとに表示されます。
  • 種別
    教師データの登録元ごとに表示されます。
  • 学習データに含まれるか
    現在適用されているチャットボットの学習データに反映されている/反映されていない教師データの絞り込みができます。
    反映されていない場合、以下のようなマークが表示されます。
    
  • 期間
    登録期間を指定して教師データの絞り込みができます。
• 教師データの削除
  任意の教師データのチェックボックスにチェックを入れて、右下の「削除」ボタンをクリックすると、
  教師データが削除されます。
  
• 教師データから類似質問への登録・編集
  正解データに登録された教師データは、類似質問として登録されます。
  この時、チャット画面に表示させる/させない、文言の修正等を行うことができます。
  ※この機能は「類似質問の提案機能」の利用が必須となります。設定方法はこちらをご参照ください。
  

  正解データに登録された教師データを類似質問から除外する

  ①「登録済み教師データ一覧」の上部にある「正解」タブをクリックします。
  
  ②除外したい教師データの列の鉛筆マークをクリックします。
  
  ③「チャット画面で類似質問として表示する」のチェックをオフにして、「更新」ボタンをクリックします。
  

  類似質問の表示内容の修正、紐づけ回答の確認をする

  ①「登録済み教師データ一覧」の上部にある「正解」タブをクリックします。
  
  ②修正したい教師データの列の鉛筆マークをクリックします。
  
  ③「表示する類似質問の文言」欄で、文章の修正を行います。
  
  ④「更新」ボタンをクリックします。
  
  ⑤類似質問に紐づいている回答を確認したい場合は、「回答を確認」ボタンをクリックします。
  
  

関連項目

• 教師データを登録したい
• チャット履歴
• QA自動生成の結果を正誤判定の教示データとして登録したい
• 回答フィードバック機能を使用して正誤判定の教示データを登録する方法
• 正誤判定機能を活用して自動評価を行う
• 回答の正誤判定で登録した教師データを削除したい