テスト・メンテナンス｜チャットボット作成実体験レビュー

知識データを育てる？

今回は、知識データの学習についてご紹介いたします。
Q＆Aを登録して、回答時のアクションの設定も行いある程度の対応はできるようになりました。
上司が言うには、CAIWAプラットフォームには「意味認識エンジン」が備わってるので、全文一致しなくても答えられるとのこと。
どうやら、CAIWAエンジンが意味認識をするので、文章のゆらぎをある程度吸収してくれるということでした。
例えばお台場までのアクセス方法を聞く場合、下記の言い回しは全て同じ意味だと認識してくれるのです！！
CAIWAエンジンとは

CAIWA頭いい！
とはいえ一問一答の登録だけでは、ヒット率としては、約80％ぐらいでした。
そんなとき上司に
「このままでも回答できるけど、ヒット率をあげるには、遠い言い回しのものを同義文として追加するといいよ」
と言われました。
Qには同義文を追加することができるようになっていて、追加することでよりヒットの幅が広がっていくという説明をうけました。
つまり、同義文を追加することで知識データが育ってチャットボットの回答精度が上がっていくわけですね。
「でも・・・。遠い言い回しってどんな文章を同義文として追加すればいいんだろう・・・。」
大丈夫！この同義文を追加するためのサポート機能があるんです。
それがテスト機能です。

とても便利なテスト機能

入力された質問に回答できたかどうかの判定結果は「テスト機能」を使って確認できます。
特にすごいのが、想定質問集などを作成して、一気にテストすることもできるんです。
たくさん違う言い回しのものをテストデータとして用意して一気にテストするとヒットするかしないかを判定してくれます。
ヒットしなかったものだけに分類して、新たにQAとして登録したり、すでに登録されているQの「同義文」として追加したりできます。
ちなみに同義文に追加する先のQをAIが選定して「候補文」として提示してくれるので、自分でどこに追加するか考える必要はありません。
さらに、提示された候補文に追加する方法がとても簡単！！
画像中の赤枠で囲まれた「お台場までのアクセス方法」のように、候補文をクリックするだけで同義文として追加できるのです。
なんと画期的！
ということで、何の知識もない新入社員の私が、UIの作成（キャラクター作成含む）、知識データの作成、テスト・チューニングを行い約２ヶ月ほどで公開にこぎつけました。

メンテナンス機能でAIチャットボットを育成

さらに！
この場を借りてもう一つ機能を紹介しておきます。
完成後、AIチャットボットを公開しますよね？
そうすると、あらゆる人があらゆる質問を投げかけてきます。
残念ながら、答えられない質問も出てきます。
その結果をみて、「どうしよう、こんなジャンルまで聞かれるんだ、質問の登録がきりないよ。」などと思うでしょう。
でも大丈夫です、そのための強い味方が「メンテナンス機能」です。
メンテナンス機能では、リアルタイムにユーザーの質問がヒットしたか、しなかったか判定してくれて、テスト機能と同じように、簡単に新たなQ＆Aを追加したり、ワンクリックで同義文を追加したりできます。
AIチャットボットが日々成長できる秘訣は、このメンテナンス機能にあります。
私は。この楽々メンテナンスでAIチャットボット「ゆうい」に愛情を注いでいますよ＾＾
ちなみに、最初は週に２〜３回１時間ほどメンテナンスに時間を使っていましたが、３ヶ月を超える頃には、正答率が９０％以上となり、メンテナンスは月に１回３０分ほどで済むようになりました。
アクセス数や対応範囲（QA数）にもよりますが、メンテナンスの頻度は日々確実に減っていきますね。
最後に、チャットボットの作成を実体験してみての感想です。
作成を終えての感想｜チャットボット作成実体験レビュー