AIチャットボット担当者から聞いた導入・構築時の問題点

長年チャットボットサービスを行ってきた中で、実際にチャットボット構築担当者から良く相談された問題点をご紹介したいと思います。

1.FAQデータがまとまっていない

• データが集約されていない。
• 綺麗なデータになっていない（生ログの状態、文章が長すぎるなど）
• データのフォーマットがばらばら

AIに学習させるデータとしては、一つにまとまっていて、整理されているのが望ましいです。
また、学習させる質問文と回答文については、なるべく簡潔な文章の方が、最適な回答をする精度（ヒット精度）が高くなります。特に質問（意図）は、できれば３０文字以内ぐらいに収めた方が、意図と違うものにヒット（誤ヒット）することが起こりにくい傾向があります。
FAQデータは、エクセルなどで管理されているのが理想です。フォーマットも統一されていれば、手間なくそのまま知識データとして利用することが可能です。
ですが、統一されたフォーマットで、しかも簡潔な文章のFAQとして管理されているケースは稀です。

CAIWAサービスが解決！

2.回答精度（ヒット精度）が上がらない

• 同じ意味の例文（同義文）やキーワードを学習させるのが大変。
• どういう同義文を学習させればいいかわからない。
• 無駄な文章を学習させてしまい誤回答の原因になってしまう。

日本語は他の言語と比べて言葉の揺らぎ（違う言い回し）が多いと言われています。
実際、ユーザーが入力する言葉は、同じことを聞いていてもかなり違いがあります。
そうした色々な言い回しの言葉を、特定の質問（意図）にヒットさせるには、違う言い回しで同じ意味の言葉（同義文）、トレーニングフレーズとも言われたりします。これをたくさん学習させる必要があり、その作業は、結構時間がかかります。
しかもどういう文章を学習させれば正答率が上がるか分かりにくいです。余計な同義文を学習させてしまい誤回答の原因になってしまうケースもあります。

CAIWAサービスが解決！

3.テスト・チューニングに時間がかかる

• 一つずつ質問を入力して回答できるか確認するのは時間がかかる。
• 質問の意図として、より最適なものがある場合でも、見つけられない。
• 間違った回答が返ってきた際、何にヒットしたかがわからない。

上記は、構築段階で、なかなか正答率をあげられない原因となっています。
テストはとても重要で、きちんと回答ができているか、間違った返答をしていないかをチェックし、間違っている場合、正しいものを教えてあげる必要があります。
ユーザーからの質問を想定し、実際に質問してみて、回答できるかどうか、また返ってきた回答があっているかどうかを判定するわけですね。
特に回答が間違っていた場合は、その原因を解析したり、本来ヒットして欲しい質問（意図）を知識データの中から探したりといった作業が発生します。
こうしたテスト・チューニングの作業は経験を積まないと、結構時間がかかりますし、思ったように精度を上げられません。

CAIWAサービスが解決！

4.思ったより開発コストがかかる

• 回答と一緒にWEBページや画像を表示させるのが簡単にできない。
• 質問候補を表示させるのにプログラミングが必要。
• 回答が役に立ったかを聞くためのボタンを表示させるのに開発が必要。

回答の際にWEBページや画像を表示したり、特定の質問や曖昧な質問の時に候補を出して聞き返したり、最後に回答が役に立ったかを聞いて評価してもらうためのボタンを表示したりといった、”会話のシナリオ（トークスクリプト）の中で連動するアクション”を実現するには、プログラミングが必要だったりと簡単にはできないです。
そのため、社内の開発部隊を動かしたり外注したりと、思ったよりコストがかかるという問題もよく聞きます。

CAIWAサービスが解決！

これからチャットボットの導入を考えていて不安に思っているお客様、または、これらの問題を抱えているお客様は、是非、一度イクシーズラボにご相談ください。

また、実際にCAIWA ROBOT MANAGERを使い構築・メンテするデモをご覧いただくことで構築・運用時の良くある問題が解決できることを体感いただけるはずです。是非デモをご依頼ください。