【運用編】自己解決率を30%向上しながら運用工数を3人月分削減できた理由

PKSHA Chatbotのメンテナンス支援機能でチューニング工数を9割削減

日々PKSHA Chatbotのメンテナンスはどのように運用されていますか。

石川様　PKSHA Chatbotのダッシュボードにはチャットボットをユーザーにご利用いただいた結果の対話ログが蓄積されていきます。うまく回答できなかった対話ログは「NGチャット振り分け」に振り分けられるため、毎日内容を確認して正しい回答に紐付けています。大体日々250件程度のNGチャットログが発生しますが、2時間程度でチューニングできています。

梅村様　チューニング作業はPKSHA Chatbotにリプレイスすることで0.7人月ほど削減できました。

FAQの追加・シナリオ化作業も大幅に効率化を実現

PKSHA ChatbotのFAQ追加はどのようなルーティンで行っていますか。

石川様　前述の通り、「初回発話エラー」の最小化を重視しているので、NGチャットのチューニングに加え、適切な回答がない場合は公式FAQから活用できそうなFAQを探してきて追加しています。

他にもお客さまの曖昧な質問、例えば「画面が割れた」といった質問には、修理方法のご案内、補償のご案内、買い替えのご案内など何パターンかの回答が考えられます。こうしたログが見つかった場合、シナリオ化してお客さまが求める答えを切り分けし、適切な回答ができるようにしています。

梅村様　正確な稼働時間の比較は難しいのですが、概算で2人月くらいFAQの追加にかかる工数は減っていますね。

石川様　従来のキーワードマッチング型ですと、例えば既存のFAQに300問あり、そこに200問分のFAQを追加しようとすると、質問と回答が干渉しないよう500問分のFAQをチューニングする必要があります。

以前はこうしたチューニング作業には2～3カ月かかっていましたが、PKSHA Chatbotを活用することにより、１週間ほどで完了するようになりました。そのおかげで劇的に事業スピードを早めることができました。

自己解決率にも大きな変化がありました。PKSHA Chatbotの導入前、自己解決率は50％前後でしたが、導入後すぐ70％まで向上、今では83％まで上昇しています。

自己解決率を向上させるために工夫していることは？

石川様　PKSHA Chatbotには、お客さまの質問に対して「この回答で良かったですか？」とアンケートを取る機能があります。さらに、「いいえ」とお答えになったお客さまに対して「いいえと答えた理由をお教えください」と、もう一度アンケートを出すことができるんです。

回答がわかりにくかった、的を射ていなかった、回答内容が不足しているなどの、「いいえ」の原因を見て、回答内容を見直すようにしています。

また、毎日更新されているNTTドコモホームページに掲載されている「公式FAQ」の内容に合わせて、PKSHA Chatbotのデータベースに登録されているFAQの内容を更新したり、チャットボットのシナリオ分岐を更新したりしています。

PKSHA Chatbotでは新しいFAQの追加が気軽に短時間で行えるため、こうしたメンテナンス作業も手軽に素早く実施できるようになっています。そのせいか、最近新しいサービスを追加したり、他の部署からもPKSHA Chatbotの導入を検討したいという声が上がるなど、拡大のスピードが上がってきています。