株式会社NTTドコモ マーケティングメディア部 ポータルビジネス担当 梅村 昇平氏
ドコモ・サポート株式会社 スマートライフビジネス支援部 AI支援担当 石川 一美氏
企業概要
〔業種〕IT・通信
〔事業内容〕携帯電話サービス、光ブロードバンドサービス、コンテンツ配信、システム開発・販売・保守受託など
〔導入サービス〕BEDORE Conversation
〔導入目的〕FAQの精度向上、運用コスト削減
運用方法の変化
・生ログからレポーティングを作成していた作業が、BEDOREのビルトインダッシュボードで完結
・生ログから分析・修正を実施していたチューニング作業が、用意されたNGログに対してクリックベースで正答を選ぶだけで完結
・FAQ追加のたびに既存FAQ含め全問チューニングが必要だった作業が、新規FAQを学習するだけで完結
運用工数の削減効果
・レポーティング作業: 0.34人月(85%)削減
・チューニング作業: 0.7人月(92%)削減
・FAQ追加: 約2人月削減(※追加FAQ数などにより変動)
BEDOREのダッシュボード機能でレポート抽出の工数がほぼゼロに
―BEDOREのダッシュボードはどのようにご利用いただいていますか。
梅村様 「配信状況KPI」で対話数や自己解決率を定量的な数値を把握しています。私たちの部署では、チャットボットによる自己解決率を50%以上に高めることをKPIに置いています。BEDOREの管理画面ではこうしたデータがビルトインされていますし、グラフでビジュアライズされているので、直感的に誰でもすぐ使いこなすことができます。
石川様 BEDOREの「KPIダッシュボード」では様々な指標を見ることができますが、私たちが重視しているのは、お客さまが最初に質問してくれたときに何も答えられないこと、すなわち「初回発話エラー」をなくすことです。せっかく話しかけてくださったお客さまの質問に、まずはできるだけ答える体制を整えようと、日々回答内容を工夫しています。
BEDOREの場合、レポートもメンテナンスもツール一つで完結しているので助かっています。もともと利用していたチャットボットでは、生ログをダウンロードし、データを分析・処理してから、レポート作成やメンテナンスをしていました。BEDOREはダッシュボード上で必要なKPIデータのほとんどを取得できるので、レポート作成工数が0.4人月から0.06人月へと、大幅に圧縮できました。
BEDOREのメンテナンス支援機能でチューニング工数を9割削減
―日々BEDOREのメンテナンスはどのように運用されていますか。
石川様 BEDOREのダッシュボードにはチャットボットをユーザーにご利用いただいた結果の対話ログが蓄積されていきます。うまく回答できなかった対話ログは「NGチャット振り分け」に振り分けられるため、毎日内容を確認して正しい回答に紐付けています。大体日々250件程度のNGチャットログが発生しますが、2時間程度でチューニングできています。
梅村様 チューニング作業はBEDOREにリプレイスすることで0.7人月ほど削減できました。
FAQの追加・シナリオ化作業も大幅に効率化を実現
―BEDOREのFAQ追加はどのようなルーティンで行っていますか。
石川様 前述の通り、「初回発話エラー」の最小化を重視しているので、NGチャットのチューニングに加え、適切な回答がない場合は公式FAQから活用できそうなFAQを探してきて追加しています。
他にもお客さまの曖昧な質問、例えば「画面が割れた」といった質問には、修理方法のご案内、補償のご案内、買い替えのご案内など何パターンかの回答が考えられます。こうしたログが見つかった場合、シナリオ化してお客さまが求める答えを切り分けし、適切な回答ができるようにしています。
梅村様 正確な稼働時間の比較は難しいのですが、概算で2人月くらいFAQの追加にかかる工数は減っていますね。
石川様 従来のキーワードマッチング型ですと、例えば既存のFAQに300問あり、そこに200問分のFAQを追加しようとすると、質問と回答が干渉しないよう500問分のFAQをチューニングする必要があります。
以前はこうしたチューニング作業には2～3カ月かかっていましたが、BEDOREを活用することにより、１週間ほどで完了するようになりました。そのおかげで劇的に事業スピードを早めることができました。
自己解決率にも大きな変化がありました。BEDORE Conversationの導入前、自己解決率は50％前後でしたが、導入後すぐ70％まで向上、今では83％まで上昇しています。
―自己解決率を向上させるために工夫していることは？
石川様 BEDORE Conversationには、お客さまの質問に対して「この回答で良かったですか？」とアンケートを取る機能があります。さらに、「いいえ」とお答えになったお客さまに対して「いいえと答えた理由をお教えください」と、もう一度アンケートを出すことができるんです。
回答がわかりにくかった、的を射ていなかった、回答内容が不足しているなどの、「いいえ」の原因を見て、回答内容を見直すようにしています。
また、毎日更新されているNTTドコモホームページに掲載されている「公式FAQ」の内容に合わせて、BEDOREのデータベースに登録されているFAQの内容を更新したり、チャットボットのシナリオ分岐を更新したりしています。
BEDOREでは新しいFAQの追加が気軽に短時間で行えるため、こうしたメンテナンス作業も手軽に素早く実施できるようになっています。そのせいか、最近新しいサービスを追加したり、他の部署からもBEDOREの導入を検討したいという声が上がるなど、拡大のスピードが上がってきています。
