株式会社NTTドコモ マーケティングメディア部 ポータルビジネス担当 梅村 昇平氏
ドコモ・サポート株式会社 スマートライフビジネス支援部 AI支援担当 石川 一美氏
企業概要
〔業種〕IT・通信
〔事業内容〕携帯電話サービス、光ブロードバンドサービス、コンテンツ配信、システム開発・販売・保守受託など
〔導入サービス〕BEDORE Conversation
〔導入目的〕FAQの精度向上、運用コスト削減
課題
・中期経営戦略に基づき、AIエージェントの活用が急務
・自己解決率向上のためのFAQ数の追加
・チャットボット運用工数の削減
効果
・AIエージェントの精度向上による顧客利便性の向上
・2~3人月におよぶ大幅な運用工数削減
・30%を超える自己解決率向上
NTTドコモが掲げるライフスタイル革新の中核的事業
―NTTドコモのビジョン、ミッションは？
梅村様 当社は「新しいコミュニケーション文化の世界を創造する」というビジョンを掲げ、
2017年に中期戦略 2020「beyond 宣言」を定め、その実現に向けて2018年に中期経営戦略の中で６つの「beyond宣言」を掲げました。そのひとつが「スタイル革新宣言」です。「empower＋d challenge（エンパワードチャレンジ）」という全社プロジェクトで手掛ける９つのライフスタイル革新のひとつとして「AIエージェント」に力を入れることを決めました。
―「スタイル革新宣言」における、AIエージェントの位置づけは？
梅村様 当社のビジョンや中期戦略を実現する上で、非常に重要な位置づけを担っています。2018年にスタートしたAIエージェントサービス「my daiz™（マイデイズ）」は、新しいコミュニケーション文化の創造に大きく寄与しています。
従来、通信業界のビジネスモデルは携帯電話の契約者数が重視されてきましたが、既に大手通信キャリアは日本の人口を超えるほどの契約者数を抱えています。飽和した市場の中で、ドコモは回線契約をベースとしたサービスだけではなく、回線契約を持たないお客さまでもdアカウントを取得すればご利用いただける、会員サービスの拡充を推進しています。
そのサービス拡充の方向性のひとつが、スタイル革新であり、「my daiz™」というサービスです。私たちはその対話AIエージェントの構築・整備を担当しています。
―現在、お2人はどのような業務を担当していますか。
梅村様 私はマーケティングメディア部のポータルビジネス担当という部署に所属し、NTTドコモのポイント会員組織である「dポイントクラブ会員」向けのメディア運営に携わる業務を行っています。「my daiz™」もお客さまが接するメディアのひとつという位置づけです。
「my daiz™」では「対話」部分を担当し、月々の請求金額やdポイントの残高、それに加えてFAQなどの問い合わせに応答するチャットボットなどのソリューション全般を担当しています。
石川様 私はドコモ・サポートというグループ会社に所属し、インフォメーションセンターやオンラインによるカスタマーサポートを担当しています。
現在は「サービス支援」という役割を担い、「my daiz™」のチャットボットの運用、シナリオ・動線設計、FAQ管理などを担当しています。
1,000問以上に及ぶFAQの精度向上が鍵に
―BEDORE Conversation導入前に抱えていた、「my daiz™」の課題についてお教えください。
梅村様 BEDORE導入前から「my daiz™」には既存のチャットボットが搭載されていました。しかし、既存のチャットボットはFAQの数を一定数まで増やすと、回答精度が下がってしまうという課題を抱えていました。
当時300問程度のFAQが搭載されていましたが、当社が必要とするFAQ数としては全く足りていませんでした。
石川様 実はNTTドコモ全体で、10,000件以上のFAQが存在します。公式のFAQだけで1,000問近く、それに加えて「d払い」「dポイントクラブ」などサービスごとに各100～200問のFAQが存在していました。
また、既存のチャットボットはFAQの数が増えるほど、FAQ追加やメンテナンスの工数が増大する課題がありました。
―カスタマーサポート全体としては、どのような課題がありましたか。
梅村様 これまでわからないことがあった際、ドコモの公式サイトに掲載されている「よくあるお問い合わせ」ページや、コールセンターに電話をかけて解決するお客さまが大半でした。そこに、AIエージェントで問い合わせに答えられるようになれば、新たな問い合わせ窓口ができるに等しく、より多くのお客さまに対応できるようになると考えました。
導入前の検証で大幅な精度向上と工数削減を確信
―新たなチャットボットを選定する上で、どのような点を重視しましたか。
梅村様 まず当社のニーズに合う3社のチャットボットを候補に上げました。そして、チャットボットの回答精度、チューニングやメンテナンスに必要な運用工数、運用含めたトータルコストの3点を軸に比較検討しました。回答精度の比較においては社内でユーザーテストを行い、リアルな回答精度の比較を行いました。
石川様 BEDORE導入前のチャットボットはキーワードマッチング型でした。一般的にキーワードマッチング型では、大量のFAQを追加し新しくFAQを追加した際に他の質問文に干渉して精度が低くなる傾向があります。BEDOREは機械学習型のため、キーワードマッチング型の課題をシステム側ですべて調整してくれるため、大幅に工数が抑えられる期待が持てました。
実際に運用を行う私たちのチームは、派遣社員3人、社員2人で構成されています。どのメンバーもこの業務に関わるようになってはじめてチャットボットの勉強をした者ばかりで、エンジニアではありません。BEDOREの管理画面では、運用やチューニングに必要な要素が全て整理されているため、そうしたメンバーでも使いこなせそうだと感じました。
梅村様 大量のFAQを登録するという条件のもとでは、BEDOREの精度は既存チャットボットより非常に高く、さらにコストの観点でも、ライセンス料金と運用工数を合計した総コストが最も低いことが明確になりました。これが決め手になり、BEDOREの導入を決定しました。
―回答精度の比較では、どのようなユーザーテストを行いましたか。
梅村様 チャットボット業務に携わっていない40人の社員をピックアップし、ユーザーテストを実施しました。具体的には、BEDOREのチャットボットが様々な言い回しの質問に正しく回答できるかについて、性能評価を行いました。
石川様 ユーザーテスト参加者には、登録されているFAQの質問文に対して、様々な言い回しでテストユーザー1人につき10回ずつ質問を投げかけてもらいました。
例えば、携帯電話が故障した、というシチュエーションなら「携帯電話、故障した、補償使える？」「修理するにはどうすればいい？」といった、登録していない質問文をあえて投げかけてもらうようにしましたね。
ほんの１週間ほどのユーザーテストでしたが、BEDORE Conversationの精度が大幅に高いことが実証されました。まったくチューニングしていない初期状態でも88%の回答精度、その後チューニングした結果、99%まで回答精度を向上できたため、自身を持ってお客さま向けにリリースできました。
BEDORE Conversationを多様なサービスに展開
―現在、BEDOREの対話エンジンをどのようにご活用いただいていますか。
梅村様 導入当初はドコモホームページに掲載されている公式FAQに応答できるチャットボットとしてスタートしたのですが、現在は「d払い」や「dポイントクラブ」、契約内容の変更手続きを行う「オンライン手続き」のサイトなどに関する問い合わせに応答できるよう拡張しています。また、このチャットボットを様々なサイトからも同時にアクセスできるよう様々な場所にリンクを設置しています。精度の高いBEDOREのチャットボットを有効活用して、少ない工数でより多くのお客さまのご要望にお応えできる体制を整えています。
―導入する際も、スムーズに進めることができましたか？
石川様 導入からオンボーディングに至るまで、BEDOREの方々のサポートが万全だったことが特に印象的です。
導入する際は、もともと300問ほどあったFAQを、720問に増やしました。最初に導入する際、720問のFAQをすべてBEDOREのコンサルタントにお渡しして、すべて初期チューニングしていただいたため、私たちが手を動かす必要はほぼありませんでした。今では1,000問を超えるFAQを取り揃えることができています。
導入時は、FAQの整備と同時に社内のセキュリティ診断を通さねばなりませんでしたが、その回答作成や書類整備も、BEDOREのコンサルタントのみなさんが全面的にバックアップしてくださいました。そのおかげで、通常３カ月かかるセキュリティ診断のプロセスを、1カ月足らずで進めることができました。
「my daiz™」とBEDORE Conversationのシステム連携についても、様々なWeb APIの仕様書が用意されており、BEDOREのエンジニアの方々から手厚い技術サポートをいただきました。その結果、導入決定からリリースまで３カ月足らずで進めることができました。
―導入後の効果はいかがでしたか?
石川様 チャットボットのKPIとして自己解決率50%を目指して運用していましたが、BEDOREにリプレイスする前は達成が難しい水準でした。しかし、BEDOREを導入してすぐに70%を達成し、いまではチューニングの結果、83%まで自己解決率を高めることができています。
更に運用工数が劇的に減少していまして、リプレイス前と比べると2〜3人月の運用工数削減に至っています。
梅村様 導入後も、速いペースで機能追加がされています。当社のリクエストだけでなく、BEDOREを利用している他社のリクエストで便利な機能が追加されていくのも、SaaSならではの利点だと感じます。
―今後の展望は？
梅村様 私たちの部署で活用した実績が評価され、他部署からもBEDOREのチャットボットを使ってみたいというオーダーがたくさん寄せられています。
コールセンターを管理しているフロント支援部という事業部で、BEDOREのチャットボットを導入することが決まりました。他部署に広げていくためにも、チャットボットのみならず、コールセンターの負荷が軽減できた、着電数を減らすことができたといった副次的な効果も見ていきたいですね。
チャットボットで解決しきれない質問をいだたいた場合は、シームレスに有人チャットへ接続する体制も整えたい。最終的には、カスタマーサポートのDXを実現し、有人チャットとAIによるチャットボットのハイブリッド型カスタマーサポートを実現したいと考えています。
