株式会社NTTドコモ　マーケティングメディア部 ポータルビジネス担当　梅村 昇平氏
ドコモ・サポート株式会社　スマートライフビジネス支援部 AI支援担当　石川 一美氏

企業概要
〔業種〕IT・通信
〔事業内容〕携帯電話サービス、光ブロードバンドサービス、コンテンツ配信、システム開発・販売・保守受託など
〔導入サービス〕BEDORE Conversation
〔導入目的〕FAQの精度向上、運用コスト削減

課題
・中期経営戦略に基づき、AIエージェントの活用が急務
・自己解決率向上のためのFAQ数の追加
・チャットボット運用工数の削減

効果
・AIエージェントの精度向上による顧客利便性の向上
・2~3人月におよぶ大幅な運用工数削減
・30%を超える自己解決率向上

>>NTTドコモ様運用詳細編の記事はこちらから

NTTドコモが掲げるライフスタイル革新の中核的事業

―NTTドコモのビジョン、ミッションは？

梅村様　当社は「新しいコミュニケーション文化の世界を創造する」というビジョンを掲げ、
2017年に中期戦略 2020「beyond 宣言」を定め、その実現に向けて2018年に中期経営戦略の中で６つの「beyond宣言」を掲げました。そのひとつが「スタイル革新宣言」です。「empower＋d challenge（エンパワードチャレンジ）」という全社プロジェクトで手掛ける９つのライフスタイル革新のひとつとして「AIエージェント」に力を入れることを決めました。

―「スタイル革新宣言」における、AIエージェントの位置づけは？

梅村様　当社のビジョンや中期戦略を実現する上で、非常に重要な位置づけを担っています。2018年にスタートしたAIエージェントサービス「my daiz™（マイデイズ）」は、新しいコミュニケーション文化の創造に大きく寄与しています。

従来、通信業界のビジネスモデルは携帯電話の契約者数が重視されてきましたが、既に大手通信キャリアは日本の人口を超えるほどの契約者数を抱えています。飽和した市場の中で、ドコモは回線契約をベースとしたサービスだけではなく、回線契約を持たないお客さまでもdアカウントを取得すればご利用いただける、会員サービスの拡充を推進しています。

そのサービス拡充の方向性のひとつが、スタイル革新であり、「my daiz™」というサービスです。私たちはその対話AIエージェントの構築・整備を担当しています。

―現在、お2人はどのような業務を担当していますか。

梅村様　私はマーケティングメディア部のポータルビジネス担当という部署に所属し、NTTドコモのポイント会員組織である「dポイントクラブ会員」向けのメディア運営に携わる業務を行っています。「my daiz™」もお客さまが接するメディアのひとつという位置づけです。

「my daiz™」では「対話」部分を担当し、月々の請求金額やdポイントの残高、それに加えてFAQなどの問い合わせに応答するチャットボットなどのソリューション全般を担当しています。

石川様　私はドコモ・サポートというグループ会社に所属し、インフォメーションセンターやオンラインによるカスタマーサポートを担当しています。

現在は「サービス支援」という役割を担い、「my daiz™」のチャットボットの運用、シナリオ・動線設計、FAQ管理などを担当しています。

1,000問以上に及ぶFAQの精度向上が鍵に

―BEDORE Conversation導入前に抱えていた、「my daiz™」の課題についてお教えください。

梅村様　BEDORE導入前から「my daiz™」には既存のチャットボットが搭載されていました。しかし、既存のチャットボットはFAQの数を一定数まで増やすと、回答精度が下がってしまうという課題を抱えていました。

当時300問程度のFAQが搭載されていましたが、当社が必要とするFAQ数としては全く足りていませんでした。

石川様　実はNTTドコモ全体で、10,000件以上のFAQが存在します。公式のFAQだけで1,000問近く、それに加えて「d払い」「dポイントクラブ」などサービスごとに各100～200問のFAQが存在していました。

また、既存のチャットボットはFAQの数が増えるほど、FAQ追加やメンテナンスの工数が増大する課題がありました。

―カスタマーサポート全体としては、どのような課題がありましたか。

梅村様　これまでわからないことがあった際、ドコモの公式サイトに掲載されている「よくあるお問い合わせ」ページや、コールセンターに電話をかけて解決するお客さまが大半でした。そこに、AIエージェントで問い合わせに答えられるようになれば、新たな問い合わせ窓口ができるに等しく、より多くのお客さまに対応できるようになると考えました。

導入前の検証で大幅な精度向上と工数削減を確信

―新たなチャットボットを選定する上で、どのような点を重視しましたか。

梅村様　まず当社のニーズに合う3社のチャットボットを候補に上げました。そして、チャットボットの回答精度、チューニングやメンテナンスに必要な運用工数、運用含めたトータルコストの3点を軸に比較検討しました。回答精度の比較においては社内でユーザーテストを行い、リアルな回答精度の比較を行いました。

石川様　BEDORE導入前のチャットボットはキーワードマッチング型でした。一般的にキーワードマッチング型では、大量のFAQを追加し新しくFAQを追加した際に他の質問文に干渉して精度が低くなる傾向があります。BEDOREは機械学習型のため、キーワードマッチング型の課題をシステム側ですべて調整してくれるため、大幅に工数が抑えられる期待が持てました。

実際に運用を行う私たちのチームは、派遣社員3人、社員2人で構成されています。どのメンバーもこの業務に関わるようになってはじめてチャットボットの勉強をした者ばかりで、エンジニアではありません。BEDOREの管理画面では、運用やチューニングに必要な要素が全て整理されているため、そうしたメンバーでも使いこなせそうだと感じました。

梅村様　大量のFAQを登録するという条件のもとでは、BEDOREの精度は既存チャットボットより非常に高く、さらにコストの観点でも、ライセンス料金と運用工数を合計した総コストが最も低いことが明確になりました。これが決め手になり、BEDOREの導入を決定しました。

―回答精度の比較では、どのようなユーザーテストを行いましたか。

梅村様　チャットボット業務に携わっていない40人の社員をピックアップし、ユーザーテストを実施しました。具体的には、BEDOREのチャットボットが様々な言い回しの質問に正しく回答できるかについて、性能評価を行いました。

石川様　ユーザーテスト参加者には、登録されているFAQの質問文に対して、様々な言い回しでテストユーザー1人につき10回ずつ質問を投げかけてもらいました。

例えば、携帯電話が故障した、というシチュエーションなら「携帯電話、故障した、補償使える？」「修理するにはどうすればいい？」といった、登録していない質問文をあえて投げかけてもらうようにしましたね。

ほんの１週間ほどのユーザーテストでしたが、BEDORE Conversationの精度が大幅に高いことが実証されました。まったくチューニングしていない初期状態でも88%の回答精度、その後チューニングした結果、99%まで回答精度を向上できたため、自身を持ってお客さま向けにリリースできました。

BEDORE Conversationを多様なサービスに展開

―現在、BEDOREの対話エンジンをどのようにご活用いただいていますか。

梅村様　導入当初はドコモホームページに掲載されている公式FAQに応答できるチャットボットとしてスタートしたのですが、現在は「d払い」や「dポイントクラブ」、契約内容の変更手続きを行う「オンライン手続き」のサイトなどに関する問い合わせに応答できるよう拡張しています。また、このチャットボットを様々なサイトからも同時にアクセスできるよう様々な場所にリンクを設置しています。精度の高いBEDOREのチャットボットを有効活用して、少ない工数でより多くのお客さまのご要望にお応えできる体制を整えています。

―導入する際も、スムーズに進めることができましたか？

石川様　導入からオンボーディングに至るまで、BEDOREの方々のサポートが万全だったことが特に印象的です。

導入する際は、もともと300問ほどあったFAQを、720問に増やしました。最初に導入する際、720問のFAQをすべてBEDOREのコンサルタントにお渡しして、すべて初期チューニングしていただいたため、私たちが手を動かす必要はほぼありませんでした。今では1,000問を超えるFAQを取り揃えることができています。

導入時は、FAQの整備と同時に社内のセキュリティ診断を通さねばなりませんでしたが、その回答作成や書類整備も、BEDOREのコンサルタントのみなさんが全面的にバックアップしてくださいました。そのおかげで、通常３カ月かかるセキュリティ診断のプロセスを、1カ月足らずで進めることができました。

「my daiz™」とBEDORE Conversationのシステム連携についても、様々なWeb APIの仕様書が用意されており、BEDOREのエンジニアの方々から手厚い技術サポートをいただきました。その結果、導入決定からリリースまで３カ月足らずで進めることができました。

―導入後の効果はいかがでしたか?

石川様　チャットボットのKPIとして自己解決率50%を目指して運用していましたが、BEDOREにリプレイスする前は達成が難しい水準でした。しかし、BEDOREを導入してすぐに70%を達成し、いまではチューニングの結果、83%まで自己解決率を高めることができています。

更に運用工数が劇的に減少していまして、リプレイス前と比べると2〜3人月の運用工数削減に至っています。

>>NTTドコモ様運用詳細編の記事はこちらから

梅村様　導入後も、速いペースで機能追加がされています。当社のリクエストだけでなく、BEDOREを利用している他社のリクエストで便利な機能が追加されていくのも、SaaSならではの利点だと感じます。

―今後の展望は？

梅村様　私たちの部署で活用した実績が評価され、他部署からもBEDOREのチャットボットを使ってみたいというオーダーがたくさん寄せられています。

コールセンターを管理しているフロント支援部という事業部で、BEDOREのチャットボットを導入することが決まりました。他部署に広げていくためにも、チャットボットのみならず、コールセンターの負荷が軽減できた、着電数を減らすことができたといった副次的な効果も見ていきたいですね。

チャットボットで解決しきれない質問をいだたいた場合は、シームレスに有人チャットへ接続する体制も整えたい。最終的には、カスタマーサポートのDXを実現し、有人チャットとAIによるチャットボットのハイブリッド型カスタマーサポートを実現したいと考えています。

株式会社ジェーシービー
コミュニケーション本部 コミュニケーション企画部 次長　棗 満佐子氏
コミュニケーション本部 コミュニケーション企画部 支援推進グループ　千葉 成次氏

企業概要
〔業種〕クレジットカード
〔事業内容〕クレジットカード業務、クレジットカード業務に関する各種受託業務、融資業務、集金代行業務、前払式支払手段の発行ならびに販売業およびその代行業
〔導入サービス〕BEDORE Conversation
〔導入目的〕お客様の自己解決リソースの拡充、お問い合わせ対応の自動化

課題
・増加するお問い合わせへの自動対応
・自己解決できるお問い合わせチャネルの追加

効果
・電話を好まないお客様が自己解決できるサポート窓口の拡充
・突発的な問い合わせ増が発生した際、対話ログから素早く状況を把握し対応
・対話エンジンの対話ログからお客様の声を抽出、各サポートチャネルの対応改善

お客様のご要望の多様化に対応したい

―JCBでは現在、どのようなビジョンを掲げていますか？

棗様　当社では、「世界にひとつ。あなたにひとつ。」というブランドメッセージを掲げ、世界で加盟店約3,500万店、14,000万会員以上の方々にご利用いただいています。現在は、2021年度より新しく策定された中期経営計画【Plan 2024】を実現するため、デジタル化やキャッシュレス決済など日々変化するお客様のライフスタイルに応えるサービスを提供することを目指しています。

―お二人はどのようなミッション、業務を担っていらっしゃいますか？

棗様　私たちコミュニケーション本部はコンタクトセンターを運営するコミュニケーション推進部と、Web・紙メディアを制作・運営するメディアデザイン部、そして私達が所属するコミュニケーション企画部に分かれ、お客様とのコミュニケーションをより円滑にできるよう、企画・運営しております。

コミュニケーション企画部では、お客様とのコミュニケーションチャネルにおけるCXの向上を目指し、課題改善策の実行や新たなコミュニケーションツールの導入・設計などを担当しています。具体的には、コンタクトセンターに寄せられたお客様の声の量や動向、およびその内容についてテキストマイニングツール等も駆使して分析し、社内の様々な部署と連携しながら、改善・検証等を実行しています。

千葉様　私のミッションは、自己解決を望むお客様へ、不足なく、わかりやすいコンテンツを提供することです。その中でBEDORE Conversationのメイン運用担当として、チャットボットの整備や管理を担っています。チャットボットに新しいFAQやシナリオを追加し、より的確な回答ができるよう調整することも私の仕事です。

―BEDORE Conversationを導入する前、コンタクトセンターではどのような課題を抱えていましたか？

棗様　チャットボットの導入を検討し始めた2016年当時、お客様の「電話離れ」が進んでいると言われているにも関わらず入電量は減少せず、さらに採用難からコールセンターにおける人材確保が困難、という課題を抱えておりました。

そこで、「電話が減らないのはなぜか」を確認するために、お客様に「困った時の解決方法について」アンケート調査を実施してみると、お客様は事前にWebを調べ、疑問が解決できなかったため、電話でお問い合わせしていることが分かりました。必ずしも電話をかけたくてかけているわけではないのです。

お客様の困りごとを、Webでデジタルに解決するツールを提供できればお客様の満足度向上と入電数の減少につながると考え、チャットボットを検討し始めました。

PoCでABテストを実施し、お客様の受容度を確認

―コンタクトセンターの課題を解決するため、どのような基準で対話エンジンを選定しましたか。

棗様　最初は15社ほど幅広に比較していましたが、機能性などの比較でBEDOREともう一社の2つのチャットボットに絞り込み、社内でトライアルしました。トライアルでは、操作方法のチェックから、回答精度、運用のしやすさなどを確認させていただきました。

その結果、チューニングなど運用にかかる工数に大きく差があることが分かりました。BEDOREはもう一社のチャットボットと比較し、10分の1程度の運用工数でメンテナンスできたのです。もう一社のチャットボットは、CSVファイルですべてのデータをダウンロードしてチューニング作業をする必要があるのに対し、BEDOREは管理システム上でクリックしていくだけで運用が可能でした。

―多くのサービスの中から、BEDORE Conversationを選定した一番の決め手は？

棗様　当時はまだチャットボット黎明期だったにも関わらず、機能性が高く誰でも使いやすい管理システムが備えられていたことです。当時は今ほどチャットボットが普及していなかったこともあり、システムやプログラム、チャットボットに精通した人でなければ扱えない製品が多かったようです。

その中で、BEDORE Conversationは抜群の機能性でした。先程述べたとおり、運用性能の良さが際立っていたのです。

―PoCではどのようなことを行いましたか。

棗様　社内でのトライアルを経て、チャットボットの選定はBEDOREでほぼ内定していました。あとはお客様の反応を確認する必要があると感じ、実環境でお客様に実際にお使いいただき、検証を行いました。

1~2ヶ月間の間、ABテストツールを利用して一部のお客様だけにBEDOREのチャットボットを表示し、実践での精度やお客様の受容度合いについて検証を行いました。

その結果、自己解決率は81％を超え、「今後もチャットボットを使いたい」というアンケートに「はい」と答えたお客様も80%を超えました。いずれも当社が事前に決めていたクリア条件を超えていたため、本格的に導入することになりました。

自己解決促進とお客様の声を収集するツールとして活躍

―導入後、BEDORE Conversationをどのように活用されていますか。

千葉様　現在は合計8カ所に設置しています。カードサイトのトップページ、そしてお問い合わせページの2ヶ所が主要な掲載先で、他にもお問い合わせが発生しやすそうなページに選択的に設置しています。

棗様　弊社では、お客様の困りごとに対応するコミュニケーションツールとして、FAQとチャットボットを導入していますが、それぞれのツールを利用されるお客様には行動の違いがある、と考えています。

FAQサイトに来られる方は検索サイトの検索結果から直接ランディングされる方が多いのですが、BEDOREのチャットボットを使う方は、JCBのWebサイトを訪れてから必要な情報を探す際に利用されています。

チャットボットはJCBのWebサイトに来られて、何か情報を探したいお客様に対して、的確に情報を提供して自己解決に導くのに最適なツールだと考えています。

千葉様　お客様の声を拾うツールとしても価値が高いと感じます。FAQサイトだと、お客様がFAQを参照されたことはわかるのですが、具体的にどうして見られたのか理由を読み取ることが難しいのです。

チャットボットの場合、お客様が一度回答を見た後に追加で具体的に「これこれを知りたい」という入力をしてくださるので、お客様の意図の読み取りがしやすいのです。

―導入後、どのような成果が現れましたか？

棗様　カスタマーセンターの呼量はそれほど大きく変わってはいません。しかし、これまで「電話をかけて問い合わせるのは面倒だ」と問い合わせずに離脱していたお客様に対して、問い合わせをしていただける接点を増やすことができたのは大きな効果だと感じています。

チャットボットに入力されるテキストから、お客様の動向を素早くキャッチできるため、新しい問い合わせ傾向の把握や、異常検知にも非常に役立っています。また、テキストデータで蓄積されるため、定性ではなく定量で傾向が把握できることも価値が高いと感じています。

最近では、マイナポイント事業に関する問い合わせが急増しましたが、こうした新しい問い合わせはコールセンターとチャットボット、どちらも同じ時期に増加する傾向があります。しかし、電話でのお問い合わせはテキスト化して分析するまで時間がかかるのに対し、チャットボットはお客様の入力がテキストとして残るので、素早く分析してコールセンターに「こういうマニュアルを追加してはどうか」というフィードバックが可能になります。

千葉様　弊社サイトのページに不具合が発生しているような場合も、お客様が具体的にどのページでどんな問題が起きているか入力してくださるので、問題をいち早く発見し、素早く修正することができます。

―運用面で最も助かっているのはどのようなことですか。

千葉様　お客様の動向をリアルタイムにキャッチアップできることです。

例えば、「マイナポイント事業」への参加を公表後、チャットボットへ様々なお問い合わせをいただきました。事前に、問い合わせが予想される内容については回答を用意していたものの、それら以外にも、多種多様なお客様の関心やニーズがあることがチャットボットとの対話のログからわかったのです。そこで、チャットボットへ回答を追加することで、お客様の自己解決に寄与することができました。

つまり、チャットボットに寄せられる質問の量、内容をチェックすることで、いまお客様が必要としている情報や関心ごと、ニーズを素早くキャッチし、すぐに対応できるようになったのです。これは導入前には気づかなかった大きなメリットで、このおかげもありBEDORE Conversationはいまやなくてはならない存在になっています。ウェブへのアクセスとは違い、チャットボットはお客様の要望がすべてテキストで可視化されます。その結果、リアルタイムで起こっていることを具体的に把握できるようになったことは、非常に意義のあることでした。

毎朝１時間の運用でチューニングが完結

―日々、どのように運用していらっしゃいますか。

千葉様　チャットボットのチューニングについては、日々お客様から寄せられたお問い合わせのうち、正しい答えが返せていない質問を抽出し、正しい回答を紐付けて再学習させることで精度を高めています。正しい答えが返せていない対話、つまり、お客様が「お役に立ちましたか」というアンケートに対して「いいえ」とフィードバックいただいた対話はBEDOREが自動的に抽出してくれるので、クリックベースで正しい回答に紐づけていくだけでチューニングが完結できます。

また、「いいえ」とアンケート回答いただいた対話の中には、回答すべきナレッジが不足しているケースもあります。このような場合、一旦正しい回答との紐付けを保留し、月に一回程度保留した対話を見直しています。そして、一定の問い合わせ数が発生しそうな質問を抽出して新しい回答を追加しています。

BEDOREはチューニングが必要な部分だけを提示してくれるので、毎朝1時間程度その通りに対応するだけで日々の運用が済んでしまいます。

それ以外に、全体の解決率や正答率は日次でチェックして、日報に記録しています。BEDOREのダッシュボードでこれらの数字はすぐに取得できるので、日次でも負荷はありません。

棗様　運用工数が1日1時間程度で済んでいるのは大きいと感じています。BEDORE Conversationは他社の10分の１くらいの工数で済むため、新しいシステムを導入するときにつきものの運用フローが煩雑で結局使わなくなってしまうといった事態に陥らずスムーズにオンボーディングできました。

―今後の展望は。

棗様 BEDORE Conversationの設置場所を増やし、より多くのお客様にご利用いただきたいですね。そして、チャットボットに寄せられるお問い合わせの声をもとにお客様の困りごとやニーズにきめ細やかに対応することを通じて、CX向上に貢献できたらと考えております。