メインコンテンツにスキップ

Adaは、GPT-4を活用したカスタマーサービスの新たな標準を提供

Ada logo superimposed on an abstract painting with prominent blue and purple brushstrokes.

Adaはカスタマーサービス支出において1000億ドル規模のシフト(新しいウィンドウで開く)を牽引する存在であり、その転換の最前線にはAdaが提供するAIネイティブのカスタマーサービス自動化プラットフォームがあります。2016年に設立され、Meta、Verizon、Shopifyなどのクライアントを持つAda(新しいウィンドウで開く)は現在、総額2億ドルの資金調達を完了し、評価額は12億ドルに達しています。

Adaは長年にわたりAIを推進してきた経験を持ち、設立当初からAIネイティブなプラットフォームでした。第一世代の製品は、社内で開発・訓練された自然言語処理(NLP)モデルを使用して構築されました。しかし、プラットフォームが処理できる顧客からの問い合わせの数と、満足できる形で解決に至った問い合わせの数には、隔たりがあることが明らかになりました。

「OpenAIと業界の動向に私たちは本当に興奮しました。そして2022年、私たちはLLMの推論能力を活用して製品を全面的に再構築することを決めたのです。」
最高製品・技術責任者 Mike Gozzo氏

新たなカスタマーサービス指標を開発:解決率

カスタマーサービスにおける業界標準の指標である封じ込め率は、顧客からの問い合わせに対して、人間が介入せずチャットボットによってすべて処理された件数を測定します。封じ込め率が向上すると、理論上はカスタマーサービスの運用コスト削減につながります。しかし、Adaのチームはこの指標に問題があると考えました。 

「Adaを含む多くのソリューションが簡単に80~100%の封じ込め率を達成できます。しかし、実際に対話の記録を確認し顧客体験を読んでみると、かなり質が低いことがわかります。」とGozzo氏は述べています。 

チームは対話によって実際どれだけ解決に至ったかに注力することで、カスタマーサービス業界に新しい基準を確立できると確信。

まず、GPT‑4を使用して過去のデータと組み合わせ、顧客の問い合わせを対話を通じてどれだけ自動的に解決できたかを評価できる新しい評価フレームワークの構築に取り掛かりました。Adaのシステムは、顧客が適切かつ正確で安全な返答をどれだけ受け取ったかによって各対話を評価し、これには人間が介入することはありません。「私たちのテストでは、人間が会話を確認した場合と比べて80〜90%の一致率を示しました」とGozzo氏は述べています。

The image shows an email conversation between Alice Carson and Milo from CoolShop’s customer service. Alice is asking for an update on her order status, and Milo responds that the order has shipped with a tracking number, scheduled to arrive next Monday.

モデル間のバトルテストとOpenAIの選定

解決率を理解することで、Adaは自社製品の目標を定めました。そして、評価にOpenAI APIを活用するだけでなく、OpenAIと協力して新世代AIエージェントの構築を決意。 

Adaは以前から主に自社のNLPモデルのトレーニングデータ生成にOpenAIのモデルを使用していました。新しいユースケースでOpenAI APIをテストした結果、いくつかの差別化要因が明らかになりました。 

  • 推論の品質:Adaは数十万人のエンドユーザーとシステム間の会話をシミュレートする合成テストのフレームワークを構築し、自社のモデルにスケーラビリティと品質のストレステストを行っています。「主要なモデルが発表されると数週間以内に定期的なテストを行いましたが、現時点で私たちの評価セットにおいてOpenAIに匹敵するものはありません。」とGozzo氏は語っています。 
  • レイテンシ:音声を活用したAdaのユースケースでは、最高のパフォーマンスを確保するには低レイテンシモデルが重要です。「リアルタイムの推論に関しては、GPT‑4oでレイテンシと全体的な品質が大幅に向上したことを確認しています」とGozzo氏は述べています。
  • ファインチューニング:AdaはOpenAIのファインチューニングAPIを活用し、特定の応答におけるハルシネーションの度合いを信頼度スコアとして提供。そのスコアをツールチェーン全体で使用してシステム内のハルシネーションを最小限に抑えています。「また、ファインチューニングを行うことで、時間の経過とともにシステムの推論能力がさらに向上する可能性や、この技術により、もっと小規模で低コストなモデルがフロンティアモデルを模倣できる可能性があることを楽しみにしています。」とGozzo氏は語っています。

OpenAI活用により解決率が倍増

AdaのAIエージェントは現在、1つの中央計画エージェントと複数のサブエージェントからなるマルチエージェント構成を採用しており、そのすべてがOpenAIのAPIによって動作しています。Gozzo氏は、「ユーザーがAdaを活用したカスタマーサービスを利用すると、ユーザーからの問い合わせはOpenAIのモデルを繰り返し通過して処理され、理解、反映、ツールの起動というプロセスを経て、知識が取り込まれてから回答が生成されます。」と説明。 

前バージョンの製品では封じ込め率が70%、解決率が30%でした。新システム導入後、封じ込め率は同様の結果となったものの、解決率が通常で60%に達し、最もパフォーマンスの高い顧客では80%を超える解決率を達成しています。 

Gozzo氏は、「従来の技術から次の技術へと移行したことで、高い満足度で自動解決する対話の件数が倍増した」と述べています。Adaの顧客にとって、このことはフルタイム換算(FTE)の節約、顧客満足度の向上、リテンション率の向上、新規顧客の獲得など、ROIに大きな影響を与えています。 

The image shows a chat interaction between a user and a “Fintech Bot.” The user states, “I accidentally paid a bill from the wrong account.” The bot responds with an apology and provides a link to learn more about making bill payments.

状態:未解決
理由:ボットはユーザーの問題に対処せず、無関係なリンクを提供。

The image shows a chat conversation between a user and “Milo, AI Agent.” The user accidentally paid a bill from the wrong account. Milo helps the user sign in, asks for confirmation of the account, and offers to cancel the payment of $325.

状態:解決
理由:AIエージェントはユーザーの問い合わせを解決するために適切な措置を実行。

AIを活用して100%の解決率が達成可能に

Adaは問い合わせに対する解決能力に自信を得たことで、数年前なら夢のような話に思えた解決率100%を目標に掲げています。Gozzo氏は、「今や、100%の解決率は、『もし』ではなく、『いつ』到達するかという問題になっている」と主張しています。 

市場もまた変化を見せ、Adaが自動解決の話をしても、懐疑的な態度を示されることは稀です。「企業はこの分野にますます精通しています。AI戦略にも本腰を入れて取り組み、こうした技術の導入による業務の改善にも積極的です。」Adaが提供するLLMベースのAIエージェントは、人間のエージェントと同様に導入し、評価、指導することが可能です。Adaは今後1年間の目標として、製品の透明性を大幅に向上させ、顧客に提供するコントロールレバーを増やし、使いやすさの向上を図ることを掲げています。 

AIが持つ可能性への想いは共通。OpenAIが他のパートナー企業と異なる点は、「純粋な興奮と好奇心だ」とGozzo氏は語っています。「チームの誰もが熱心に取り組んでいるように感じます。ビジネス上の関係を超えて共に何かを築いているということが、本当に新鮮な感覚です。」