モルガン・スタンレーは、AI eval を活用して金融サービスの未来を形作ります

モルガン・スタンレー⁠（新しいウィンドウで開く）は OpenAI と協力して、ファイナンシャル・アドバイザーに迅速な洞察、より良い情報に基づく意思決定、顧客との関係を深めるための効率的な要約ツールを提供する AI ソリューションを構築しました。その成功の背景には、AI が安定かつ一貫して、アドバイザーが期待する高水準のパフォーマンスを発揮できるようにする堅牢な評価フレームワークがあります。

モルガン・スタンレー・ウェルス・マネジメントは、GPT‑4 をワークフローに組み込むことで、ファイナンシャル・アドバイザーが同社のナレッジベースにアクセスし、顧客のニーズに対応する方法を改善しました。現在、98%以上のアドバイザー・チームが、AI @ モルガン・スタンレー・アシスタンス（ファイナンシャル・アドバイザーの質問に答えるためのモルガン・スタンレーの社内チャットボット）を、シームレスな社内情報検索のために積極的に使用しています。

金融サービスにおける AI の導入には、品質と信頼性に関する同社の厳しい基準を満たしながらも、その技術が卓越した価値を提供するという確信が必要でした。 

モルガン・スタンレーは、導入前にすべての AI ユースケースをテストする評価（eval）フレームワークを実装することで、この課題に対処しました。eval は、実際のユースケースに対するモデルのパフォーマンスを測定し、すべてのステップで専門家のフィードバックを得つつ改善を導きます。

まず、チームは、最初の AI ユースケースについて3つの目標を設定しました。

• アドバイザーが文書検索にかける時間を節約するための情報検索の高速化。
• 調査報告書の要約などの反復作業の自動化。
• 顧客のニーズに合わせたインサイトの強化。

GPT‑4 の専門家に対するパフォーマンスを評価するため、モルガン・スタンレーは要約 eval を実施し、このモデルが膨大な量の知的資本とプロセス駆動コンテンツをどれだけ効果的に簡潔な要約にまとめているかをテストしました。アドバイザーとプロンプト・エンジニアが AI の応答の正確性と一貫性を評価し、チームはプロンプトを改良して出力の質を改善しました。

eval の枠組みは静的ではなく、チームの学習が進むにつれ進化していきました。次に、複数の言語を使用する顧客向けに翻訳 eval を導入し、OpenAI と緊密に連携して検索方法をファインチューニングし、AI が拡大し続ける文書ライブラリを処理できるようにしました。 

モルガン・スタンレーの全社 AI 製品・アーキテクチャ戦略責任者である David Wu 氏は、「当初は対応できる質問の数は 7,000件まででしたが、現在では 100,000の文書のコーパスからあらゆる質問に効果的に回答できるようになりました」と語っています。

McMillan 氏は、AI @ モルガン・スタンレー・アシスタントによる迅速かつ信頼できる回答がアドバイザーの会話に与えた影響について、以下のように語っています。「知識とコミュニケーションの間の摩擦がゼロになったため、アドバイザーは以前は検討されていなかったトピックについても顧客に提案できるようになりました。」 

AI @ モルガン・スタンレー・アシスタント（ファイナンシャル・アドバイザーの質問に回答するモルガン・スタンレーの社内チャットボット）の成功に基づき、チームは Whisper と GPT‑4 を活用したファイナンシャル・アドバイザー向けの会議要約ツールAI @ モルガン・スタンレー・デブリーフを発表しました。 

デブリーフは、クライアントの同意を得て、Zoom の録画を、CRM システムに自動的に統合される顧客メモなどの実用的な出力に変え、アドバイザーが調整の上送信できる主要なアクション・アイテムを要約してフォローアップを作成します。

AI が生成した出力を確定する前にアドバイザーがレビューおよび調整することで、自動化と人による監視のバランスを保っています。

どちらのツールも、モルガン・スタンレーの eval 駆動型アプローチの恩恵を受けています。デブリーフでは、チームはさまざまなタイプの会議を表す評価データセットを作成し、モデルがエラーを発生させることなく重要なアクション・アイテムを捕捉する能力を厳しくテストしました。

金融サービスの厳格なコンプライアンス基準を満たすため、モルガン・スタンレーは品質保証を eval の枠組みに統合しました。サンプル問題の回帰スイートによる日々のテストによって、潜在的な弱点が特定され、システムが基準に準拠した出力を提供する能力が向上しました。

Elliott 氏は、「私たちが入力したすべての質問とそこから得られた出力に基づき、「検索方法をどう変えれば、モルガン・スタンレーが必要としている精度が向上しますか？」と OpenAI に尋ねました。」と語っています。

OpenAI のゼロデータ保持ポリシーは、モルガン・スタンレーの機密データのプライバシーを確保し、重要なセキュリティ上の懸念にも対処しています。

Wu 氏は、「私たちが最初に受ける質問の 1 つは、私たちの情報は OpenAI によって一般の ChatGPT の学習に使われるのか、という質問です。OpenAI チームがゼロデータ保持ポリシーを貫こうとする姿勢は、本当にインパクトが大きいものです。」と語っています。

モルガン・スタンレーは品質と信頼性に重点を置いているため、従業員が使用したいと思える、信頼できるセキュアなソリューションを提供しています。

• 現在、ほぼすべてのアドバイザー・チームがアシスタントなどの AI ツールを日常的に使用しており、ウェルス・マネジメントでは98%以上の採用率を達成しています。
• 文書へのアクセスは20%から80%に急増し、大幅に検索時間が短縮され、文書検索効率が向上しました。
• タスクの自動化とインサイトの迅速化により、アドバイザーは顧客との関係により多くの時間を割けるようになります。

その強力な eval フレームワークは、将来のソリューションとサービスの基盤にもなりました。AI @ モルガン・スタンレーが従業員にとっての「スーパーアプリ」になることによって、モルガン・スタンレーは、部署を超えた無数のユースケースを構想しており、すでに機関証券グループのアシスタント機能を拡張しています。

Wu 氏は、「私たちは、他にも多くのユースケースをサポートするプラットフォームを構築しています。デブリーフは現在、アドバイザーが顧客と話すためのものですが、投資銀行家がCFOと話すときにも活用できそうです。」と語っています。 

McMillan 氏は、「コンテンツの質を改善し、問題の近くにいる人しか想像できない新しい製品やサービスを創り出す根本的な変化です。」と語っています。