Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(mbukak ing jendhela anyar) kerja bareng karo OpenAI kanggo mbangun solusi AI sing nguataké penasihat keuangan nganggo insight sing luwih cepet, keputusan sing luwih kebak informasi, lan alat ringkesan sing efisien kanggo nguwataké hubungan karo klien. Kasuksesané dhedhasar kerangka evaluasi sing kukuh sing njamin AI bisa makarya kanthi andal, konsisten, lan manut standar dhuwur sing diarep-arep para penasihat.

Kanthi nancepaké GPT‑4 ing alur kerja, Morgan Stanley Wealth Management wis ningkataké cara para penasihat keuangan ngakses basis pengetahuan perusahaan lan nanggapi kabutuhan klien. Saiki, luwih saka 98% tim penasihat aktif nggunakaké AI @ Morgan Stanley Assistant—chatbot internal Morgan Stanley kanggo njawab pitakon para penasihat keuangan—kanggo retrieval informasi internal sing lancar.

Nerapaké AI ing layanan keuangan mbutuhaké kapercayan yèn teknologi iki bakal marakaké nilai gedhé lan tetep nyukupi standar kualitas lan keandalan perusahaan sing ketat. 

Morgan Stanley njawab tantangan iki kanthi nerapaké kerangka evaluasi (eval) kanggo nguji saben use case AI sadurungé dideploy. Evals ngukur kepiyé kinerja model marang use case ing donya nyata lan nuntun perbaikan, kanthi umpan balik para ahli, ing saben langkah.

Tim miwiti kanthi telung tujuan sing ditargetaké kanggo use case AI pisanané:

• Retrieval informasi sing luwih cepet kanggo ngirit jam kerja penasihat nalika nggoleki dokumen.
• Otomatisasi tugas sing bola-bali kaya ngringkes laporan riset.
• Insight sing luwih apik lan disesuaikaké karo kabutuhan klien.

Kanggo ngevaluasi kinerja GPT‑4 marang para ahli internal, Morgan Stanley nglakokaké eval ringkesan kanggo nguji sepira efektif model iki ngempet jumlah gedhé intellectual capital lan konten sing didorong proses dadi ringkesan cekak. Penasihat lan engineer prompt menehi nilai marang respons AI adhedhasar akurasi lan koherensi, saéngga tim bisa nyempurnakaké prompt lan ningkataké kualitas output.

Kerangka eval iki ora statis; kerangka iki berkembang sakwisé tim terus sinau. Sabanjuré, dheweke ngenalaké eval terjemahan kanggo klien multibasa lan kerja bareng raket karo OpenAI kanggo nyetel retrieval methods, supaya AI bisa nangani pustaka dokumen sing saya ngrembaka. 

“Kita maju saka mung bisa njawab 7.000 pitakon menyang titik sing saiki kita bisa kanthi efektif njawab pitakon apa waé saka korpus 100.000 dokumen,” ujare David Wu, Head of Firmwide AI Product & Architecture Strategy ing Morgan Stanley.

McMillan nyorot dampak jawaban cepet lan andal saka AI @ Morgan Stanley Assistant marang obrolan para penasihat. “Saiki, penasihat bisa melu klien ing topik sing durung tau dirembug sadurungé amarga gesekan antara pengetahuan lan komunikasi wis dadi nol.” 

Nerusaké kasuksesan AI @ Morgan Stanley Assistant, chatbot internal Morgan Stanley kanggo njawab pitakon para penasihat keuangan, tim iki ngluncuraké AI @ Morgan Stanley Debrief, alat ringkesan rapat kanggo penasihat keuangan sing didhukung Whisper lan GPT‑4. 

Debrief ngowahi rekaman Zoom, kanthi idin klien, dadi output sing bisa ditindaklanjuti kaya cathetan klien, sing otomatis diintegrasikaké menyang sistem CRM, lan draf tindak lanjut, sing ngringkes item tumindak utama sing bisa ditinjau, didandani, lan dikirim déning penasihat.

Penasihat mriksa lan nyetel output sing digawe AI sadurungé dirampungaké, supaya keseimbangan antara otomatisasi lan pengawasan manungsa tetep kajaga.

Loroné alat iki padha-padha entuk manfaat saka pendekatan Morgan Stanley sing didorong eval. Kanggo Debrief, tim ngembangaké dataset evaluasi sing makili macem-macem jinis rapat lan nguji kanthi ketat kemampuan model kanggo nangkep item tumindak kritis tanpa nambahaké kesalahan.

Kanggo nyukupi standar kepatuhan layanan keuangan sing ketat, Morgan Stanley ngintegrasikaké jaminan mutu menyang kerangka eval-é. Pengujian saben dina nganggo suite regresi pitakon conto ngenali kelemahan potensial lan ningkataké kemampuan sistem kanggo ngasilaké output sing patuh.

“Adhedhasar kabèh pitakon sing kita lebokaké lan output sing kita tampa, kita bakal lungguh karo OpenAI lan ngomong, ‘Apa sing bisa kita owahi babagan metode retrieval kita supaya mbantu akurasi sing dibutuhaké Morgan Stanley?’” ujare Elliott.

Kebijakan retensi data nol saka OpenAI uga ngatasi masalah keamanan utama, njamin data kepemilikan Morgan Stanley tetep pribadi.

“Salah siji pitakon pisanan sing asring ditakokaké marang kita yaiku, apa informasi kita bakal digunakaké OpenAI kanggo nglatih ChatGPT publik?” ujare Wu. “Kersané tim OpenAI kanggo njamin retensi data nol pancèn banget migunani.”

Fokus Morgan Stanley marang kualitas lan keandalan wis ngasilaké solusi aman lan dipercaya sing pengin dienggo para karyawan:

• Meh kabèh tim penasihat saiki nggunakaké piranti AI kaya Assistant saben dina, nganti nggayuh adopsi luwih saka 98% ing wealth management.
• Akses menyang dokumen mundhak saka 20% dadi 80%, kanthi drastis nyuda wektu panelusuran lan ningkataké efisiensi nemokaké dokumen.
• Penasihat nduwé luwih akèh wektu kanggo hubungan karo klien, amarga otomatisasi tugas lan insight sing luwih cepet.

Kerangka eval sing kuwat iki uga wis mbukak momentum kanggo solusi lan layanan ing mangsa ngarep. Kanthi AI @ Morgan Stanley dadi “super app” kanggo karyawan, Morgan Stanley mbayangaké ora kaétung use case ing sakabèhé departemen lan saiki wis ngembangaké fungsi Assistant kanggo grup institutional securities.

“Kita lagi mbangun platform sing bakal ndhukung akèh use case liyané,” ujare Wu. “Debrief saiki kanggo penasihat sing ngomong karo klien, nanging apa sebabé kita ora bisa nyedhiyakaké kuwi kanggo bankir investasi sing ngomong karo CFO?” 

“Iki owah-owahan dhasar sing ora mung ningkataké kualitas konten kita, nanging uga nyipta produk lan layanan anyar sing mung bisa dibayangaké déning wong sing cedhak karo masalahé,” ujare McMillan.