Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(отвара се у новом прозору) je sarađivao sa OpenAI na izgradnji AI rešenja koja finansijskim savetnicima omogućavaju brže uvide, informisanije odluke i efikasne alate za sažimanje kako bi produbili odnose sa klijentima. Njihov uspeh zasnivao se na robusnom okviru za evaluaciju koji obezbeđuje da AI radi pouzdano, dosledno i prema visokim standardima koje savetnici očekuju.

Ugradnjom GPT‑4 u svoje radne tokove, Morgan Stanley Wealth Management unapredio je način na koji finansijski savetnici pristupaju bazi znanja firme i odgovaraju na potrebe klijenata. Danas više od 98% timova savetnika aktivno koristi AI @ Morgan Stanley Assistant — interni četbot kompanije Morgan Stanley za odgovaranje na pitanja finansijskih savetnika — za neometano interno pronalaženje informacija.

Uvođenje AI-ja u finansijske usluge zahtevalo je poverenje da će tehnologija doneti izuzetnu vrednost uz istovremeno ispunjavanje strogih standarda firme za kvalitet i pouzdanost.

Morgan Stanley je odgovorio na ovaj izazov uvođenjem okvira za evaluaciju (eval) kako bi testirao svaki AI slučaj upotrebe pre primene. Evaluacije mere kako se modeli ponašaju u odnosu na stvarne slučajeve upotrebe i usmeravaju poboljšanja, uz povratne informacije stručnjaka, u svakom koraku.

Tim je počeo sa tri ciljano definisana cilja za svoje prve AI slučajeve upotrebe:

• Brže pronalaženje informacija kako bi savetnici uštedeli sate pretrage dokumenata.
• Automatizacija repetitivnih zadataka kao što je sažimanje istraživačkih izveštaja.
• Napredniji uvidi prilagođeni potrebama klijenata.

Da bi procenio performanse GPT‑4 u odnosu na svoje stručnjake, Morgan Stanley je sproveo evaluacije sažimanja kako bi testirao koliko efikasno model kondenzuje ogromne količine intelektualnog kapitala i sadržaja vođenog procesima u sažete rezimee. Savetnici i inženjeri instrukcija ocenjivali su AI odgovore prema tačnosti i koherentnosti, što je timu omogućilo da unapredi instrukcije i poboljša kvalitet rezultata.

Okvir za evaluaciju nije bio statičan; razvijao se kako je tim učio. Zatim su uveli evaluacije prevođenja za višejezične klijente i тесно sarađivali sa OpenAI timom kako bi fino podesili metode preuzimanja podataka, obezbeđujući da AI može da obrađuje biblioteku dokumenata koja se neprestano širi.

„Prešli smo od toga da možemo da odgovorimo na 7.000 pitanja do tačke u kojoj sada možemo efikasno da odgovorimo na bilo koje pitanje iz korpusa od 100.000 dokumenata“, kaže David Wu, rukovodilac AI proizvoda i strategije arhitekture na nivou cele firme u Morgan Stanleyju.

McMillan ističe uticaj koji su brzi i pouzdani odgovori AI @ Morgan Stanley Assistant-a imali na razgovore savetnika. „Sada savetnici mogu da razgovaraju sa klijentima o temama o kojima ranije nisu razgovarali, jer je trenje između znanja i komunikacije svedeno na nulu.“

Nadovezujući se na uspeh AI @ Morgan Stanley Assistant-a, internog četbota kompanije Morgan Stanley za odgovaranje na pitanja finansijskih savetnika, tim je lansirao AI @ Morgan Stanley Debrief, alat za sažimanje sastanaka za finansijske savetnike koji pokreću model Whisper i GPT‑4.

Debrief pretvara Zoom snimke, uz saglasnost klijenta, u upotrebljive rezultate poput beleški o klijentu, koje se automatski integrišu u CRM sisteme, i nacrta naknadnih poruka, sažimajući ključne akcione stavke koje savetnici mogu da dorade i pošalju.

Savetnici pregledaju i prilagođavaju rezultate koje generiše AI pre nego što ih finalizuju, održavajući ravnotežu između automatizacije i ljudskog nadzora.

Oba alata imala su koristi od pristupa kompanije Morgan Stanley zasnovanog na evaluacijama. Za Debrief, tim je razvio evaluacione skupove podataka koji predstavljaju različite tipove sastanaka i rigorozno testirao sposobnost modela da zabeleži ključne akcione stavke bez unošenja grešaka.

Da bi ispunio stroge standarde usklađenosti u finansijskim uslugama, Morgan Stanley je integrisao osiguranje kvaliteta u svoj okvir za evaluaciju. Svakodnevno testiranje pomoću regresionog skupa uzoraka pitanja identifikovalo je potencijalne slabosti i unapredilo sposobnost sistema da daje usklađene rezultate.

„Na osnovu svih pitanja koja unosimo i rezultata koje dobijamo, sedeli bismo sa OpenAI timom i rekli: ‘Šta možemo da promenimo u našim metodama preuzimanja podataka da bismo postigli tačnost koja nam je potrebna u Morgan Stanleyju?’“, kaže Elliott.

OpenAI politika nezadržavanja podataka takođe je odgovorila na ključne bezbednosne zabrinutosti, obezbeđujući da vlasnički podaci Morgan Stanleyja ostanu privatni.

„Jedno od prvih pitanja koje dobijamo jeste da li će OpenAI koristiti naše informacije za obučavanje javnog ChatGPT‑a?“, kaže Wu. „Spremnost OpenAI tima da obezbedi nezadržavanje podataka zaista je imala veliki uticaj.“

Fokus kompanije Morgan Stanley na kvalitet i pouzdanost doveo je do pouzdanih, bezbednih rešenja koja zaposleni žele da koriste:

• Skoro svi timovi savetnika sada svakodnevno koriste AI alate kao što je Assistant, uz više od 98% usvajanja u upravljanju bogatstvom.
• Pristup dokumentima porastao je sa 20% na 80%, što je drastično smanjilo vreme pretrage i povećalo efikasnost pronalaženja dokumenata.
• Savetnici provode više vremena u odnosima sa klijentima zahvaljujući automatizaciji zadataka i bržim uvidima.

Njihov snažan okvir za evaluaciju takođe je pokrenuo zamajac za buduća rešenja i usluge. Kako AI @ Morgan Stanley postaje „super aplikacija“ za zaposlene, Morgan Stanley vidi bezbroj slučajeva upotrebe u različitim odeljenjima i već proširuje funkcionalnost Assistant-a za svoju grupu institucionalnih hartija od vrednosti.

„Gradimo platforme koje će podržati mnoge druge slučajeve upotrebe“, kaže Wu. „Debrief je trenutno namenjen savetnicima koji razgovaraju sa klijentima, ali zašto ga ne bismo učinili dostupnim i investicionom bankaru koji razgovara sa CFO-om?“

„To je suštinska promena koja istovremeno poboljšava kvalitet našeg sadržaja i stvara nove proizvode i usluge koje mogu da zamisle samo ljudi bliski problemu“, kaže McMillan.