Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(jinfetaħ f’tieqa ġdida) ikkollaborat ma’ OpenAI biex tibni soluzzjonijiet tal-IA li jagħtu s-setgħa lill-konsulenti finanzjarji b’għarfien aktar mgħaġġel, deċiżjonijiet aktar infurmati, u għodod effiċjenti ta’ sommarju biex japprofondixxu r-relazzjonijiet mal-klijenti. Is-suċċess tagħhom kien ibbażat fuq qafas robust ta’ evalwazzjoni li jiżgura li l-IA taħdem b’mod affidabbli, konsistenti, u skont l-istandards għoljin li jistennew il-konsulenti.

Bl-inkorporazzjoni ta’ GPT‑4 fil-workflows tagħhom, Morgan Stanley Wealth Management tejbet il-mod kif il-konsulenti finanzjarji jaċċessaw il-bażi ta’ għarfien tal-kumpanija u jirrispondu għall-ħtiġijiet tal-klijenti. Illum, aktar minn 98% tat-timijiet tal-konsulenti jużaw b’mod attiv AI @ Morgan Stanley Assistant—iċ-chatbot intern ta’ Morgan Stanley biex iwieġeb il-mistoqsijiet tal-konsulenti finanzjarji—għal retrieval intern tal-informazzjoni bla xkiel.

L-introduzzjoni tal-IA fis-servizzi finanzjarji kienet teħtieġ fiduċja li t-teknoloġija se twassal valur kbir filwaqt li tissodisfa l-istandards stretti tal-kumpanija għall-kwalità u l-affidabbiltà. 

Morgan Stanley laqgħet din l-isfida billi implimentat qafas ta’ evalwazzjoni (eval) biex tittestja kull każ ta’ użu tal-IA qabel l-implimentazzjoni. L-evals ikejlu kif il-mudelli jaħdmu ma’ każijiet ta’ użu tad-dinja reali u jiggwidaw titjib, b’feedback ta’ esperti, f’kull pass.

It-tim beda bi tliet għanijiet immirati għall-ewwel każijiet ta’ użu tal-IA tiegħu:

• Irkupru aktar mgħaġġel tal-informazzjoni biex jiffranka sigħat lill-konsulenti fit-tfittxija tad-dokumenti.
• Awtomazzjoni ta’ kompiti ripetittivi bħas-sommarju tar-rapporti tar-riċerka.
• Għarfien imtejjeb imfassal għall-ħtiġijiet tal-klijenti.

Biex jevalwa l-prestazzjoni ta’ GPT‑4 meta mqabbla mal-esperti tiegħu, Morgan Stanley għamel evals tas-sommarju biex jittestja kemm il-mudell ikkompressa b’mod effettiv ammonti kbar ta’ kapital intellettwali u kontenut immexxi mill-proċess f’sommarji qosra. Il-konsulenti u l-inġiniera tal-prompt ivvalutaw it-tweġibiet tal-IA għall-preċiżjoni u l-koerenza, u b’hekk ippermettew lit-tim jirfina l-prompts u jtejjeb il-kwalità tal-output.

Il-qafas tal-eval ma kienx statiku; evolva hekk kif it-tim tgħallem. Wara introduċew evals tat-traduzzjoni għal klijenti multilingwi u ħadmu mill-qrib ma’ OpenAI biex jirfinaw il-metodi ta’ retrieval, u b’hekk żguraw li l-IA tkun tista’ timmaniġġa librerija ta’ dokumenti li dejjem qed tespandi. 

“Morna milli nkunu nistgħu nwieġbu 7,000 mistoqsija għal sitwazzjoni fejn issa nistgħu effettivament inwieġbu kwalunkwe mistoqsija minn corpus ta’ 100,000 dokument,” jgħid David Wu, Kap tal-Istrateġija tal-Prodott u l-Arkitettura tal-IA għall-Kumpanija Kollha f’Morgan Stanley.

McMillan jinnota l-impatt li tweġibiet veloċi u affidabbli minn AI @ Morgan Stanley Assistant kellhom fuq il-konversazzjonijiet tal-konsulenti. “Issa, il-konsulenti jistgħu jinvolvu lill-klijenti f’suġġetti li qabel ma kinux iddiskutew għax il-frizzjoni bejn l-għarfien u l-komunikazzjoni naqset għal żero.” 

Filwaqt li bena fuq is-suċċess ta’ AI @ Morgan Stanley Assistant, iċ-chatbot intern ta’ Morgan Stanley biex iwieġeb il-mistoqsijiet tal-konsulenti finanzjarji, it-tim nieda AI @ Morgan Stanley Debrief, għodda ta’ sommarju tal-laqgħat għall-konsulenti finanzjarji mħaddma minn Whisper u GPT‑4. 

Debrief tbiddel recordings ta’ Zoom, bil-kunsens tal-klijent, f’outputs li jistgħu jittieħdu azzjoni fuqhom bħal noti tal-klijenti, li jiġu integrati awtomatikament fis-sistemi CRM, u follow-ups abbozzati, li jiġbru fil-qosor l-azzjonijiet ewlenin li l-konsulenti jistgħu jirfinaw u jibagħtu.

Il-konsulenti jirrevedu u jaġġustaw l-outputs iġġenerati mill-IA qabel jiffinalizzawhom, u hekk iżommu bilanċ bejn l-awtomazzjoni u s-superviżjoni umana.

Iż-żewġ għodod ibbenefikaw mill-approċċ ta’ Morgan Stanley immexxi mill-evals. Għal Debrief, it-tim żviluppa datasets ta’ evalwazzjoni li jirrappreżentaw diversi tipi ta’ laqgħat u ttestja b’mod rigoruż il-kapaċità tal-mudell li jaqbad azzjonijiet kritiċi mingħajr ma jintroduċi żbalji.

Biex jilħaq l-istandards stretti ta’ konformità tas-servizzi finanzjarji, Morgan Stanley integra l-assigurazzjoni tal-kwalità fil-qafas tal-eval tiegħu. Ittestjar ta’ kuljum b’sensiela ta’ rigressjoni ta’ mistoqsijiet ta’ kampjun identifika dgħufijiet potenzjali u tejjeb il-kapaċità tas-sistema li tipproduċi outputs konformi.

“Abbażi tal-mistoqsijiet kollha li ndaħħlu u tal-outputs li qed niksbu, konna noqogħdu ma’ OpenAI u ngħidu, ‘X’nistgħu nbiddlu fil-metodi ta’ retrieval tagħna biex ngħinu l-preċiżjoni li għandna bżonn f’Morgan Stanley?’” tgħid Elliott.

Il-politika ta’ l-ebda żamma tad-dejta ta’ OpenAI indirizzat ukoll tħassib ewlieni dwar is-sigurtà, u żgurat li d-dejta proprjetarja ta’ Morgan Stanley tibqa’ privata.

“Waħda mill-ewwel mistoqsijiet li nirċievu hija jekk l-informazzjoni tagħna hix se tintuża minn OpenAI biex jitħarreġ iċ-ChatGPT pubbliku?” tgħid Wu. “Ir-rieda tat-tim ta’ OpenAI li jiżgura l-ebda żamma tad-dejta kellha impatt kbir ħafna.”

L-enfasi ta’ Morgan Stanley fuq il-kwalità u l-affidabbiltà wasslet għal soluzzjonijiet siguri u fdati li l-impjegati jridu jużaw:

• Kważi t-timijiet kollha tal-konsulenti issa jużaw kuljum għodod tal-IA bħall-Assistant, u b’hekk laħqu aktar minn 98% adozzjoni fil-ġestjoni tal-ġid.
• L-aċċess għad-dokumenti tela’ minn 20% għal 80%, u naqqas ħafna l-ħin tat-tiftix filwaqt li żied l-effiċjenza fl-irkupru tad-dokumenti.
• Il-konsulenti jqattgħu aktar ħin fuq ir-relazzjonijiet mal-klijenti, bis-saħħa tal-awtomazzjoni tal-kompiti u ta’ għarfien aktar mgħaġġel.

Il-qafas b’saħħtu tal-eval tagħhom fetaħ ukoll flywheel għal soluzzjonijiet u servizzi futuri. Hekk kif AI @ Morgan Stanley qed issir “super app” għall-impjegati, Morgan Stanley tara għadd bla qies ta’ każijiet ta’ użu bejn dipartimenti differenti u diġà qed testendi l-funzjonalità tal-Assistant għall-grupp tagħha tas-sigurtajiet istituzzjonali.

“Qed nibnu pjattaformi li se jappoġġjaw ħafna każijiet oħra ta’ użu,” tgħid Wu. “Debrief bħalissa hija għall-konsulenti li jitkellmu mal-klijenti, imma għaliex ma nistgħux nagħmluha disponibbli wkoll għall-bankier tal-investiment li jkun qed jitkellem mas-CFO?” 

“Hija bidla fundamentali li kemm ittejjeb il-kwalità tal-kontenut tagħna kif ukoll toħloq prodotti u servizzi ġodda li dawk biss li huma qrib il-problema jistgħu jimmaġinaw,” jgħid McMillan.