Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(s'obre en una finestra nova) va col·laborar amb OpenAI per crear solucions d’IA que proporcionen als assessors financers insights més ràpids, decisions més ben informades i eines eficients de resum per aprofundir les relacions amb els clients. El seu èxit es va basar en un sòlid marc d’avaluació que garanteix que la IA funcioni de manera fiable, coherent i amb els alts estàndards que els assessors esperen.

En integrar GPT‑4 als seus fluxos de treball, Morgan Stanley Wealth Management ha millorat la manera com els assessors financers accedeixen a la base de coneixement de l’empresa i responen a les necessitats dels clients. Avui, més del 98% dels equips d’assessors utilitzen activament AI @ Morgan Stanley Assistant —el chatbot intern de Morgan Stanley per respondre les preguntes dels assessors financers— per a una recuperació fluida d’informació interna.

Desplegar IA als serveis financers exigia tenir la confiança que la tecnologia aportaria un valor extraordinari i, alhora, compliria els estrictes estàndards de qualitat i fiabilitat de l’empresa. 

Morgan Stanley va afrontar aquest repte implementant un marc d’avaluació (eval) per provar cada cas d’ús d’IA abans del desplegament. Les avaluacions mesuren com rendeixen els models davant de casos d’ús reals i orienten les millores, amb comentaris d’experts, a cada pas.

L’equip va començar amb tres objectius concrets per als seus primers casos d’ús d’IA:

• Recuperació d’informació més ràpida per estalviar als assessors hores de cerca de documents.
• Automatització de tasques repetitives com resumir informes de recerca.
• Insights millorats adaptats a les necessitats dels clients.

Per avaluar el rendiment de GPT‑4 en comparació amb els seus experts, Morgan Stanley va dur a terme avaluacions de resum per comprovar amb quina eficàcia el model condensava grans quantitats de capital intel·lectual i contingut basat en processos en resums concisos. Els assessors i els enginyers d’indicacions van puntuar les respostes de la IA segons la precisió i la coherència, cosa que va permetre a l’equip perfeccionar les indicacions i millorar la qualitat dels resultats.

El marc d’avaluació no era estàtic; evolucionava a mesura que l’equip aprenia. Després van introduir avaluacions de traducció per a clients multilingües i van col·laborar estretament amb OpenAI per ajustar els mètodes de recuperació, assegurant que la IA pogués gestionar una biblioteca de documents en expansió constant. 

«Vam passar de poder respondre 7.000 preguntes a un punt en què ara podem respondre de manera efectiva qualsevol pregunta d’un corpus de 100.000 documents», diu David Wu, responsable d’estratègia de producte i arquitectura d’IA per a tota l’empresa a Morgan Stanley.

McMillan destaca l’impacte que les respostes ràpides i fiables d’AI @ Morgan Stanley Assistant han tingut en les converses dels assessors. «Ara, els assessors poden parlar amb els clients de temes que abans no havien tractat perquè la fricció entre coneixement i comunicació ha caigut a zero.» 

Partint de l’èxit d’AI @ Morgan Stanley Assistant, el chatbot intern de Morgan Stanley per respondre les preguntes dels assessors financers, l’equip va llançar AI @ Morgan Stanley Debrief, una eina de resum de reunions per a assessors financers impulsada per Whisper i GPT‑4. 

Debrief transforma enregistraments de Zoom, amb el consentiment del client, en resultats accionables com ara notes de client, que s’integren automàticament als sistemes CRM, i esborranys de seguiment que resumeixen les accions clau perquè els assessors els puguin revisar i enviar.

Els assessors revisen i ajusten els resultats generats per la IA abans de finalitzar-los, mantenint un equilibri entre automatització i supervisió humana.

Totes dues eines es van beneficiar de l’enfocament de Morgan Stanley basat en avaluacions. Per a Debrief, l’equip va desenvolupar conjunts de dades d’avaluació que representaven diversos tipus de reunions i va provar rigorosament la capacitat del model per captar elements d’acció crítics sense introduir errors.

Per complir els rigorosos estàndards de conformitat dels serveis financers, Morgan Stanley va integrar l’assegurament de qualitat en el seu marc d’avaluació. Les proves diàries amb una bateria de regressió de preguntes de mostra van identificar possibles punts febles i van millorar la capacitat del sistema per oferir resultats conformes.

«A partir de totes les preguntes que introduïm i les respostes que obtenim, ens asseiem amb OpenAI i diem: “Què podem canviar dels nostres mètodes de recuperació per ajudar a aconseguir la precisió que necessitem a Morgan Stanley?”», diu Elliott.

La política de preservació amb retenció de dades nul·la d’OpenAI també va abordar preocupacions clau de seguretat, garantint que les dades propietàries de Morgan Stanley continuïn sent privades.

«Una de les primeres preguntes que ens fan és si la nostra informació la farà servir OpenAI per entrenar el ChatGPT públic», diu Wu. «La disposició de l’equip d’OpenAI per garantir la retenció de dades nul·la ha tingut un impacte realment important.»

L’enfocament de Morgan Stanley en la qualitat i la fiabilitat ha donat lloc a solucions segures i de confiança que els empleats volen utilitzar:

• Gairebé tots els equips d’assessors ja fan servir diàriament eines d’IA com Assistant, assolint més d’un 98% d’adopció a la gestió patrimonial.
• L’accés als documents ha passat del 20% al 80%, reduint dràsticament el temps de cerca i augmentant l’eficiència en la recuperació de documents.
• Els assessors dediquen més temps a les relacions amb els clients gràcies a l’automatització de tasques i a insights més ràpids.

El seu sòlid marc d’avaluació també ha activat una dinàmica per a futures solucions i serveis. Amb AI @ Morgan Stanley convertint-se en una «superaplicació» per als empleats, Morgan Stanley imagina innombrables casos d’ús entre departaments i ja està ampliant la funcionalitat d’Assistant per al seu grup de valors institucionals.

«Estem construint plataformes que donaran suport a molts altres casos d’ús», diu Wu. «Debrief ara és per a assessors que parlen amb clients, però per què no podríem posar-lo també a disposició del banquer d’inversió que parla amb el CFO?» 

«És un canvi fonamental que alhora millora la qualitat del nostre contingut i crea nous productes i serveis que només poden imaginar les persones que coneixen de prop el problema», diu McMillan.