Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(se abre en una ventana nueva) colaboró con OpenAI para desarrollar soluciones de IA que brindaran información más rápidamente a los asesores financieros a fin de ayudarles a tomar decisiones mejor informadas, así como herramientas de sintetización de información eficientes para estrechar la relación con sus clientes. Un factor determinante de su éxito fue el robusto marco de evaluación empleado para garantizar el funcionamiento fiable y coherente de la herramienta de IA, en línea con los elevados estándares que esperan los asesores.

Al integrar GPT‑4 en sus flujos de trabajo, Morgan Stanley Wealth Management ha mejorado la forma en que los asesores acceden a la base de conocimiento de la empresa y responden a las necesidades de los clientes. Hoy, más de un 98 % de los equipos utiliza activamente AI @ Morgan Stanley Assistant —el chatbot interno que Morgan Stanley ha desarrollado para responder preguntas financieras de los asesores— para recuperar información interna con agilidad.

Para poder implementar la IA en los servicios financieros era fundamental tener confianza en que la tecnología aportaría un valor sustancial y se adheriría a los estrictos estándares de calidad y fiabilidad de la compañía. 

Morgan Stanley afrontó este desafío estableciendo un marco de evaluación para poner a prueba cada aplicación de la IA antes de implementarla. Estos marcos de evaluación miden el rendimiento de los modelos en comparación con casos de uso reales y sugieren mejoras, con feedback de expertos, en cada fase.

El equipo se propuso tres objetivos específicos para sus primeros casos de uso de IA:

• Una recuperación de información más rápida para ahorrar a los asesores horas dedicadas a analizar documentos.
• La automatización de tareas repetitivas, como resumir informes de investigación.
• Información más valiosa y adaptada a las necesidades del cliente.

Para evaluar el rendimiento de GPT‑4 en comparación con el de sus expertos, Morgan Stanley llevó a cabo evaluaciones de resúmenes para poner a prueba cómo de eficiente era el modelo a la hora de condensar grandes cantidades de capital intelectual y contenidos en resúmenes concisos. Los asesores e ingenieros de prompts puntuaron la precisión y la coherencia de las respuestas del modelo de IA para que el equipo pudiera afinar los prompts y mejorar la calidad de los resultados.

El marco de evaluación también evolucionó a medida que el equipo iba aprendiendo. Después, introdujeron las evaluaciones de traducción para clientes multilingües y trabajaron de cerca con OpenAI para optimizar los métodos de recuperación de información a fin de garantizar que el modelo pudiera gestionar la creciente biblioteca de documentación. 

«Pasamos de poder responder 7000 preguntas a responder con eficacia cualquier pregunta a partir de un corpus de 100 000 documentos», explica David Wu, responsable de estrategia de producto y arquitectura de IA a nivel global en Morgan Stanley.

McMillan alaba el impacto positivo que las respuestas rápidas y fiables de AI @ Morgan Stanley Assistant han tenido en las conversaciones de los asesores. «Ahora nuestro personal puede asesorar a los clientes sobre temas que nunca antes habían tocado porque la fricción entre el conocimiento y la comunicación ha desaparecido por completo». 

Tras el éxito del chatbot interno de Morgan Stanley, AI @ Morgan Stanley Assistant, el equipo lanzó AI @ Morgan Stanley Debrief, una herramienta de síntesis de reuniones para asesores financieros, con la tecnología de Whisper y GPT‑4. 

Debrief transforma grabaciones de Zoom (con el consentimiento de los clientes) en anotaciones procesables sobre los clientes que pueden integrarse automáticamente en los sistemas CRM. Además, esboza comunicaciones de seguimiento donde se resumen las medidas acordadas, que los asesores pueden terminar de refinar y enviar.

Los asesores evalúan y ajustan los resultados generados por IA antes de finalizarlos, manteniendo un equilibrio adecuado entre la automatización y la supervisión humana.

Ambas herramientas beneficiaron la estrategia de evaluación de Morgan Stanley. Para Debrief, el equipo desarrolló conjuntos de datos de evaluación que representaban varios tipos de reuniones y pusieron a prueba rigurosamente la capacidad del modelo para identificar los puntos acordados sin introducir errores.

A fin de cumplir con los estrictos estándares de cumplimiento de los servicios financieros, Morgan Stanley integró un control de calidad en su marco de evaluación. Las pruebas diarias con un conjunto de regresión de preguntas de muestra permitieron identificar posibles puntos débiles y mejorar la capacidad del sistema para ofrecer respuestas conformes.

«En base a las preguntas que introducíamos y los resultados que obteníamos, nos sentábamos con OpenAI y decíamos, "¿Qué podemos cambiar de nuestros métodos de recuperación de información para lograr el nivel de rigurosidad que necesitamos en Morgan Stanley?"», explica Elliott.

La política de OpenAI de cero retención de datos también sirvió para atajar cuestiones de seguridad clave relativas al mantenimiento de la privacidad de los datos de Morgan Stanley.

«Una de las primeras preguntas que nos hacen es "¿Va a utilizar OpenAI nuestra información para entrenar a la versión pública de ChatGPT?"», explica Wu. «La disposición del equipo de OpenAI a garantizar la no retención de datos ha sido determinante».

La priorización de Morgan Stanley de la calidad y la fiabilidad ha dado como resultado herramientas fiables y seguras que los empleados quieren utilizar:

• Casi todos los equipos de asesores utilizan a diario herramientas de IA como Assistant, logrando más de un 98 % de adopción en la gestión del patrimonio.
• El acceso a documentación ha saltado de un 20 a un 80 %, reduciendo drásticamente el tiempo de búsqueda y aumentando la eficiencia de la recuperación de documentos.
• Los asesores dedican más tiempo a la relación con sus clientes gracias a la automatización de tareas y la rapidez a la hora de obtener información.

Su robusto marco de evaluación también ha dado impulso a futuros servicios y soluciones. En vistas de que AI @ Morgan Stanley se ha convertido en una «superapp» para los empleados, Morgan Stanley prevé innumerables casos de uso en los diferentes departamentos próximamente, y ya está preparando la funcionalidad de Assistant para su grupo de valores institucionales.

«Estamos desarrollando plataformas que podrán tener muchas otras aplicaciones», explica Wu. «Actualmente, Debrief se emplea en las conversaciones entre asesores y clientes, pero ¿qué nos impide usarlo para las conversaciones entre un banquero de inversiones y el director financiero?». 

«Es un cambio fundamental que mejora la calidad de nuestro contenido y, además, crea nuevos productos y servicios que solo aquellas personas cerca del problema se pueden imaginar», explica McMillan.