Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(se abre en una nueva ventana) ha colaborado con OpenAI para desarrollar soluciones de IA que permitan a los asesores financieros obtener información más rápida, tomar decisiones más fundamentadas y disponer de herramientas de resumen eficaces para profundizar en las relaciones con los clientes. Su éxito se basó en un marco de evaluación sólido que garantiza que la IA funcione de forma fiable, coherente y con el alto nivel que esperan los asesores.

Al integrar GPT‑4 en sus flujos de trabajo, Morgan Stanley Wealth Management ha mejorado la forma en que los asesores financieros acceden a la base de conocimientos de la empresa y responden a las necesidades de los clientes. En la actualidad, más del 98 % de los equipos de asesores utilizan activamente AI @ Morgan Stanley Assistant, el chatbot interno de Morgan Stanley que responde a las preguntas de los asesores financieros, para recuperar información interna sin problemas.

La implementación de la IA en los servicios financieros requiere la confianza de que la tecnología aportará un valor extraordinario y cumplirá las estrictas normas de calidad y fiabilidad de la empresa. 

Morgan Stanley superó este desafío al implementar un marco de evaluación para probar cada caso de uso de IA antes de su implementación. Las pruebas evalúan el rendimiento de los modelos en función de casos de uso reales y orientan las mejoras, con comentarios de expertos, en cada paso.

El equipo comenzó con tres objetivos específicos para sus primeros casos de uso de la IA:

• Recuperación más rápida de la información para ahorrar horas de búsqueda de documentos de los asesores.
• Automatización de tareas repetitivas, como resumir informes de investigación.
• Información mejorada que se adapta a las necesidades del cliente.

Para evaluar el rendimiento de GPT‑4 frente a sus expertos, Morgan Stanley llevó a cabo pruebas de resumen para comprobar la eficacia con la que el modelo condensaba grandes cantidades de capital intelectual y contenido basado en procesos en resúmenes concisos. Los asesores e ingenieros de consultas evaluaron la precisión y coherencia de las respuestas de la IA, lo que permitió al equipo perfeccionar las consultas y mejorar la calidad de los resultados.

El marco de evaluación no era estático, sino que evolucionaba a medida que el equipo aprendía. A continuación, presentaron pruebas de traducción para clientes multilingües y colaboraron estrechamente con OpenAI para perfeccionar los métodos de recuperación, lo que garantizó que la IA pudiera gestionar una biblioteca de documentos en constante expansión. 

“Pasamos de ser capaces de responder a 7000 preguntas a que ahora podamos responder eficazmente a cualquier pregunta a partir de un corpus de 100 000 documentos”, afirma David Wu, jefe de Estrategia de Arquitectura y Producto de IA Empresarial en Morgan Stanley.

McMillan destaca el impacto que las respuestas rápidas y fiables de AI @ Morgan Stanley Assistant han tenido en las conversaciones de los asesores. “Ahora, los asesores pueden involucrar a los clientes en temas que antes no trataban porque la fricción entre conocimiento y comunicación ha pasado a ser nula”. 

En función del éxito de AI @ Morgan Stanley Assistant, el chatbot interno de Morgan Stanley para responder a las preguntas de los asesores financieros, el equipo lanzó AI @ Morgan Stanley Debrief, una herramienta de resumen de reuniones para asesores financieros impulsada por Whisper y GPT‑4. 

Debrief convierte las grabaciones de Zoom, con el consentimiento del cliente, en entradas procesables como notas de clientes, que se integran automáticamente en los sistemas CRM, y borradores de seguimiento, que resumen los elementos de acción clave que los asesores pueden perfeccionar y enviar.

Los asesores revisan y adaptan los resultados generados por la IA antes de finalizarlos, lo que mantiene un equilibrio entre la automatización y la supervisión humana.

Ambas herramientas se beneficiaron del enfoque basado en pruebas de Morgan Stanley. Para Debrief, el equipo desarrolló conjuntos de datos de evaluación que representaban varios tipos de reuniones y evaluó de forma rigurosa la capacidad del modelo para capturar elementos de acción críticos sin introducir errores.

Para cumplir las rigurosas normas de cumplimiento de los servicios financieros, Morgan Stanley integró la garantía de calidad en su marco de evaluación. Las pruebas diarias con un conjunto de preguntas de muestra de recuperación identificaron posibles debilidades y mejoraron la capacidad del sistema de ofrecer resultados que cumplan.

“Según todas las preguntas que introducimos y los resultados que obtenemos, nos sentaríamos con OpenAI y diríamos: ‘¿Qué podemos cambiar en nuestros métodos de recuperación para ayudar a la precisión que necesitamos en Morgan Stanley?’”, comenta Elliott.

La política de retención nula de datos de OpenAI también abordó problemas de seguridad clave, lo que garantiza que los datos propiedad de Morgan Stanley sigan siendo privados.

“Una de las primeras preguntas que nos hacen es: ¿OpenAI utilizará nuestra información para entrenar el ChatGPT público?”, relata Wu. “La voluntad del equipo de OpenAI de garantizar la retención nula de datos ha sido realmente impactante”.

El interés de Morgan Stanley en la calidad y la fiabilidad ha dado lugar a soluciones fiables y seguras que los empleados desean utilizar:

• Casi todos los equipos de asesores utilizan a diario herramientas de IA como Assistant, lo que aumenta a más del 98 % de adopción en la gestión de patrimonios.
• El acceso a los documentos ha pasado del 20 % al 80 %, lo que reduce de forma drástica el tiempo de búsqueda y aumenta la eficacia de la recuperación de documentos.
• Los asesores dedican más tiempo a las relaciones con los clientes, gracias a la automatización de tareas y a una información más rápida.

Su marco de evaluación sólido también ha permitido sentar bases para futuras soluciones y servicios. Con AI @ Morgan Stanley como una “superaplicación” para los empleados, Morgan Stanley prevé innumerables casos de uso en todos los departamentos y ya está ampliando la funcionalidad de Assistant para su grupo de valores institucionales.

“Estamos desarrollando plataformas que admitirán muchos otros casos de uso”, expresa Wu. “Debrief se destina actualmente a asesores que hablan con clientes, pero ¿por qué no podríamos ponerlo a disposición del banco de inversiones que habla con el director financiero?”. 

“Es un cambio fundamental que mejora la calidad de nuestro contenido y crea nuevos productos y servicios que solo pueden imaginar quienes están cerca del problema”, comenta McMillan.