Ada utiliza GPT‑4 para brindar un nuevo estándar de servicio al cliente

Ada impulsa un cambio de $100 mil millones⁠(se abre en una nueva ventana) en gasto destinado a servicio al cliente y al frente de esta transición se encuentra su plataforma de automatización de servicio al cliente basada en IA. Fundada en 2016, Ada⁠(se abre en una nueva ventana) está valuada actualmente en $1.2 mil millones con un total de $200 millones en financiación; sus clientes incluyen Verizon, YETI, Canva y Square.

Ada no es nueva en el uso de IA; ha sido una plataforma basada en IA desde su creación. La primera generación del producto se creó usando modelos de procesamiento de lenguaje natural (NLP) personalizados que se desarrollaron y entrenaron de forma interna. Pero observaron una brecha entre cuántas preguntas de clientes podía manejar su plataforma y cuántas consultas realmente se estaban resolviendo de manera satisfactoria.

La métrica estándar de la industria para el servicio al cliente, la tasa de contención, mide el número de consultas de clientes que son manejadas completamente por un chatbot y nunca llegan a un agente humano. Si aumenta la tasa de contención, en teoría se reducen los gastos operativos en servicio al cliente. Pero el equipo en Ada notó un problema con esta métrica: 

“Muchas soluciones, incluyendo Ada, podrían llegar fácilmente a tasas de contención de 80–100 %, pero si realmente abrieras las transcripciones de esas conversaciones y leyeras las experiencias que tuvieron los clientes, fueron realmente malas”, afirmó Gozzo. 

Al enfocar sus esfuerzos en qué tan bien se estaban resolviendo las conversaciones, el equipo de Ada sabía que podía establecer un nuevo estándar en la industria del servicio al cliente.

Con el uso inicial de GPT‑4, en combinación con sus datos históricos, Ada desarrolló un nuevo marco de evaluación capaz de analizar las conversaciones para determinar qué tan bien se resolvieron de forma automática. El sistema de Ada califica cada conversación en función de qué tan relevantes, precisas y seguras fueron las respuestas que recibieron los clientes, sin intervención humana. “En nuestras pruebas, nuestro sistema alcanzó un 80–90 % de concordancia con un humano que leía la conversación”, mencionó Gozzo.

Al entender la tasa de resolución, Ada tenía un objetivo para su producto. Además de usar la API de OpenAI para la evaluación, decidieron trabajar con OpenAI para desarrollar la nueva generación de su agente de IA. 

Ada había utilizado los modelos de OpenAI previamente, en gran parte para generar datos para entrenar sus modelos de NLP. Al poner a prueba la API de OpenAI para sus nuevos casos de uso, Ada notó varios diferenciadores: 

• Calidad de inferencia. Ada ha construido un marco de prueba sintético que simula a cientos de miles de clientes finales que hablan con su sistema, así que prueban la resistencia de los modelos en términos de escalabilidad y calidad. “Evaluamos regularmente todos los modelos principales, después de algunas semanas de su lanzamiento, y hasta ahora, ninguno ha sido mejor que OpenAI en nuestro conjunto de evaluaciones”, declaró Gozzo. 
• Latencia: Para garantizar el mejor desempeño para los casos de uso de voz de Ada, los modelos de baja latencia son clave. “Para razonamiento en tiempo real, hemos visto un gran salto en latencia y calidad general con GPT‑4o”, señaló Gozzo.
• Ajuste fino: Ada utiliza la API de ajuste fino de OpenAI para determinar una calificación de confianza sobre el nivel de alucinaciones en una respuesta dada y usa dicha calificación en el resto de la cadena de herramientas para minimizar el número de alucinaciones en el sistema. “También nos emociona la posibilidad de usar el ajuste fino a lo largo del tiempo para mejorar aún más la capacidad de razonamiento de nuestro sistema y el potencial para que la técnica permita que modelos más pequeños y menos costosos igualen el rendimiento de los modelos de vanguardia”, comentó Gozzo.

Actualmente, el agente de IA de Ada utiliza una configuración multiagente, con un agente de planificación central y un grupo de subagentes, todos impulsados por la API de OpenAI. “Cada vez que te comunicas con una empresa que utiliza a Ada, tu pregunta será procesada a través de múltiples interacciones de los modelos de OpenAI, comprendiéndola, reflexionando sobre ella, invocando diferentes herramientas y recopilando información hasta generar la respuesta”, explicó Gozzo. 

La versión anterior del producto de Ada tenía una tasa de contención de 70 %, pero una tasa de resolución de 30 %. Los clientes en los que Ada ha implementado el nuevo sistema han observado resultados de contención similares; pero, por lo general, tienen una tasa de resolución de hasta 60 %, con los clientes con los rendimientos más altos por arriba del 80 %. 

“De una tecnología a la siguiente, hemos duplicado la cantidad de conversaciones que podemos resolver automáticamente con una gran experiencia”, afirmó Gozzo. Para los clientes de Ada, esta métrica ha tenido un impacto enorme en el retorno de inversión, que incluye ahorros en equivalente a tiempo completo (FTE), satisfacción del cliente, retención y nuevos registros. 

Ada confía tanto en su capacidad de resolver consultas de clientes que se han puesto el objetivo de una tasa de resolución de 100 %, que podía parecer una fantasía hace algunos años. “Ahora, la cuestión no es si es posible una resolución del 100 %, sino cuándo”, comentó Gozzo. 

El mercado también ha cambiado; Ada no se enfrenta a mucho escepticismo cuando hablan acerca de la resolución automatizada. “Las empresas entienden cada vez más ―afirmó Gozzo―. Realmente están pensando en estrategias con IA y apoyando el incorporar tecnología como esta en sus operaciones”. Los clientes pueden integrar, evaluar y entrenar a los agentes de IA basados en LLM de ADA como si fueran un agente humano. Los objetivos de Ada para los próximos 12 meses son incrementar significativamente la transparencia de su producto y los mecanismos de control que ofrecen a sus clientes. 

La sensación de posibilidad es mutua. “Una cosa que diferencia a OpenAI de otras empresas con las que trabajamos es una verdadera sensación de entusiasmo y curiosidad ―señaló Gozzo―. Parece que a todos en el equipo realmente les apasiona esto. Más allá de la relación comercial, se trata de cómo construimos algo juntos, y eso es realmente estimulante”.