Tres aprendizajes de Intercom que hacen de la IA un beneficio sostenible

En 2022, cuando lanzamos GPT‑4, Intercom⁠(se abre en una nueva ventana) no se limitó a observar: estaba listo para crear. En cuestión de horas, la empresa de software de servicio de atención al cliente se puso a experimentar y a los cuatro meses lanzó Fin, un agente de IA que actualmente resuelve para sus clientes millones de consultas al mes.

Ese empuje inicial no fue una casualidad. Con el avance de los LLM, Intercom comprendió que la IA iba a cambiar la experiencia del cliente para siempre. Los directivos de la empresa actuaron con rapidez: crearon un grupo de trabajo interdisciplinario, cancelaron proyectos relacionados con otras tecnologías y destinaron 100 millones de dólares a reestructurar la empresa en torno a la IA.

En la empresa, esa decisión provocó grandes cambios. Se reorganizaron los equipos de producto, se puso en marcha una nueva estrategia de asistencia centrada en la IA y se diseñó una plataforma que permitiera a Fin hacer frente a grandes volúmenes y a las consultas complejas de los clientes.

Aquí encontrarás los tres aprendizajes de la experiencia de Intercom que cualquier equipo puede poner en práctica ya mismo, empiece por donde empiece.

Intercom evalúa los modelos desde el principio, con frecuencia, y aprende mucho de su trabajo.

El equipo no perdió tiempo y se puso a experimentar con modelos generativos. La experiencia práctica les sirvió para determinar las limitaciones de los modelos y detectar oportunidades. Cuando GPT‑4 estuvo disponible a principios de 2023, ellos ya estaban listos. En menos de cuatro meses lanzaron Fin y, desde entonces, nunca bajaron el ritmo.

“Lo que hicimos fue aprovechar GPT‑3.5 para mantener conversaciones fluidas con toques de magia, pero aún no era lo bastante confiable como para dejarlo en manos de nuestros clientes”, afirma Jordan Neill, vicepresidente sénior de Ingeniería. Y agrega: “Como ya habíamos hecho el trabajo, cuando llegó GPT‑4, sabíamos que estaba listo y lanzamos Fin”.

Con esta agilidad, Intercom diseñó Fin Tasks, un sistema que automatiza procesos complejos como las devoluciones y el soporte técnico. Si bien el equipo pensó originalmente en utilizar una pila basada en recuperación, sus pruebas revelaron que GPT‑4.1 podía manejar la tarea de manera autónoma con alta confiabilidad y menor latencia.

GPT‑4.1 potencia una parte cada vez mayor del uso de la inteligencia artificial de Intercom, incluyendo la lógica clave que impulsa Fin Tasks. Además, el equipo descubrió que si al añadir mensajes de cadena de pensamiento a las consultas no razonadas se reducían las diferencias de rendimiento sin necesidad de recurrir a procesos RAG completos.

El aprendizaje clave de Intercom: comprender profundamente tus modelos te permite adaptarte con mayor rapidez a los avances de la tecnología.

Si quieres avanzar rápido, debes medir lo que funciona y por qué.

Intercom puede adoptar nuevos modelos, modalidades y arquitecturas con rapidez gracias a su riguroso proceso de evaluación. Cada uno de los nuevos modelos de OpenAI se somete a pruebas estructuradas fuera de línea y a ensayos A/B en vivo para evaluar el seguimiento de instrucciones, la precisión de las llamadas a la herramienta y la coherencia general antes de su implementación, tanto si se utiliza para Fin Voice, con la API en tiempo real, como para Fin Tasks, con GPT‑4.1.

En este sentido, el equipo compara los modelos con transcripciones de interacciones de soporte reales, cotejando su eficacia a la hora de gestionar instrucciones de varios pasos, como reembolsos, mantener la voz de la marca Fin y ejecutar funciones de manera confiable. Los resultados se utilizan para realizar pruebas A/B en vivo que comparan las tasas de resolución y la satisfacción del cliente en modelos como GPT‑4 y GPT‑4.1.

Con este enfoque, Intercom pudo migrar de GPT‑4 a GPT‑4.1 en tan solo unos días. Una vez confirmadas las mejoras en el manejo de instrucciones y la ejecución de funciones, el equipo implementó GPT‑4.1 en Fin Tasks y constató mejoras inmediatas tanto en el rendimiento como en la satisfacción de los usuarios.

“Cuando salió GPT‑4.1, a las 48 horas ya teníamos los resultados de la evaluación y, acto seguido, un plan de implementación”, afirma Jordan Neill, vicepresidente sénior de Ingeniería de Intercom. “Nos dimos cuenta enseguida de que GPT‑4.1 reunía una buena combinación de inteligencia y latencia para las necesidades de nuestros clientes”. 

El mismo proceso de evaluación ayudó a Intercom a validar nuevas instantáneas de modelos de voz y a identificar mejoras en la latencia, la ejecución de funciones y el cumplimiento de guiones, aspectos esenciales para que Fin Voice pudiera ofrecer una asistencia telefónica de calidad humana. 

Intercom tenía el objetivo de captar la dimensión adicional que la voz aporta a la interacción con personas, por lo que decidió ampliar la cobertura de sus evaluaciones. Para garantizar una experiencia del cliente de alta calidad, elementos de Fin Voice como la personalidad, el tono, la gestión de interrupciones y el ruido de fondo se someten sistemáticamente a evaluaciones.

Intercom está preparado para el cambio desde el primer día, gracias al diseño de una arquitectura lo suficientemente flexible capaz de evolucionar a la par que los modelos de los que depende.

El sistema de Fin es modular por naturaleza, lo que le permite manejar múltiples modalidades como chat, correo electrónico y voz, cada una con sus propias ventajas en cuanto a latencia y complejidad. Esta arquitectura le permite encaminar las consultas al modelo más adecuado para cada tarea e intercambiar modelos sin necesidad de reconfigurar el sistema subyacente.

Estamos hablando de una flexibilidad pensada y en evolución constante. La arquitectura de Fin ha llegado a su tercera gran iteración y la siguiente ya se encuentra en desarrollo. La mejora de los modelos supone que el equipo añade la complejidad necesaria para desbloquear nuevas funciones y simplifica todo lo que sea posible.

Esta adaptabilidad resultó fundamental para Fin Tasks. El equipo partió de la base de que Fin Tasks necesitaría una arquitectura personalizada basada en recuperación, lo que le permite a Fin resolver consultas complejas de los clientes y ejecutar procesos de varios pasos, como emitir reembolsos, realizar cambios en la cuenta o solucionar problemas técnicos. 

Pero, al realizar las pruebas, la capacidad de seguimiento de instrucciones de GPT‑4.1 superó las expectativas, ofreciendo la misma confiabilidad con menos latencia y a un costo inferior.

“A decir verdad, no creo que la gente hable lo suficiente de GPT‑4.1”, señala Pratik Bothra, ingeniero principal de Aprendizaje automático en Intercom. “Francamente, el perfil de latencia y costo nos sorprendió. Así, podemos modificar nuestra arquitectura y eliminar muchas complejidades”.

El equipo apenas está comenzando. El alcance de Intercom pretende ir más allá del soporte al cliente para impulsar flujos de trabajo en toda la empresa, gracias a modelos avanzados y una arquitectura modular y agnóstica de modelos, lo que supone resoluciones más rápidas y mejores experiencias de cliente.

• Equipos de soporte: Resolución de la mayoría de las consultas entrantes a través de chat, correo electrónico, voz, entre otros, mediante Fin AI Agent.
• Equipos operativos: Automatización de flujos de trabajo complejos, como reembolsos, cambios en cuentas y actualizaciones de suscripciones por medio de Fin Tasks.
• Equipos de productos: Al utilizar el servidor MCP de Intercom, herramientas de IA como ChatGPT pueden acceder a datos de clientes, conversaciones y tickets. De este modo, los equipos de toda la empresa pueden detectar errores, planificar estrategias, ajustar la mensajería y prepararse para las revisiones trimestrales del negocio. 

Intercom desarrolló una plataforma de IA escalable gracias a evaluaciones rigurosas, un rendimiento sólido y un diseño flexible, con lo que redefinió el concepto de soporte y ofrece valiosas enseñanzas a cualquier empresa que desarrolle soluciones con IA.