As três lições da Intercom para estabelecer vantagem sustentável em IA

Quando o GPT‑4 foi lançado em 2022, a Intercom⁠(abre em uma nova janela) já estava pronta para criar. Em poucas horas, a empresa de software de atendimento ao cliente começou suas experimentações e em apenas quatro meses lançou o Fin, seu agente de IA que hoje resolve todos os meses milhões de consultas dos clientes.

Esse ímpeto inicial não aconteceu por acidente. Com os saltos dos LLMs, a Intercom reconheceu que a IA transformaria a experiência dos clientes. A liderança foi rápida e montou uma força-tarefa multidisciplinar, cancelou projetos não relacionados à IA e separou US$ 100 milhões para a reorganização dos negócios a partir da IA.

A decisão trouxe mudanças para toda a empresa: equipes de produto reorganizadas, uma nova estratégia de suporte técnico que priorizou a IA e uma plataforma feita para apoiar o Fin no atendimento de grandes volumes e consultas complexas dos clientes.

Veja a seguir as três lições da jornada da Intercom que qualquer equipe, onde quer que esteja no momento, pode aplicar imediatamente.

A Intercom testa os modelos desde o princípio e com muita frequência, gerando aprendizados importantes com esse trabalho.

A equipe começou a fazer experimentos com modelos generativos logo no início, e essa experiência prática ajudou a mapear limitações e encontrar oportunidades. Quando o GPT‑4 foi disponibilizado, no início de 2023, a empresa estava pronta. Em quatro meses, lançou o Fin e não parou mais de acelerar.

“Conseguíamos usar o GPT‑3.5 para ter conversas fluidas com alguns momentos mágicos, mas ele ainda não era confiável o suficiente para gerenciar nossos clientes”, explica Jordan Neill, SVP de engenharia. “Fizemos a lição de casa e, quando o GPT‑4 chegou, já sabíamos que estava pronto e lançamos o Fin.”

Foi essa fluência que ajudou a Intercom a projetar o Fin Tasks, um sistema que automatiza fluxos de trabalho complexos, como reembolsos e suporte técnico. Inicialmente, a equipe planejou um sistema baseado em acesso a dados, mas as avaliações mostraram que o GPT‑4.1 conseguia fazer o trabalho sozinho com muita confiabilidade e baixa latência.

Hoje, o GPT‑4.1 é cada vez mais a base do uso de IA na Intercom, inclusive na lógica principal do Fin Tasks. A equipe também descobriu que a inserção de prompts de linha de raciocínio em consultas sem reflexão eliminava falhas de desempenho, sem a necessidade de pipelines completos de RAG.

A conclusão da Intercom é que, quanto melhor você conhece seus modelos, mais rápida é a adaptação aos novos padrões.

Para acelerar, é preciso medir o que funciona e por quê.

A rápida adoção de novos modelos, modalidades e arquiteturas pela Intercom baseia-se em um processo de avaliação rigoroso. Cada novo modelo da OpenAI, sejam os usados no Fin Voice, com a Realtime API, ou no Fin Tasks, com o GPT‑4.1, passa por avaliações offline estruturadas e testes A/B que analisam a capacidade de seguir instruções, a precisão das chamadas da ferramenta e a coerência em geral, antes da implementação.

Por exemplo: a equipe compara cada modelo com transcrições de interações reais de suporte, avaliando o seguimento de instruções com várias etapas (como reembolsos), se ele mantém a voz da marca do Fin e se executa chamadas de função de forma confiável. Esses resultados são usados nos testes A/B em produção que comparam taxas de resolução e satisfação do cliente em modelos como o GPT‑4 e o GPT‑4.1.

Essa abordagem ajudou a Intercom a migrar do GPT‑4 para o GPT‑4.1 em poucos dias. Depois de confirmar que o cumprimento de instruções e a execução de funções melhoraram, o GPT‑4.1 foi implementado no Fin Tasks, com ganho imediato de desempenho e satisfação dos clientes.

“Quando o GPT‑4.1 foi disponibilizado, em 48 horas tínhamos os resultados das avaliações e, logo em seguida, um plano de implementação”, diz Jordan Neill. “Constatamos imediatamente que o GPT‑4.1 equilibrava bem inteligência e latência para atender às necessidades de nossos clientes.” 

Para o Fin Voice, o mesmo processo de avaliação ajudou a Intercom a validar novos exemplos do modelo de voz e identificar melhorias na latência, execução de funções e aderência aos scripts, recursos essenciais para oferecer suporte por telefone com qualidade humana. 

A Intercom expandiu as avaliações para analisar a dimensão extra da voz nas interações. O Fin Voice é analisado sistematicamente em termos de personalidade, tom, gestão de interrupções e ruídos de fundo, garantindo a qualidade das experiência dos clientes.

A Intercom se preparou para as mudanças desde o primeiro dia, com uma arquitetura flexível que evolui juntamente com o modelo usado.

O sistema do Fin baseia-se em modularidade e é compatível com várias modalidades, como chat, e-mail e voz, cada uma com suas adaptações em termos de latência e complexidade. A arquitetura permite que a Intercom encaminhe as consultas para o modelo mais adequado a cada tarefa, trocando de modelo sem mexer no sistema associado.

Essa flexibilidade é programada e está em constante desenvolvimento. A arquitetura do Fin já está na terceira versão, e a próxima está sendo desenvolvida. Conforme os modelos melhoram, a equipe adota a complexidade necessária para aproveitar novos recursos e simplifica o que for possível.

Essa adaptação foi crucial para o Fin Tasks. A princípio, a empresa pensou que precisaria de uma arquitetura personalizada de acesso a dados para o Fin Tasks, a qual resolve solicitações complexas dos clientes e executa processos em várias etapas, como emissão de reembolsos, alterações nas contas ou solução de problemas técnicos. 

Porém, o GPT‑4.1 o GPT‑4.1 superou as expectativas no seguimento de instruções, oferecendo a mesma confiabilidade com menos latência e custo.

“Para ser sincero, acho que as pessoas não dão o devido crédito ao GPT‑4.1”, comenta Pratik Bothra, engenheiro-chefe de aprendizado de máquina da Intercom. “Ficamos surpresos de verdade com o perfil de latência e custo. Conseguimos transformar toda a arquitetura e remover muita complexidade.”

A equipe só está começando. Com modelos avançados e arquitetura modular que funciona com qualquer modelo, a Intercom está indo além do atendimento a clientes, aplicando fluxos de trabalho em toda a empresa, resolvendo problemas mais rápido e melhorando a experiência dos clientes:

• Equipes de suporte: resolvem a maioria das consultas recebidas por chat, e-mail, voz e muito mais com o Agente de IA Fin
• Equipes de operações: automatizam fluxos de trabalho complexos, como reembolsos, alterações em contas e atualizações de assinatura com o Fin Tasks
• Equipes de produto: usando o Servidor MCP da Intercom, ferramentas de IA como o ChatGPT podem acessar conversas de clientes, tíquetes e dados de usuários, ajudando todas as equipes a localizar bugs, definir roteiros, ajustar as mensagens e preparar-se para análises de qualidade. 

A Intercom criou uma plataforma de IA escalável, acompanhando rigorosamente as avaliações e o desempenho e mantendo um design flexível, o que permitiu transformar o atendimento e gerou aprendizados para qualquer empresa que esteja desenvolvendo com IA.