Les trois enseignements d’Intercom pour bénéficier durablement de l’IA

Quand GPT‑4 a été lancé en 2022, Intercom⁠(ouverture dans une nouvelle fenêtre) ne s’est pas contentée de lire le communiqué de presse : elle s’est immédiatement mise au travail pour tirer parti de ce nouveau modèle. Dans les heures qui ont suivi, cette entreprise spécialisée dans les logiciels de service client menait déjà ses premiers tests. Seulement quatre mois plus tard, elle a lancé Fin, son agent IA qui traite aujourd’hui chaque mois les millions de questions de ses clients.

Cette rapidité ne doit rien au hasard. Consciente des progrès des LLM, Intercom avait vite compris que l’IA allait révolutionner l’expérience client. Sans perdre un instant, sa direction avait donc mis en place une task force fonctionnelle, annulé les projets non liés à l’IA et mobilisé 100 millions de dollars pour restructurer l’activité autour de l’IA.

Cette décision a bouleversé l’entreprise : les équipes produit ont été réorganisées, une nouvelle stratégie de support donnant la priorité à l’IA a été instaurée et une plateforme a été déployée pour permettre à Fin de gérer un nombre important de demandes client complexes.

Nous pouvons tirer les trois enseignements suivants de l’aventure d’Intercom. Où que vous en soyez avec l’IA, ils vous seront utiles.

Intercom teste les modèles peu de temps après leur sortie et en tire des informations essentielles.

L’équipe a commencé très tôt à tester les modèles génératifs, et cette expérience pratique l’a aidée à comprendre les limites des modèles et leurs opportunités. Quand GPT‑4 a été rendu disponible début 2023, l’entreprise était donc prête. Quatre mois lui ont suffi pour lancer Fin, et elle n’a pas relâché ses efforts depuis.

« Nous avons pu utiliser GPT‑3.5 pour mener des échanges fluides et avons même entraperçu des moments de génie, mais le modèle n’était pas encore assez fiable pour être déployé auprès de nos clients », explique Jordan Neill, vice-président de l’ingénierie. « Grâce à nos travaux précédents, nous avons tout de suite compris que GPT‑4 était suffisamment mature et avons déployé Fin. »

Cette maîtrise de la technologie a également aidé Intercom à créer Fin Tasks, un système qui automatise les workflows complexes, comme les remboursements et l’assistance technique. L’équipe avait tout d’abord prévu de récupérer des informations dans une base de connaissances, mais elle s’est rendu compte que GPT 4.1 pouvait travailler en autonomie, avec une fiabilité élevée et une latence réduite.

Aujourd’hui, GPT‑4.1 est à la base d’un nombre toujours plus important d’outils d’IA d’Intercom et assure notamment la logique centrale de Fin Tasks. L’équipe a également constaté que l’ajout de prompts de chaîne de pensée à des requêtes ne demandant pas de raisonnement permettait d’améliorer les performances sans passer par des pipelines RAG complets.

Pour Intercom, la conclusion est claire : mieux vous connaissez vos modèles, plus vous pouvez vous adapter rapidement à l’évolution de la technologie.

Pour avancer rapidement, vous devez déterminer ce qui fonctionne et pourquoi cela fonctionne.

La capacité d’Intercom à adopter de nouveaux modèles, modalités et architectures provient de son processus d’évaluation rigoureux. Chaque nouveau modèle d’OpenAI, qu’il soit utilisé pour Fin Voice via l’API Realtime ou pour Fin Tasks (qui utilise GPT‑4.1), est soumis à une batterie de tests structurés hors ligne et de tests A/B en production pour évaluer le respect des instructions, la précision des appels des outils et la cohérence globale avant le déploiement.

Par exemple, l’équipe évalue les modèles sur la base de transcriptions de véritables interactions d’assistance pour déterminer comment ils gèrent des instructions en plusieurs étapes comme les remboursements, maintiennent la voix de la marque de Fin et exécutent des appels aux fonctions. Ces résultats sont ensuite utilisés pour développer des tests A/B qui comparent les taux de résolution et la satisfaction client pour différents modèles, par exemple GPT‑4 et GPT‑4.1.

Cette approche a permis à Intercom de passer de GPT‑4 à GPT‑4.1 en quelques jours seulement. Après avoir confirmé l’amélioration du respect des instructions et de l’exécution des fonctions, l’entreprise a déployé GPT‑4.1 sur Fin Tasks et a immédiatement constaté une hausse des performances et de la satisfaction utilisateur.

« Nous avons obtenu les résultats de nos évaluations dans les 48 h qui ont suivi la disponibilité de GPT‑4.1 et établi un plan de déploiement dans la foulée ». « Nous avons toute de suite compris que GPT‑4.1 proposait un équilibre entre intelligence et latence adapté aux besoins de nos clients. » 

En ce qui concerne Fin Voice, le même processus d’évaluation a permis à Intercom de valider de nouveaux instantanés de son modèle vocal et à identifier des progrès sur les plans de la latence, de l’exécution des fonctions et du respect du script : autant de points essentiels pour assurer un support téléphonique d’une qualité similaire à celui offert par un agent humain. 

Intercom a étendu ses évaluations pour tenir compte de la dimension supplémentaire offerte par la voix. L’entreprise évalue systématiquement Fin Voice sur des facteurs comme la personnalité, le ton, la gestion des interruptions et le bruit de fond pour offrir des expériences de qualité à ses clients.

Intercom a pensé au changement dès le premier jour en créant une architecture suffisamment flexible pour évoluer en parallèle des modèles dont elle dépend.

Le système de Fin adopte une conception modulaire et prend en charge plusieurs modalités, comme le chat, l’e-mail et la voix, avec chacun un équilibre propre entre latence et complexité. Cette architecture permet à Intercom d’acheminer les requêtes vers le modèle le plus adapté et de changer de modèle sans modifier le système sous-jacent.

Cette flexibilité est voulue et évolue en permanence. L’architecture de Fin en est désormais à sa troisième version majeure, et la prochaine est déjà en développement. Au fil de l’amélioration des modèles, l’équipe ajoute de la complexité là où cela est nécessaire pour déployer de nouvelles capacités et simplifie ce qui peut l’être.

Cette capacité d’adaptation a joué un rôle clé dans le développement de Fin Tasks. Dans un premier temps, l’équipe pensait devoir adopter une architecture basée sur la récupération d’informations dans une base de données pour pouvoir traiter les questions complexes des clients et exécuter des processus en plusieurs étapes, comme l’émission de remboursements, la modification de données de compte ou la résolution de problèmes techniques. 

Mais lors des tests, les capacités de respect des instructions de GPT 4.1 ont dépassé ses attentes en offrant une fiabilité similaire pour une latence et un coût inférieurs.

« Pour moi, on sous-estime vraiment GPT‑4.1 », affirme Pratik Bothra, ingénieur en machine learning chez Intercom. « Nous avons vraiment été surpris par la faiblesse de sa latence et ses coûts. Il nous a permis de changer d’infrastructure et de considérablement simplifier les choses. »

L’équipe d’Intercom n’en est qu’à ses débuts. Elle s’appuie sur des modèles de pointe, ainsi que sur une architecture modulaire et indépendante des modèles pour aller au-delà du support client et proposer des outils pour les workflows de tous les services de l’entreprise, pour des résolutions plus rapides et des expériences client de meilleure qualité :

• Équipes de support : résolution de la majorité des demandes envoyées par chat, e-mail, téléphone et plus encore avec l’agent IA Fin.
• Équipes des opérations : automatisation des workflows complexes comme les remboursements, les modifications des données de compte et les mises à jour des abonnements avec Fin Tasks.
• Équipes produits : avec le serveur MCP d’Intercom, des outils d’IA comme ChatGPT peuvent accéder aux conversations, tickets et données des clients pour aider les équipes à repérer les bugs, définir leur feuille de route, affiner leur communication et se préparer aux bilans trimestriels. 

Intercom a bâti une plateforme d’IA évolutive en faisant preuve de rigueur en matière dévaluation, en s’attachant aux performances et en maintenant une conception flexible. Elle a ainsi pu ainsi redéfinir le support et devenir une référence pour toute entreprise utilisant l’IA pour créer ses produits.