Drie lessen van Intercom voor het creëren van een duurzaam AI-voordeel

Toen GPT‑4 in 2022 werd gelanceerd, volgde Intercom⁠(opent in een nieuw venster) niet alleen het nieuws op de voet, ze waren klaar om te ontwikkelen. Binnen enkele uren begon het klantenservicesoftwarebedrijf te experimenteren en slechts vier maanden later lanceerde het Fin, de AI-agent die nu elke maand miljoenen vragen van klanten oplost.

Dat vroege momentum was geen toeval. Naarmate LLM's zich snel ontwikkelden, besefte Intercom dat AI de klantervaring zou transformeren. Het management handelde snel: er werd een multifunctionele taskforce opgezet, niet-AI-projecten werden geannuleerd en er werd 100 miljoen dollar toegezegd om het bedrijf opnieuw rond AI te formeren.

Die beslissing leidde tot bedrijfsbrede veranderingen: gereorganiseerde productteams, een nieuwe AI-first helpdeskstrategie en een platform dat is gebouwd om Fin te ondersteunen bij het afhandelen van grote volumes en complexe klantvragen.

Hieronder volgen drie lessen uit het traject van Intercom die elk team, waar het ook begint, nu al kan toepassen.

Intercom voert frequente en vroege modeltesten uit en leert er grondig van.

Het team begon al vroeg te experimenteren met generatieve modellen en hun praktijkervaring hielp hen de beperkingen van het model in kaart te brengen en kansen te zien. Toen GPT‑4 begin 2023 beschikbaar werd, waren ze er klaar voor. Binnen vier maanden lanceerden ze Fin en sindsdien hebben ze niet stilgezeten.

“We konden GPT‑3.5 gebruiken om vloeiende gesprekken te voeren met bij vlagen indrukwekkende resultaten, maar het was nog niet stabiel genoeg voor onze klanten,” zegt Jordan Neill, SVP of Engineering. “Omdat we het werk hadden gedaan, wisten we toen GPT‑4 arriveerde dat het klaar was en hebben we Fin geleverd.”

Diezelfde soepele interactie hielp Intercom bij het ontwerpen van Fin Tasks, een systeem dat complexe workflows automatiseert, zoals terugbetalingen en technische ondersteuning. Het team was oorspronkelijk van plan een retrieval-gebaseerde stack te gebruiken, maar uit evaluaties bleek dat GPT‑4.1 de klus alleen kon klaren – betrouwbaar en met een lagere latentie.

GPT‑4.1 is tegenwoordig verantwoordelijk voor een groeiend deel van het AI-gebruik van Intercom, waaronder de kernlogica binnen Fin Tasks. Het team ontdekte ook dat het toevoegen van chain-of-thought prompting aan niet-redenerende vragen prestatieverschillen oploste zonder dat er een volledige RAG-pijplijn nodig was.

Intercoms conclusie: hoe beter je je modellen kent, hoe sneller je je kunt aanpassen als de stand van de techniek zich verder ontwikkelt.

Om snel te handelen, moet je meten wat werkt en waarom.

Het vermogen van Intercom om nieuwe modellen, modaliteiten en architecturen snel toe te passen, is geworteld in hun rigoureuze evaluatieproces. Elk nieuw OpenAI-model - of het nu wordt gebruikt voor Fin Voice via de Realtime API, of voor Fin Tasks op basis van GPT‑4.1 - wordt onderworpen aan gestructureerde offline tests en live A/B-tests om te beoordelen op het volgen van instructies, de nauwkeurigheid van tooloproepen en de algehele samenhang voordat het wordt ingezet.

Het team vergelijkt de modellen bijvoorbeeld met transcripties van daadwerkelijke ondersteuningsinteracties, en beoordeelt hoe goed ze complexe instructies (zoals terugbetalingen) uitvoeren, Fin's brand voice behouden en functieoproepen betrouwbaar uitvoeren. Deze resultaten vormen de basis voor live A/B-tests waarin oplossingspercentages en klanttevredenheid worden vergeleken tussen modellen zoals GPT‑4 en GPT‑4.1.

Dankzij deze aanpak kon Intercom in slechts enkele dagen migreren van GPT‑4 naar GPT‑4.1. Na bevestiging van verbeteringen in instructieafhandeling en functie-uitvoering, werd GPT‑4.1 uitgerold binnen Fin Tasks en zagen ze onmiddellijke verbeteringen in zowel prestaties als gebruikerstevredenheid.

“Toen GPT‑4.1 beschikbaar werd, hadden we binnen 48 uur de evaluatieresultaten en meteen daarna een uitrolplan”, zegt Jordan Neill, SVP of Engineering bij Intercom. “We zagen meteen dat GPT‑4.1 een goede mix van intelligentie en latentie had voor de behoeften van onze klanten.” 

Voor Fin Voice hielp hetzelfde evaluatieproces Intercom bij het valideren van nieuwe spraakmodel-snapshots en bij het vaststellen van verbeteringen op het gebied van latentie, functie-uitvoering en naleving van scripts: allemaal essentieel voor het leveren van telefonische ondersteuning van menselijke kwaliteit. 

Intercom breidde de evaluaties uit om de extra dimensie vast te leggen die spraak toevoegt aan interacties. Om een hoogwaardige klantervaring te waarborgen beoordelen ze Fin Voice systematisch op factoren als persoonlijkheid, toon, omgang met onderbrekingen en achtergrondgeluiden.

Intercom heeft vanaf dag één gestreefd naar verandering, door een architectuur te ontwerpen die flexibel genoeg is om mee te evolueren met de modellen waar het van afhankelijk is.

Het systeem van Fin is modulair ontworpen en ondersteunt meerdere modaliteiten zoals chat, e-mail en spraak, elk met verschillende afwegingen voor latentie en complexiteit. Dankzij de architectuur kan Intercom vragen toewijzen aan het beste model voor de taak en modellen uitwisselen zonder het onderliggende systeem opnieuw te ontwikkelen.

Die flexibiliteit is weloverwogen en evolueert voortdurend. De architectuur van Fin is nu toe aan zijn derde grote iteratie en de volgende is al in ontwikkeling. Naarmate de modellen beter worden, voegt het team complexiteit toe waar dat nodig is om nieuwe mogelijkheden te ontsluiten en vereenvoudigt het waar dat mogelijk is.

Dit aanpassingsvermogen bleek cruciaal bij Fin Tasks. In eerste instantie ging het team ervan uit dat ze een aangepaste retrieval-gebaseerde architectuur nodig hadden om Fin Tasks te ondersteunen, waarmee Fin complexe vragen van klanten kan oplossen en complexe processen kan uitvoeren, zoals het verwerken van terugbetalingen, het doorvoeren van accountwijzigingen of het oplossen van technische problemen. 

Maar tijdens het testen overtrof GPT‑4.1 de verwachtingen op het gebied van instructieopvolging, en leverden dezelfde betrouwbaarheid tegen lagere latentie en kosten.

“Eerlijk gezegd denk ik dat mensen niet genoeg praten over GPT‑4.1”, zegt Pratik Bothra, Principal Machine Learning Engineer bij Intercom. "We waren echt verrast door de latentie en het kostenprofiel. Hiermee kunnen we onze architectuur omgooien en veel complexiteit wegnemen."

Voor het team is dit nog maar het begin. Intercom, dat draait op geavanceerde modellen en is gebouwd op een modulaire, model-agnostische architectuur, gaat verder dan alleen klantenservice en ondersteunt nu ook workflows in het bedrijf. Dit betekent snellere oplossingen en verbeterde klantervaringen:

• Supportteams: Het merendeel van de inkomende vragen via chat, e-mail, spraak en meer afhandelen met de AI-agent van Fin
• Ops-teams: Complexe workflows zoals terugbetalingen, accountwijzigingen en abonnementsupdates automatiseren met Fin Tasks
• Productteams: Met behulp van Intercom's MCP Server hebben AI-tools zoals ChatGPT toegang tot klantgesprekken, tickets en gebruikersgegevens. Zo kunnen teams in het hele bedrijf bugs opsporen, roadmaps ontwikkelen, berichten verfijnen en zich voorbereiden op kwartaalbesprekingen. 

Intercom heeft een schaalbaar AI-platform ontwikkeld door consequent te evalueren, prestaties centraal te stellen en flexibel te blijven in het ontwerp. Hiermee herdefinieert het klantondersteuning met waardevolle lessen voor elk bedrijf dat bouwt met AI.