Intercoms tre læringer til udvikling af fordele med AI

Da GPT‑4 blev lanceret i 2022, nøjedes Intercom⁠(åbner i et nyt vindue) ikke med at følge med i overskrifterne – de var klar til at gå i gang med at udvikle. Inden for få timer begyndte virksomheden, der laver software til kundeservice, at eksperimentere, og blot fire måneder senere lancerede de Fin, deres AI-agent, der nu løser millioner af kundehenvendelser hver måned.

Dette tidlige momentum var ikke en tilfældighed. I takt med at store sprogmodeller (LLM'er) tog et stort spring fremad, så Intercom, at AI ville kunne omforme kundeoplevelsen. Ledelsen handlede hurtigt, nedsatte en tværfunktionel taskforce, aflyste ikke-AI-projekter og afsatte 100 millioner USD til at omlægge virksomheden til AI.

Den beslutning udløste ændringer i hele virksomheden: omorganiserede produktteams, en ny AI-first helpdesk-strategi og en platform, der blev udviklet til at støtte Fin i håndteringen af store mængder og komplekse kundehenvendelser.

Nedenfor er tre læringer fra Intercoms rejse, som ethvert team – uanset hvor I starter – også kan bruge.

Intercom tester deres modeller tidligt og ofte og drager meget læring fra denne proces.

Teamet begyndte tidligt at eksperimentere med generative modeller, og deres praktiske erfaring hjalp dem med at kortlægge modellernes begrænsninger samt spotte muligheder. Da GPT‑4 blev tilgængelig i begyndelsen af 2023, var de klar. Inden for fire måneder lancerede de Fin – og herfra tog det kun mere fart.

“Vi var i stand til at bruge GPT‑3.5 til at føre flydende samtaler med små strejf af magi, men det var endnu ikke pålideligt nok til, at vi kunne videregive det til vores kunder,” siger Jordan Neill, SVP of Engineering. “Fordi vi allerede havde gjort arbejdet, vidste vi, da GPT‑4 kom, at det var klar, og så sendte vi Fin ud.”

De samme flydende sprogfærdigheder hjalp Intercom med at designe Fin Tasks, et system, der automatiserer komplekse arbejdsgange som tilbagebetalinger og teknisk support. Oprindeligt havde teamet planlagt at bruge en hentningsbaseret stack, men deres evalueringer viste, at GPT‑4.1 kunne klare opgaven på egen hånd – med høj pålidelighed og lavere latenstid.

I dag driver GPT‑4.1 en stigende del af Intercoms AI-brug, herunder centrale logiske funktioner i Fin Tasks. Teamet opdagede også, at tilføjelsen af chain-of-thought prompting til forespørgsler uden ræsonnering lukkede præstationsgabet, uden behov for fuldt udviklede RAG-pipelines.

Intercoms konklusion: Jo bedre du kender dine modeller, desto hurtigere kan du tilpasse dig, i takt med at det teknologiske niveau rykker sig.

For at kunne rykke hurtigt, skal man vide, hvad der virker – og hvorfor.

Intercoms evne til hurtigt at indoptage nye modeller, modaliteter og arkitekturer bygger på en grundig evalueringsproces. Hver ny OpenAI-model – hvad enten den bruges i Fin Voice, der er drevet af Realtime API, eller Fin Tasks, der er drevet af GPT‑4.1 – gennemgår strukturerede offline-tests og live A/B-tests for at vurdere evnen til at følge instruktioner, præcision i værktøjsanvendelse og overordnet sammenhængskraft, inden den tages i brug.

For eksempel sammenligner teamet modeller med udskrifter af faktiske supportinteraktioner og vurderer, hvor godt de håndterer flerstrengede instruktioner som f.eks. tilbagebetalinger, opretholder Fin's brandstemme og udfører funktionsopkald pålideligt. Resultaterne danner grundlag for live A/B-tests, der sammenligner løsningsrater og kundetilfredshed på tværs af modeller som GPT‑4 og GPT‑4.1.

Denne tilgang hjalp Intercom med at migrere fra GPT‑4 til GPT‑4.1 på blot få dage. Efter at have bekræftet forbedringer i instruktionshåndtering og funktionsudførelse, implementerede de GPT‑4.1 på tværs af Fin Tasks og oplevede øjeblikkelige forbedringer i både ydeevne og brugertilfredshed.

“Da GPT‑4.1 blev lanceret, havde vi evalueringsresultaterne klar inden for 48 timer og en implementeringsplan lige efter,” siger Jordan Neill, SVP of Engineering hos Intercom. “Vi så straks, at GPT‑4.1 havde en god kombination af intelligens og latenstid, der passede til vores kunders behov.” 

Med Fin Voice hjalp den samme evalueringsproces Intercom med at validere nye snapshots af stemmemodeller og identificere forbedringer i latenstid, funktionsudførelse og overholdelse af scripts, alt sammen afgørende for at kunne levere telefonsupport i menneskelig kvalitet. 

Intercom udvidede deres evalueringer for at indfange den ekstra dimension, som stemme tilfører interaktionerne. De vurderer systematisk Fin Voice ud fra faktorer som personlighed, tone, håndtering af afbrydelser og baggrundsstøj for at sikre kundeserviceoplevelser af høj kvalitet.

Intercom har fra begyndelsen udviklet med forandring for øje og designet en arkitektur, der er fleksibel nok til at udvikle sig i takt med de modeller, den bygger på.

Fins system er modulært opbygget og understøtter flere modaliteter som chat, e-mail og tale – hver med deres egne fordele og afvejninger i forhold til latenstid og kompleksitet. Arkitekturen gør det muligt for Intercom at dirigere forespørgsler til den bedst egnede model og udskifte modeller uden at skulle ombygge det bagvedliggende system.

Den fleksibilitet er bevidst og under konstant udvikling. Fins arkitektur er nu i sin tredje store iteration, og den næste er allerede under udvikling. Efterhånden som modellerne forbedres, tilføjer teamet kompleksitet, hvor det er nødvendigt for at frigøre nye muligheder, og forenkler, hvor det er muligt.

Denne tilpasningsevne viste sig at være afgørende med Fin Tasks. Oprindeligt antog teamet, at de ville få brug for en specialudviklet retrieval-baseret arkitektur for at understøtte Fin Tasks, hvilket gør det muligt for Fin at løse komplekse kundeforespørgsler og udføre flerstrengede processer som f.eks. udstedelse af tilbagebetalinger, ændringer af konti eller teknisk fejlfinding. 

I testene overgik GPT‑4.1's evne til at følge instruktioner imidlertid forventningerne og leverede samme pålidelighed med lavere latenstid og lavere omkostninger.

Jeg synes ikke, at folk taler nok om GPT‑4.1, siger Pratik Bothra, der er chefingeniør for maskinlæring hos Intercom. “Vi var oprigtigt overraskede over latenstiden og omkostningerne. Det giver os mulighed for at videreudvikle vores arkitektur og fjerne en masse kompleksitet.”

Teamet er kun lige begyndt. Drevet af avancerede sprogmodeller og bygget på en modulær, model-uafhængig arkitektur er Intercom nu i gang med at udvide sit fokus ud over kundeservice til automatisering af arbejdsgange på tværs af hele virksomheden – med hurtigere løsninger og bedre kundeoplevelser til følge:

• Support-teams: Løser størstedelen af indgående forespørgsler via chat, e-mail, tale og mere med Fin AI Agent
• Drift-teams: Automatiserer komplekse arbejdsgange som f.eks. tilbagebetalinger, kontoændringer og abonnementsopdateringer med Fin Tasks
• Produkt-teams: Ved hjælp af Intercoms MCP-server kan AI-værktøjer som ChatGPT få adgang til kundesamtaler, tickets og brugerdata, hvilket hjælper teams på tværs af virksomheden med at finde fejl, udarbejde køreplaner, forbedre kommunikation og forberede sig til QBR'er. 

Intercom udviklede en skalerbar AI-platform ved at være streng i sin evaluering, baseret på ydeevne og fleksibel i sit design, hvilket omdefinerede support og gav erfaringer til alle virksomheder, der bygger med AI.