Intercoms tre erfaringer ved å skape en bærekraftig AI-fordel

Da GPT‑4 ble lansert i 2022, satt ikke Intercom⁠(åpnes i et nytt vindu) bare å leste overskriftene, de var klare til å bygge. I løpet av noen timer begynte programvareselskapet for kundeservice å eksperimentere, og bare fire måneder senere lanserte de Fin, AI-agenten som nå løser millioner av kundespørsmål hver måned.

Den tidlige opptrappingen var ikke en tilfeldighet. Etter hvert som LLM-utviklingen skjøt fart, innså Intercom at AI ville forvandle kundeopplevelsen. Ledelsen handlet raskt, opprettet en tverrfaglig arbeidsgruppe, avlyste prosjekter uten AI og satte av 100 millioner dollar til å omstrukturere virksomheten rundt AI.

Den beslutningen utløste endringer på tvers av selskapet: reorganiserte produktteam, en ny AI-først brukerstøttestrategi, og en plattform bygget for å støtte Fin i håndteringen av høye volumer og komplekse kundeforespørsler.

Nedenfor er tre erfaringer fra Intercoms utvikling som alle team – uansett hvor dere starter – kan iverksette akkurat nå.

Intercom tester modeller tidlig og ofte, og lærer grundig av arbeidet sitt.

Teamet begynte tidlig å eksperimentere med generative modeller, og den praktiske erfaringen deres hjalp dem med å kartlegge modellbegrensninger og identifisere muligheter. Da GPT‑4 ble tilgjengelig tidlig i 2023, var de klare. I løpet av fire måneder lanserte de Fin – og det har ikke gått saktere siden.

«Vi klarte å utnytte GPT‑3.5 til å ha flytende samtaler med glimt av magi, men den var fortsatt ikke pålitelig nok til å ha ansvaret for kundene våre», sier Jordan Neill, SVP of Engineering. «Fordi vi hadde lagt ned arbeidet, visste vi at alt var klart da GPT‑4 ankom, og vi lanserte Fin.»

Den samme flyten hjalp Intercom med å designe Fin Tasks, et system som automatiserer kompleks arbeidsflyt som refusjoner og teknisk støtte. Selv om teamet opprinnelig planla en hentebasert struktur, viste evalueringene deres at GPT‑4.1 kunne håndtere oppgaven på egen hånd – med høy pålitelighet og lavere ventetid.

I dag driver GPT‑4.1 en voksende andel av Intercoms AI-bruk, inkludert viktig logikk i Fin Tasks. Teamet oppdaget også at å legge tankerekke-meldinger til ikke-resonnerende spørsmål lukket ytelsesgap uten behov for omfattende RAG-prosesser.

Intercoms konklusjon: jo bedre du kjenner modellene dine, jo raskere kan du tilpasse deg etter hvert som de beste tilgjengelige utvikler seg.

For å handle raskt, må du måle hva som fungerer – og hvorfor.

Intercoms evne til raskt å ta i bruk nye modeller, modaliteter og arkitekturer er forankret i den strenge evalueringsprosessen. Hver ny OpenAI-modell – enten den brukes til Fin Voice, drevet av Realtime API, eller til Fin Tasks, drevet av GPT‑4.1 – gjennomgår strukturerte frakoblede tester og live A/B-forsøk for å vurderes når det gjelder å følge instruksjoner, presisjon i verktøykall og generell sammenheng før distribusjon.

For eksempel vurderer teamet referansemodeller mot transkripsjoner av faktiske kundestøtteinteraksjoner, og evaluerer hvor godt de håndterer flerstegsinstruksjoner som refusjoner, opprettholder Fins merkevarestemme og utfører funksjonskall på en pålitelig måte. Disse resultatene gir data til live A/B-tester som sammenligner løsningsrater og kundetilfredshet på tvers av modeller som GPT‑4 og GPT‑4.1.

Denne tilnærmingen hjalp Intercom med å migrere fra GPT‑4 til GPT‑4.1 på bare noen dager. Etter å ha bekreftet forbedringer i håndtering av instruksjoner og funksjonsutførelse, rullet de ut GPT‑4.1 på tvers av Fin Tasks og så umiddelbare gevinster både i ytelse og brukertilfredshet.

«Da GPT‑4.1 ble lansert, hadde vi evalueringsresultater innen 48 timer og en utrullingsplan like etter», sier Jordan Neill, SVP for Engineering hos Intercom. «Vi så umiddelbart at GPT‑4.1 hadde en god blanding av intelligens og respons for kundenes behov.» 

For Fin Voice hjalp den samme evalueringsprosessen Intercom med å validere nye øyeblikksbilder av stemmemodeller og finne forbedringer i respons, funksjonsutførelse og skriptoverholdelse: alt som er essensielt for å levere telefonstøtte av menneskelig kvalitet. 

Intercom utvidet evalueringssystemet sitt for å fange den ekstra dimensjonen stemmen tilfører interaksjoner. De vurderer systematisk Fin Voice for faktorer som personlighet, tone, håndtering av avbrytelser og bakgrunnsstøy for å sikre kundeopplevelser av høy kvalitet.

Intercom la grunnlaget for endring fra dag én, og designet en arkitektur som er fleksibel nok til å utvikle seg sammen med modellene den er avhengig av.

Fin-systemet har et modulært design, og støtter flere modaliteter som chat, e-post og tale, hver med forskjellige avveininger for respons og kompleksitet. Arkitekturen gjør det mulig for Intercom å rute forespørslene til den beste modellen for oppgaven og bytte modeller uten å måtte omkonstruere det underliggende systemet.

Den fleksibiliteten er bevisst og er i stadig utvikling. Arkitekturen til Fin er nå i sin tredje store iterasjon, med den neste allerede under utvikling. Etter hvert som modellene blir bedre, legger teamet til kompleksitet der det er nødvendig for å låse opp nye muligheter, og forenkler der det er mulig.

Denne tilpasningsevnen viste seg å være avgjørende med Fin Tasks. I begynnelsen antok teamet at de ville trenge en tilpasset hentebasert arkitektur for å støtte Fin Tasks – som gjør det mulig for Fin å løse komplekse kundehenvendelser og gjennomføre flertrinnsprosesser som å utstede refusjoner, gjøre kontoendringer eller teknisk feilsøking. 

Men under testing overgikk GPT‑4.1s evner til å følge instruksjoner forventningene ved å levere samme pålitelighet med lavere ventetid og kostnad.

«Ærlig talt, jeg synes ikke at folk snakker nok om GPT‑4.1», sier Pratik Bothra, Principal Machine Learning Engineer hos Intercom. «Vi ble oppriktig overrasket over responstiden og kostnadsprofilen. Den lar oss endre arkitekturen vår og fjerne mye av kompleksiteten.»

Teamet har så vidt begynt. Drevet av avanserte modeller og bygget på en modulær, modelluavhengig arkitektur, utvider Intercom seg forbi kundestøtte for å drive arbeidsflyter på tvers av virksomheten, og leverer raskere løsninger og bedre kundeopplevelser:

• Kundestøtteteam: Løser flertallet av innkommende forespørsler via chat, e-post, stemme og mer med Fin AI Agent
• Ops-team: Automatiserer komplekse arbeidsflyter som refusjoner, kontoendringer og abonnementsoppdateringer med Fin Tasks
• Produktteam: Hjelper team i hele virksomheten med å oppdage feil, forme veien videre, finjustere meldinger og forberede seg til QBR-er – ved å bruke Intercoms MCP Server som gjør at AI-verktøy som ChatGPT kan få tilgang til kundesamtaler, saker og brukerdata. 

Intercom bygde en skalerbar AI-plattform ved å være grundig på evaluering, forankret i ytelse og fleksibel i design. De omdefinerte kundestøtte og tilbyr sine erfaringer til alle bedrifter som bygger med AI.