Intercoms tre lärdomar för att skapa en hållbar AI-fördel

När GPT‑4 lanserades 2022 var det ingen nyhet för Intercom⁠(öppnas i ett nytt fönster) – de var redo att börja bygga. Inom loppet av några timmar började kundtjänstföretaget att experimentera och bara fyra månader senare lanserade de Fin, deras AI-agent som nu åtgärdar miljontals kundförfrågningar varje månad.

Tajmingen var ingen slump. När stora språkmodeller gjorde sitt intåg insåg Intercom att AI skulle omvandla kundupplevelsen. Ledningen agerade snabbt – man skapade en tvärfunktionell arbetsgrupp, ställde in projekt som inte rörde AI och avsatte 100 miljoner dollar för att forma verksamheten kring AI.

Det beslutet ledde till förändringar i hela företaget: omorganiserade produktteam, en ny helpdesk-strategi med fokus på AI och en plattform byggd för att stödja Fin i hanteringen av stora volymer och komplexa kundförfrågningar.

Nedan följer tre lärdomar från Intercoms resa som alla team – oavsett var de börjar – direkt kan omsätta till praktik.

Intercom testar modeller tidigt och ofta, och drar lärdomar av sitt arbete.

Teamet började experimentera med generativa modeller på ett tidigt stadium, och den praktiska erfarenheten bidrog till att kartlägga modellens begränsningar och upptäcka möjligheter. När GPT‑4 blev tillgängligt i början av 2023 var de redo. Inom fyra månader lanserade de Fin – och har inte saktat ner sedan dess.

”Vi kunde använda GPT‑3.5 för att ha flytande samtal med glimtar av magi, men tekniken var ännu inte tillräckligt tillförlitligt för att vi skulle kunna lita på den med våra kunder”, säger Jordan Neill, SVP of Engineering. ”Eftersom vi hade förberett oss visste vi att GPT‑4 var redo när den kom, och vi levererade Fin.”

Samma flexibilitet hjälpte Intercom att utforma Fin Tasks, ett system som automatiserar komplexa arbetsflöden som återbetalningar och teknisk support. Inledningsvis planerade teamet att utveckla en hämtningsbaserad stack, men deras utvärderingar visade att GPT‑4.1 kunde hantera jobbet på egen hand – med hög tillförlitlighet och lägre latens.

Idag driver GPT‑4.1 en växande andel av Intercoms AI-användning, inklusive viktig logik i Fin Tasks. Teamet upptäckte också att man kunde inkludera chain-of-thought prompting (CoT) i icke-verbalt resonemang för att överbrygga prestandagap utan att behöva stora RAG-pipelines.

Intercoms slutsats: ju bättre kunskap du har om modellerna, desto snabbare kan du anpassa dig när den senaste tekniken utvecklas.

För att kunna agera snabbt måste man mäta vad som fungerar – och varför.

Intercoms förmåga att snabbt anamma nya modeller, modaliteter och arkitekturer är förankrad i deras rigorösa utvärderingsprocess. Alla nya OpenAI-modeller – oavsett om de används för Fin Voice med Realtime API, eller för Fin Tasks med GPT‑4.1 – genomgår strukturerade offline-tester och live-A/B-tester för att bedöma om instruktionerna följs, riktigheten för verktygsanrop och övergripande koherens innan de sätts i drift.

Till exempel jämför teamet modeller mot transkriptioner av faktiska supportinteraktioner och utvärderar hur väl de hanterar flerstegsinstruktioner som återbetalningar, upprätthåller Fins varumärkesröst och utför funktionsanrop på ett tillförlitligt sätt. Dessa resultat ligger till grund för live-A/B-tester som jämför antalet lösta ärenden och kundnöjdhet mellan modeller som GPT‑4 och GPT‑4.1.

Detta tillvägagångssätt hjälpte Intercom att migrera från GPT‑4 till GPT‑4.1 på bara ett par dagar. Efter att ha bekräftat förbättringar i instruktionshantering och funktionsutförande, rullade de ut GPT‑4.1 för Fin Tasks och såg omedelbara vinster i både prestanda och användarnöjdhet.

”När GPT‑4.1 släpptes hade vi utvärderingsresultaten inom 48 timmar och en utrullningsplan direkt efteråt”, säger Jordan Neill, SVP of Engineering på Intercom. ”Vi såg direkt att GPT‑4.1 hade en bra blandning av intelligens och latens för kundernas behov.” 

När det kommer till Fin Voice hjälpte samma utvärderingsprocess Intercom att validera nya röstmodeller och identifiera förbättringar i latens, funktionskörning och att följa skript. Allt det här är viktigt för att leverera telefonsupport av mänsklig kvalitet. 

Intercom utökade sina utvärderingar för att inkludera den extra dimension som rösten tillför interaktioner. De utvärderar systematiskt Fin Voice utifrån faktorer som personlighet, tonläge, avbrottshantering och bakgrundsljud för att säkerställa en kundupplevelse av hög kvalitet.

Intercom byggde för förändring från första början genom att skapa en arkitektur som är tillräckligt flexibel för att utvecklas tillsammans med de modeller den är beroende av.

Fins system är modulärt och har stöd för flera modaliteter som chatt, e-post och röst – alla med olika kompromisser vad gäller latens och komplexitet. Arkitekturen gör det möjligt för Intercom att dirigera frågor till den modell som är mest lämplig för jobbet och byta modeller utan att behöva bygga om det underliggande systemet.

Den flexibiliteten är avsiktlig och i ständig utveckling. Fins arkitektur är nu inne på sin tredje stora iteration, och nästa är redan under utveckling. Allt eftersom modellerna förbättras ökar teamet komplexiteten där det behövs för att ge tillgång till nya funktioner och förenklar där det är möjligt.

Den här anpassningsförmågan visade sig vara avgörande med Fin Tasks. I början trodde teamet att det behövdes en anpassad hämtningsbaserad arkitektur för att stödja Fin Tasks – vilket gör det möjligt för Fin att lösa komplexa kundfrågor och hantera processer flera steg, till exempel att utfärda återbetalningar, göra kontoändringar eller teknisk felsökning. 

Men i teststadiet överträffade GPT‑4.1:s funktioner för att följa instruktioner förväntningarna och levererade samma tillförlitlighet till lägre latens och kostnad.

”Ärligt talat tycker jag inte att folk pratar tillräckligt om GPT‑4.1”, säger Pratik Bothra, Principal Machine Learning Engineer på Intercom. ”Vi blev verkligen överraskade av latensen och kostnadsprofilen. Det gör att vi kan justera arkitekturen och eliminera mycket komplexitet.”

Teamet har precis börjat jobba. Intercom expanderar bortom kundsupport för att möjliggöra arbetsflöden i hela verksamheten, vilket ger snabbare lösningar och bättre kundupplevelser som drivs av avancerade modeller och bygger på en modulär, modellkompatibel arkitektur:

• Support-team: Löser huvuddelen av inkommande frågor via chatt, e-post, röst med mera med Fin AI Agent
• Ops-team: Automatiserar komplexa arbetsflöden som återbetalningar, kontoändringar och abonnemangsuppdateringar med Fin Tasks
• Produktteam: Med hjälp av Intercoms MCP-server kan AI-verktyg som ChatGPT komma åt kundkonversationer, ärenden och användardata – vilket hjälper team i hela verksamheten att hitta buggar, utforma färdplaner, förfina meddelanden och förbereda sig för kvartalsvisa utvärderingar av resultaten (Quarterly Business Review, QBR). 

Intercom byggde en skalbar AI-plattform genom att vara rigorösa i utvärderingen, förankrade i resultaten och flexibla i designen – vilket omdefinierar support och erbjuder lärdomar för alla företag som bygger med AI.