Intercomin kolme opetusta tekoälyn tarjoaman kestävän kilpailuedun luomiseksi

Kun GPT‑4 käynnistyi vuonna 2022, Intercom⁠(avautuu uudessa ikkunassa) ei vain seurannut otsikoita – se oli valmis rakentamaan. Asiakaspalvelun ohjelmistoyritys aloitti kokeilut muutamassa tunnissa, ja vain neljä kuukautta myöhemmin se julkaisi Finin, tekoälyagenttinsa, joka ratkaisee nyt miljoonia asiakaskyselyitä kuukausittain.

Alkuvaiheen edistys ei ollut sattumaa. LLM:t kehittyivät nopeasti, ja Intercom ymmärsi, että tekoäly uudistaisi asiakaskokemuksen täysin. Johto toimi nopeasti ja perusti monialaisen työryhmän, perui muut kuin tekoälyhankkeet sekä osoitti 100 miljoonaa dollaria liiketoiminta-alustan uudistamiseen tekoälyn ympärille.

Päätös johti muutoksiin koko yrityksessä: tuotetiimien uudelleenjärjestelyihin, uuteen tekoälykeskeiseen asiakastukistrategiaan ja alustaan, joka rakennettiin tukemaan Finiä suurten asiakasmäärien ja monimutkaisten asiakaskyselyjen käsittelyssä.

Seuraavassa on kolme Intercomin matkasta saatua opetusta, jotka jokainen tiimi – riippumatta siitä, missä vaiheessa se on – voi ottaa heti käyttöön.

Intercom testaa malleja varhaisessa vaiheessa ja usein, sekä oppii paljon niiden työskentelystä.

Tiimi alkoi jo varhain kokeilla generatiivisia malleja, ja käytännön kokemus auttoi kartoittamaan mallin rajoituksia ja tunnistamaan sen mahdollisuuksia. Kun GPT‑4 tuli saataville vuoden 2023 alussa, he olivat valmiita. Neljässä kuukaudessa he julkaisivat Finin – eivätkä ole myöhemmin hidastaneet vauhtia.

”Pystyimme hyödyntämään GPT‑3.5:tä ja käymään sujuvia keskusteluja, joissa oli kuin hitunen taikuutta, mutta se ei ollut vielä tarpeeksi luotettava käytettäväksi asiakkaidemme kanssa”, sanoo Jordan Neill, SVP of Engineering. ”Koska olimme tehneet tarvittavat työt, tiesimme GPT‑4:n saapuessa, että agentti oli valmis, ja Fin julkaistiin.”

Sama sujuvuus auttoi Intercomia suunnittelemaan Fin Tasks -järjestelmän, joka automatisoi monimutkaisia työnkulkuja, kuten hyvitykset ja teknisen tuen. Vaikka tiimi suunnitteli alun perin hakupohjaista pinoa, arvioinnit osoittivat, että GPT‑4.1 pystyisi hoitamaan tehtävän itsenäisesti – erittäin luotettavasti ja pienemmällä viiveellä.

Nykyään GPT‑4.1 vastaa yhä suuremmasta osasta Intercomin tekoälyn käyttöä, mukaan lukien Fin Tasksin keskeinen logiikka. Tiimi havaitsi myös, että ajatusketjun kehotusten lisääminen muihin kuin päättelyyn perustuviin kyselyihin korjasi suorituskykyeroja ilman, että tarvittiin täysimittaisia RAG-prosesseja.

Intercomin johtopäätös: mitä paremmin tunnet mallisi, sitä nopeammin voit mukautua tekniikan kehitykseen.

Jos haluat edetä nopeasti, sinun on arvioitava, mikä toimii – ja miksi.

Intercomin kyky omaksua uusia malleja, toimintatapoja ja arkkitehtuureja nopeasti perustuu sen tiukkaan arviointiprosessiin. Jokainen uusi OpenAI-malli – riippumatta siitä, käytetäänkö sitä Realtime API:lla toimivassa Fin Voicessa vai GPT‑4.1:llä toimivassa Fin Taskissa testataan strukturoiduilla offline-testeillä ja suorilla A/B-testeillä, jotta voidaan arvioida ohjeiden noudattamista, työkalupyynnön tarkkuutta ja yleistä johdonmukaisuutta ennen käyttöönottoa.

Tiimi vertailee malleja esimerkiksi todellisten tukitapahtumien litterointeihin ja arvioi, kuinka hyvin ne käsittelevät monivaiheisia ohjeita, kuten hyvityksiä, ylläpitävät Finin brändin ilmaisua ja suorittavat funktiokutsut luotettavasti. Tulosten perusteella tehdään A/B-testejä, joissa verrataan ratkaisuprosentteja ja asiakastyytyväisyyttä GPT‑4‑ ja GPT‑4.1‑mallien välillä.

Lähestymistapa auttoi Intercomia siirtymään GPT‑4:stä GPT‑4.1:een muutamassa päivässä. Kun parannukset käskyjen käsittelyssä ja toimintojen suorittamisessa oli varmistettu, GPT‑4.1 otettiin käyttöön Fin Tasksissa, ja sekä suorituskyky että käyttäjätyytyväisyys paranivat välittömästi.

”Kun GPT‑4.1 julkaistiin, saimme arvioinnin tulokset 48 tunnissa ja käyttöönottosuunnitelman heti sen jälkeen”, sanoo Jordan Neill, SVP of Engineering Intercomissa. ”Huomasimme heti, että GPT‑4.1:ssä oli asiakkaiden tarpeisiin sopiva älykkyyden ja viiveen yhdistelmä.” 

Sama arviointiprosessi auttoi Intercomia validoimaan uusia äänimallien tilannekuvia Fin Voicessa ja määrittämään parannuksia viiveeseen, toimintojen suorittamiseen ja komentosarjojen noudattamiseen: kaikki välttämätöntä ihmisen tasoisen puhelintuen toimittamiseksi. 

Intercom laajensi arviointejaan, jotta ne pystyisivät ottamaan huomioon lisäulottuvuuden, jonka ääni tuo vuorovaikutukseen. He arvioivat järjestelmällisesti Fin Voicen ominaisuuksia, kuten persoonallisuutta, äänensävyä, keskeytysten käsittelyä ja taustahälyä, varmistaakseen laadukkaan asiakaskokemuksen.

Intercom rakensi muutoksen varalle alusta alkaen arkkitehtuurin, joka on tarpeeksi joustava kehittyäkseen niiden mallien mukana, joista se on riippuvainen.

Finin järjestelmä on rakenteeltaan modulaarinen, ja se tukee useita eri modaliteetteja, kuten keskustelua, sähköpostia ja ääntä, joista kullakin on erilaiset latenssia ja monimutkaisuutta koskevat kompromissit. Arkkitehtuurin ansiosta Intercom voi ohjata kyselyt tehtävään parhaiten soveltuvalle mallille ja vaihtaa malleja muuttamatta taustalla olevaa järjestelmää.

Joustavuus on tarkoituksellista ja kehittyy jatkuvasti. Fin-arkkitehtuuri on nyt kolmannessa isossa versiossaan, ja seuraava on jo kehitteillä. Mallien kehittyessä tiimi lisää monimutkaisuutta, kun sitä tarvitaan uusien valmiuksien avaamiseksi, ja yksinkertaistaa milloin mahdollista.

Tämä mukautuvuus osoittautui ratkaisevan tärkeäksi Fin Tasksin kanssa. Aluksi tiimi oletti, että he tarvitsisivat Fin Tasksin tueksi mukautetun hakupohjaisen arkkitehtuurin, jonka avulla Fin pystyy ratkaisemaan monimutkaisia asiakaskyselyjä ja toteuttamaan monivaiheisia prosesseja, kuten hyvitysten myöntämistä, tilimuutosten tekemistä tai teknistä vianetsintää. 

Testeissä GPT‑4.1:n ohjeiden seurantaominaisuudet ylittivät kuitenkin odotukset tarjoten saman luotettavuuden pienemmällä viiveellä ja kustannuksilla.

”Rehellisesti sanottuna en usko, että GPT‑4.1:stä puhutaan tarpeeksi”, sanoo Pratik Bothra, Principal Machine Learning Engineer Intercomissa. ”Olimme aidosti yllättyneitä viiveestä ja kustannusprofiilista. Sen avulla voimme mukauttaa arkkitehtuurimme ja poistaa paljon monimutkaisuutta.”

Tiimi on vasta aloittamassa. Kehittyneiden mallien ja modulaarisen, malleista riippumattoman arkkitehtuurin avulla Intercom laajenee asiakastuen ulkopuolelle ja tehostaa työnkulkuja koko liiketoiminnassa nopeuttaen ratkaisujen tekoa ja parantaen asiakaskokemusta:

• Tukitiimit: Fin AI Agent ratkaisee suurimman osan keskustelun, sähköpostin, puheen ja muuta kautta saapuvista kyselyistä.
• Operaatiotiimit: Monimutkaisten työnkulkujen, kuten hyvitysten, tilimuutosten ja tilauspäivitysten automatisointi Fin Tasksin avulla
• Tuotetiimit: Intercomin MCP- palvelimella ChatGPT:n kaltaiset tekoälytyökalut pääsevät käsiksi asiakaskeskusteluihin, tukipyyntöihin ja käyttäjätietoihin, mikä auttaa tiimejä kaikkialla yrityksessä havaitsemaan virheitä, muokkaamaan kehityssuunnitelmia, viimeistelemään viestejä ja valmistautumaan QBR-arviointeihin. 

Intercom rakensi skaalautuvan tekoälyalustan jatkamalla perusteellisia arviointeja, jotka perustuvat suorituskykyyn, ja joustavaa suunnittelua – se määritteli tuen uudelleen ja tarjosi opetusta kaikille yrityksille, jotka rakentavat tekoälyn avulla.