It-tliet lezzjonijiet ta’ Intercom biex jinħoloq vantaġġ sostenibbli fl-AI

Meta tnieda ChatGPT fl-2022, Intercom⁠(jinfetaħ f’tieqa ġdida) ma qagħdux biss isegwu l-aħbarijiet—immobilizzaw ruħhom. Fi ftit sigħat mir-rilaxx ta’ GPT‑3.5, il-kumpanija tas-software għas-servizz tal-konsumatur bdiet tesperimenta, u erba’ xhur biss wara nediet Fin, l-aġent AI tagħhom li issa jsolvi miljuni ta’ mistoqsijiet tal-klijenti kull xahar.

Dak il-momentum bikri ma kienx aċċident. Hekk kif l-LLMs għamlu qabża ’l quddiem, Intercom għarfet li l-AI kienet se tbiddel l-esperjenza tal-klijent. Il-mexxejja aġixxew malajr, waqqfu task force transfunzjonali, ikkanċellaw proġetti mhux relatati mal-AI, u impenjaw $100 miljun biex jerġgħu jibnu n-negozju madwar l-AI.

Din id-deċiżjoni qanqlet bidliet fil-kumpanija kollha: timijiet tal-prodott organizzati mill-ġdid, strateġija ġdida ta’ helpdesk li tqiegħed l-AI l-ewwel, u pjattaforma mibnija biex tappoġġa lil Fin fl-immaniġġjar ta’ volumi għoljin u mistoqsijiet kumplessi tal-klijenti.

Hawn taħt hemm tliet lezzjonijiet mill-vjaġġ ta’ Intercom li kull tim—ikun minn fejn ikun qed jibda—jista’ japplika minnufih.

Intercom tittestja l-mudelli kmieni, ta’ spiss, u titgħallem ħafna mix-xogħol tagħha.

It-tim beda jesperimenta kmieni bil-mudelli ġenerattivi, u l-esperjenza prattika tagħhom għenithom jimmappjaw il-limitazzjonijiet tal-mudell u jidentifikaw opportunitajiet. Meta GPT‑4 sar disponibbli kmieni fl-2023, kienu lesti. Fi żmien erba’ xhur, nedew Fin—u minn dakinhar ma naqsux ir-ritmu.

“Stajna nużaw GPT‑3.5 biex ikollna konversazzjonijiet fluwidi b’ħjiel ta’ maġija, iżda għadu ma kienx affidabbli biżżejjed biex nafdawh mal-klijenti tagħna,” jgħid Jordan Neill, SVP of Engineering. “Minħabba li konna diġà għamilna x-xogħol, meta wasal GPT‑4, konna nafu li kien lest, u nedejna Fin.”

Dik l-istess familjarità għenet lil Intercom tfassal Fin Tasks, sistema li tawtomatizza flussi tax-xogħol kumplessi bħal rifużjonijiet u appoġġ tekniku. Filwaqt li t-tim inizjalment ippjana stack ibbażat fuq mudell tar-raġunament, l-evalwazzjonijiet tagħhom urew li GPT‑4.1 seta’ jwettaq ix-xogħol waħdu—b’affidabbiltà għolja u latenza aktar baxxa.

Illum, GPT‑4.1 iħaddem sehem dejjem jikber mill-użu tal-AI f’Intercom, inkluża loġika ewlenija ġewwa Fin Tasks. It-tim skopra wkoll li ż-żieda ta’ prompting bil-katina tal-ħsieb għal mistoqsijiet mhux ta’ raġunament għelbet id-differenzi fil-prestazzjoni.

Il-konklużjoni ta’ Intercom: aktar ma tkun taf sew il-mudelli tiegħek, aktar malajr tista’ tadatta hekk kif tevolvi l-ogħla livell teknoloġiku.

Biex timxi malajr, trid tkejjel x’jaħdem—u għaliex.

Il-kapaċità ta’ Intercom li tadotta malajr mudelli, modalitajiet u arkitetturi ġodda hija msejsa fuq il-proċess rigoruż ta’ evalwazzjoni tagħhom. Kull mudell ġdid ta’ OpenAI—kemm jekk jintuża għal Fin Voice, imħaddem mir-Realtime API, jew għal Fin Tasks, imħaddem minn GPT‑4.1—jgħaddi minn testijiet offline strutturati u provi live A/B biex jiġi vvalutat kemm isegwi l-istruzzjonijiet, l-eżattezza tas-sejħiet tal-għodod, u l-koerenza ġenerali qabel id-deployment.

Pereżempju, it-tim iqabbel il-mudelli ma’ traskrizzjonijiet ta’ interazzjonijiet reali ta’ appoġġ, u jevalwa kemm jimmaniġġjaw tajjeb istruzzjonijiet f’diversi passi bħal rifużjonijiet, iżommu l-vuċi tal-marka ta’ Fin, u jwettqu function calls b’mod affidabbli. Dawn ir-riżultati jinfurmaw testijiet live A/B li jqabblu r-rati ta’ riżoluzzjoni u s-sodisfazzjon tal-klijenti bejn mudelli bħal GPT‑4 u GPT‑4.1.

Dan l-approċċ għen lil Intercom timmigra minn GPT‑4 għal GPT‑4.1 fi ftit jiem biss. Wara li kkonfermaw titjib fil-ġestjoni tal-istruzzjonijiet u fl-eżekuzzjoni tal-funzjonijiet, introduċew GPT‑4.1 fuq Fin Tasks u raw titjib immedjat kemm fil-prestazzjoni kif ukoll fis-sodisfazzjon tal-utenti.

“Meta niżel GPT‑4.1, kellna r-riżultati tal-evals fi żmien 48 siegħa u pjan ta’ rollout minnufih wara,” jgħid Pedro Tabacof, Principal Machine Learning Scientist f’Intercom. “Minnufih rajna li GPT‑4.1 kellu taħlita tajba ta’ intelliġenza u latenza għall-ħtiġijiet tal-klijenti tagħna.”

Għal Fin Voice, l-istess proċess ta’ evalwazzjoni għen lil Intercom jivvalida snapshots ġodda tal-mudell tal-vuċi u jidentifika titjib fil-latenza, fl-eżekuzzjoni tal-funzjonijiet u fl-aderenza mal-iskript: kollha essenzjali biex jingħata appoġġ bit-telefon ta’ kwalità umana. 

Intercom espandiet l-evals tagħha biex taqbad id-dimensjoni addizzjonali li l-vuċi ġġib lill-interazzjonijiet. Huma jevalwaw b’mod sistematiku lil Fin Voice għal fatturi bħall-personalità, it-ton, kif jiġu mmaniġġjati l-interruzzjonijiet, u l-istorbju fl-isfond biex jiżguraw esperjenzi ta’ kwalità għolja għall-klijenti.

Intercom bniet għall-bidla sa mill-ewwel jum, billi ddisinjat arkitettura flessibbli biżżejjed biex tevolvi flimkien mal-mudelli li tiddependi fuqhom.

Is-sistema ta’ Fin hija modulari fid-disinn, u tappoġġa diversi modalitajiet bħal chat, email u vuċi, kull waħda b’kompromessi differenti għal-latenza u l-kumplessità. L-arkitettura tippermetti lil Intercom tidderieġi l-mistoqsijiet lejn l-aħjar mudell għall-kompitu u tbiddel il-mudelli mingħajr ma terġa’ tfassal is-sistema sottostanti.

Dik il-flessibbiltà hija intenzjonata, u qed tevolvi kontinwament. L-arkitettura ta’ Fin issa tinsab fit-tielet iterazzjoni ewlenija tagħha, u li jmiss diġà qed tiġi żviluppata. Hekk kif il-mudelli jitjiebu, it-tim iżid il-kumplessità fejn hemm bżonn biex jiftaħ kapaċitajiet ġodda u jissimplifika fejn possibbli.

Din l-adattabbiltà kienet kritika ma’ Fin Tasks. Fil-bidu, it-tim assuma li kienu se jkollhom bżonn mudelli bbażati fuq ir-raġunament biex jappoġġaw Fin Tasks—li jippermetti lil Fin isolvi mistoqsijiet kumplessi tal-klijenti u jwettaq proċessi b’diversi passi bħall-ħruġ ta’ rifużjonijiet, bidliet fil-kont, jew troubleshooting tekniku.

Iżda fit-testijiet, il-kapaċitajiet ta’ GPT‑4.1 biex isegwi l-istruzzjonijiet qabżu l-aspettattivi u taw l-istess affidabbiltà b’latenza u spiża aktar baxxi.

“Onestament, ma naħsibx li n-nies jitkellmu biżżejjed dwar GPT‑4.1,” jgħid Pratik Bothra, Principal Machine Learning Engineer f’Intercom. “Bqajna tassew sorpriżi bil-profil tal-latenza u l-ispiża. Jippermettilna nbiddlu l-arkitettura tagħna u nneħħu ħafna kumplessità.”

It-tim għadu biss fil-bidu. Imħaddem minn mudelli avvanzati u mibni fuq arkitettura modulari u agnostika għall-mudelli, Intercom qed tespandi lil hinn mill-appoġġ għall-klijenti biex tħaddem flussi tax-xogħol fin-negozju kollu, u tipprovdi riżoluzzjonijiet aktar mgħaġġla u esperjenzi aħjar għall-klijenti:

• Timijiet ta’ appoġġ: Jsolvu l-maġġoranza tal-mistoqsijiet deħlin fuq chat, email, vuċi u aktar b’Fin AI Agent
• Timijiet tal-ops: Jtawtomatizzaw flussi tax-xogħol kumplessi bħal rifużjonijiet, bidliet fil-kont u aġġornamenti tal-abbonament b’Fin Tasks
• Timijiet tal-prodott: Bl-użu tal-MCP Server ta’ Intercom, għodod AI bħal ChatGPT jistgħu jaċċessaw konversazzjonijiet mal-klijenti, tickets, u data tal-utenti - u jgħinu lit-timijiet fin-negozju kollu jidentifikaw bugs, ifasslu roadmaps, jirfinaw il-messaġġi, u jippreparaw għal QBRs. 

Intercom bniet pjattaforma AI skalabbli billi żammet rigorożità fl-evalwazzjoni, baqgħet imsejsa fuq il-prestazzjoni, u flessibbli fid-disinn—u b’hekk iddefiniet mill-ġdid l-appoġġ u offriet lezzjonijiet għal kull kumpanija li qed tibni bl-AI.