Ada tuża GPT‑4 biex tagħti standard ġdid għas-servizz tal-klijenti

Ada qed tmexxi bidla ta’ $100B⁠(jinfetaħ f’tieqa ġdida) fin-nefqa għas-servizz tal-klijenti, u fuq quddiem nett ta’ din it-tranżizzjoni hemm il-pjattaforma tagħhom ta’ awtomazzjoni tas-servizz tal-klijenti AI-native. Imwaqqfa fl-2016, Ada⁠(jinfetaħ f’tieqa ġdida) issa tiswa $1.2B b’total ta’ $200M f’finanzjament; il-klijenti jinkludu Verizon, YETI, Canva, u Square.

Ada mhix ġdida għall-AI—ilha pjattaforma AI-native sa mill-bidu. L-ewwel ġenerazzjoni tal-prodott inbniet bl-użu ta’ mudelli personalizzati ta’ Natural Language Processing (NLP) li ġew żviluppati u mħarrġa internament. Iżda nnutaw vojt bejn kemm mistoqsijiet tal-klijenti setgħet timmaniġġja l-pjattaforma tagħhom, u kemm mistoqsijiet fil-fatt kienu qed jiġu solvuti b’mod sodisfaċenti.

Il-metrika standard tal-industrija għas-servizz tal-klijenti, ir-rata ta’ containment, tkejjel in-numru ta’ mistoqsijiet tal-klijenti li jiġu mmaniġġjati kompletament minn chatbot u qatt ma jaslu għand aġent uman. Jekk iżżid ir-rata ta’ containment, teoretikament tnaqqas l-ispejjeż operattivi fis-servizz tal-klijenti. Iżda t-tim ta’ Ada ra problema b’din il-metrika. 

“Ħafna soluzzjonijiet, inkluża Ada, setgħu faċilment jagħtu rati ta’ containment ta’ 80–100%, imma jekk fil-fatt tiftaħ dawk it-traskrizzjonijiet tal-konversazzjonijiet u taqra l-esperjenzi li kellhom il-klijenti, kienu pjuttost ħżiena,” qal Gozzo. 

Billi ffokaw l-isforzi tagħhom fuq kemm il-konversazzjonijiet fil-fatt kienu solvuti tajjeb, it-tim ta’ Ada kien jaf li seta’ jistabbilixxi standard ġdid fl-industrija tas-servizz tal-klijenti.

Fil-bidu bl-użu ta’ GPT‑4, flimkien mad-data storika tagħhom, Ada bniet qafas ġdid ta’ evalwazzjoni kapaċi jivvaluta l-konversazzjonijiet skont kemm ġew solvuti tajjeb awtomatikament. Is-sistema ta’ Ada tagħti klassifikazzjoni lil kull konversazzjoni skont kemm il-klijenti jirċievu tweġibiet rilevanti, preċiżi u siguri—mingħajr intervent uman. “Fit-testijiet tagħna, is-sistema tagħna kisbet qbil ta’ 80–90% ma’ bniedem li jaqra l-konversazzjoni,” qal Gozzo.

Billi fehmet ir-rata ta’ riżoluzzjoni, Ada kellha stilla tat-tramuntana għall-prodott tagħha. Minbarra li tuża l-API ta’ OpenAI għall-evalwazzjoni, iddeċidiet li taħdem ma’ OpenAI biex tibni l-ġenerazzjoni l-ġdida tal-aġent AI tagħha. 

Ada kienet użat il-mudelli ta’ OpenAI qabel, l-aktar biex tiġġenera data ta’ taħriġ għall-mudelli NLP tagħha. Meta poġġiet l-API ta’ OpenAI għat-test għall-każijiet ta’ użu l-ġodda tagħha, Ada nnotat diversi differenzjaturi: 

• Kwalità tal-inferenza: Ada bniet qafas ta’ test sintetiku li jissimula mijiet ta’ eluf ta’ klijenti finali jitkellmu mas-sistema tagħha, għalhekk tittestja l-mudelli taħt pressjoni fuq l-iskalabbiltà u l-kwalità. “Aħna nevalwaw kull mudell ewlieni regolarment, fi żmien ftit ġimgħat mir-rilaxx tiegħu, u s’issa ħadd ma qabeż lil OpenAI fuq is-sett tal-evalwazzjoni tagħna,” qal Gozzo. 
• Latenza: Biex tiżgura l-aħjar prestazzjoni għall-każijiet ta’ użu bil-vuċi ta’ Ada, mudelli b’latenza baxxa huma essenzjali. “Għal raġunament f’ħin reali, rajna qabża kbira fil-latenza u fil-kwalità ġenerali ma’ GPT‑4o,” qal Gozzo.
• Fine-tuning: Ada tuża l-API ta’ fine-tuning ta’ OpenAI biex tipprovdi punteġġ ta’ kunfidenza dwar il-livell ta’ alluċinazzjonijiet f’tweġiba partikolari, u tuża dak il-punteġġ fil-bqija tal-katina ta’ għodod biex timminimizza n-numru ta’ alluċinazzjonijiet fis-sistema. “Aħna wkoll eċċitati dwar il-possibbiltà maż-żmien li nużaw il-fine tuning biex intejbu aktar il-kapaċità tas-sistema tagħna għar-raġunament, u l-potenzjal li t-teknika tippermetti lil mudelli iżgħar u inqas għaljin jimitaw il-prestazzjoni ta’ mudelli fruntiera,” qal Gozzo.

Illum, l-aġent AI ta’ Ada juża konfigurazzjoni multi-agent, b’aġent ċentrali tal-ippjanar u ġabra ta’ subaġenti, kollha mħaddma mill-API ta’ OpenAI. “Kull darba li tikkomunika ma’ negozju li qed juża Ada, il-mistoqsija tiegħek tgħaddi minn diversi dawriet tal-mudelli ta’ OpenAI, jifhmuha, jirriflettu fuqha, isejħu għodod, u jdaħħlu għarfien sakemm tiġi ġġenerata t-tweġiba,” spjega Gozzo. 

Il-verżjoni preċedenti tal-prodott ta’ Ada kellha rata ta’ containment ta’ 70%, iżda rata ta’ riżoluzzjoni ta’ 30%. Mill-klijenti li Ada ġabet għas-sistema l-ġdida, għandhom riżultati simili ta’ containment, iżda tipikament jaraw rata ta’ riżoluzzjoni sa 60%, bl-ogħla klijenti li jwettqu jaqbżu t-80%. 

“Minn teknoloġija għal oħra, irduppjajna l-ammont ta’ konversazzjonijiet li nistgħu nsolvu awtomatikament b’esperjenza eċċellenti,” qal Gozzo. Għall-klijenti ta’ Ada, din il-metrika għandha impatt enormi downstream fuq l-ROI, inkluż iffrankar ta’ full time equivalent (FTE), sodisfazzjon tal-klijent, żamma, u reġistrazzjonijiet ġodda. 

Ada tant għandha fiduċja fil-kapaċità tagħha li ssolvi mistoqsijiet tal-klijenti, li stabbiliet mira għal rata ta’ riżoluzzjoni ta’ 100%, li ftit snin ilu kienet tidher bħala fantasija. “Issa, 100% riżoluzzjoni hija kwistjoni ta’ meta, mhux jekk,” qal Gozzo. 

Is-suq ukoll inbidel—Ada ma tiltaqax ma’ ħafna xettiċiżmu meta titkellem dwar riżoluzzjoni awtomatizzata. “L-intrapriżi qed isiru dejjem aktar għaqlin,” qal Gozzo. “Qed verament jaħsbu dwar strateġiji tal-AI, u jippromwovu li jdaħħlu teknoloġija bħal din fl-operazzjonijiet tagħhom.” Il-klijenti jistgħu jagħmlu onboarding, ikejlu, u jħarrġu l-aġenti AI bbażati fuq LLM ta’ Ada bħalma jagħmlu ma’ aġent uman. L-għanijiet ta’ Ada għat-12-il xahar li ġejjin huma li żżid b’mod drastiku t-trasparenza tal-prodott tagħha u l-lievi ta’ kontroll li toffri lill-klijenti. 

Is-sens ta’ possibbiltà huwa reċiproku. “Ħaġa waħda li tispikka f’OpenAI meta mqabbel ma’ oħrajn li naħdmu magħhom hija sens qawwi ta’ eċċitament u kurżità,” qal Gozzo. “Tħoss li kulħadd fit-tim huwa verament passjonat dwar dan. Lil hinn mir-relazzjoni kummerċjali, huwa dwar kif qed nibnu xi ħaġa flimkien, u dak tassew iġedded.”