Ada користи GPT‑4 да постави нови стандард корисничке подршке

Ada покреће помак од 100 милијарди долара⁠(отвара се у новом прозору) у потрошњи на корисничку подршку, а у првим редовима ове транзиције налази се њихова AI-native платформа за аутоматизацију корисничке подршке. Основана 2016. године, Ada⁠(отвара се у новом прозору) сада се процењује на 1,2 милијарде долара уз укупно 200 милиона долара финансирања; међу клијентима су Verizon, YETI, Canva и Square.

Ada није нова у AI-ју — они су AI-native платформа од самог почетка. Прва генерација производа била је изграђена помоћу прилагођених модела за обраду природног језика (NLP), развијених и обучених у компанији. Али приметили су јаз између броја корисничких питања које је њихова платформа могла да обради и броја упита који су заиста били решени на задовољавајући начин.

Стандардна метрика у индустрији за корисничку подршку, стопа задржавања, мери број корисничких упита које у потпуности обради chatbot и који никада не стигну до људског агента. Ако повећате стопу задржавања, теоретски ћете смањити оперативне трошкове у корисничкој подршци. Али тим у Ada-и је уочио проблем са овом метриком. 

„Многа решења, укључујући Ada, могла су лако да остваре стопу задржавања од 80–100%, али ако бисте заиста отворили те транскрипте разговора и прочитали искуства која су корисници имали, била су прилично лоша“, рекао је Gozzo. 

Фокусирајући своје напоре на то колико су разговори заиста били успешно решени, тим у Ada-и је знао да може да постави нови стандард у индустрији корисничке подршке.

У почетку користећи GPT‑4, у комбинацији са својим историјским подацима, Ada је изградила нови оквир за евалуацију способан да процени разговоре по томе колико су добро аутоматски решени. Ada-ин систем оцењује сваки разговор према томе колико корисници добијају релевантне, тачне и безбедне одговоре — без људске интервенције. „У нашим тестовима, наш систем је постигао 80–90% сагласности са човеком који чита разговор“, рекао је Gozzo.

Разумевањем стопе решавања, Ada је добила јасан водич за свој производ. Поред коришћења OpenAI API-ја за евалуацију, одлучили су и да сарађују са OpenAI на изградњи нове генерације свог AI агента. 

Ada је и раније користила OpenAI моделе, углавном за генерисање података за обуку својих NLP модела. Када су OpenAI API ставили на пробу за нове случајеве употребе, у Ada-и су уочили неколико кључних предности: 

• Квалитет закључивања: Ada је изградила синтетички тестни оквир који симулира стотине хиљада крајњих корисника који разговарају са њиховим системом, тако да тестирају моделе под оптерећењем у погледу скалабилности и квалитета. „Редовно процењујемо сваки велики модел, у року од неколико недеља од објављивања, и до сада нико није надмашио OpenAI на нашем скупу за евалуацију“, рекао је Gozzo. 
• Латенција: Да би обезбедили најбоље перформансе за Ada-ине гласовне сценарије, модели са ниском латенцијом су кључни. „За резоновање у реалном времену видели смо велики напредак у латенцији и укупном квалитету са GPT‑4o“, рекао је Gozzo.
• Фино подешавање: Ada користи OpenAI API за фино подешавање да би обезбедила оцену поузданости о нивоу халуцинација у датом одговору, а затим ту оцену користи у остатку алатног ланца да сведе број халуцинација у систему на минимум. „Такође смо узбуђени због могућности да временом користимо фино подешавање како бисмо додатно унапредили способност нашег система за резоновање, као и због потенцијала ове технике да омогући мањим, јефтинијим моделима да имитирају перформансе граничних модела“, рекао је Gozzo.

Данас Ada-ин AI агент користи конфигурацију са више агената, са централним агентом за планирање и скупом подагената, које све покреће OpenAI API. „Сваки пут када комуницирате са компанијом која користи Ada, ваше питање ће проћи кроз више корака OpenAI модела, који га разумеју, промишљају, позивају алате и укључују знање док се не генерише одговор“, објаснио је Gozzo. 

Претходна верзија Ada-иног производа имала је стопу задржавања од 70%, али стопу решавања од 30%. Код корисника које је Ada пребацила на нови систем, резултати задржавања су слични, али типично виде стопу решавања до 60%, а код најуспешнијих корисника и преко 80%. 

„Од једне технологије до следеће, удвостручили смо број разговора које можемо аутоматски да решимо уз сјајно искуство“, рекао је Gozzo. За Ada-ине кориснике, ова метрика има огроман даљи утицај на ROI, укључујући уштеде у еквиваленту пуног радног времена (FTE), задовољство корисника, задржавање и нове пријаве. 

Ada је толико сигурна у своју способност да решава корисничке упите да је поставила циљ од 100% стопе решавања, што би пре само неколико година деловало као фантазија. „Сада је 100% решавања питање када, а не да ли“, рекао је Gozzo. 

И тржиште се променило — Ada не наилази на много скептицизма када говори о аутоматизованом решавању. „Предузећа су све упућенија“, рекао је Gozzo. „Они заиста размишљају о AI стратегијама и залажу се за увођење овакве технологије у своје пословање.“ Корисници могу да уведу, мере и обучавају Ada-ине AI агенте засноване на LLM-у баш као и људског агента. Ada-ини циљеви за наредних 12 месеци су да драстично повећа транспарентност свог производа и контролне механизме које нуди корисницима. 

Осећај могућности је обостран. „Једна ствар која се издваја код OpenAI-ја у поређењу са другима са којима радимо јесте снажан осећај узбуђења и радозналости“, рекао је Gozzo. „Имам утисак да су сви у тиму заиста страствени у вези с овим. Изван пословног односа, ради се о томе да заједно градимо нешто, а то је заиста освежавајуће.“