Три лекције компаније Intercom за стварање одрживе предности у AI-ју

Када је ChatGPT лансиран 2022. године, Intercom⁠(отвара се у новом прозору) није само пратио наслове — покренуо се. У року од неколико сати од објављивања GPT‑3.5, компанија за софтвер за корисничку подршку почела је да експериментише, а само четири месеца касније лансирала је Fin, свог AI агента који сада сваког месеца решава милионе корисничких упита.

Тај рани замах није био случајан. Како су велики језички модели (LLM) нагло напредовали, Intercom је препознао да ће AI преобликовати корисничко искуство. Руководство је брзо реаговало, формирало међуфункционалну радну групу, отказало пројекте који нису повезани са AI-јем и уложило 100 милиона долара у прелазак пословања на AI.

Та одлука покренула је промене у целој компанији: реорганизоване тимове за производ, нову AI-first стратегију helpdesk-а и платформу изграђену да подржи Fin у обради великог обима и сложених корисничких упита.

У наставку су три лекције са пута компаније Intercom које сваки тим — без обзира на то одакле креће — може одмах да примени.

Intercom тестира моделе рано, често и дубински учи из свог рада.

Тим је рано почео да експериментише са генеративним моделима, а њихово практично искуство помогло им је да мапирају ограничења модела и уоче прилике. Када је GPT‑4 постао доступан почетком 2023, били су спремни. За четири месеца лансирали су Fin — и од тада не успоравају.

„Могли смо да искористимо GPT‑3.5 за природне разговоре са назнакама магије, али још увек није био довољно поуздан да бисмо му поверили наше кориснике“, каже Jordan Neill, SVP of Engineering. „Зато што смо већ обавили посао, када је стигао GPT‑4, знали смо да је спреман и објавили смо Fin.“

То исто разумевање помогло је Intercom-у да осмисли Fin Tasks, систем који аутоматизује сложене токове рада као што су повраћаји новца и техничка подршка. Иако је тим у почетку планирао стек заснован на моделу резоновања, њихове процене су показале да GPT‑4.1 може сам да обави посао — уз високу поузданост и мању латенцију.

Данас GPT‑4.1 покреће све већи део Intercom-ове употребе AI-ја, укључујући кључну логику унутар Fin Tasks. Тим је такође открио да додавање инструкција са начином резоновања на упите који нису за резоновање смањује разлике у перформансама.

Поука компаније Intercom: што боље познајете своје моделе, брже можете да се прилагодите како се најсавременија достигнућа развијају.

Да бисте се кретали брзо, морате да мерите шта функционише — и зашто.

Способност компаније Intercom да брзо усваја нове моделе, модалитете и архитектуре заснива се на њиховом ригорозном процесу евалуације. Сваки нови OpenAI модел — било да се користи за Fin Voice, који покреће Realtime API, или за Fin Tasks, који покреће GPT‑4.1 — пролази кроз структурисана офлајн тестирања и A/B пробе уживо како би се пре пуштања у рад проценили праћење инструкција, тачност позива алата и укупна кохерентност.

На пример, тим упоређује моделе са транскриптима стварних интеракција подршке, процењујући колико добро обрађују вишекорачне инструкције као што су повраћаји новца, одржавају глас бренда Fin-а и поуздано извршавају function call-ове. Ови резултати усмеравају A/B тестове уживо који пореде стопе решавања и задовољство корисника код модела као што су GPT‑4 и GPT‑4.1.

Овај приступ је помогао Intercom-у да пређе са GPT‑4 на GPT‑4.1 за само неколико дана. Након што су потврдили побољшања у обради инструкција и извршавању функција, увели су GPT‑4.1 у Fin Tasks и одмах видели добитке и у перформансама и у задовољству корисника.

„Када се GPT‑4.1 појавио, имали смо резултате евалуације у року од 48 сати и план увођења одмах након тога“, каже Pedro Tabacof, Principal Machine Learning Scientist у компанији Intercom. „Одмах смо видели да GPT‑4.1 има добар спој интелигенције и латенције за потребе наших корисника.“

За Fin Voice, исти процес евалуације помогао је Intercom-у да потврди нове snapshot-ове гласовног модела и прецизно уочи побољшања у латенцији, извршавању функција и придржавању скрипте: све суштински важно за телефонску подршку квалитета као код људи.

Intercom је проширио своје евалуације како би обухватио додатну димензију коју глас уноси у интеракције. Систематски процењују Fin Voice по факторима као што су личност, тон, руковање прекидима и позадинска бука како би обезбедили висококвалитетно корисничко искуство.

Intercom је од првог дана градио за промене, осмишљавајући архитектуру довољно флексибилну да се развија упоредо са моделима од којих зависи.

Систем Fin-а је модуларно осмишљен, подржава више модалитета као што су чет, е-пошта и глас, од којих сваки има различите компромисе у погледу латенције и сложености. Архитектура омогућава Intercom-у да усмерава упите ка најбољем моделу за дати задатак и да мења моделе без редизајнирања основног система.

Та флексибилност је намерна и стално се развија. Архитектура Fin-а је сада у својој трећој великој итерацији, а следећа је већ у развоју. Како се модели побољшавају, тим додаје сложеност тамо где је потребна да би откључао нове могућности, а поједностављује где год је то могуће.

Ова прилагодљивост показала се кључном код Fin Tasks. Тим је у почетку претпоставио да ће им бити потребни модели засновани на резоновању да би подржали Fin Tasks — који омогућава Fin-у да решава сложене корисничке упите и извршава вишекорачне процесе као што су издавање повраћаја новца, измене налога или техничко решавање проблема.

Али је током тестирања способност GPT‑4.1 да прати инструкције надмашила очекивања, испоручујући исту поузданост уз мању латенцију и ниже трошкове.

„Искрено, мислим да људи не говоре довољно о GPT‑4.1“, каже Pratik Bothra, Principal Machine Learning Engineer у компанији Intercom. „Били смо искрено изненађени профилом латенције и трошкова. То нам омогућава да променимо архитектуру и уклонимо доста сложености.“

Тим тек почиње. Покретан напредним моделима и изграђен на модуларној архитектури независној од модела, Intercom се шири изван корисничке подршке како би покретао токове рада широм пословања, доносећи бржа решења и боља корисничка искуства:

• Тимови подршке: Решавање већине долазних упита преко чета, е-поште, гласа и још много тога уз Fin AI агент
• Оперативни тимови: Аутоматизација сложених токова рада као што су повраћаји новца, измене налога и ажурирања претплате уз Fin Tasks
• Тимови за производ: Уз Intercom-ов MCP Server, AI алати као што је ChatGPT могу да приступе корисничким разговорима, тикетима и корисничким подацима — помажући тимовима широм пословања да уоче багове, обликују планове развоја, унапреде поруке и припреме се за QBR-ове.

Intercom је изградио скалабилну AI платформу остајући ригорозан у евалуацији, усмерен на перформансе и флексибилан у дизајну — редефинишући подршку и нудећи лекције свакој компанији која гради уз AI.