Intercom-ның тұрақты AI артықшылығын құруға арналған үш сабағы

ChatGPT 2022 жылы іске қосылғанда, Intercom⁠(жаңа терезеде ашылады) тек жаңалықтарды бақылап отырған жоқ — олар бірден іске кірісті. GPT‑3.5 шыққаннан кейін бірнеше сағат ішінде клиенттерге қызмет көрсету бағдарламалық жасақтама компаниясы тәжірибе жасай бастады, ал небәрі төрт айдан соң ай сайын миллиондаған клиент сұрауларын шешетін өздерінің AI агенті Fin-ді іске қосты.

Бұл ерте серпін кездейсоқ емес еді. LLM (үлкен тілдік модель) алға қарқынды секірген сайын, Intercom AI клиент тәжірибесін түбегейлі өзгертетінін түсінді. Басшылық тез әрекет етіп, кросс-функционалды жұмыс тобын құрды, AI-ға қатысы жоқ жобаларды тоқтатты және бизнесті AI айналасына қайта платформалауға 100 миллион доллар бөлді.

Бұл шешім компания ауқымындағы өзгерістерге түрткі болды: қайта ұйымдастырылған өнім командалары, AI-ды бірінші орынға қоятын жаңа helpdesk стратегиясы және Fin-нің үлкен көлемдегі әрі күрделі клиент сұрауларын өңдеуін қолдайтын платформа.

Төменде Intercom жолынан алынған үш сабақ берілген, оларды кез келген команда — қай жерден бастап жатқанына қарамастан — дәл қазір іске қолдана алады.

Intercom модельдерді ерте және жиі сынайды, әрі өз жұмысынан терең үйренеді.

Команда генеративті модельдермен ерте тәжірибе жасай бастады, және олардың практикалық тәжірибесі модель шектеулерін картаға түсіріп, мүмкіндіктерді байқауға көмектесті. GPT‑4 2023 жылдың басында қолжетімді болғанда, олар дайын болды. Төрт ай ішінде олар Fin-ді іске қосты — содан бері қарқыны бәсеңдеген жоқ.

«Біз GPT‑3.5‑ті сиқырдың ұшқындары бар еркін әңгімелер жүргізу үшін пайдалана алдық, бірақ ол клиенттерімізге сеніп тапсыратындай әлі жеткілікті сенімді емес еді», — дейді инженерия жөніндегі SVP Джордан Нилл. «Біз бұл жұмысты алдын ала жасағандықтан, GPT‑4 келгенде оның дайын екенін білдік те, Fin-ді шығардық.»

Сол еркін меңгеру деңгейі Intercom-ға Fin Tasks жүйесін жобалауға көмектесті. Бұл — қайтарым жасау мен техникалық қолдау сияқты күрделі жұмыс ағындарын автоматтандыратын жүйе. Бастапқыда команда ойлайтын модельге негізделген стек жоспарлағанымен, олардың бағалаулары GPT‑4.1 бұл міндетті өздігінен — жоғары сенімділікпен және төмен кідіріспен — орындай алатынын көрсетті.

Бүгінде GPT‑4.1 Intercom-ның AI қолдануының өсіп келе жатқан бөлігін, соның ішінде Fin Tasks ішіндегі негізгі логиканы қамтамасыз етеді. Команда сондай-ақ ойлау тізбегі көмексөздерін ой қорытуға жатпайтын сұрауларға қосу өнімділік алшақтықтарын жойғанын анықтады.

Intercom-ның түйіні: модельдеріңізді қаншалықты жақсы білсеңіз, озық деңгей өзгерген сайын соншалықты жылдам бейімделесіз.

Жылдам қозғалу үшін ненің жұмыс істейтінін — және неге — өлшеуіңіз керек.

Intercom-ның жаңа модельдерді, модальділіктерді және архитектураларды жылдам қабылдау қабілеті олардың қатаң бағалау үдерісіне негізделген. Әрбір жаңа OpenAI моделі — Realtime API арқылы жұмыс істейтін Fin Voice үшін болсын, не GPT‑4.1 арқылы жұмыс істейтін Fin Tasks үшін болсын — орналастыруға дейін нұсқауларды орындау, құрал шақыру дәлдігі және жалпы үйлесімділікті бағалау үшін құрылымдалған офлайн сынақтардан және тікелей A/B тесттерінен өтеді.

Мысалы, команда модельдерді нақты қолдау өзара әрекеттесулерінің транскрипттерімен салыстырып бағалайды: қайтарым жасау сияқты көпқадамды нұсқауларды қаншалықты орындайтынын, Fin-нің бренд дауысын сақтайтынын және функция шақыруларын сенімді орындайтынын тексереді. Бұл нәтижелер GPT‑4 және GPT‑4.1 сияқты модельдер бойынша шешу көрсеткіштері мен клиент қанағаттануын салыстыратын тікелей A/B тесттерін ақпараттандырады.

Осы тәсіл Intercom-ға GPT‑4‑тен GPT‑4.1‑ге небәрі бірнеше күнде көшуге көмектесті. Нұсқауларды өңдеу мен функцияларды орындаудағы жақсартуларды растағаннан кейін, олар GPT‑4.1‑ді Fin Tasks аясында іске қосты да, өнімділік пен пайдаланушы қанағаттануында бірден өсім көрді.

«GPT‑4.1 шыққанда, бізде 48 сағат ішінде eval нәтижелері және бірден кейін енгізу жоспары болды», — дейді Intercom-дағы Machine Learning жөніндегі жетекші ғалым Педро Табакоф. «Біз GPT‑4.1 клиенттеріміздің қажеттіліктері үшін интеллект пен кідірістің жақсы үйлесімін ұсынатынын бірден көрдік.»

Fin Voice үшін де дәл осы бағалау үдерісі Intercom-ға жаңа дауыс модельдерінің snapshot-нұсқаларын тексеруге және кідіріс, функция орындау және сценарийге сәйкестік тұрғысынан жақсартуларды дәл анықтауға көмектесті: мұның бәрі адам сапасындағы телефон қолдауын ұсыну үшін аса маңызды.

Intercom бағалауларын дауыс өзара әрекеттесулерге әкелетін қосымша өлшемді қамту үшін кеңейтті. Олар жоғары сапалы клиент тәжірибесін қамтамасыз ету үшін Fin Voice-ты тұлғалық сипат, тон, үзілістерді өңдеу және фондық шу сияқты факторлар бойынша жүйелі түрде бағалайды.

Intercom бірінші күннен бастап өзгеріске лайық етіп құрды, оған тәуелді модельдермен бірге дами алатындай жеткілікті икемді архитектура жобалады.

Fin жүйесі құрылымы бойынша модульді, чат, email және дауыс сияқты бірнеше модальділікті қолдайды, олардың әрқайсысында кідіріс пен күрделілікке қатысты өзара ымыралар бар. Архитектура Intercom-ға сұрауларды тапсырмаға ең қолайлы модельге бағыттауға және базалық жүйені қайта инженерияламай-ақ модельдерді ауыстыруға мүмкіндік береді.

Бұл икемділік әдейі жасалған және үнемі дамып келеді. Fin архитектурасы қазір үшінші ірі итерациясында, ал келесісі қазірдің өзінде әзірленіп жатыр. Модельдер жақсарған сайын, команда жаңа мүмкіндіктерді ашу үшін қажет жерде күрделілікті қосып, мүмкін жерде оны оңайлатады.

Бұл бейімделгіштік Fin Tasks үшін аса маңызды болды. Бастапқыда команда Fin Tasks-ті қолдау үшін ой қорытуға негізделген модельдер керек болады деп ойлады — бұл Fin-ге күрделі клиент сұрауларын шешуге және қайтарым рәсімдеу, аккаунт өзгерту немесе техникалық ақауларды жою сияқты көпқадамды үдерістерді орындауға мүмкіндік береді.

Бірақ тестілеуде GPT‑4.1‑дің нұсқауларды орындау қабілеті күткеннен де асып түсті және дәл сондай сенімділікті төмен кідіріспен әрі төмен құнмен ұсынды.

«Шынымды айтсам, GPT‑4.1 туралы адамдар жеткілікті айтпайды деп ойлаймын», — дейді Intercom-дағы жетекші Machine Learning инженері Пратик Ботра. «Кідіріс пен құн профилі бізді шынымен таңғалдырды. Ол бізге архитектурамызды бұрып, көп күрделіліктен арылуға мүмкіндік береді.»

Команда енді ғана бастап жатыр. Жетілдірілген модельдермен қамтамасыз етіліп және модульді, модельге тәуелсіз архитектураға құрылған Intercom клиенттерге қолдау көрсетуден тысқары шығып, бүкіл бизнес бойынша жұмыс ағындарын қолдауды кеңейтіп жатыр, соның нәтижесінде жылдамырақ шешімдер мен жақсырақ клиент тәжірибелері ұсынылады:

• Қолдау командалары: Fin AI агенті арқылы чат, email, дауыс және басқа арналардағы кіріс сұраулардың басым бөлігін шешу
• Операциялық командалар: Fin Tasks арқылы қайтарым, аккаунт өзгерістері және жазылым жаңартулары сияқты күрделі жұмыс ағындарын автоматтандыру
• Өнім командалары: Intercom-ның MCP Server құралын пайдалана отырып, ChatGPT сияқты AI құралдары клиент әңгімелеріне, тикеттерге және пайдаланушы деректеріне қол жеткізе алады — бұл компания бойынша командаларға қателерді байқауға, жол карталарын қалыптастыруға, хабарламаларды жетілдіруге және QBR-ларға дайындалуға көмектеседі.

Intercom бағалауда қатаң болып, өнімділікке сүйеніп және дизайнда икемділік таныту арқылы ауқымды AI платформасын құрды — қолдауды қайта анықтап, AI-мен құрып жатқан кез келген компанияға сабақ ұсынды.