Како го изградивме новиот систем за реклами на ChatGPT за доверба и релевантност

Традиционалните системи за огласување се изградени да одговараат на одделни изрази на корисничката намера. Корисникот пребарува или разгледува нешто онлајн, системот за реклами ги прима тие пребарувања и прегледи на страници како настани, а потоа врз нивна основа бара соодветни реклами. Градењето рекламна инфраструктура за ChatGPT беше поинакво: намерата на корисникот се развива низ разговорите и се менува во повеќе размени во еден разговор, понекогаш без соодветен момент за рекламирање. За да го поддржиме овој нов пристап, изградивме наменски систем за испорака на реклами. Овој нов вид рекламна инфраструктура се заснова на приспособен, дообучен граничен голем јазичен модел (LLM) што повикува алатки за пронаоѓање (утврдување на најдобрите опции), рангирање (предвидување на корисничкиот ангажман), релевантност (оценување на корисноста на рекламата) и спроведување аукции за конечен избор на реклама и одредување цена.

Нашиот систем за реклами ги следи нијансите во променливите цели на корисниците благодарение на три клучни дизајнерски одлуки: 1) воведување рекламни сесии што ја зачувуваат состојбата, односно паметат информации низ размените во еден разговор и низ повеќе разговори, 2) потпирање на приспособен, дообучен голем јазичен модел (LLM) што користи архитектура со повици до алатки за да ги толкува контекстот и вистинската намера на разговорот, а потоа ефикасно да избира, рангира и испорачува реклами и 3) одвивање на изборот на реклами одделно од генерирањето одговори на ChatGPT, во посебна услуга, за рекламите да не влијаат врз одговорите и да се зачува неутралниот тон на ChatGPT. Го користиме нашиот дообучен голем јазичен модел (LLM) за да го координира целиот рекламен процес и да одреди која реклама да ја прикаже во вистинскиот момент, врз основа и на тековната размена со корисникот и на историјата на разговорите. Иако порано беа потребни години за од нула да се изгради ваков самоподобрувачки систем за реклами, ChatGPT реклами достигна темпо на приходи еквивалентно на 1 милијарда долари годишно за помалку од 200 дена по лансирањето; досега, повеќе од 100.000 огласувачи објавиле реклами на ChatGPT од неговото лансирање.

Вообичаеното барање за реклама најчесто започнува со јасно дефиниран настан. Корисникот испраќа прашање за пребарување или отвора веб-страница, а системот за реклами добива барање. Овој вид систем е прилично едноставен: пронаоѓа потенцијални реклами-кандидати, ги рангира, спроведува аукција за соодветно да ја одреди цената на можноста за рекламирање и ја прикажува избраната реклама на корисникот. Кај ChatGPT, таков конкретен момент не се појавува природно.

Во разговор со ChatGPT, луѓето доаѓаат со цели, а не со прашање за пребарување што бара еден одговор. Можеби планираат патување, избираат софтвер за својот бизнис, опремуваат дом или започнуваат ново хоби. Сето тоа не се случува во една размена во разговорот. ChatGPT често му помага на корисникот попатно да разјасни што е важно.

На пример, нашиот инженерски тим го праша ChatGPT како да тренира за трка: разговорот започнува со општо прашање за трчањето. Неколку размени подоцна, прашуваат за обувки што би им помогнале при тренингот. Комерцијалното значење на разговорот се менува со секој нов услов - а овој персонализиран контекст се развива низ повеќе сесии. Систем што би постапил врз основа на првата порака би можел целосно погрешно да ја протолкува намерата, со што потенцијално би го нарушил искуството на корисникот и би му попречил.

За да го изградиме нашиот систем за реклами, требаше да ја надминеме рекламната архитектура заснована на барање и одговор и од нула да изградиме инфраструктура што ќе наоѓа потенцијални економски можности, притоа давајќи им предност на довербата и користа за корисниците.

Претворањето на секоја порака во самостојно барање, како во традиционален систем за реклами, би носело неколку ризици во нашиот разговорен производ: 1) погрешно разбирање на целта на корисникот поради претерано поедноставување, 2) прерано започнување на рекламниот процес, пред да стане јасна вистинската потреба на корисникот, 3) прикажување реклами што му пречат на корисникот да ја постигне целта наместо да му помагаат и 4) неефикасно повторување на рекламниот процес при секоја промена на барањето, што создава непотребни активности и трошоци. Наместо да се заснова на поединечни настани, системот за реклами (составен од пронаоѓање, рангирање и испорака) одржува сесија што ја зачувува состојбата. Тоа значи дека рекламната сесија трае додека трае размената што ги исполнува условите за рекламирање, паметејќи ги и ажурирајќи ги информациите како што се менуваат. ChatGPT го испраќа почетниот контекст на барањето до серверот за реклами. Системот за реклами ја следи размената и се приспособува како што таа се развива, наместо да се потпира на едно поедноставено прашање за пребарување.

Изборот на реклами се одвива паралелно со вообичаеното генерирање одговори на ChatGPT за рекламниот процес да не влијае врз неговите одговори. Рекламите се филтрираат и избираат преку одделен систем што го обработува разговорот според сопствени услови за прикажување, квалитет и испорака. Оваа важна архитектонска граница - различни услуги што користат одделни модели и одделен код - им овозможува на основните сервери на ChatGPT да го генерираат нерекламниот одговор. Во меѓувреме, системот за реклами независно оценува дали постои соодветна можност за рекламирање и, ако постои, подготвува спонзорирана содржина преку одделен процес за прикажување.

Покрај тоа што го штити корисничкото искуство, ова одвојување има и практични последици. ChatGPT не зависи од системот за реклами - услугите воопшто не се испреплетени и не користат заеднички модел за генерирање содржина. Затоа, ако системот за прикажување реклами е недостапен или бавен, нерекламниот одговор на ChatGPT продолжува непречено. Тоа значи дека системот за реклами не може да го прекине или забави работењето на ChatGPT. Друга придобивка од ова одвојување е што поставува многу висок праг за корисноста на рекламите. И кога не се испорачува реклама, тоа е вообичаен, успешен исход. Системот испорачува реклама само ако таа е јасно корисна за корисниците и огласувачите.

Другата клучна архитектонска компонента во нашата рекламна инфраструктура е дообучениот голем јазичен модел (LLM), кој ги толкува разговорите и го води целиот рекламен процес во агентски процес - со повици до алатки за основните функции на системот за реклами, од пронаоѓање и рангирање до аукција и, на крајот, испорака. Овој голем јазичен модел (LLM) го нарекуваме оркестратор.

Рекламниот процес почнува со разбирање на намерата на корисникот за да започне пронаоѓањето - брзо прибирање намерно широк избор на потенцијални реклами што подоцна ќе се филтрираат. Постепеното добивање на разговорот го прави пронаоѓањето побогато со информации, но и понејасно, бидејќи системот за реклами треба да ја разликува тековната намера од застарениот контекст. Оркестраторот мора да ги толкува упатувањата на претходни пораки, да препознава кога корисникот зборува хипотетички и да не го смета секое спомнување производ или услуга за барање да се купи нешто.

Оркестраторот за реклами ги користи достапниот разговор и контекстот за корисникот, барајќи добри реклами низ повеќе повторувања. Притоа постојано избира кога и која алатка да ја повика, со основна цел да ја најде најсоодветната реклама за тој разговор и контекст - реклама што ги урамнотежува големата корист за корисникот и големата корист за огласувачот. Ако корисникот избере персонализирани реклами, оркестраторот ги зема предвид и достапните нечувствителни информации за неговите претходни разговори за да ги најде најсоодветните реклами.

Како што напредува разговорот и оркестраторот за реклами добива понови информации, тој може да изврши нова низа повици до алатки со ажурираниот контекст за да најде подобри реклами и да ги испрати до клиентската апликација. Таа потоа може да ги искористи новите реклами ако пристигнат навреме.

Оркестраторот е осмислен да ја урамнотежува користа за корисниците и огласувачите, секогаш ставајќи ги корисниците на прво место.

Системот за реклами се состои од поединечни алатки, а оркестраторот ги повикува повеќекратно за да ги најде најдобрите реклами за даден разговор. Во основа, оркестраторот ги претвора разговорите во кратки текстуални резимеа, кои потоа се претвораат во семантички векторски претставувања - зачувани значења што системот за реклами полесно ги пребарува. Со нив пронаоѓа реклами-кандидати, ги филтрира според условите за прикажување (врз основа на буџетот, корисничките поставки и други првични проверки), ги оценува нивниот квалитет и релевантност и прави конечно рангирање за да ги утврди најкорисните можности за прикажување на крајот од одговорот во разговорот. Затоа, секоја реклама мора да исполнува строги услови за прикажување и релевантност за да може да биде прикажана.

Големиот јазичен модел (LLM) што служи како оркестратор прво подготвува едно или повеќе прашања за пребарување што ја претставуваат релевантната комерцијална намера. Тоа може да вклучи преформулирање на контекстот на разговорот за да се прошират комерцијалните можности надвор од директните прашања за пребарување, а потоа и креирање семантички претставувања. Притоа оркестраторот го сведува разговорот со повеќе размени на резимирана верзија за системот за пронаоѓање, со што насочено пронаоѓа реклами во нашата база на податоци.

Рекламите ќе бидат покорисни и за корисниците и за огласувачите ако се прикажуваат само кога постои длабоко разбирање на намерата на корисникот. Повеќе прашања за пребарување можат да зачуваат различни аспекти на намерата. На пример, разговор за планирање патување може да содржи одделни потреби поврзани со превоз, сместување или активности. Системот за пронаоѓање може да ги зачува овие разлики наместо да го сведе целиот разговор на една буквална текстуална низа.

Како пример, да разгледаме можен редослед на разговор за обувки за планинарење:

1. Што треба да опфатам за време на дводневно патување во Јосемити?

2. Ќе биде ли студено идната недела?

3. Нови линии на производи на [внеси бренд]?

Иако корисникот не го поврзал прашањето за брендот на обувки со патувањето во Јосемити, овој разговор во нашиот систем за реклами може да биде претставен со две прашања за пребарување, како што се [чевли соодветни за планинарење] и [нови линии на производи од [бренд] добри за патување]. Ова може да биде само првиот обид; оркестраторот е осмислен да ги доработува овие претставувања додека не најде реклами во нашата понуда што се многу корисни за корисникот.

Пронаоѓањето е процес на креирање намерно широк избор на реклами. Кандидатите може да потекнуваат од различни стратегии за пронаоѓање, а подоцна да се натпреваруваат под исти ограничувања за прикажување. Градиме повеќе индекси оптимизирани за различни ограничувања на системот и производот. На пример, индексот за реклами од каталози на производи е осмислен да ги зема предвид позитивните или негативните рецензии за производите кога ги пронаоѓа најдобрите можни реклами. Ова не е релевантно за други реклами за кои можеби нема рецензии. Секој индекс е оптимизиран за некоја верзија на пребарување приближно најблиски соседи (ANN), со векторски претставувања на намерата на корисникот. Ова пребарување ANN е алгоритам за приближно пронаоѓање во големи семантички индекси. Тоа значи дека рекламите се пронаоѓаат многу брзо, со приближување до добро решение наместо со барање на „вистинското“ решение, а притоа се задржуваат повеќето релевантни кандидати.

Целта на филтрирањето е да ги исклучи од разгледување сите реклами-кандидати што не ги исполнуваат условите за прикажување во поглед на релевантноста, понудите и буџетот. Во зависност од кандидатот и конфигурацијата, проверките при филтрирањето може да опфаќаат: достапност на рекламните материјали и кампањата (дали се активни), таргетирање на кампањата (на пример, во кои локалитети смее да се спроведува), ограничувања според правилата (барања за усогласеност во поглед на тоа што смее да се рекламира), достапен буџет (дали кампањата сè уште има средства за трошење), темпо на трошење (дали кампањата треба да троши средства сега или во друг дел од денот), соодветност за прикажување (за какви разговори е дозволена рекламата) и отстранување дупликати на ниво на огласувач и кампања (избор на соодветен број реклами по огласувач за да се обезбеди правично учество на бизнисите).

Кандидатите што ќе ги поминат проверките на условите одат во фаза на бодување, каде што оркестраторот повикува алатки од различни системи за оценување. Тие разгледуваат фактори за прикажување како семантичката релевантност (дали рекламата е релевантна за целта на корисникот?), предвидениот ангажман (дали е веројатно рекламата да биде видена, кликната и да доведе до посакуваниот исход за огласувачот?) и претходните резултати (дали рекламата досега постигнувала добри резултати кога им била прикажувана на корисниците?). Оркестраторот ги филтрира рекламите и за да обезбеди релевантност и безбедност пред аукцијата. Овие системи го стеснуваат изборот на помал збир кандидати подготвени за аукција, но сè уште не одредуваат која реклама ќе биде испорачана на крајот.

Оркестраторот ги оценува подготвените кандидати во контекст на разговорот и избира кои реклами се доволно соодветни за да влезат во конечната аукција. Оркестраторот не одлучува директно која реклама ќе се прикаже, ниту пак одредува цена. Тој предлага кандидати соодветни за контекстот што ќе ги оцени алатката за аукција.

Аукцијата ги применува конечните механизми за прикажување: прием во аукцијата (исполнување минимален праг на релевантност и корист), темпо на трошење (порамномерно трошење на рекламниот буџет), пресметка на понудите и аукциските параметри, рангирање приспособено според квалитетот, одредување цена и конечен избор.

По аукцијата, рекламата може да не се испорача од две причини, обете специфични за разговорниот формат на ChatGPT.

1. Рекламата може да делува несоодветно во разговорот: Иако моделите за интегритет (моделите што одлучуваат кога е соодветно да се прикаже реклама) го оцениле разговорот како безбеден за рекламирање, а самата реклама е оценета како усогласена со правилата, понекогаш таа сепак може да делува несоодветно во контекст на одредени разговори. Оркестраторот го блокира прикажувањето на овие реклами.

2. Барањето за реклама може да не пристигне навреме: Ако моделот на ChatGPT е подготвен да одговори, но рекламата сè уште не е подготвена за прикажување, времето за барањето истекува и рекламата не се испорачува. Затоа, една од целите на системот за реклами е да работи што е можно побрзо. Времето за одговор на моделот на ChatGPT е променливо и не ги одложуваме одговорите во разговорот за да чекаме да се вчитаат рекламите.

Ако се поминат сите наведени проверки, ја испраќаме рекламата до корисничкиот интерфејс за исцртување. Ова го сметаме за серверска испорака на реклама, но сепак може да не му ја прикажеме на корисникот - и тоа е намерно.

Кај разговорен производ како што е ChatGPT, серверската испорака на рекламен материјал не гарантира дека рекламата ќе биде прикажана; таа мора и да пристигне навреме за да биде вклучена во тековната размена. Рекламниот материјал ги вклучува насловот, описот, врската до одредиштето и евентуалниот повик за дејство. Дополнително, системот за реклами испраќа и вовед генериран од модел - кратко, неутрално објаснување за тоа како рекламата е поврзана со разговорот. Одвојувањето на воведот од рекламниот материјал ја зачувува пораката на огласувачот, а истовремено го одржува неутралниот тон на ChatGPT.

Корисничкиот интерфејс на ChatGPT ги прима воведот и рекламниот материјал како еден пакет. Ако пакетот пристигне пред целосно да се генерира одговорот на ChatGPT, интерфејсот ја прикажува рекламата под одговорот, јасно означена како спонзорирана. Ако пристигне предоцна, рекламата не се прикажува во таа размена. Тоа е разликата меѓу серверската испорака на реклама и нејзиното прикажување пред корисникот.

Нашата рекламна инфраструктура користи традиционални системи за евидентирање настани и текови за обработка на податоци, со три главни придобивки: огласувачите полесно ги интегрираат своите постојни системи со нашата инфраструктура, можат да ги подобрат своите стратегии со податоците од извештаите, а нашиот тим може да утврди кои делови од системот треба да се подобрат. Покрај овие алатки за известување и оптимизација, користиме висококвалитетен модел за оценување на испораката и обучување други модели за реклами, создавајќи моќен циклус на самоподобрување.

Деталните прегледи на случувањата ни помагаат да го разбереме и подобриме секој дел од системот за реклами одделно. Системот за обработка на дневниците бележи и поединечни исходи како:

• Размената не ги исполнуваше условите за рекламирање.

• Започна рекламна сесија, но не беше побарано пронаоѓање реклами.

• Пронаоѓањето не врати кандидати.

• Беа пронајдени кандидати, но нивното дополнување со податоци не успеа или не ги исполнија условите.

• Беше испорачана реклама со која подоцна имаше интеракција.

Овие детални прегледи ни помагаат да го подобриме секој дел од системот за прикажување реклами одделно. За подобро откривање можности се потребни поинакви показатели отколку за подобрување на пронаоѓањето, квалитетот на кандидатите, учеството во аукции или сигурноста на испораката.

Идејата зад оценувањето со модели е нашите најмоќни модели со најголеми способности за расудување да ги следат и оценуваат резултатите од системот, а потоа да го подобруваат дообучениот голем јазичен модел (LLM), обучувајќи го за подобра работа. На пример, можеме да користиме помали, поефикасни модели или модели со послаби способности за расудување за оркестрација или пронаоѓање, ако нашиот најмоќен модел собира повратни информации и ги обучува овие мали извршители да ја завршат работата најдобро што можат.

Собираме повратни информации од луѓето и постапуваме според нив: кликови и криење реклами од корисниците, анкети за корисниците и директни повратни информации од огласувачите преку нашиот Управувач со реклами. Во текот на развојот, нашиот тим е достапен и за повратни информации, па директно слушаме што сакаат и корисниците на ChatGPT и огласувачите. Овој извор на повратни информации влијае на нашата насока уште повеќе од набљудувањата на моделот и ни помогна брзо, низ повеќе повторувања, да дојдеме до вистинските одлуки за производот. Моделот можеби може да ја разбере намерата на корисникот и критички да размислува за да испорача нешто корисно, но луѓето го обликуваат вкусот.

Пред една година немавме систем за реклами, а само неколку луѓе размислуваа за оваа проблематика. Сега имаме робустен систем за реклами што овозможува приходи со тековно темпо еквивалентно на над 1 милијарда долари годишно, со оркестратор заснован на голем јазичен модел (LLM) што го води рекламниот процес. Codex беше клучен за повеќекратно зголемување на нашите можности и ни овозможи да го изградиме системот од нула и да ја достигнеме оваа значајна пресвртница во користењето со неспоредлива брзина. Од самиот почеток ги организиравме тимот и развојните работни процеси така што ќе го користат Codex за брзо градење и проширување на системот. Воведовме заштитни механизми за да може Codex сигурно и безбедно да испорачува код. Паралелно, поставивме приклучоци за податочната инфраструктура во Codex за значително да го скратиме циклусот од стекнување сознанија до воведување подобрувања во системот, вклучително и нови функции на производот, подобрувања на квалитетот и подобри перформанси на системот.

Комбинацијата од ограничувањата на нашиот систем (засновани на нашите принципи за огласување⁠) и оркестраторот заснован на голем јазичен модел (LLM) ни овозможува да го направиме огласувањето корисно без да го третираме секој разговор како барање за реклама. Во иднина ќе продолжиме да експериментираме со подинамични рекламни формати за да ја зголемиме користа за корисниците (на пример, овозможувајќи им директно да разговараат со бизнисите преку рекламите), како и користа за огласувачите. Самоподобрувачката архитектура на инфраструктурата, изградена врз модели на OpenAI со постојани циклуси на повратни информации, ќе ни овозможи побрзо да ги подобруваме релевантноста и персонализацијата со текот на времето.