Kaip kūrėme naują „ChatGPT“ reklamos sistemą naudotojų pasitikėjimui ir aktualumui užtikrinti
Autoriai: techninės komandos nariai Ritendra Datta ir Karthik Gopalratnam
Tradicinės reklamos sistemos kuriamos taip, kad reaguotų į atskiras naudotojo ketinimo išraiškas. Naudotojas ko nors ieško ar ką nors peržiūri internete, reklamos sistema gauna šias užklausas ir puslapių peržiūras kaip įvykius, o tada pagal juos ieško tinkamų skelbimų. Kuriant „ChatGPT“ reklamos technologijas situacija buvo kitokia: naudotojo ketinimas formuojasi per pokalbius ir kinta apsikeičiant žinutėmis, o tinkamo momento reklamai kartais taip ir neatsiranda. Šiam naujam veikimo principui pritaikėme specialiai sukurtą skelbimų pateikimo sistemą. Šio naujo tipo reklamos technologijų pagrindas – specialiai pritaikytas, papildomai suderintas priešakinis LLM. Jis iškviečia įrankius paieškai (geriausiems variantams nustatyti), reitingavimui (naudotojų įsitraukimui prognozuoti), aktualumui vertinti (skelbimo naudingumui nustatyti) ir aukcionams vykdyti, kad būtų galutinai parinktas skelbimas ir nustatyta jo kaina.
Mūsų reklamos sistema atsižvelgia į kintančių naudotojo tikslų niuansus dėl trijų pagrindinių projektavimo sprendimų: 1) įdiegėme būseną išsaugančius reklamos seansus, todėl informacija prisimenama tiek keičiantis žinutėmis viename pokalbyje, tiek per kelis pokalbius; 2) pasitelkėme specialiai pritaikytą, papildomai suderintą LLM, kuris per įrankių iškvietimo architektūrą interpretuoja pokalbio kontekstą ir tikrąjį ketinimą, o tada veiksmingai atrenka, reitinguoja ir pateikia skelbimus; 3) skelbimų atranką vykdome atskiroje paslaugoje, nepriklausomai nuo „ChatGPT“ atsakymų generavimo, kad reklama nedarytų įtakos atsakymams ir „ChatGPT“ tonas išliktų neutralus. Papildomai suderintu LLM valdome visą reklamos procesą ir nustatome, kurį skelbimą kada parodyti, remdamiesi tiek dabartiniu apsikeitimu žinutėmis, tiek pokalbio istorija. Anksčiau tokios savaime tobulėjančios reklamos sistemos kūrimas nuo nulio trukdavo ne vienus metus, o „ChatGPT“ reklamos nepraėjus nė 200 dienų nuo pristatymo pasiekė pajamų tempą, prilygstantį 1 mlrd. JAV dolerių per metus. Nuo pristatymo „ChatGPT“ reklama jau pasinaudojo daugiau nei 100 000 reklamuotojų.
Įprasta reklamos užklausa dažniausiai prasideda nuo aiškiai apibrėžto įvykio. Naudotojas pateikia paieškos užklausą arba atidaro tinklalapį, ir reklamos sistema gauna užklausą. Tokio tipo sistema gana paprasta: ji suranda galimus skelbimus, juos sureitinguoja, surengia aukcioną, kad nustatytų tinkamą rodymo galimybės kainą, ir parodo pasirinktą skelbimą naudotojui. Naudojant „ChatGPT“, toks konkretus momentas savaime neatsiranda.
Į pokalbį su „ChatGPT“ žmonės ateina turėdami tikslų, o ne paieškos užklausą, kuriai pakaktų vieno atsakymo. Jie gali planuoti kelionę, rinktis programinę įrangą savo verslui, įsirengti namus ar mokytis naujo pomėgio. Visa tai neįvyksta per vieną apsikeitimą žinutėmis. Pokalbio metu „ChatGPT“ dažnai padeda naudotojui išsiaiškinti, kas jam svarbu.
Pavyzdžiui, mūsų inžinierių komanda klausė „ChatGPT“, kaip pasirengti bėgimo varžyboms. Pokalbis prasideda bendru klausimu apie bėgimą. Po kelių apsikeitimų žinutėmis jie paklausia apie treniruotėms tinkamus batus. Su kiekviena nauja sąlyga keičiasi pokalbio komercinė prasmė, o šis individualus kontekstas toliau kinta per kelis seansus. Sistema, kuri imtųsi veikti pagal pirmą žinutę, galėtų visiškai neteisingai suprasti ketinimą ir taip pabloginti naudotojo patirtį bei jam trukdyti.
Kurdami savo reklamos sistemą turėjome peržengti užklausos ir atsako reklamos architektūros ribas ir nuo nulio sukurti technologijas, kurios padėtų rasti ekonominių galimybių, pirmenybę teikiant naudotojų pasitikėjimui ir jiems kuriamai vertei.
Jei kiekvieną žinutę paverstume atskira užklausa, kaip tradicinėje reklamos sistemoje, mūsų pokalbių aplinkoje kiltų kelios rizikos: 1) pernelyg supaprastinę naudotojo tikslą, galėtume jį suprasti klaidingai; 2) reklamos procesą pradėtume per anksti, dar nepaaiškėjus tikrajam naudotojo poreikiui; 3) rodytume skelbimus, kurie naudotojui trukdo siekti tikslo, o ne padeda; 4) neefektyviai kartotume reklamos procesą kaskart pasikeitus užklausai, sukeldami informacinį triukšmą ir švaistydami lėšas. Užuot veikusi pagal atskirus įvykius, reklamos sistema, kurią sudaro paieška, reitingavimas ir pateikimas, palaiko būseną išsaugantį seansą. Tai reiškia, kad reklamos seansas tęsiasi visą reklamai tinkamą apsikeitimą žinutėmis, įsimindamas ir atnaujindamas besikeičiančią informaciją. „ChatGPT“ išsiunčia pradinį užklausos kontekstą reklamos serveriui. Reklamos sistema seka besivystantį pokalbį ir prie jo prisitaiko, o ne remiasi viena supaprastinta užklausa.
Skelbimų atranka vyksta lygiagrečiai su įprastu „ChatGPT“ atsakymo generavimu, kad reklamos procesas nedarytų įtakos „ChatGPT“ atsakymams. Skelbimus filtruoja ir atrenka atskira sistema, apdorojanti pokalbį pagal savo tinkamumo, kokybės ir pateikimo apribojimus. Šis svarbus architektūrinis atskyrimas – skirtingos paslaugos, naudojančios atskirus modelius ir atskirą kodą – leidžia pagrindiniams „ChatGPT“ serveriams generuoti nereklaminį atsakymą. Tuo metu reklamos sistema savarankiškai įvertina, ar yra tinkama proga reklamai, ir, jei yra, atskiru pateikimo procesu parengia mokamą skelbimą.
Reklamos procesas vyksta lygiagrečiai su „ChatGPT“ atsakymo generavimu.
Šis atskyrimas ne tik apsaugo naudotojo patirtį, bet ir turi praktinių pasekmių. „ChatGPT“ nepriklauso nuo reklamos sistemos: šios paslaugos visiškai nesusietos ir nenaudoja bendro turinio generavimo modelio. Taigi, jei skelbimų pateikimo sistema nepasiekiama arba veikia lėtai, tai neturi įtakos nereklaminio „ChatGPT“ atsakymo generavimui. Vadinasi, reklamos sistema negali sutrikdyti ar sulėtinti „ChatGPT“ veikimo. Kitas šio atskyrimo privalumas – išlaikomi itin aukšti skelbimų vertės reikalavimai. Nepateikti jokio skelbimo yra įprastas, sėkmingas rezultatas. Sistema pateikia skelbimą tik tada, kai jis aiškiai naudingas naudotojams ir reklamuotojams.
Kitas svarbus mūsų reklamos technologijų architektūros komponentas – papildomai suderintas LLM, kuris interpretuoja pokalbius ir valdo visą reklamos procesą agento ciklu: iškviečia įrankius pagrindinėms reklamos sistemos funkcijoms atlikti – nuo paieškos ir reitingavimo iki aukciono ir galiausiai pateikimo. Šį LLM vadiname orkestratoriumi.
Reklamos procesas prasideda nuo naudotojo ketinimų supratimo, kad būtų galima pradėti paiešką – greitai surinkti sąmoningai platų galimų skelbimų rinkinį, kuris vėliau bus filtruojamas. Kai pokalbis gaunamas dalimis, paieškai atsiranda daugiau informacijos, bet ir daugiau neapibrėžtumo, nes reklamos sistema turi atskirti dabartinį ketinimą nuo pasenusio konteksto. Orkestratorius turi suprasti nuorodas į ankstesnes žinutes, atpažinti, kada naudotojas kalba hipotetiškai, ir nelaikyti kiekvieno produkto ar paslaugos paminėjimo prašymu ką nors nusipirkti.
Reklamos orkestratorius naudoja turimą pokalbio ir naudotojo kontekstą, kartotinai ieško gerų skelbimų ir vis sprendžia, kada kurį įrankį iškviesti. Pagrindinis tikslas – rasti tam pokalbiui ir kontekstui tinkamiausią skelbimą, derinantį didelę vertę naudotojui ir reklamuotojui. Jei naudotojas pasirenka suasmenintą reklamą, orkestratorius taip pat atsižvelgia į turimą neskelbtiniems duomenims nepriskiriamą informaciją apie ankstesnius naudotojo pokalbius, kad rastų tinkamiausius skelbimus.
Reklamos orkestratorius kartotinai iškviečia skelbimų pateikimo įrankius, kad rastų vertingų skelbimų.
Pokalbiui tęsiantis ir reklamos orkestratoriui gaunant daugiau naujos informacijos, jis gali iš naujo iškviesti įrankius su atnaujintu kontekstu, kad rastų geresnių skelbimų ir perduotų juos kliento programai. Ši gali panaudoti naujus skelbimus, jei jie gaunami laiku.
Orkestratorius sukurtas taip, kad derintų vertę naudotojui ir reklamuotojui, visada teikdamas pirmenybę naudotojams.
Reklamos sistemą sudaro atskiri įrankiai, kuriuos orkestratorius iškviečia kartotinai, kad rastų pokalbiui tinkamiausius skelbimus. Bendrąja prasme orkestratorius paverčia pokalbius trumpomis tekstinėmis santraukomis, o šios paverčiamos semantiniais įterpiniais – užkoduotomis reikšmėmis, kurias reklamos sistemai lengviau analizuoti. Pagal šiuos įterpinius jis suranda galimus skelbimus, tikrina jų tinkamumą pagal biudžetą, naudotojo nustatymus ir kitus pirminius kriterijus, įvertina jų kokybę bei aktualumą ir galiausiai juos sureitinguoja, kad atrinktų vertingus skelbimus, kuriuos būtų galima parodyti pokalbio atsakymo pabaigoje. Todėl kiekvienas skelbimas turi atitikti aukštus tinkamumo ir aktualumo reikalavimus, kad galėtų būti rodomas.
Pirmiausia orkestratoriaus LLM parengia vieną ar kelias užklausas, atspindinčias aktualų komercinį ketinimą. Tam gali būti performuluojamas pokalbio kontekstas, kad komercinės galimybės neapsiribotų pažodinėmis paieškos užklausomis, o tada kuriamos semantinės reprezentacijos. Orkestratorius apibendrina kelių apsikeitimų žinutėmis pokalbį paieškos sistemai, kad ši kryptingai ieškotų skelbimų mūsų duomenų bazėje.
Skelbimai bus naudingesni ir naudotojams, ir reklamuotojams, jei bus rodomi tik gerai supratus naudotojo ketinimą. Kelios užklausos leidžia išsaugoti skirtingus ketinimo aspektus. Pavyzdžiui, pokalbyje apie kelionės planavimą gali išryškėti atskiri transporto, apgyvendinimo ar veiklos poreikiai. Paieškos sistema gali išsaugoti šiuos skirtumus, užuot sutraukusi visą pokalbį į vieną pažodinę teksto eilutę.
Kaip pavyzdį panagrinėkime galimą pokalbio apie žygio batus eigą:
What should I cover on a two-day trip to Yosemite?
Will it be cold next week?
New [insert brand] product lines?
Nors naudotojas nesusiejo klausimo apie batų prekės ženklą su kelione į Josemičio nacionalinį parką, mūsų reklamos sistemoje šį pokalbį galėtų atspindėti dvi užklausos, pavyzdžiui, [shoes appropriate for hiking trip] ir [new [brand] product lines good for travel]. Tai gali būti tik pirmas bandymas: orkestratorius sukurtas taip, kad kartotinai tikslintų šias reprezentacijas, kol mūsų skelbimų rinkinyje rastų naudotojui itin vertingų skelbimų.
Paieškos metu sudaromas sąmoningai platus galimų skelbimų rinkinys. Skelbimai gali būti rasti taikant skirtingas paieškos strategijas, o vėliau konkuruoti pagal tuos pačius pateikimo apribojimus. Kuriame kelis indeksus, optimizuotus pagal skirtingus sistemos ir produkto apribojimus. Pavyzdžiui, produktų duomenų srauto skelbimų indeksas sukurtas taip, kad ieškodamas geriausių skelbimų atsižvelgtų į teigiamus ar neigiamus produktų atsiliepimus. Kitiems skelbimams, su kuriais atsiliepimai gali būti nesusieti, tai neaktualu. Kiekvienas indeksas optimizuotas tam tikrai apytikslės artimiausių kaimynų (ANN) paieškos versijai, naudojant naudotojo ketinimą atspindinčius įterpinius. Ši ANN paieška yra apytikslės paieškos dideliuose semantiniuose indeksuose algoritmas. Jis leidžia labai greitai rasti skelbimus, artėjant prie gero sprendimo, o ne ieškant „vienintelio teisingo“, ir kartu išlaikyti daugumą aktualių kandidatų.
Skelbimų paieškos metu reklamos sistema iš performuluotų užklausų kuria semantinius įterpinius ir sudaro platų galimų skelbimų rinkinį.
Filtravimo tikslas – atmesti visus galimus skelbimus, kurie neatitinka rodymui keliamų aktualumo, kainos pasiūlymų ir biudžeto reikalavimų. Priklausomai nuo skelbimo ir konfigūracijos, filtruojant gali būti tikrinama reklaminės medžiagos ir kampanijos būsena (ar kampanija ir reklaminė medžiaga aktyvios), kampanijos taikymas (pvz., kuriuose regionuose ir kokiomis kalbomis ji gali būti vykdoma), politikos apribojimai (reikalavimai, ką galima reklamuoti), likęs biudžetas (ar kampanija dar turi lėšų), išlaidų paskirstymas laike (ar biudžetą reikėtų leisti dabar, ar kitu paros metu), rodymo suderinamumas (kokiuose pokalbiuose šį skelbimą galima rodyti) ir pasikartojimų šalinimas reklamuotojo bei kampanijos lygmeniu (tinkamo skelbimų skaičiaus vienam reklamuotojui parinkimas, kad skirtingos įmonės galėtų dalyvauti sąžiningomis sąlygomis).
Tinkamumo patikrą praėję skelbimai pereina į vertinimo etapą, kuriame orkestratorius iškviečia įvairių vertinimo sistemų įrankius. Jie vertina pateikimui svarbius aspektus: semantinį aktualumą (ar skelbimas susijęs su naudotojo tikslu?), prognozuojamą įsitraukimą (ar tikėtina, kad skelbimas bus peržiūrėtas, spustelėtas ir paskatins reklamuotojo pageidaujamą rezultatą?), ankstesnį efektyvumą (ar iki šiol naudotojams rodytas skelbimas davė gerų rezultatų?). Prieš aukcioną orkestratorius taip pat filtruoja skelbimus, kad užtikrintų jų aktualumą ir saugumą. Šios sistemos sumažina galimų skelbimų rinkinį iki aukcionui paruoštų kandidatų, tačiau dar nenusprendžia, kuris skelbimas galiausiai bus pateiktas.
Orkestratorius įvertina paruoštus skelbimus pokalbio kontekste ir nusprendžia, kurie iš jų pakankamai tinkami dalyvauti galutiniame aukcione. Orkestratorius tiesiogiai nenusprendžia, kuris skelbimas bus pateiktas, ir nenustato kainos. Jis pasiūlo kontekstą atitinkančius skelbimus, kuriuos įvertina aukciono įrankis.
Aukcione taikomi galutiniai pateikimo mechanizmai: leidimas dalyvauti aukcione (minimalaus aktualumo ir vertės slenksčio įveikimas), išlaidų paskirstymas laike (tolygesnis reklamos biudžeto naudojimas), kainos pasiūlymų ir aukciono požymių skaičiavimas, reitingavimas atsižvelgiant į kokybę, kainodara ir galutinė atranka.
Po aukciono skelbimas gali būti nepateiktas dėl dviejų priežasčių, būdingų būtent „ChatGPT“ pokalbių aplinkai.
Skelbimas gali atrodyti netinkamas pokalbiui: nors sąžiningumą ir saugumą užtikrinantys modeliai (sprendžiantys, kada tinkama pateikti skelbimą) pripažino pokalbį saugiu reklamai, o skelbimas atitiko politikos reikalavimus, tam tikrų pokalbių kontekste jis vis tiek gali atrodyti netinkamas. Orkestratorius neleidžia rodyti tokių skelbimų.
Skelbimo užklausa gali būti neįvykdyta laiku: jei „ChatGPT“ modelis jau pasiruošęs atsakyti, o skelbimas dar neparuoštas rodyti, skelbimo užklausos laukimo laikas baigiasi ir skelbimas nepateikiamas. Todėl vienas reklamos sistemos tikslų – veikti kuo greičiau. „ChatGPT“ modelio atsakymo laikas kinta, o mes neužlaikome pokalbio atsakymų laukdami, kol bus įkelti skelbimai.
Jei visos minėtos patikros sėkmingos, siunčiame skelbimą į naudotojo sąsają atvaizduoti. Tai laikome skelbimo pateikimu serverio pusėje, tačiau naudotojui jo vis tiek galime neparodyti – taip numatyta sistemos veikime.
Pokalbių produkte, tokiame kaip „ChatGPT“, reklaminės medžiagos pateikimas serverio pusėje negarantuoja, kad skelbimas bus parodytas. Jis taip pat turi būti gautas laiku, kad būtų įtrauktas į dabartinį apsikeitimą žinutėmis. Reklaminę medžiagą sudaro pavadinimas, aprašymas, paskirties nuoroda ir, jei yra, raginimas veikti. Be to, reklamos sistema grąžina modelio sugeneruotą įžangą – trumpą, neutralų paaiškinimą, kaip skelbimas susijęs su pokalbiu. Atskyrus įžangą nuo reklaminės medžiagos, išsaugoma reklamuotojo žinutė, o „ChatGPT“ tonas išlieka neutralus.
„ChatGPT“ naudotojo sąsaja gauna įžangą ir reklaminę medžiagą viename pakete. Jei paketas gaunamas dar nebaigus generuoti „ChatGPT“ atsakymo, sąsaja po atsakymu parodo skelbimą, aiškiai pažymėtą kaip mokamą reklamą. Jei jis gaunamas per vėlai, per tą apsikeitimą žinutėmis skelbimas nerodomas. Tuo skiriasi skelbimo pateikimas serverio pusėje ir jo parodymas naudotojui.
Laimėtojo parinkimas ir pateikimas yra atskiri įvykiai. Pasirinktas skelbimas laikomas pateiktu tik tada, kai „ChatGPT“ patvirtina jo rodymą, jį parodo ir gaunamas pateikimo patvirtinimas.
Mūsų reklamos technologijos naudoja įprastus įvykių registravimo ir duomenų apdorojimo procesus, teikiančius tris pagrindinius privalumus: reklamuotojams lengviau integruoti turimas sistemas su mūsų technologijomis, ataskaitų duomenys padeda tobulinti jų strategijas, o mūsų komanda gali nustatyti tobulintinas sistemos sritis. Be šių ataskaitų ir optimizavimo įrankių, naudojame aukštos kokybės modelį pateikimui vertinti ir kitiems reklamos modeliams mokyti, taip sukurdami veiksmingą savęs tobulinimo ciklą.
Išsami įvykių analizė padeda suprasti ir atskirai tobulinti kiekvieną reklamos sistemos dalį. Žurnalų apdorojimo sistema taip pat registruoja konkrečius rezultatus, pavyzdžiui:
Apsikeitimas žinutėmis buvo netinkamas reklamai.
Pradėtas reklamos seansas, tačiau reklamos gavimo užklausa nepateikta.
Paieška nerado galimų skelbimų.
Galimų skelbimų rasta, bet nepavyko įkelti visų jų duomenų arba jie neatitiko tinkamumo reikalavimų.
Skelbimas buvo pateiktas, o vėliau naudotojas su juo sąveikavo.
Toks išsamus rezultatų išskaidymas padeda atskirai tobulinti kiekvieną skelbimų pateikimo sistemos dalį. Galimybių aptikimui gerinti reikia kitokių duomenų nei paieškai, skelbimų kandidatų kokybei, dalyvavimui aukcione ar pateikimo patikimumui tobulinti.
Pristatymo, pateikimo ir kokybės sistemos stebi skirtingas gyvavimo ciklo dalis. Apdorojant duomenis pagal privatumo reikalavimus nustatoma, ką galima naudoti matavimui ir modelių tobulinimui.
Modeliais grindžiamo vertinimo esmė tokia: mūsų stipriausi, geriausiais protavimo gebėjimais pasižymintys modeliai stebi ir vertina sistemos rezultatus, o tada tobulina papildomai suderintą LLM, mokydami jį veikti geriau. Pavyzdžiui, orkestravimui ar paieškai galime naudoti mažesnius, efektyvesnius arba silpnesnių protavimo gebėjimų modelius, jei mūsų galingiausias modelis renka grįžtamąjį ryšį ir moko šiuos mažesnius modelius kuo geriau atlikti savo užduotis.
Renkame žmonių grįžtamąjį ryšį ir juo remiamės: vertiname naudotojų paspaudimus bei skelbimų slėpimą, vykdome naudotojų apklausas ir gauname tiesioginius reklamuotojų atsiliepimus per mūsų Reklamų tvarkytuvę. Kurdami sistemą taip pat suteikiame galimybę teikti atsiliepimus tiesiogiai mūsų komandai ir išklausome tiek „ChatGPT“ naudotojų, tiek reklamuotojų poreikius. Šis grįžtamojo ryšio šaltinis mūsų kryptį lemia dar labiau nei modelio stebėjimai. Jis iš dalies ir padėjo mums greitai, nuosekliai tobulinant produktą, priimti tinkamus sprendimus. Modelis gali suprasti naudotojo ketinimą ir kritiškai mąstyti, kad pateiktų ką nors vertingo, tačiau skonį formuoja žmonės.
Prieš metus neturėjome reklamos sistemos, o šios srities klausimus svarstė vos keli žmonės. Dabar turime patikimą reklamos sistemą, kurios dabartinį pajamų tempą perskaičiavus metams gaunama daugiau nei 1 mlrd. JAV dolerių, o reklamos procesą valdo LLM pagrįstas orkestratorius. „Codex“ iš esmės padidino mūsų komandos pajėgumus ir leido nuo nulio sukurti sistemą, pasiekusią šį svarbų naudojimo masto etapą neregėtu greičiu. Nuo pat pradžių komandos darbą ir kūrimo procesus organizavome taip, kad naudodami „Codex“ galėtume sparčiai kurti ir plėsti sistemą. Sukūrėme apsaugos priemones, kad „Codex“ galėtų patikimai ir saugiai diegti kodą. Kartu parengėme „Codex“ duomenų infrastruktūros papildinius, kad gerokai sutrumpintume ciklą nuo įžvalgų surinkimo iki sistemos patobulinimų įdiegimo, įskaitant naujas produkto funkcijas, kokybės gerinimą ir didesnį sistemos našumą.
Mūsų sistemos ribos, pagrįstos reklamos principais, kartu su LLM pagrįstu orkestratoriumi leidžia pateikti naudingą reklamą nelaikant kiekvieno pokalbio reklamos užklausa. Ateityje toliau eksperimentuosime su dinamiškesniais reklamos formatais, kad didintume vertę naudotojams (pvz., suteikdami galimybę per skelbimus tiesiogiai bendrauti su įmonėmis) ir reklamuotojams. Savaime tobulėjanti mūsų technologijų architektūra, pagrįsta „OpenAI“ modeliais ir nuolatiniais grįžtamojo ryšio ciklais, leis sparčiau gerinti aktualumą ir suasmeninimą.
