Kuidas lõime ChatGPT uue reklaamitehnoloogia kasutaja usalduse ja asjakohasuse tagamiseks

Traditsioonilised reklaamisüsteemid on loodud reageerima kasutaja kavatsuse üksikutele väljendustele. Kasutaja otsib või vaatab veebis midagi, reklaamisüsteem võtab need päringud ja lehevaatamised vastu sündmustena ning otsib nende põhjal sobivaid reklaame. ChatGPT reklaamitehnoloogia loomine oli teistsugune: kasutaja kavatsus kujuneb vestluste käigus ja muutub ühe vestluse mitme vooru jooksul, ilma et alati tekiks reklaami näitamiseks sobivat hetke. Selle uue lähenemise toetamiseks lõime spetsiaalselt kohandatud reklaamide edastamise süsteemi. See uut tüüpi reklaamitehnoloogia põhineb kohandatud ja järelkoolitatud tipptasemel LLM-il, mis teeb tööriistakutseid otsinguks (parimate valikute leidmiseks), järjestamiseks (kasutaja kaasatuse prognoosimiseks), asjakohasuse hindamiseks (reklaami kasulikkuse hindamiseks) ning oksjonite läbiviimiseks, et valida lõplik reklaam ja määrata selle hind.

Meie reklaamisüsteem arvestab kasutaja muutuvate eesmärkide nüanssidega tänu kolmele põhilisele disainiotsusele: 1) kasutame olekut säilitavaid reklaamiseansse, mis jätavad teabe meelde nii vestlusvoorude kui ka eri vestluste vahel; 2) toetume kohandatud järelkoolitatud LLM-ile, mis kasutab tööriistakutsetel põhinevat arhitektuuri, et tõlgendada vestluse konteksti ja selle taga olevat kavatsust ning seejärel tõhusalt reklaame valida, järjestada ja edastada; 3) reklaamide valimine toimub ChatGPT vastuste loomisest eraldi, omaette teenuses, et reklaamid ei mõjutaks vastuseid ja ChatGPT väljendusviis jääks neutraalseks. Kasutame järelkoolitatud LLM-i kogu reklaamiprotsessi orkestreerimiseks, et valida õige reklaam õigel ajal, lähtudes nii kasutaja praegusest vestlusvoorust kui ka vestlusajaloost. Kui varem võttis sellise enesetäiustuva reklaamisüsteemi nullist ülesehitamine aastaid, siis ChatGPT Ads jõudis aastaseks arvestatud ühe miljardi dollari tulutemponi vähem kui 200 päevaga pärast turuletoomist. Praeguseks on ChatGPT‑s alates teenuse käivitamisest reklaame näidanud üle 100 000 reklaamija.

Tavapärane reklaamipäring saab üldjuhul alguse selgelt määratletud sündmusest. Kasutaja sisestab otsingupäringu või avab veebilehe ning reklaamisüsteem saab päringu. Selline süsteem on üsna lihtne: see otsib võimalikke reklaamikandidaate, järjestab need, korraldab oksjoni, et määrata reklaamivõimalusele sobiv hind, ning näitab valitud reklaami kasutajale. ChatGPT‑s sellist selget hetke iseenesest ei teki.

Inimesed tulevad ChatGPT‑ga vestlema eesmärgiga, mitte ühe vastusega lahendatava otsingupäringuga. Nad võivad planeerida reisi, valida oma ettevõttele tarkvara, sisustada kodu või õppida uut hobi. Kõik see ei toimu ühe vestlusvooru jooksul. ChatGPT aitab kasutajal sageli vestluse käigus selgusele jõuda, mis on oluline.

Näiteks küsis meie inseneritiim ChatGPT‑lt, kuidas jooksuvõistluseks treenida. Vestlus algas üldise küsimusega jooksmise kohta. Mitu vestlusvooru hiljem küsiti treenimiseks sobivate jalatsite kohta. Iga uue tingimuse lisandumisel muutub vestluse kaubanduslik tähendus ning see isikupärane kontekst areneb mitme seansi jooksul. Esimese sõnumi põhjal tegutsev süsteem võib lähtuda täiesti valest kavatsusest, halvendades nii kasutuskogemust ja takistades kasutajat.

Reklaamisüsteemi loomiseks pidime liikuma päringu ja vastuse põhisele reklaamiarhitektuurile toetumisest kaugemale ning ehitama reklaamitehnoloogia nullist. Nii saime leida võimalikke ärivõimalusi, seades esikohale kasutaja usalduse ja saadava kasu.

Iga sõnumi muutmine eraldiseisvaks päringuks, nagu traditsioonilises reklaamisüsteemis, tooks meie vestluskeskkonnas kaasa mitu riski: 1) kasutaja eesmärgi vääriti mõistmine liigse lihtsustamise tõttu, 2) reklaamiprotsessi liiga varajane alustamine, enne kui kasutaja tegelik vajadus on selge, 3) reklaamide näitamine, mis kasutaja teekonda toetamise asemel takistavad, ja 4) reklaamiprotsessi ebatõhus taaskäivitamine iga päringumuutuse korral, mis tekitab müra ja tarbetuid kulusid. Üksiksündmustele keskendumise asemel säilitab reklaamisüsteem, mis hõlmab otsingut, järjestamist ja edastamist, seansi olekut. See tähendab, et reklaamiseanss kestab kogu reklaamiks sobiva vestlusvooru vältel, jättes teabe meelde ja ajakohastades seda muutuste käigus. ChatGPT saadab esialgse päringu konteksti reklaamiserverile. Reklaamisüsteem jälgib arenevat vestlust ja kohandub sellega, selle asemel et toetuda ühele lihtsustatud päringule.

Reklaamide valimine toimub paralleelselt ChatGPT tavapärase vastuse loomisega, et reklaamiprotsess ei mõjutaks ChatGPT vastuseid. Reklaame filtreerib ja valib eraldi süsteem, mis töötleb vestlust oma sobivus-, kvaliteedi- ja edastuspiirangute alusel. See oluline arhitektuurne eraldatus — eri teenused, mis kasutavad eraldi mudeleid ja koodi — jätab tavapärase vastuse loomise ChatGPT põhiserverite ülesandeks. Samal ajal hindab reklaamisüsteem iseseisvalt, kas reklaamiks leidub sobiv võimalus, ja kui jah, valmistab eraldi edastusprotsessis ette sponsitud paigutuse.

Lisaks kasutuskogemuse kaitsmisele on sellisel eraldamisel ka praktilisi eeliseid. ChatGPT ei sõltu reklaamisüsteemist: teenused ei ole omavahel kuidagi põimunud ega kasuta ühist sisuloome mudelit. Seega, kui reklaamide edastamise süsteem pole saadaval või töötab aeglaselt, ei mõjuta see ChatGPT tavapärase vastuse loomist. See tähendab, et reklaamisüsteem ei saa ChatGPT tööd katkestada ega aeglustada. Eraldamise teine eelis on see, et reklaamide kasulikkusele saab seada väga kõrged nõuded. Reklaami tagastamata jätmine on tavaline ja edukas tulemus. Süsteem edastab reklaami ainult siis, kui sellest on selgelt kasu nii kasutajale kui ka reklaamijale.

Meie reklaamitehnoloogia teine oluline arhitektuurikomponent on järelkoolitatud LLM, mis tõlgendab vestlusi ja juhib kogu reklaamiprotsessi agendipõhises tsüklis. Selleks teeb see tööriistakutseid reklaamisüsteemi põhifunktsioonidele alates otsingust ja järjestamisest kuni oksjoni ning lõpuks edastamiseni. Nimetame seda LLM-i orkestreerijaks.

Reklaamiprotsessi esimene osa on kasutaja kavatsuse mõistmine, et alustada otsingut. Otsingu käigus kogutakse kiiresti ja sihilikult laialt potentsiaalseid reklaame, mida hiljem filtreerida. Vestluse järkjärguline vastuvõtmine annab otsingule rikkalikuma, kuid ka mitmetähenduslikuma aluse, sest reklaamisüsteem peab eristama praegust kavatsust aegunud kontekstist. Orkestreerija peab tõlgendama viiteid varasematele sõnumitele, ära tundma, millal kasutaja räägib hüpoteetiliselt, ning vältima iga toote või teenuse mainimise käsitamist ostusoovina.

Reklaamide orkestreerija kasutab olemasolevat vestlust ja kasutaja konteksti, et otsida korduvate sammudega häid reklaame ning otsustada igal sammul, millal millist tööriista välja kutsuda. Eesmärk on leida vestluse ja konteksti jaoks sobivaim reklaam, mis tasakaalustab suurt kasu kasutajale ja reklaamijale. Kui kasutaja valib reklaamide isikupärastamise, arvestab orkestreerija sobivaimate reklaamide leidmiseks ka kasutaja varasemate vestluste kohta kättesaadavat mittetundlikku teavet.

Vestluse edenedes ja uue teabe lisandudes saab reklaamide orkestreerija teha uuendatud kontekstiga uue seeria tööriistakutseid, et leida paremaid reklaame ja tagastada need kliendirakendusele. Kui need jõuavad õigeks ajaks kohale, saab kliendirakendus neid kasutada.

Orkestreerija on loodud tasakaalustama kasutaja ja reklaamija saadavat kasu, seades alati esikohale kasutaja.

Reklaamisüsteem koosneb eraldi tööriistadest, mida orkestreerija kutsub korduvalt välja, et leida vestluse jaoks parimad reklaamid. Üldjoontes koostab orkestreerija vestlustest lühikesed tekstikokkuvõtted, mis teisendatakse semantilisteks vektorkujudeks ehk talletatud tähendusteks, mida reklaamisüsteemil on lihtsam läbi töötada. Seejärel otsib ta nende vektorkujude abil reklaamikandidaate, filtreerib neid sobivuse alusel (lähtudes eelarvest, kasutaja seadetest ja muudest eelkontrollidest), hindab nende kvaliteeti ja asjakohasust ning järjestab need lõplikult, et leida kasulikud reklaamipaigutused vestlusvastuse lõppu. Seega peab iga reklaam vastama rangetele sobivus- ja asjakohasusnõuetele, et seda saaks kuvada.

Orkestreeriv LLM koostab esmalt ühe või mitu päringut, mis kajastavad asjakohast kaubanduslikku kavatsust. See võib hõlmata vestluse konteksti ümbersõnastamist, et leida kaubanduslikke võimalusi ka väljaspool üksüheseid otsingupäringuid, ning seejärel semantiliste esituste loomist. Selleks teeb orkestreerija mitme vooruga vestlusest otsingusüsteemile kokkuvõtte, mis võimaldab meie andmebaasist sihipäraselt reklaame otsida.

Reklaamipaigutused on paremad nii kasutajatele kui ka reklaamijatele, kui neid näidatakse ainult siis, kui kasutaja kavatsust on põhjalikult mõistetud. Mitu päringut võimaldavad säilitada kavatsuse eri tahud. Näiteks võib reisi planeerimise vestlus sisaldada eraldi vajadusi seoses transpordi, majutuse või tegevustega. Otsingusüsteem saab neid erisusi säilitada, selle asemel et suruda kogu vestlus ühte sõnasõnalisse tekstistringi.

Vaatame näiteks võimalikku vestluskäiku matkajalatsitest:

1. Mida tasuks kahepäevasel Yosemite’i reisil ette võtta?

2. Kas järgmisel nädalal on külm ilm?

3. Uued [sisesta brändi nimi] tootesarjad?

Kuigi kasutaja pole jalatsibrändi puudutavat küsimust Yosemite’i reisiga sidunud, võib meie reklaamisüsteem esitada selle vestluse kahe päringuna, näiteks [matkamiseks sobivad jalanõud] ja [uus [bränd] reisimiseks sobivad tootesarjad]. See võib olla alles esimene katse: orkestreerija on loodud neid esitusi korduvalt täpsustama, kuni leiab meie reklaamivalikust kasutajale väga kasulikud reklaamid.

Otsingu käigus luuakse teadlikult lai reklaamivalik. Kandidaadid võivad pärineda eri otsingustrateegiatest ja konkureerida hiljem samade edastuspiirangute alusel. Loome mitu indeksit, mis on optimeeritud süsteemi ja toote eri piirangute jaoks. Näiteks tootevoo reklaamide indeks on loodud parimate võimalike reklaamide otsimisel arvestama positiivsete ja negatiivsete tootearvustustega. Teiste reklaamide puhul, millega ei pruugi arvustusi kaasneda, pole see asjakohane. Iga indeks on optimeeritud mõne ligikaudse lähima naabri otsingu (ANN) variandi jaoks, kasutades kasutaja kavatsust esindavaid vektorkujusid. ANN-otsing on lähendusalgoritm suurtest semantilistest indeksitest otsimiseks. See tähendab, et reklaamid leitakse väga kiiresti: „õige“ lahenduse otsimise asemel jõutakse hea lahenduse lähedale, säilitades samas enamiku asjakohaseid kandidaate.

Filtreerimise eesmärk on kõrvaldada valikust kõik reklaamikandidaadid, mis ei vasta asjakohasuse, pakkumiste ja eelarve poolest paigutuse nõuetele. Olenevalt kandidaadist ja seadistusest võidakse filtreerimisel kontrollida reklaammaterjali ja kampaania saadavust (kas kampaania või reklaammaterjalid on aktiivsed), kampaania sihtimist (nt millistes piirkondades tohib kampaaniat näidata), reeglitest tulenevaid piiranguid (nõudeid selle kohta, mida tohib reklaamida), eelarve olemasolu (kas kampaanial on veel raha kulutada), kulutamise tempot (kas kampaania peaks eelarvet kulutama praegu või muul ajal päeva jooksul), paigutuse sobivust (millistes vestlustes tohib seda reklaami näidata) ning dubleerimist reklaamija ja kampaania tasandil (igalt reklaamijalt sobiva arvu reklaamide valimist, et tagada ettevõtetele õiglased osalemisvõimalused).

Sobivuskontrollid läbinud kandidaadid liiguvad hindamisetappi, kus orkestreerija teeb tööriistakutseid eri hindamissüsteemidele. Need hindavad edastamise seisukohalt näiteks semantilist asjakohasust (kas reklaam vastab kasutaja eesmärgile?), prognoositavat kaasatust (kas reklaami tõenäoliselt vaadatakse ja klõpsatakse ning kas see viib reklaamija soovitud tulemuseni?) ja varasemat tulemuslikkust (kas reklaam on seni kasutajatele näidates häid tulemusi andnud?). Enne oksjonit filtreerib orkestreerija reklaame ka asjakohasuse ja ohutuse tagamiseks. Need süsteemid kitsendavad valiku väiksemaks oksjonivalmis kandidaatide kogumiks, kuid ei määra veel lõplikult edastatavat reklaami.

Orkestreerija hindab ettevalmistatud kandidaate vestluse kontekstis ja valib välja need, mis on piisavalt sobivad, et osaleda lõplikul oksjonil. Orkestreerija ei otsusta otseselt, milline reklaam edastatakse, ega määra ka hinda. Ta esitab konteksti sobivad kandidaadid oksjonitööriistale hindamiseks.

Oksjon rakendab lõplikud edastusmehhanismid: oksjonile lubamise (asjakohasuse ja kasulikkuse miinimumlävendi ületamise), kulutamistempo juhtimise (reklaamieelarve ühtlasema kulutamise), pakkumiste ja oksjonitunnuste arvutamise, kvaliteediga korrigeeritud järjestamise, hinnastamise ja lõpliku valiku.

Pärast oksjonit võib reklaam jääda edastamata kahel põhjusel, mis mõlemad on omased ChatGPT vestluskeskkonnale.

1. Reklaam võib tunduda vestluses kohatu: kuigi turvalisust hindavad mudelid (mudelid, mis otsustavad, millal on sobiv reklaami näidata) pidasid vestlust reklaamipaigutuseks ohutuks ja reklaam ise vastas reeglitele, võib see mõne vestluse kontekstis siiski kohatu tunduda. Orkestreerija takistab selliste reklaamide näitamist.

2. Reklaamipäring ei pruugi õigeks ajaks kohale jõuda: kui ChatGPT mudel on vastamiseks valmis, kuid reklaam pole veel paigutamiseks valmis, aegub reklaamipäring ja reklaami ei edastata. Seetõttu on reklaamisüsteemi üks eesmärke töötada võimalikult kiiresti. ChatGPT mudeli vastamisaeg on muutuv ja me ei lükka vestlusvastuseid reklaamide laadimise ootamiseks edasi.

Kui kõik ülaltoodud kontrollid on läbitud, saadame reklaami kasutajaliidesesse kuvamiseks. Loeme seda reklaami serveripoolseks edastamiseks, kuid kasutaja ei pruugi reklaami siiski näha — see on teadlik disainivalik.

Vestluspõhises tootes nagu ChatGPT ei taga reklaammaterjali serveripoolne edastamine veel reklaami kuvamist: reklaam peab jõudma kohale ka õigeks ajaks, et see saaks käimasolevas vestlusvoorus ilmuda. Reklaammaterjal sisaldab pealkirja, kirjeldust, sihtlinki ja võimalikku üleskutset tegutsema. Lisaks tagastab reklaamisüsteem mudeli loodud eessõna: lühikese neutraalse sissejuhatuse, mis selgitab reklaami seost vestlusega. Eessõna hoidmine reklaammaterjalist eraldi säilitab reklaamija sõnumi, hoides samas ChatGPT väljendusviisi neutraalsena.

ChatGPT kasutajaliides saab eessõna ja reklaammaterjali ühe paketina. Kui pakett saabub enne ChatGPT vastuse valmimist, kuvab kasutajaliides reklaami ChatGPT vastuse all, selgelt sponsituna märgistatult. Kui see saabub liiga hilja, siis selles vestlusvoorus reklaami ei näidata. Selles seisneb erinevus reklaami serveripoolse edastamise ja kasutajale nähtava reklaaminäitamise vahel.

Meie reklaamitehnoloogia kasutab tavapärast logimist ja andmetöötlusahelaid, millel on kolm peamist eelist: reklaamijatel on lihtsam oma olemasolevaid süsteeme meie tehnoloogiaga integreerida, aruandlusandmed aitavad neil oma strateegiaid parandada ning meie tiim saab leida süsteemis täiustamist vajavaid kohti. Lisaks neile aruandlus- ja optimeerimistööriistadele kasutame kvaliteetset mudelit, et hinnata reklaamide edastamist ja treenida teisi reklaamimudeleid, luues tõhusa enesetäiustamise tsükli.

Toimunu üksikasjalik analüüs aitab meil mõista ja täiustada reklaamisüsteemi iga osa eraldi. Logide töötlemise süsteem talletab ka üksikasjalikke tulemusi, näiteks:

• Vestlusvoor ei sobinud reklaami näitamiseks.

• Reklaamiseanss algas, kuid otsingut ei taotletud.

• Otsing ei tagastanud ühtegi kandidaati.

• Kandidaadid leiti, kuid nende andmetega rikastamine ebaõnnestus või nad ei läbinud sobivuskontrolli.

• Reklaam edastati ja kasutaja tegi hiljem sellega seotud toimingu.

Need üksikasjalikud ülevaated aitavad meil täiustada reklaamide edastamise süsteemi iga osa eraldi. Reklaamivõimaluste tuvastamise parandamiseks on vaja teistsuguseid andmeid kui otsingu, kandidaatide kvaliteedi, oksjonil osalemise või edastamise töökindluse parandamiseks.

Mudelipõhine hindamine lähtub ideest, et meie tugevaimad ja parima arutlusvõimega mudelid jälgivad ning hindavad süsteemi tulemusi ja täiustavad seejärel järelkoolitatud LLM-i, treenides seda paremini toimima. Näiteks saame kasutada orkestreerimiseks või otsinguks väiksemaid ja tõhusamaid või väiksema arutlusvõimega mudeleid, kui meie kõige võimekam mudel kogub tagasisidet ja treenib neid väikeseid abilisi tegema oma tööd võimalikult hästi.

Kogume inimeste tagasisidet (kasutajate klõpse ja reklaamide peitmisi), korraldame kasutajaküsitlusi ning saame reklaamijatelt otsest tagasisidet Ads Manageri kaudu. Arvestame kõigi nende allikatega. Ka meie tiim on arenduse käigus tagasisidele avatud ning kuulame vahetult nii ChatGPT kasutajate kui ka reklaamijate soove. See tagasiside suunab meie tööd isegi rohkem kui mudeli tähelepanekud ning on üks põhjusi, miks oleme saanud kiiresti katsetades õigete tooteotsusteni jõuda. Mudel võib küll mõista kasutaja kavatsust ja kriitiliselt mõeldes midagi kasulikku pakkuda, kuid maitse kujundavad inimesed.

Aasta tagasi polnud meil reklaamisüsteemi ja selle valdkonna küsimustega tegeles vaid mõni inimene. Nüüd on meil töökindel reklaamisüsteem, mille tulutempo ületab aastaseks arvestatuna ühe miljardi dollari piiri ja mille reklaamiprotsessi juhib LLM-põhine orkestreerija. Codex võimendas oluliselt meie töövõimet, võimaldades meil süsteemi nullist üles ehitada ja jõuda selle olulise kasutusmahuni enneolematu kiirusega. Korraldasime algusest peale tiimi töö ja arenduse töövood nii, et saaksime Codexi abil süsteemi kiiresti ehitada ja laiendada. Lõime Codexile kaitsemeetmed, et koodi saaks kasutusele võtta töökindlalt ja ohutult. Samal ajal seadistasime Codexile andmetaristu pistikprogrammid, et oluliselt kiirendada tsüklit uute teadmiste kogumisest süsteemi täiustuste juurutamiseni. See hõlmab uusi tootefunktsioone, kvaliteediparandusi ja süsteemi paremat jõudlust.

Meie süsteemi piirangud, mis põhinevad meie reklaamipõhimõtetel⁠, ja LLM-põhine orkestreerija võimaldavad koos muuta reklaamid kasulikuks, käsitamata iga vestlust reklaamipäringuna. Edaspidi jätkame dünaamilisemate reklaamivormingute katsetamist, et suurendada kasu nii kasutajatele kui ka reklaamijatele. Näiteks võime anda kasutajatele võimaluse reklaamide kaudu otse ettevõtetega vestelda. OpenAI mudelitele ja pidevatele tagasisidetsüklitele rajatud enesetäiustuv arhitektuur aitab meil asjakohasust ja isikupärastamist aja jooksul üha kiiremini parandada.