Kā izveidojām jaunu ChatGPT reklāmu sistēmu, kas saglabā uzticību un rāda atbilstošas reklāmas

Tradicionālās reklāmu sistēmas ir veidotas, lai reaģētu uz atsevišķām lietotāja nolūka izpausmēm. Lietotājs kaut ko meklē vai apskata tiešsaistē, reklāmu sistēma saņem šos vaicājumus un lapu skatījumus kā notikumus un, balstoties uz tiem, meklē atbilstošas reklāmas. Reklāmu tehnoloģiju kopuma izveide ChatGPT bija citāda: lietotāja nolūks attīstās sarunu gaitā un mainās vairāku ziņojumu apmaiņu laikā, dažkārt tā arī nerodoties piemērotam brīdim reklāmai. Lai atbalstītu šo jauno pieeju, mēs izveidojām īpaši pielāgotu reklāmu piegādes sistēmu. Šī jaunā veida reklāmu tehnoloģiju kopuma pamatā ir īpaši pielāgots un papildus apmācīts avangarda LVM, kas izsauc rīkus atlasei (labāko variantu noteikšanai), ranžēšanai (lietotāju iesaistes prognozēšanai), atbilstības novērtēšanai (reklāmas lietderības izvērtēšanai) un izsoļu rīkošanai, lai galīgi atlasītu reklāmu un noteiktu tās cenu.

Mūsu reklāmu sistēma ņem vērā lietotāju mainīgo mērķu nianses, pateicoties trim būtiskiem projektēšanas lēmumiem: 1) ieviest reklāmu sesijas, kas saglabā stāvokli, proti, atceras informāciju gan starp sarunas ziņojumu apmaiņām, gan vairākām sarunām; 2) izmantot īpaši pielāgotu un papildus apmācītu LVM, kas ar rīku izsaukumu arhitektūru interpretē sarunas kontekstu un pamatā esošo nolūku un pēc tam efektīvi atlasa, ranžē un piegādā reklāmas; 3) reklāmu atlasi veikt atsevišķā pakalpojumā, nošķirti no ChatGPT atbilžu ģenerēšanas, lai reklāmas neietekmētu atbildes un ChatGPT saglabātu neitrālu izteiksmes veidu. Mēs izmantojam savu papildus apmācīto LVM, lai koordinētu visu reklāmu procesu, nosakot, kuru reklāmu un kurā brīdī parādīt, balstoties gan uz lietotāja pašreizējo ziņojumu apmaiņu, gan sarunu vēsturi. Agrāk šādas pašpilnveidojošas reklāmu sistēmas izveide no nulles prasīja gadus, bet ChatGPT Ads ieņēmumi, pārrēķinot uz gadu, sasniedza 1 miljardu ASV dolāru nepilnās 200 dienās pēc palaišanas; kopš palaišanas reklāmas ChatGPT jau ir izvietojuši vairāk nekā 100 000 reklāmdevēju.

Parasts reklāmas pieprasījums parasti sākas ar skaidri definētu notikumu. Lietotājs iesniedz meklēšanas vaicājumu vai atver tīmekļa lapu, un reklāmu sistēma saņem pieprasījumu. Šāda sistēma ir samērā vienkārša: tā atlasa iespējamos reklāmu kandidātus, ranžē tos, rīko izsoli, lai noteiktu atbilstošu reklāmas izvietošanas cenu, un parāda lietotājam izraudzīto reklāmu. ChatGPT darbībā šāds konkrēts brīdis dabiski nerodas.

Cilvēki sāk sarunu ar ChatGPT, lai sasniegtu mērķus, nevis iegūtu vienu atbildi uz meklēšanas vaicājumu. Viņi var plānot ceļojumu, izvēlēties programmatūru savam uzņēmumam, iekārtot mājokli vai apgūt jaunu vaļasprieku. Tas viss nenotiek vienā ziņojumu apmaiņā. ChatGPT bieži vien sarunas gaitā palīdz lietotājam noskaidrot, kas ir svarīgi.

Piemēram, mūsu inženieru komanda jautāja ChatGPT, kā trenēties sacensībām. Saruna sākās ar vispārīgu jautājumu par skriešanu. Pēc vairākām ziņojumu apmaiņām viņi jautāja par treniņiem piemērotiem apaviem. Katrs jauns nosacījums maina sarunas komerciālo nozīmi, un šis personalizētais konteksts attīstās vairākās sesijās. Sistēma, kas rīkotos pēc pirmā ziņojuma, varētu pilnībā pārprast nolūku, pasliktinot lietotāja pieredzi un traucējot viņam sasniegt mērķi.

Veidojot mūsu reklāmu sistēmu, mums bija jāatsakās no pieprasījuma un atbildes reklāmu arhitektūras un jāizveido tehnoloģiju kopums no nulles, lai atrastu potenciālās komerciālās iespējas, vienlaikus par prioritāti izvirzot lietotāju uzticēšanos un ieguvumu.

Pārvēršot katru ziņojumu par atsevišķu pieprasījumu, kā tradicionālā reklāmu sistēmā, mūsu tērzēšanas vidē rastos vairāki riski: 1) pārprast lietotāja mērķi, to pārlieku vienkāršojot; 2) sākt reklāmu plūsmu pārāk agri, pirms kļuvusi skaidra lietotāja patiesā vajadzība; 3) rādīt reklāmas, kas traucē lietotājam sasniegt mērķi, nevis palīdz; 4) neefektīvi atkārtot reklāmu plūsmu ikreiz, kad pieprasījums mainās, radot lieku informāciju un izmaksas. Tā vietā, lai balstītos uz atsevišķiem notikumiem, reklāmu sistēma, kas ietver atlasi, ranžēšanu un piegādi, uztur sesiju ar stāvokļa saglabāšanu. Tas nozīmē, ka reklāmu sesija darbojas visu reklāmām piemērotās ziņojumu apmaiņas laiku, atceroties un atjauninot informāciju, tai mainoties. ChatGPT nosūta sākotnējā pieprasījuma kontekstu reklāmu serverim. Reklāmu sistēma seko sarunas attīstībai un pielāgojas tai, nevis balstās uz vienu vienkāršotu vaicājumu.

Reklāmu atlases process notiek paralēli parastajai ChatGPT atbildes ģenerēšanai, lai reklāmu plūsma neietekmētu ChatGPT atbildes. Reklāmas filtrē un atlasa atsevišķa sistēma, kas apstrādā sarunu saskaņā ar saviem piemērotības, kvalitātes un piegādes ierobežojumiem. Šī būtiskā arhitektūras robeža — dažādi pakalpojumi, kas izmanto atsevišķus modeļus un kodu, — ļauj ChatGPT pamata serveriem ģenerēt atbildi bez reklāmu ietekmes. Tikmēr reklāmu sistēma neatkarīgi izvērtē, vai sarunā ir piemēroti rādīt reklāmu, un, ja ir, atsevišķā rādīšanas procesā sagatavo sponsorētu reklāmu.

Šī nošķiršana ne tikai aizsargā lietotāja pieredzi, bet arī sniedz praktiskus ieguvumus. ChatGPT nav atkarīgs no reklāmu sistēmas — šie pakalpojumi nekādi nav savstarpēji sasaistīti un neizmanto kopīgu satura ģenerēšanas modeli. Tāpēc, ja reklāmu rādīšanas sistēma nav pieejama vai darbojas lēni, tas neietekmē ChatGPT pamata atbildes ģenerēšanu. Tas nozīmē, ka reklāmu sistēma nevar apturēt vai aizkavēt ChatGPT darbību. Vēl viens šīs nošķiršanas ieguvums ir ļoti augstas prasības reklāmu lietderībai. Arī reklāmas neatgriešana ir parasts, veiksmīgs rezultāts. Sistēma piegādā reklāmu tikai tad, ja tā nepārprotami sniedz labumu gan lietotājiem, gan reklāmdevējiem.

Otra būtiskā mūsu reklāmu tehnoloģiju kopuma arhitektūras sastāvdaļa ir papildus apmācīts LVM, kas interpretē sarunas un vada visu reklāmu plūsmu aģenta ciklā — izsaucot rīkus reklāmu sistēmas pamatfunkcijām, no atlases un ranžēšanas līdz izsolei un, visbeidzot, piegādei. Šo LVM mēs saucam par reklāmu procesa koordinatoru.

Reklāmu plūsma sākas ar lietotāja nolūka izpratni, lai uzsāktu atlasi — ātru un apzināti plašu iespējamo reklāmu meklēšanu, kuras vēlāk tiks filtrētas. Pakāpeniski saņemot sarunas saturu, atlases sistēmai ir pieejams plašāks konteksts, taču atlases uzdevums kļūst neviennozīmīgāks, jo reklāmu sistēmai jāatšķir pašreizējais nolūks no novecojuša konteksta. Koordinatoram jāinterpretē atsauces uz iepriekšējiem ziņojumiem, jāatpazīst, kad lietotājs izsakās hipotētiski, un jāizvairās uztvert katru produkta vai pakalpojuma pieminējumu kā vēlmi kaut ko iegādāties.

Reklāmu procesa koordinators izmanto pieejamo sarunas un lietotāja kontekstu, atkārtotos ciklos meklējot labas reklāmas un katrā reizē izvēloties, kuru rīku un kad izsaukt. Galvenais mērķis ir atrast sarunai un kontekstam vispiemērotāko reklāmu — tādu, kas līdzsvaro lielu ieguvumu lietotājam un reklāmdevējam. Ja lietotājs izvēlas personalizēt reklāmas, koordinators ņem vērā arī pieejamo nesensitīvo informāciju par lietotāja iepriekšējām sarunām, lai atrastu visatbilstošākās reklāmas.

Sarunai turpinoties un reklāmu procesa koordinatoram saņemot jaunāku informāciju, tas var veikt jaunu rīku izsaukumu virkni ar atjaunināto kontekstu, lai atrastu labākas reklāmas un atgrieztu tās klienta lietotnei. Lietotne var izmantot šīs jaunās reklāmas, ja tās pienāk laikus.

Koordinators ir veidots tā, lai līdzsvarotu ieguvumu lietotājam un reklāmdevējam, vienmēr pirmajā vietā izvirzot lietotājus.

Reklāmu sistēma sastāv no atsevišķiem rīkiem, un koordinators tos izsauc atkārtotos ciklos, lai atrastu sarunai vispiemērotākās reklāmas. Kopumā koordinators pārvērš sarunas īsos teksta kopsavilkumos, kurus pēc tam pārveido semantiskos iegulumos — saglabātās nozīmes reprezentācijās, kurās reklāmu sistēmai ir vieglāk meklēt. Ar šiem iegulumiem tas atlasa reklāmu kandidātus, filtrē tos pēc piemērotības kritērijiem (budžeta, lietotāja iestatījumiem un citām sākotnējām pārbaudēm), novērtē kvalitāti un atbilstību un veic galīgo ranžēšanu, lai noteiktu vērtīgākās reklāmas izvietošanai tērzēšanas atbildes beigās. Tādējādi katrai reklāmai jāizpilda augstas piemērotības un atbilstības prasības, lai to varētu izvietot.

Vispirms LVM, kas darbojas kā koordinators, sagatavo vienu vai vairākus vaicājumus, kas atspoguļo attiecīgo komerciālo nolūku. Tas var ietvert sarunas konteksta pārformulēšanu, lai paplašinātu komerciālās iespējas ārpus tiešiem meklēšanas vaicājumiem, un pēc tam — semantisko reprezentāciju izveidi. Koordinators atlases sistēmai sagatavo kopsavilkumu par sarunu ar vairākām ziņojumu apmaiņām, lai mērķtiecīgi atlasītu reklāmas no mūsu datubāzes.

Reklāmu rādīšana būs vērtīgāka gan lietotājiem, gan reklāmdevējiem, ja reklāmas rādīs tikai tad, kad lietotāja nolūks būs padziļināti izprasts. Vairāki vaicājumi var saglabāt dažādus nolūka aspektus. Piemēram, sarunā par ceļojuma plānošanu var būt atsevišķas vajadzības saistībā ar transportu, naktsmītni vai aktivitātēm. Atlases sistēma var saglabāt šīs atšķirības, nevis saspiest visu sarunu vienā vaicājuma teksta virknē.

Piemēram, aplūkosim iespējamu sarunas gaitu par pārgājienu apaviem:

1. Ko apskatīt divu dienu ceļojumā uz Josemitu nacionālo parku?

2. Vai nākamnedēļ būs auksts?

3. Jaunas [insert brand] produktu līnijas?

Lai gan lietotājs nav sasaistījis jautājumu par apavu zīmolu ar braucienu uz Josemitu nacionālo parku, mūsu reklāmu sistēmā šo sarunu varētu atspoguļot divi vaicājumi, piemēram, [pārgājienam piemēroti apavi] un [jaunas [brand] produktu līnijas, kas piemērotas ceļošanai]. Tas var būt tikai pirmais mēģinājums; koordinators ir veidots tā, lai atkārtoti pilnveidotu šīs reprezentācijas, līdz mūsu reklāmu klāstā atrod lietotājam ļoti vērtīgas reklāmas.

Atlase ir process, kurā tiek veidota apzināti plaša iespējamo reklāmu kopa. Kandidātus var iegūt ar dažādām atlases stratēģijām, un vēlāk tie var konkurēt saskaņā ar vienādiem rādīšanas ierobežojumiem. Mēs veidojam vairākus indeksus, kas optimizēti, ņemot vērā dažādus sistēmas un produkta ierobežojumus. Piemēram, uz produktu datu plūsmu balstītu reklāmu indekss ir veidots tā, lai, atlasot labākās iespējamās reklāmas, ņemtu vērā pozitīvas vai negatīvas produktu atsauksmes. Citām reklāmām, ar kurām atsauksmes var nebūt saistītas, tas nav būtiski. Katrs indekss ir optimizēts kādam aptuvenās tuvāko kaimiņu (ANN) meklēšanas variantam, izmantojot iegulumus, kas atspoguļo lietotāja nolūku. Šī ANN meklēšana ir tuvinājuma algoritms atlasei lielos semantiskos indeksos. Tas nozīmē, ka reklāmas tiek atlasītas ļoti ātri, tuvojoties labam risinājumam, nevis meklējot „pareizo”, vienlaikus saglabājot lielāko daļu atbilstošo kandidātu.

Filtrēšanas mērķis ir izslēgt no izskatīšanas visus reklāmu kandidātus, kas neatbilst izvietošanas prasībām attiecībā uz atbilstību, solījumiem un budžetu. Atkarībā no kandidāta un konfigurācijas filtrēšanas pārbaudes var ietvert reklāmas materiālu un kampaņas pieejamību (vai kampaņa un reklāmas materiāli ir aktīvi), kampaņas mērķauditorijas iestatījumus (piemēram, kādās valodās un kuros reģionos drīkst rādīt kampaņas reklāmas), politiku ierobežojumus (prasības attiecībā uz to, ko drīkst reklamēt), budžeta pieejamību (vai kampaņai vēl ir neiztērēts budžets), tēriņu tempu (vai kampaņai budžets jātērē tagad vai citā dienas laikā), izvietojuma saderību (kāda veida sarunās šo reklāmu drīkst rādīt), kā arī dublēšanās novēršanu reklāmdevēja un kampaņas līmenī (piemērota reklāmu skaita izvēli katram reklāmdevējam, lai uzņēmumiem nodrošinātu taisnīgas dalības iespējas).

Kandidāti, kas iztur piemērotības pārbaudes, nonāk vērtēšanas posmā. Tajā koordinators ar rīku izsaukumiem vēršas pie dažādām vērtēšanas sistēmām, lai izvērtētu rādīšanai būtiskus aspektus: semantisko atbilstību (vai reklāma atbilst lietotāja mērķim?), prognozēto iesaisti (vai reklāma, visticamāk, tiks skatīta, uz tās klikšķinās un tā novedīs pie reklāmdevēja vēlamā rezultāta?) un līdzšinējos rezultātus (vai reklāma līdz šim ir devusi labus rezultātus, kad tā ir rādīta lietotājiem?). Pirms izsoles koordinators arī filtrē reklāmas, lai nodrošinātu to atbilstību un drošību. Šīs sistēmas sašaurina izvēli līdz mazākai, izsolei gatavai kandidātu kopai, taču joprojām nenosaka, kura reklāma galu galā tiks piegādāta.

Koordinators izvērtē sagatavotos kandidātus sarunas kontekstā un izvēlas, kuri reklāmu kandidāti ir pietiekami piemēroti, lai piedalītos galīgajā izsolē. Orķestrators tieši neizlemj, kura reklāma tiks rādīta, un nenosaka cenu. Tas izvirza kontekstam atbilstošus kandidātus, kurus izvērtē izsoles rīks.

Izsolē tiek piemēroti galīgie rādīšanas mehānismi: pielaišana izsolei (minimālā atbilstības un vērtības sliekšņa sasniegšana), tēriņu tempa regulēšana (vienmērīgāka reklāmu budžeta tērēšana), solījumu un izsoles pazīmju aprēķināšana, ranžēšana ar kvalitātes korekcijām, cenas noteikšana un galīgā atlase.

Pēc izsoles reklāma var netikt piegādāta divu iemeslu dēļ, kas abi ir raksturīgi tieši ChatGPT sarunu videi.

1. Reklāma sarunā var šķist neiederīga: lai gan drošības un atbilstības modeļi (modeļi, kas izlemj, kad ir piemēroti rādīt reklāmu) pašu sarunu ir atzinuši par drošu reklāmas izvietošanai un pati reklāma ir atzīta par atbilstošu politikām, noteiktu sarunu kontekstā tā tomēr var šķist neiederīga. Koordinators bloķē šādu reklāmu rādīšanu.

2. Reklāmas pieprasījums var netikt izpildīts laikus: ja ChatGPT modelis ir gatavs atbildēt, bet reklāma vēl nav gatava izvietošanai, reklāmas pieprasījumam iestājas noildze un reklāma netiek piegādāta. Tāpēc viens no reklāmu sistēmas mērķiem ir darboties pēc iespējas ātrāk. ChatGPT modeļa atbildes laiks ir mainīgs, un mēs neaizkavējam atbildes sarunā, gaidot reklāmu ielādi.

Ja visas iepriekš minētās pārbaudes ir izturētas, mēs nosūtām reklāmu lietotāja saskarnei attēlošanai. Mēs to uzskatām par reklāmas piegādi servera pusē, taču lietotājam reklāma joprojām var netikt parādīta — un tā sistēma ir apzināti veidota.

Uz sarunām balstītā produktā, piemēram, ChatGPT, reklāmas materiāla piegāde servera pusē negarantē, ka reklāma tiks parādīta; tai arī jāpienāk laikus, lai to iekļautu pašreizējā ziņojumu apmaiņā. Reklāmas materiāls ietver virsrakstu, aprakstu, galamērķa saiti un aicinājumu rīkoties, ja tāds ir. Turklāt reklāmu sistēma atgriež arī modeļa ģenerētu ievadtekstu — īsu, neitrālu ievadu, kas paskaidro, kā reklāma ir saistīta ar sarunu. Ievadteksta nošķiršana no reklāmas materiāla saglabā reklāmdevēja vēstījumu, vienlaikus saglabājot neitrālu ChatGPT izteiksmes veidu.

ChatGPT lietotāja saskarne saņem ievadtekstu un reklāmas materiālu vienā paketē. Ja pakete pienāk, pirms ChatGPT atbilde ir pilnībā ģenerēta, saskarne parāda reklāmu zem ChatGPT atbildes, skaidri marķējot to kā sponsorētu saturu. Ja tā pienāk pārāk vēlu, šajā ziņojumu apmaiņā reklāma netiek parādīta. Tā ir atšķirība starp reklāmas piegādi servera pusē un reklāmas faktisku parādīšanu lietotājam.

Mūsu reklāmu tehnoloģiju kopums izmanto tradicionālus žurnalēšanas un datu apstrādes konveijerus, kas sniedz trīs galvenos ieguvumus: reklāmdevēji var vieglāk integrēt savas esošās sistēmas ar mūsu tehnoloģijām, izmantot pārskatu datus savu stratēģiju uzlabošanai, bet mūsu komanda var noteikt, kuras sistēmas daļas jāpilnveido. Papildus šiem pārskatu un optimizācijas rīkiem mēs izmantojam augstas kvalitātes modeli, lai novērtētu reklāmu piegādi un apmācītu citus reklāmu modeļus, veidojot efektīvu pašpilnveides ciklu.

Detalizēta notikušā analīze palīdz mums izprast un uzlabot katru reklāmu sistēmas daļu atsevišķi. Žurnālu apstrādes sistēma reģistrē arī konkrētus iznākumus, piemēram:

• Ziņojumu apmaiņa nebija piemērota reklāmas rādīšanai.

• Reklāmu sesija tika sākta, bet atlase netika pieprasīta.

• Atlasē netika atrasts neviens kandidāts.

• Kandidāti tika atlasīti, bet neizdevās ielādēt to pilnos datus vai tie neizturēja piemērotības pārbaudes.

• Reklāma tika piegādāta, un vēlāk lietotājs ar to mijiedarbojās.

Šāda detalizēta analīze palīdz mums uzlabot katru reklāmu rādīšanas sistēmas daļu atsevišķi. Reklāmu iespēju atpazīšanas uzlabošanai vajadzīgi citi dati nekā atlases, kandidātu kvalitātes, dalības izsolē vai piegādes uzticamības uzlabošanai.

Modeļos balstītas novērtēšanas ideja ir šāda: mūsu spēcīgākie modeļi ar visaugstāko spriestspēju vēro un izvērtē sistēmas rezultātus, pēc tam pilnveido papildus apmācīto LVM, apmācot to darboties labāk. Piemēram, reklāmu procesa koordinēšanai vai atlasei varam izmantot mazākus, efektīvākus modeļus vai modeļus ar zemāku spriestspēju, ja mūsu jaudīgākais modelis apkopo atsauksmes un apmāca šos mazākos palīgus paveikt uzdevumu pēc iespējas labāk.

Mēs apkopojam un ņemam vērā cilvēku sniegtos signālus — lietotāju klikšķus un reklāmu paslēpšanu —, kā arī lietotāju aptaujas un reklāmdevēju tiešās atsauksmes platformā Ads Manager. Izstrādes laikā atsauksmes var sniegt arī mūsu komandai, un mēs tieši uzklausām gan ChatGPT lietotāju, gan reklāmdevēju vēlmes. Šīs atsauksmes mūsu virzību ietekmē vēl vairāk nekā modeļa novērojumi, un tās ir viens no iemesliem, kāpēc atkārtotos pilnveides ciklos varējām ātri pieņemt pareizos lēmumus par produktu. Modelis var izprast lietotāja nolūku un domāt kritiski, lai sniegtu kaut ko vērtīgu, taču gaumi veido cilvēki.

Pirms gada mums nebija reklāmu sistēmas, un par šīs jomas izaicinājumiem domāja tikai daži cilvēki. Tagad mums ir stabila reklāmu sistēma, kuras pašreizējie ieņēmumi, pārrēķinot uz gadu, pārsniedz 1 miljardu ASV dolāru un kuras reklāmu plūsmu vada koordinators, kura pamatā ir LVM. Codex būtiski palielināja mūsu darba jaudu, ļaujot no nulles izveidot sistēmu un nepieredzēti ātri sasniegt šo nozīmīgo lietojuma atskaites punktu. Jau no paša sākuma mēs organizējām komandu un izstrādes darbplūsmas tā, lai ar Codex palīdzību ātri veidotu un mērogotu sistēmu. Mēs izveidojām aizsargmehānismus, lai Codex varētu uzticami un droši ieviest kodu. Paralēli mēs izveidojām Codex datu infrastruktūras spraudņus, lai ievērojami saīsinātu ciklu no atziņu iegūšanas līdz sistēmas uzlabojumu ieviešanai, tostarp jaunām produkta funkcijām, kvalitātes uzlabojumiem un labākai sistēmas veiktspējai.

Mūsu sistēmas robežas, kas balstītas mūsu reklamēšanas principos⁠, kopā ar koordinatoru, kura pamatā ir LVM, ļauj padarīt reklāmas noderīgas, neuztverot katru sarunu kā reklāmas pieprasījumu. Turpmāk mēs turpināsim eksperimentēt ar dinamiskākiem reklāmu formātiem, lai palielinātu ieguvumu lietotājiem (piemēram, dodot iespēju ar reklāmu starpniecību sarunāties tieši ar uzņēmumiem) un reklāmdevējiem. Tehnoloģiju kopuma pašpilnveides arhitektūra, kuras pamatā ir OpenAI modeļi un nepārtraukti atgriezeniskās saites cikli, ļaus mums arvien ātrāk uzlabot atbilstību un personalizāciju.