Cum am construit noua infrastructură publicitară ChatGPT pentru încredere și relevanță

Sistemele publicitare tradiționale sunt construite pentru a răspunde unor manifestări distincte ale intenției utilizatorului. Un utilizator caută sau vizualizează ceva online, sistemul de reclame primește acele interogări și vizualizări de pagini ca evenimente, apoi caută reclame potrivite pe baza lor. Construirea unei infrastructuri publicitare pentru ChatGPT a fost diferită: intenția utilizatorului se conturează de-a lungul conversațiilor și se schimbă pe parcursul mai multor schimburi de mesaje, uneori fără să apară un moment potrivit pentru publicitate. Pentru a susține această nouă paradigmă, am construit un sistem de livrare a reclamelor conceput special. Acest nou tip de infrastructură publicitară se bazează pe un LLM de vârf, personalizat și post-instruit, care apelează instrumente pentru regăsire (identificarea celor mai bune opțiuni), clasare (predicția interacțiunii utilizatorului), relevanță (evaluarea utilității reclamei) și desfășurarea licitațiilor pentru selecția finală a reclamei și stabilirea prețului.

Sistemul nostru de reclame ține cont de nuanțele obiectivelor utilizatorului, aflate în evoluție, prin trei decizii esențiale de proiectare: 1) sesiuni publicitare cu stare persistentă, care păstrează informațiile de la un schimb de mesaje la altul și între conversații; 2) un LLM personalizat și post-instruit, care folosește o arhitectură de apelare a instrumentelor pentru a interpreta contextul și intenția din spatele conversației, apoi pentru a selecta, clasa și livra eficient reclame; 3) un proces de selecție a reclamelor separat de generarea răspunsurilor ChatGPT, într-un serviciu propriu, pentru ca reclamele să nu influențeze răspunsurile și ChatGPT să-și păstreze tonul neutru. Folosim LLM-ul nostru post-instruit pentru a orchestra întregul flux publicitar, stabilind ce reclamă să afișăm și când, pe baza mesajului curent al utilizatorului și a istoricului conversației. Dacă în trecut construirea de la zero a unui astfel de sistem de reclame capabil de autoîmbunătățire dura ani, Reclame ChatGPT a atins un ritm anualizat al veniturilor de 1 miliard $ în mai puțin de 200 de zile de la lansare. Până acum, peste 100.000 de agenți de publicitate au difuzat reclame pe ChatGPT de la lansare.

O solicitare publicitară convențională începe, de obicei, cu un eveniment bine definit. Un utilizator trimite o interogare de căutare sau deschide o pagină web, iar sistemul de reclame primește o solicitare. Acest tip de sistem este destul de simplu: regăsește reclame candidate, le clasează, desfășoară o licitație pentru a stabili prețul adecvat al oportunității și afișează utilizatorului reclama rezultată. ChatGPT nu produce în mod firesc un moment atât de clar delimitat.

Într-o conversație cu ChatGPT, utilizatorii vin cu obiective, nu cu o interogare de căutare care cere un singur răspuns. Poate că planifică o călătorie, aleg software pentru afacerea lor, mobilează o locuință sau învață un hobby nou. Toate acestea nu se întâmplă într-un singur schimb de mesaje. ChatGPT ajută adesea utilizatorul să clarifice lucrurile importante pe parcurs.

De exemplu, echipa noastră de inginerie l-a întrebat pe ChatGPT cum să se antreneze pentru o cursă: conversația începe cu o întrebare generală despre alergare. După câteva schimburi de mesaje, membrii echipei întreabă despre încălțăminte pentru antrenament. Semnificația comercială a conversației se schimbă cu fiecare cerință nouă, iar acest context personalizat evoluează de-a lungul mai multor sesiuni. Un sistem care ar acționa după primul mesaj ar putea căuta pe baza unei intenții complet greșite, deteriorând experiența utilizatorului și încurcându-l.

Pentru a construi sistemul nostru de reclame, a trebuit să depășim arhitectura publicitară de tip cerere–răspuns și să creăm de la zero o infrastructură care să identifice oportunități economice, acordând prioritate încrederii utilizatorilor și valorii oferite acestora.

Transformarea fiecărui mesaj într-o solicitare de sine stătătoare, ca într-un sistem de reclame tradițional, ar fi adus câteva riscuri în cazul conversațiilor noastre: 1) interpretarea greșită a obiectivului utilizatorului prin simplificare excesivă; 2) inițierea prea timpurie a fluxului publicitar, înainte de clarificarea nevoii reale; 3) afișarea unor reclame care încurcă parcursul utilizatorului în loc să îl sprijine; 4) reluarea ineficientă a fluxului publicitar la fiecare modificare a solicitării, generând neclarități și costuri inutile. În loc să se bazeze pe evenimente individuale, sistemul de reclame (format din regăsire, clasare și livrare) menține o sesiune cu stare persistentă. Sesiunea publicitară rulează pe durata unui schimb de mesaje eligibil, păstrând și actualizând informațiile pe măsură ce acestea evoluează. ChatGPT trimite contextul inițial al solicitării către serverul de reclame. Sistemul de reclame urmărește evoluția conversației și se adaptează la ea, în loc să se bazeze pe o singură interogare simplificată.

Procesul de selecție a reclamelor rulează în paralel cu generarea obișnuită a răspunsurilor ChatGPT, astfel încât fluxul publicitar să nu influențeze răspunsurile. Reclamele sunt filtrate și selectate printr-un sistem separat, care procesează conversația conform propriilor cerințe de eligibilitate, calitate și livrare. Această delimitare arhitecturală importantă (servicii diferite, cu modele și cod separate) le permite serverelor principale ChatGPT să genereze răspunsul organic. În paralel, sistemul de reclame evaluează independent dacă există o oportunitate potrivită pentru publicitate și, dacă da, pregătește un plasament sponsorizat printr-un proces separat de difuzare.

Pe lângă protejarea experienței utilizatorului, această separare are și câteva consecințe practice. ChatGPT nu depinde de sistemul de reclame: serviciile nu sunt interconectate în niciun fel și nu folosesc un model comun de generare a conținutului. Astfel, dacă sistemul de difuzare a reclamelor nu este disponibil sau funcționează lent, răspunsul organic al ChatGPT continuă fără a fi afectat. Prin urmare, sistemul de reclame nu poate întrerupe sau încetini funcționarea ChatGPT. Un alt avantaj al acestei separări este că menține standarde foarte înalte pentru valoarea oferită de reclame. Lipsa unei reclame este un rezultat normal, considerat reușit. Sistemul livrează o reclamă doar dacă aceasta aduce beneficii clare utilizatorilor și agenților de publicitate.

Cealaltă componentă arhitecturală esențială a infrastructurii noastre publicitare este LLM-ul post-instruit care interpretează conversațiile și execută întregul flux publicitar într-o buclă agentică, apelând instrumente pentru funcțiile de bază ale sistemului de reclame: de la regăsire la clasare, licitație și, în cele din urmă, livrare. Numim acest LLM orchestrator.

Prima etapă a unui flux publicitar constă în înțelegerea intenției utilizatorului pentru a începe procesul de regăsire: identificarea rapidă a unui set deliberat larg de reclame posibile, care vor fi filtrate ulterior. Primirea treptată a conversației oferă mai multe informații pentru regăsire, dar introduce și mai multă ambiguitate, deoarece sistemul de reclame trebuie să distingă intenția actuală de contextul care nu mai este de actualitate. Orchestratorul trebuie să interpreteze referirile la mesaje anterioare, să recunoască situațiile în care utilizatorul vorbește ipotetic și să evite tratarea fiecărei mențiuni a unui produs sau serviciu drept o intenție de cumpărare.

Orchestratorul de reclame folosește conversația și contextul disponibile despre utilizator, căutând iterativ reclame potrivite și alegând în mod repetat când și ce instrument să apeleze. Scopul este de a găsi reclama cea mai potrivită pentru conversația și contextul respectiv, una care să îmbine o valoare ridicată pentru utilizator cu o valoare ridicată pentru agentul de publicitate. Dacă utilizatorul alege să personalizeze reclamele, orchestratorul ia în considerare și informațiile disponibile, fără caracter sensibil, despre conversațiile sale anterioare, pentru a găsi cele mai potrivite reclame.

Pe măsură ce conversația avansează și orchestratorul de reclame primește informații noi, acesta poate executa un nou set de apeluri de instrumente folosind contextul actualizat, pentru a găsi reclame mai bune și a le trimite aplicației client. Aceasta le poate folosi dacă sosesc la timp.

Orchestratorul este conceput să echilibreze valoarea pentru utilizator și cea pentru agentul de publicitate, punând întotdeauna utilizatorii pe primul loc.

Sistemul de reclame este alcătuit din instrumente individuale, pe care orchestratorul le apelează iterativ pentru a găsi cele mai bune reclame pentru o conversație. În linii mari, orchestratorul transformă conversațiile în scurte rezumate text, care sunt apoi convertite în reprezentări vectoriale semantice (sensuri stocate într-o formă mai ușor de analizat de sistemul de reclame). Cu ajutorul lor, regăsește reclame candidate, le filtrează după eligibilitate (pe baza bugetului, a setărilor utilizatorului și a altor verificări preliminare), le evaluează calitatea și relevanța și realizează o clasare finală pentru a identifica oportunități valoroase de plasare la sfârșitul unui răspuns din conversație. Prin urmare, fiecare reclamă trebuie să îndeplinească standarde înalte de eligibilitate și relevanță pentru a putea fi plasată.

Mai întâi, LLM-ul orchestrator pregătește una sau mai multe interogări care reprezintă intenția comercială relevantă. Acest lucru poate include reformularea contextului conversației pentru a extinde posibilitățile comerciale dincolo de interogările de căutare cu corespondență directă, apoi crearea unor reprezentări semantice. Astfel, orchestratorul sintetizează o conversație cu mai multe schimburi de mesaje într-o versiune rezumată pentru sistemul de regăsire, care caută în mod țintit reclame în baza noastră de date.

Plasamentele publicitare le vor fi mai utile atât utilizatorilor, cât și agenților de publicitate dacă apar doar atunci când intenția utilizatorului este înțeleasă în profunzime. Mai multe interogări pot păstra aspecte diferite ale intenției. De exemplu, o conversație despre planificarea unei călătorii poate include nevoi distincte legate de transport, cazare sau activități. Sistemul de regăsire poate păstra aceste distincții, în loc să comprime întreaga conversație într-un singur șir de text literal.

Să luăm, de exemplu, o posibilă succesiune de mesaje despre încălțămintea de drumeție:

1. What should I cover on a two-day trip to Yosemite?

2. Will it be cold next week?

3. New [insert brand] product lines?

Deși utilizatorul nu a legat întrebarea despre marca de încălțăminte de excursia în Yosemite, această conversație ar putea fi reprezentată în sistemul nostru de reclame prin două interogări, precum [shoes appropriate for hiking trip] și [new [brand] product lines good for travel]. Aceasta ar putea fi doar prima încercare; orchestratorul este conceput să rafineze iterativ aceste reprezentări până când găsește în inventarul nostru reclame foarte valoroase pentru utilizator.

Regăsirea este procesul de creare a unui set deliberat larg de opțiuni publicitare. Reclamele candidate pot proveni din strategii diferite de regăsire și pot concura ulterior în aceleași condiții de difuzare. Construim mai mulți indecși, optimizați pentru diferite constrângeri ale sistemului și ale produsului. De exemplu, indexul pentru reclamele din fluxuri de produse este conceput să țină cont de recenziile pozitive sau negative ale produselor atunci când caută cele mai bune reclame posibile. Acest aspect nu este relevant pentru alte reclame, care s-ar putea să nu aibă recenzii asociate. Fiecare index este optimizat pentru o variantă de căutare aproximativă a celor mai apropiați vecini (ANN), folosind reprezentări vectoriale ale intenției utilizatorului. Această căutare ANN este un algoritm de aproximare pentru regăsirea în indecși semantici mari. Astfel, reclamele sunt găsite foarte rapid, urmărind o soluție suficient de bună, nu neapărat soluția „corectă”, și păstrând majoritatea candidatelor relevante.

Scopul filtrării este de a elimina din selecție toate reclamele candidate care nu îndeplinesc cerințele de plasare privind relevanța, ofertele de licitare și bugetul. În funcție de candidată și de configurație, filtrarea poate verifica disponibilitatea materialelor publicitare și a campaniei (dacă sunt active), direcționarea campaniei (de exemplu, în ce regiuni și limbi poate rula), restricțiile impuse de politici (cerințe de conformitate privind ceea ce poate fi promovat), disponibilitatea bugetului (dacă mai există fonduri de cheltuit), ritmul cheltuielilor (dacă bugetul ar trebui cheltuit acum sau în alt moment al zilei), compatibilitatea plasamentului (în ce tipuri de conversații poate apărea reclama) și deduplicarea la nivel de agent de publicitate și de campanie (selectarea unui număr potrivit de reclame per agent de publicitate, pentru o participare echitabilă a companiilor).

Candidatele care trec de verificările de eligibilitate ajung în etapa de punctare, în care orchestratorul apelează instrumentele mai multor sisteme de evaluare. Acestea analizează criterii de difuzare precum relevanța semantică (este reclama relevantă pentru obiectivul utilizatorului?), interacțiunea estimată (este probabil ca reclama să fie văzută, accesată și să ducă la rezultatul dorit de agentul de publicitate?) și performanța anterioară (a avut reclama rezultate bune când a fost afișată utilizatorilor până acum?). Orchestratorul filtrează și reclamele înainte de licitație, pentru a garanta relevanța și siguranța. Aceste sisteme restrâng selecția la un set mai mic de candidate pregătite pentru licitație, dar încă nu stabilesc ce reclamă va fi livrată în final.

Orchestratorul evaluează candidatele pregătite în contextul conversației și alege reclamele suficient de potrivite pentru a intra în licitația finală. Orchestratorul nu decide direct ce reclamă va fi difuzată și nici nu stabilește un preț, ci propune candidate adecvate contextului, pe care instrumentul de licitație le evaluează.

Licitația aplică mecanismele finale de difuzare: admiterea la licitație (depășirea unui prag minim de relevanță și valoare), reglarea ritmului cheltuielilor (distribuirea mai uniformă a bugetului publicitar), calcularea ofertelor și a parametrilor licitației, clasarea ajustată după calitate, stabilirea prețului și selecția finală.

După licitație, există două situații în care o reclamă poate să nu fie livrată, ambele specifice mediului conversațional ChatGPT.

1. Reclama poate părea nepotrivită în conversație: chiar dacă modelele de integritate (cele care decid când este adecvată difuzarea unei reclame) au considerat conversația ca fiind sigură pentru plasarea de reclame, iar reclama însăși respectă politicile, uneori aceasta poate părea nepotrivită în contextul anumitor conversații. Orchestratorul împiedică afișarea acestor reclame.

2. Solicitarea de reclamă poate să nu fie finalizată la timp: dacă modelul ChatGPT este gata să răspundă, dar reclama nu este încă pregătită pentru plasare, solicitarea expiră și reclama nu este livrată. Prin urmare, unul dintre obiectivele sistemului de reclame este să funcționeze cât mai rapid. Timpul de răspuns al modelului ChatGPT variază, iar noi nu întârziem răspunsurile din conversație pentru a aștepta încărcarea reclamelor.

Dacă toate verificările de mai sus sunt trecute, trimitem reclama către frontend pentru redare. Considerăm acest lucru drept o livrare a reclamei din partea serverului, dar este încă posibil să nu afișăm reclama utilizatorului, iar sistemul este conceput intenționat astfel.

Într-un produs conversațional precum ChatGPT, livrarea unui material publicitar de către server nu garantează afișarea reclamei, pentru că trebuie să ajungă la timp pentru a fi inclusă în schimbul de mesaje curent. Materialul publicitar include titlul, descrierea, linkul de destinație și eventualele îndemnuri la acțiune. Sistemul de reclame returnează și un preambul generat de model: o introducere scurtă și neutră care explică legătura dintre reclamă și conversație. Separarea preambulului de materialul publicitar păstrează mesajul agentului de publicitate, menținând totodată tonul neutru al ChatGPT.

Frontendul ChatGPT primește preambulul și materialul publicitar într-un singur pachet. Dacă pachetul ajunge înainte ca răspunsul ChatGPT să fie generat complet, frontendul afișează reclama sub răspunsul ChatGPT, marcată clar ca sponsorizată. Dacă ajunge prea târziu, reclama nu este afișată în acel schimb de mesaje. Aceasta este diferența dintre livrarea unei reclame de către server și afișarea ei efectivă utilizatorului.

Infrastructura noastră publicitară folosește sisteme tradiționale de jurnalizare și fluxuri de procesare a datelor, cu trei beneficii principale: agenții de publicitate își pot integra mai ușor sistemele existente cu infrastructura noastră, își pot îmbunătăți strategiile folosind datele din rapoarte, iar echipa noastră poate identifica zone ale sistemului care necesită îmbunătățiri. Pe lângă aceste instrumente de raportare și optimizare, folosim un model de înaltă calitate pentru a evalua livrarea și a instrui alte modele publicitare, creând o buclă puternică de autoîmbunătățire.

Analizele detaliate ale evenimentelor ne ajută să înțelegem și îmbunătățim separat fiecare componentă a sistemului de reclame. Sistemul de procesare a jurnalelor înregistrează și rezultate detaliate, precum:

• Schimbul de mesaje nu a fost eligibil pentru publicitate.

• A început o sesiune publicitară, dar nu s-a solicitat regăsirea de reclame.

• Regăsirea nu a returnat nicio candidată.

• Au fost regăsite candidate, dar completarea lor cu date a eșuat sau nu au trecut verificările de eligibilitate.

• O reclamă a fost livrată, iar ulterior un utilizator a interacționat cu ea.

Aceste analize detaliate ne ajută să îmbunătățim separat fiecare componentă a sistemului de difuzare a reclamelor. Îmbunătățirea detectării oportunităților necesită alte date decât îmbunătățirea regăsirii, calității candidatelor, participării la licitație sau fiabilității livrării.

Ideea evaluării bazate pe modele este ca modelele noastre cele mai performante, cu cele mai avansate capacități de raționament, să observe și evalueze rezultatele sistemului, apoi să îmbunătățească LLM-ul post-instruit prin instruire suplimentară pentru rezultate mai bune. De exemplu, putem folosi modele mai mici și mai eficiente sau modele cu capacități mai reduse de raționament pentru orchestrare ori regăsire, dacă modelul nostru cel mai puternic colectează feedback și instruiește aceste modele mici să își îndeplinească sarcinile cât mai bine.

Colectăm feedback de la utilizatori și îl folosim pentru a lua măsuri: clicuri și ascunderi de reclame din partea utilizatorilor, răspunsuri la sondaje pentru utilizatori și feedback direct de la agenții de publicitate prin Managerul de reclame. Pe parcursul dezvoltării, echipa noastră este dispusă să primească feedback și ascultă direct ce își doresc atât utilizatorii ChatGPT, cât și agenții de publicitate. Această sursă de feedback ne influențează orientarea chiar mai mult decât observațiile modelului și ne-a ajutat să ajungem rapid, prin iterații, la deciziile potrivite pentru produs. Modelul poate să înțeleagă intenția utilizatorului și să gândească critic pentru a oferi ceva valoros, dar oamenii sunt cei care definesc bunul gust.

Acum un an, nu aveam un sistem de reclame și doar câțiva oameni explorau acest domeniu. Acum avem un sistem de reclame robust, care susține un ritm anualizat al veniturilor de peste 1 miliard $, cu un orchestrator bazat pe LLM care gestionează fluxul publicitar. Codex ne-a amplificat decisiv capacitatea de lucru, permițându-ne să construim sistemul de la zero și să atingem acest prag important de utilizare cu o viteză fără precedent. De la început, am organizat echipa și fluxurile de dezvoltare astfel încât să folosim Codex pentru a construi și extinde rapid sistemul. Am creat mecanisme de protecție pentru ca Codex să livreze cod în mod fiabil și sigur. În paralel, am configurat pluginuri de infrastructură de date pentru Codex, scurtând semnificativ ciclul dintre obținerea informațiilor relevante și implementarea îmbunătățirilor în sistem: funcționalități noi, calitate sporită și performanțe mai bune.

Combinația dintre limitele sistemului nostru (bazate pe principiile noastre publicitare⁠) și orchestratorul bazat pe LLM ne permite să facem publicitatea utilă, fără a trata fiecare conversație ca pe o solicitare de reclamă. În continuare, vom experimenta cu formate publicitare mai dinamice pentru a crește valoarea oferită utilizatorilor (de exemplu, posibilitatea de a discuta direct cu companiile prin reclame), dar și agenților de publicitate. Arhitectura capabilă de autoîmbunătățire a infrastructurii, construită pe modele OpenAI și bucle continue de feedback, ne va permite să îmbunătățim tot mai rapid relevanța și personalizarea în timp.