Com hem creat el nou sistema d'anuncis del ChatGPT per oferir confiança i rellevància

Els sistemes publicitaris tradicionals estan dissenyats per respondre a senyals puntuals de la intenció de l'usuari. Un usuari cerca o consulta alguna cosa en línia, i el sistema d'anuncis rep aquestes consultes i visualitzacions de pàgines com a esdeveniments i busca anuncis que hi encaixin. Crear una infraestructura publicitària per al ChatGPT va ser diferent: la intenció de l'usuari es desenvolupa al llarg de les converses i canvia durant els diferents torns, de vegades sense que hi hagi cap moment adequat per a la publicitat. Per donar resposta a aquest nou paradigma, vam crear un sistema de lliurament d'anuncis a mida. Aquest nou tipus d'infraestructura publicitària es basa en un LLM d'avantguarda personalitzat, amb entrenament posterior a l'entrenament previ, que fa crides a eines de recuperació (identificar les millors opcions), ordenació (predir la interacció dels usuaris), rellevància (avaluar la utilitat de l'anunci) i execució de subhastes per a la selecció final dels anuncis i la fixació de preus.

El nostre sistema d'anuncis s'adapta als matisos dels objectius canviants dels usuaris gràcies a tres decisions clau de disseny: 1) implementar sessions d'anuncis amb estat, que conserven la informació entre torns d'una conversa i entre diverses converses; 2) basar-se en un LLM personalitzat, amb entrenament posterior a l'entrenament previ, que utilitza una arquitectura de crides a eines per interpretar el context i la intenció subjacent d'una conversa i, després, seleccionar, ordenar i lliurar anuncis de manera eficaç, i 3) executar el procés de selecció d'anuncis en un servei propi, separat de la generació de respostes del ChatGPT, per evitar que els anuncis influeixin en les respostes i mantenir la neutralitat de la veu del ChatGPT. Utilitzem el nostre LLM amb entrenament posterior a l'entrenament previ per orquestrar tot el flux d'anuncis i determinar quin anunci convé mostrar i en quin moment, tenint en compte tant el torn actual de l'usuari com l'historial de converses. Abans, posar en marxa un sistema d'anuncis amb millora autònoma com aquest requeria anys. En canvi, ChatGPT Ads va assolir un ritme anualitzat d'ingressos de 1.000 milions de dòlars en menys de 200 dies des del llançament; des d'aleshores, més de 100.000 anunciants ja han publicat anuncis al ChatGPT.

Una sol·licitud publicitària convencional sol començar amb un esdeveniment ben definit. Un usuari fa una consulta de cerca o obre una pàgina web i el sistema d'anuncis rep una sol·licitud. Aquest tipus de sistema és força senzill: recupera possibles anuncis candidats, els ordena, executa una subhasta per assignar un preu adequat a l'oportunitat i mostra l'anunci resultant a l'usuari. Al ChatGPT, aquest moment tan concret no es produeix de manera natural.

En una conversa amb el ChatGPT, les persones hi arriben amb objectius, no amb una consulta de cerca que es resolgui amb una sola resposta. Potser estan planificant un viatge, triant programari per al seu negoci, moblant una casa o iniciant-se en una nova afició. Tot això no passa en un sol torn de conversa. Sovint, el ChatGPT ajuda l'usuari a aclarir què és important a mesura que avança.

Per exemple, el nostre equip d'enginyeria li va preguntar al ChatGPT com es podia entrenar per a una cursa: la conversa va començar amb una pregunta general sobre córrer. Uns quants torns més tard, li havien preguntat sobre sabatilles per entrenar-se. El sentit comercial de la conversa canvia amb cada nou condicionant, i aquest context personalitzat evoluciona al llarg de diverses sessions. Un sistema que actués a partir del primer missatge podria interpretar la intenció de manera completament errònia, cosa que podria empitjorar l'experiència de l'usuari i entorpir-la.

Per crear el nostre sistema d'anuncis, vam haver d'anar més enllà de l'arquitectura publicitària de sol·licitud-resposta i construir una infraestructura des de zero que detectés possibles oportunitats econòmiques tot prioritzant la confiança de l'usuari i el valor que rep.

Convertir cada missatge en una sol·licitud independent, com fa un sistema d'anuncis tradicional, hauria comportat alguns riscos en la nostra conversa: 1) malinterpretar l'objectiu de l'usuari per simplificar-lo massa; 2) iniciar el flux publicitari massa aviat, abans que la necessitat real de l'usuari fos clara; 3) mostrar anuncis que entorpissin el recorregut de l'usuari en comptes d'acompanyar-lo, i 4) tornar a executar el flux d'anuncis de manera ineficient cada vegada que canviés la sol·licitud, cosa que generaria soroll i despeses innecessàries. En comptes de basar-se en esdeveniments individuals, el sistema d'anuncis (format per recuperació, ordenació i lliurament) manté una sessió amb estat. Això vol dir que la sessió d'anuncis es manté activa mentre dura un torn apte per a la publicitat, i recorda i actualitza la informació a mesura que evoluciona. El ChatGPT envia el context inicial de la sol·licitud al servidor d'anuncis. El sistema d'anuncis segueix l'evolució de l'intercanvi i s'hi adapta, en comptes de basar-se en una única consulta simplificada.

El procés de selecció d'anuncis s'executa en paral·lel a la generació normal de respostes del ChatGPT per garantir que el flux d'anuncis no hi influeixi. Els anuncis es filtren i se seleccionen mitjançant un sistema independent que processa la conversa amb les seves pròpies restriccions d'admissibilitat, qualitat i lliurament. Aquesta separació arquitectònica fonamental —serveis diferents amb models i codi independents— permet que els servidors principals del ChatGPT s'encarreguin de generar la resposta orgànica. Mentrestant, el sistema d'anuncis avalua de manera independent si hi ha una oportunitat publicitària adequada i, si és així, prepara una inserció patrocinada mitjançant un procés de difusió separat.

A més de protegir l'experiència de l'usuari, aquesta separació té algunes conseqüències pràctiques. El ChatGPT no depèn del sistema d'anuncis: els serveis no estan interconnectats de cap manera ni comparteixen cap model de generació de contingut. Per tant, si el sistema de difusió d'anuncis no està disponible o va lent, la resposta orgànica del ChatGPT no se'n veu afectada. Això vol dir que el sistema d'anuncis no pot provocar caigudes ni retards en el funcionament del ChatGPT. L'altre avantatge d'aquesta separació és que manté un nivell d'exigència molt alt pel que fa al valor dels anuncis. No retornar cap anunci és un resultat normal i satisfactori. El sistema només lliura un anunci si beneficia clarament els usuaris i els anunciants.

L'altre component arquitectònic clau de la nostra infraestructura publicitària és l'LLM amb entrenament posterior a l'entrenament previ que interpreta les converses i executa tot el flux d'anuncis en un bucle agentiu: fa crides a eines per accedir a les funcions bàsiques del sistema d'anuncis, des de la recuperació fins a l'ordenació, la subhasta i, finalment, el lliurament. Anomenem aquest LLM orquestrador.

La primera part d'un flux d'anuncis consisteix a entendre la intenció de l'usuari per iniciar el procés de recuperació: una cerca ràpida i deliberadament àmplia d'anuncis potencials que després es filtraran. Rebre la conversa de manera incremental planteja un problema de recuperació més ric, però també més ambigu, perquè el sistema d'anuncis ha de distingir la intenció actual del context que ja ha quedat desfasat. L'orquestrador ha d'interpretar les referències a missatges anteriors, reconèixer quan un usuari parla en termes hipotètics i evitar tractar cada menció d'un producte o servei com una petició de compra.

L'orquestrador d'anuncis utilitza la conversa i el context de l'usuari disponibles, fa iteracions per trobar bons anuncis i decideix repetidament a quina eina ha de cridar i quan. L'objectiu de fons és trobar l'anunci més adequat per a aquella conversa i aquell context: el que equilibri un alt valor per a l'usuari i per a l'anunciant. Si l'usuari opta per personalitzar els anuncis, l'orquestrador també té en compte la informació no sensible disponible de les seves converses anteriors per trobar els anuncis que hi encaixin millor.

A mesura que avança la conversa i rep informació més actualitzada, l'orquestrador d'anuncis pot executar un nou conjunt de crides a eines amb el context actualitzat per trobar anuncis millors i retornar-los al client, que els pot utilitzar si arriben a temps.

L'orquestrador està dissenyat per equilibrar el valor per a l'usuari i per a l'anunciant, sempre prioritzant els usuaris.

El sistema d'anuncis consta d'eines individuals, i l'orquestrador hi fa crides de manera iterativa per trobar els millors anuncis per a una conversa. A grans trets, l'orquestrador converteix les converses en breus resums de text, que després es transformen en vectors semàntics (significats emmagatzemats que el sistema d'anuncis pot examinar més fàcilment). Amb aquests vectors, recupera anuncis candidats, els filtra per comprovar si són aptes (segons el pressupost, la configuració de l'usuari i altres comprovacions preliminars), n'avalua la qualitat i la rellevància i fa una ordenació final per identificar oportunitats de gran valor per mostrar anuncis al final d'una resposta de la conversa. Per tant, cada anunci ha de complir uns requisits estrictes d'admissibilitat i rellevància per poder-se mostrar.

L'LLM orquestrador primer prepara una o més consultes que representen la intenció comercial pertinent. Això pot incloure reformular el context de la conversa per ampliar les possibilitats comercials més enllà de consultes de cerca amb una correspondència directa i, després, crear representacions semàntiques. L'orquestrador condensa una conversa de diversos torns en una versió resumida per al sistema de recuperació, que recupera anuncis de la nostra base de dades de manera focalitzada.

Els anuncis seran més beneficiosos tant per als usuaris com per als anunciants si només es mostren quan es comprèn a fons la intenció de l'usuari. Fer servir diverses consultes permet preservar diferents aspectes de la intenció. Una conversa sobre la planificació d'un viatge, per exemple, pot incloure necessitats diferents relacionades amb el transport, l'allotjament o les activitats. El sistema de recuperació pot preservar aquestes distincions en comptes de comprimir tota la conversa en una sola cadena literal.

Com a exemple, vegem una possible seqüència de conversa sobre calçat de senderisme:

1. Què hauria de visitar en un viatge de dos dies a Yosemite?

2. La setmana vinent farà fred?

3. Quines són les noves línies de producte de [insereix una marca]?

Tot i que l'usuari no ha relacionat la pregunta sobre la marca de calçat amb el viatge a Yosemite, aquesta conversa es podria representar al nostre sistema d'anuncis amb dues consultes, com ara [calçat adequat per a senderisme] i [noves línies de producte de [marca] pensades per viatjar]. Aquest podria ser només el primer intent; l'orquestrador està dissenyat per anar refinant aquestes representacions fins que troba anuncis al nostre inventari que aportin un gran valor a l'usuari.

La recuperació és el procés de crear un conjunt deliberadament ampli d'opcions d'anuncis. Els candidats poden provenir de diferents estratègies de recuperació i competir després sota les mateixes restriccions de difusió. Creem diversos índexs optimitzats per a diferents restriccions del sistema i del producte. Per exemple, l'índex dels anuncis procedents de catàlegs de productes està dissenyat per tenir en compte les ressenyes positives o negatives dels productes quan recupera els millors anuncis possibles. Això no és pertinent per a altres anuncis que potser no tenen ressenyes associades. Cada índex està optimitzat per a alguna variant de la cerca aproximada de veïns més propers (ANN), utilitzant vectors que representen la intenció de l'usuari. Aquesta cerca ANN és un algorisme d'aproximació per a la recuperació en grans índexs semàntics. Permet recuperar anuncis molt ràpidament, cosa que l'acosta a una bona solució en comptes de buscar "la solució correcta", alhora que conserva la majoria dels candidats rellevants.

L'objectiu del filtratge és descartar tots els anuncis candidats que no compleixen els requisits de rellevància, ofertes i pressupost necessaris per mostrar-se. Segons el candidat i la configuració, el filtratge pot comprovar la disponibilitat de les creativitats i les campanyes (si són actives), la segmentació de la campanya (p. ex., en quines configuracions regionals pot operar), les restriccions de les polítiques (requisits de compliment sobre què es pot anunciar), la disponibilitat de pressupost (si la campanya encara té pressupost per gastar), el ritme de despesa (si convé gastar pressupost ara o en un altre moment del dia), la compatibilitat de la inserció (en quina mena de converses es pot mostrar l'anunci) i la desduplicació per anunciant i campanya (seleccionar un nombre adequat d'anuncis per anunciant per garantir una participació equitativa de les empreses).

Els candidats que superen les comprovacions d'admissibilitat passen a una fase de puntuació, en què l'orquestrador fa crides a eines de diversos sistemes de puntuació. Aquests avaluen factors de difusió com ara la rellevància semàntica (l'anunci és rellevant per a l'objectiu de l'usuari?), la interacció prevista (és probable que l'anunci es vegi, rebi clics i generi el resultat que busca l'anunciant?) i el rendiment històric (l'anunci ha donat bons resultats quan s'ha mostrat als usuaris fins ara?). L'orquestrador també filtra els anuncis per garantir-ne la rellevància i la seguretat abans de la subhasta. Aquests sistemes redueixen les opcions a un conjunt més petit de candidats preparats per a la subhasta, però encara no determinen quin anunci es lliurarà finalment.

L'orquestrador avalua els candidats preparats en el context de la conversa i tria quins són prou adequats per passar a la subhasta final. L'orquestrador no decideix directament quin anunci es difondrà ni en fixa el preu, sinó que proposa candidats adequats al context perquè l'eina de subhastes els avaluï.

La subhasta aplica els mecanismes finals de difusió: l'admissió a la subhasta (superar un llindar mínim de rellevància i valor), el ritme de despesa (repartir el pressupost publicitari de manera més uniforme), el càlcul de les ofertes i de les variables de la subhasta, l'ordenació ajustada per qualitat, la fixació de preus i la selecció final.

Després de la subhasta, un anunci pot no arribar a lliurar-se per dos motius, tots dos propis de l'entorn conversacional del ChatGPT.

1. L'anunci pot resultar inadequat a la conversa: encara que els models d'integritat (els que decideixen quan és adequat difondre un anunci) hagin considerat que la conversa és segura per inserir-hi publicitat, i que l'anunci compleixi les polítiques, de vegades pot resultar inadequat en el context de determinades converses. L'orquestrador impedeix que es mostrin aquests anuncis.

2. És possible que la sol·licitud d'anunci no arribi a temps: si el model del ChatGPT està preparat per respondre però l'anunci encara no està llest per inserir-se, s'esgota el temps d'espera de la sol·licitud i l'anunci no es lliura. Per tant, un dels objectius del sistema d'anuncis és funcionar tan de pressa com sigui possible. El temps de resposta del model del ChatGPT és dinàmic, i no retardem les respostes de la conversa per esperar que es carreguin els anuncis.

Si se superen totes les comprovacions anteriors, enviem l'anunci a la interfície per renderitzar-lo. Ho considerem un lliurament d'anunci al costat del servidor, però encara és possible que no mostrem l'anunci a l'usuari, i això és intencionat.

En un producte conversacional com el ChatGPT, el lliurament d'una creativitat publicitària al costat del servidor no garanteix que es mostri l'anunci; també ha d'arribar a temps per incloure'l en el torn actual. La creativitat publicitària inclou el títol, la descripció, l'enllaç de destinació i qualsevol crida a l'acció. A més, el sistema d'anuncis també retorna un preàmbul generat pel model: una introducció breu i neutral que explica com es relaciona l'anunci amb la conversa. Mantenir el preàmbul separat de la creativitat preserva el missatge de l'anunciant i, alhora, manté la neutralitat de la veu del ChatGPT.

La interfície del ChatGPT rep el preàmbul i la creativitat publicitària en un sol paquet. Si arriba abans que s'hagi acabat de generar la resposta del ChatGPT, la interfície mostra l'anunci a sota de la resposta, clarament identificat com a patrocinat. Si arriba massa tard, l'anunci no es mostra en aquell torn. Aquesta és la diferència entre el lliurament d'un anunci al costat del servidor i una impressió publicitària visible per a l'usuari.

La nostra infraestructura publicitària utilitza sistemes convencionals de registre i canalitzacions de dades, que ofereixen tres avantatges principals: els anunciants poden integrar-hi més fàcilment els seus sistemes existents i millorar les seves estratègies amb les dades dels informes, mentre que el nostre equip pot detectar àrees del sistema que cal millorar. A més d'aquestes eines d'informes i optimització, despleguem un model d'alta qualitat per avaluar el lliurament i entrenar altres models publicitaris, cosa que crea un potent bucle de millora autònoma.

Les anàlisis detallades del que ha passat ens ajuden a entendre i millorar cada part del sistema d'anuncis per separat. El sistema de processament de registres també recull resultats específics com ara:

• Si el torn no era apte per mostrar-hi publicitat.

• Si s'ha iniciat una sessió d'anuncis, però no s'ha sol·licitat cap recuperació.

• Si la recuperació no ha retornat cap candidat.

• Si s'han recuperat candidats, però han fallat en la fase d'hidratació de dades o en les comprovacions d'admissibilitat.

• Si s'ha lliurat un anunci i, més tard, ha rebut una interacció.

Aquestes anàlisis detallades ens ajuden a millorar cada part del sistema de difusió d'anuncis per separat. Millorar la detecció d'oportunitats requereix disposar de dades diferents de les que calen per millorar la recuperació, la qualitat dels candidats, la participació en subhastes o la fiabilitat del lliurament.

La idea de l'avaluació basada en models és que els nostres models més potents i amb més capacitat de raonament observin i valorin els resultats del sistema i, després, millorin l'LLM amb entrenament posterior a l'entrenament previ entrenant-lo perquè rendeixi millor. Per exemple, podem utilitzar models més petits i eficients, o amb menys capacitat de raonament, per a l'orquestració o la recuperació si el nostre model més potent recull comentaris i entrena aquests petits models executors perquè facin la millor feina possible.

Recollim opinions i senyals humans (clics i anuncis ocultats pels usuaris), així com respostes a enquestes d'usuaris i comentaris directes dels anunciants per mitjà del nostre Ads Manager, i actuem en conseqüència. Durant el desenvolupament, el nostre equip també està disponible per rebre comentaris, i escoltem directament què volen tant els usuaris del ChatGPT com els anunciants. Aquesta font d'opinions orienta el nostre rumb encara més que les observacions del model i és un dels factors que ens han permès iterar ràpidament fins a prendre les decisions de producte adequades. El model pot ser capaç d'entendre la intenció de l'usuari i pensar críticament per oferir alguna cosa valuosa, però són les persones qui defineixen el bon criteri.

Fa un any no teníem cap sistema d'anuncis i només unes quantes persones estudiaven aquest àmbit. Ara tenim un sistema d'anuncis robust que genera ingressos a un ritme anualitzat de més de 1.000 milions de dòlars, amb un orquestrador basat en un LLM que executa el flux d'anuncis. El Codex va ser clau per multiplicar la nostra capacitat i ens va permetre posar en marxa el sistema fins a assolir aquesta important fita d'ús amb una rapidesa sense precedents. Des del principi, vam organitzar l'equip i els fluxos de treball de desenvolupament per utilitzar el Codex i crear i escalar el sistema ràpidament. Vam crear mecanismes de protecció perquè el Codex pogués posar codi en producció de manera fiable i segura. En paral·lel, vam configurar connectors d'infraestructura de dades per al Codex per escurçar dràsticament el cicle entre l'obtenció d'informació útil i la incorporació de millores al sistema, com ara noves funcions del producte, millores de qualitat i un millor rendiment.

La combinació dels límits del nostre sistema (basats en els nostres principis publicitaris⁠) i l'orquestrador basat en un LLM ens permet fer que la publicitat sigui útil sense tractar cada conversa com una sol·licitud d'anunci. De cara al futur, continuarem experimentant amb formats publicitaris més dinàmics per augmentar el valor per a l'usuari (p. ex., permetent-li parlar directament amb les empreses a través dels anuncis) i per a l'anunciant. L'arquitectura de millora autònoma de la infraestructura, basada en models d'OpenAI amb bucles de retroacció continus, accelerarà la nostra capacitat de continuar millorant la rellevància i la personalització amb el pas del temps.