Így építettük a ChatGPT új hirdetési rendszerét a bizalom és a relevancia jegyében

A hagyományos hirdetési rendszerek a felhasználói szándék elkülönült megnyilvánulásaira reagálnak. A felhasználó rákeres valamire vagy megtekint valamit az interneten, a hirdetési rendszer eseményként fogadja ezeket a lekérdezéseket és oldalmegtekintéseket, majd ezek alapján keres hozzájuk illő hirdetéseket. A ChatGPT hirdetési rendszerének felépítése más feladat volt: a felhasználói szándék beszélgetéseken át formálódik, és egy beszélgetés több fordulója során is változik, olykor anélkül, hogy adódna megfelelő pillanat a hirdetésre. Ehhez az új működésmódhoz egyedi hirdetéskézbesítési rendszert építettünk. Ez az újfajta hirdetési rendszer egy egyedi, utólag betanított, élvonalbeli LLM-re épül, amely eszközhívásokkal végzi a lekérést (a legjobb lehetőségek azonosítását), a rangsorolást (a felhasználói aktivitás előrejelzését), a relevancia vizsgálatát (a hirdetés hasznosságának értékelését), valamint a végső hirdetéskiválasztást és árazást meghatározó aukciókat.

Három alapvető tervezési döntéssel tettük képessé hirdetési rendszerünket a változó felhasználói célok árnyalatainak követésére: 1) állapottartó hirdetési munkameneteket vezettünk be, amelyek egy beszélgetés fordulói és több beszélgetés között is megőrzik az információt; 2) egy egyedi, utólag betanított LLM-re támaszkodunk, amely eszközhívásos architektúrával értelmezi a beszélgetés kontextusát és mögöttes szándékát, majd hatékonyan választja ki, rangsorolja és kézbesíti a hirdetéseket; 3) a hirdetéskiválasztást a ChatGPT válaszgenerálásától elkülönítve, saját szolgáltatásban futtatjuk, hogy a hirdetések ne befolyásolják a válaszokat, és a ChatGPT hangvétele semleges maradjon. Az utólag betanított LLM vezérli a teljes hirdetési folyamatot: a felhasználó aktuális fordulója és beszélgetési előzményei alapján határozza meg, melyik hirdetést mikor érdemes megjeleníteni. Míg korábban évekbe telt egy ilyen önfejlesztő hirdetési rendszer felépítése, a ChatGPT‑hirdetések kevesebb mint 200 nappal az indulás után elérték az aktuális bevételi ütem alapján évesített 1 milliárd dolláros bevételt. Az indulás óta már több mint 100 000 hirdető futtatott hirdetést a ChatGPT‑ben.

Egy hagyományos hirdetési kérés általában jól körülhatárolt eseménnyel kezdődik. A felhasználó keresést indít vagy megnyit egy weboldalt, a hirdetési rendszer pedig kérést kap. Ez a rendszer viszonylag egyszerű: lekéri a lehetséges hirdetésjelölteket, rangsorolja őket, aukciót futtat a lehetőség megfelelő árazásához, majd megjeleníti a kiválasztott hirdetést a felhasználónak. A ChatGPT működéséből nem adódik természetesen ilyen konkrét pillanat.

A ChatGPT‑vel folytatott beszélgetésekbe az emberek célokkal érkeznek, nem pedig egyetlen választ váró keresőkérdéssel. Lehet, hogy utazást terveznek, szoftvert választanak a vállalkozásuknak, berendezik az otthonukat, vagy új hobbit tanulnak. Mindez nem egyetlen beszélgetési forduló alatt történik. A ChatGPT gyakran menet közben segít tisztázni, mi fontos a felhasználónak.

Mérnökcsapatunk például arról kérdezte a ChatGPT‑t, hogyan készüljön fel egy versenyre: a beszélgetés egy általános futási kérdéssel kezdődik. Néhány fordulóval később már az edzéshez megfelelő cipőkről kérdeznek. Minden új feltétellel változik a beszélgetés kereskedelmi jelentése, és ez a személyre szabott kontextus több munkameneten át alakul. Egy olyan rendszer, amely már az első üzenet alapján cselekszik, teljesen téves szándékra kereshet hirdetéseket, ezzel ronthatja a felhasználói élményt, és akadályozhatja a felhasználót.

Hirdetési rendszerünk megépítéséhez túl kellett lépnünk a kérés–válasz alapú hirdetési architektúrán. A nulláról építettünk rendszert, amely úgy keres gazdasági lehetőségeket, hogy közben a felhasználói bizalmat és értéket helyezi előtérbe.

Ha egy hagyományos hirdetési rendszerhez hasonlóan minden üzenetet önálló kérésként kezelnénk, az több kockázattal járna a beszélgetésekben: 1) a túlzott leegyszerűsítés miatt félreértenénk a felhasználó célját; 2) túl korán, a valódi igény tisztázása előtt indítanánk el a hirdetési folyamatot; 3) a felhasználót támogató helyett őt akadályozó hirdetéseket mutatnánk; 4) a kérés minden változásakor feleslegesen újrafuttatnánk a folyamatot, ami zajt és többletköltséget okozna. A lekérésből, rangsorolásból és kézbesítésből álló hirdetési rendszer nem egyedi eseményekre épül, hanem állapottartó munkamenetet tart fenn. Ez a hirdetési munkamenet a hirdetésre alkalmas forduló teljes ideje alatt fut, megőrizve és frissítve a közben változó információkat. A ChatGPT elküldi a kérés kezdeti kontextusát a hirdetési szervernek. A hirdetési rendszer követi az alakuló párbeszédet, és alkalmazkodik hozzá, ahelyett, hogy egyetlen leegyszerűsített lekérdezésre támaszkodna.

A hirdetéskiválasztás a ChatGPT normál válaszgenerálása mellett fut, így a hirdetési folyamat nem befolyásolja a ChatGPT válaszait. A hirdetéseket egy külön rendszer szűri és választja ki, amely a beszélgetést saját megjeleníthetőségi, minőségi és kézbesítési korlátai szerint dolgozza fel. Ez a fontos architekturális határ – a külön modelleket és külön kódot használó szolgáltatások szétválasztása – lehetővé teszi, hogy a ChatGPT központi szerverei az organikus választ generálják. Eközben a hirdetési rendszer önállóan értékeli, adódik-e megfelelő hirdetési lehetőség, és ha igen, külön kiszolgálási folyamatban készíti elő a szponzorált elhelyezést.

A felhasználói élmény védelmén túl ennek az elkülönítésnek gyakorlati következményei is vannak. A ChatGPT nem függ a hirdetési rendszertől: a szolgáltatások semmilyen módon nem fonódnak össze, és nem használnak közös tartalomgeneráló modellt. Így ha a hirdetéskiszolgáló rendszer nem érhető el vagy lassú, a ChatGPT organikus válaszának generálása zavartalanul folytatódik. Vagyis a hirdetési rendszer nem állíthatja le és nem lassíthatja a ChatGPT működését. Az elkülönítés másik előnye, hogy szigorú elvárásokat támaszt a hirdetések hasznosságával szemben. Az is normális, sikeres eredmény, ha a rendszer nem ad vissza hirdetést. A rendszer csak akkor kézbesít hirdetést, ha az egyértelműen előnyös a felhasználóknak és a hirdetőknek.

Hirdetési architektúránk másik kulcseleme az utólag betanított LLM, amely értelmezi a beszélgetéseket, és ügynöki ciklusban futtatja a teljes hirdetési folyamatot. Ehhez eszközhívásokkal éri el a hirdetési rendszer alapfunkcióit, a lekéréstől a rangsoroláson és az aukción át egészen a kézbesítésig. Ezt az LLM-et vezérlőnek nevezzük.

A hirdetési folyamat első lépése a felhasználói szándék megértése, amely elindítja a lekérést: a lehetséges hirdetések gyors, szándékosan széles körű összegyűjtését a későbbi szűréshez. Mivel a beszélgetés fokozatosan érkezik be, a lekérés több információra támaszkodhat, de kevésbé egyértelmű: a hirdetési rendszernek meg kell különböztetnie az aktuális szándékot a már elavult kontextustól. A vezérlőnek értelmeznie kell a korábbi üzenetekre való utalásokat, fel kell ismernie, ha a felhasználó feltételesen beszél, és nem szabad minden termék- vagy szolgáltatásemlítést vásárlási szándékként kezelnie.

A hirdetési vezérlő a rendelkezésre álló beszélgetés és felhasználói kontextus alapján, több lépésben keres megfelelő hirdetéseket. Újra és újra eldönti, mikor melyik eszközt hívja meg, hogy megtalálja az adott beszélgetéshez és kontextushoz leginkább illő hirdetést, amely a felhasználónak és a hirdetőnek egyaránt nagy értéket nyújt. Ha a felhasználó engedélyezi a hirdetések személyre szabását, a vezérlő a korábbi beszélgetéseiről rendelkezésre álló, nem érzékeny információkat is figyelembe veszi a leginkább hozzá illő hirdetések megtalálásához.

Ahogy a beszélgetés halad, és a hirdetési vezérlő újabb információkat kap, a frissített kontextussal új eszközhívásokat indíthat, hogy jobb hirdetéseket találjon és küldjön vissza a kliensnek. A kliens ezeket használhatja, ha időben megérkeznek.

A vezérlőt úgy terveztük, hogy egyensúlyt teremtsen a felhasználói és a hirdetői érték között, mindig a felhasználókat helyezve előtérbe.

A hirdetési rendszer különálló eszközökből áll, amelyeket a vezérlő ismételten meghív, hogy megtalálja a beszélgetéshez legjobban illő hirdetéseket. Nagy vonalakban a vezérlő rövid szöveges összefoglalókat készít a beszélgetésekből, amelyekből szemantikus beágyazások jönnek létre: a jelentést olyan formában tárolják, amelyben a hirdetési rendszer könnyebben kereshet. Ezekkel a beágyazásokkal hirdetésjelölteket kér le, majd megjeleníthetőség szerint szűri őket a költségkeret, a felhasználói beállítások és más előzetes ellenőrzések alapján. Ezután értékeli minőségüket és relevanciájukat, végül rangsorolja őket, hogy megtalálja a beszélgetésbeli válasz végén elhelyezhető, nagy értékű hirdetéseket. A megjelenéshez tehát minden hirdetésnek szigorú alkalmassági és relevanciakövetelményeknek kell megfelelnie.

A vezérlő LLM először egy vagy több lekérdezést készít elő, amelyek az adott kereskedelmi szándékot tükrözik. Ehhez át is fogalmazhatja a beszélgetés kontextusát, hogy az egy az egyben megfeleltetett keresőkifejezéseken túl további kereskedelmi lehetőségeket is feltárjon. Ezután szemantikus reprezentációkat hoz létre: a több fordulóból álló beszélgetést összefoglalja a lekérési rendszer számára, így célzottan kérhet le hirdetéseket az adatbázisunkból.

A hirdetések mind a felhasználóknak, mind a hirdetőknek jobbak lesznek, ha csak a felhasználói szándék alapos megértése esetén jelennek meg. Több lekérdezés használatával a szándék különböző aspektusai is megőrizhetők. Egy utazástervezésről szóló beszélgetésben például külön igények merülhetnek fel a közlekedéssel, a szállással vagy a programokkal kapcsolatban. A lekérési rendszer megőrizheti ezeket a különbségeket ahelyett, hogy az egész beszélgetést egyetlen, szó szerinti karakterláncba sűrítené.

Nézzünk például egy lehetséges beszélgetésrészletet a túracipőkről:

1. Mit viseljek egy kétnapos kiránduláson a Yosemite Nemzeti Parkban?

2. Hideg lesz jövő héten?

3. Új [márka beszúrása] termékvonalak?

Bár a felhasználó nem kapcsolta össze a cipőmárkára vonatkozó kérdést a Yosemite-utazással, hirdetési rendszerünk ezt a beszélgetést két lekérdezéssel is reprezentálhatja, például így: [kiránduláshoz megfelelő cipő] és [utazáshoz megfelelő új [márka] termékvonal]. Ez lehet csupán az első próbálkozás: a vezérlőt úgy terveztük, hogy addig finomítsa ezeket a reprezentációkat, amíg a felhasználónak igazán értékes hirdetéseket nem talál a kínálatunkban.

A lekérés során szándékosan széles körből gyűjtjük össze a szóba jöhető hirdetéseket. A jelöltek különböző lekérési stratégiákból származhatnak, később pedig azonos kiszolgálási korlátok mellett versenyezhetnek. Több indexet építünk, amelyeket eltérő rendszer- és termékkorlátokra optimalizálunk. A termékadatfeed-hirdetések indexe például a lehető legjobb hirdetések lekérésekor figyelembe veszi a pozitív és negatív termékértékeléseket. Ez más, értékelésekkel nem feltétlenül rendelkező hirdetéseknél nem releváns. Minden indexet a közelítő legközelebbi szomszéd keresés (ANN) valamely változatára optimalizálunk, a felhasználó szándékát reprezentáló beágyazások használatával. Ez az ANN-keresés nagy szemantikus indexeken végzett lekérésre szolgáló közelítő algoritmus. Nagyon gyorsan kér le hirdetéseket: „a helyes” megoldás keresése helyett egy jó megoldást közelít meg, miközben megtartja a releváns jelöltek többségét.

A szűrés célja minden olyan hirdetésjelölt kizárása, amely relevancia, licit vagy költségkeret szempontjából nem felel meg a megjelenítés követelményeinek. A jelölttől és a konfigurációtól függően a szűrés több szempontot is ellenőrizhet: a kreatívok és kampányok elérhetőségét (aktívak-e); a kampány célzását (például mely nyelvi-régiós beállítások mellett futhat); a szabályzati korlátozásokat (mit szabad hirdetni); a költségkeretet (maradt-e elkölthető összeg); a költés ütemezését (most vagy a nap más időpontjában célszerű-e költeni); az elhelyezéssel való kompatibilitást (milyen beszélgetésekben jelenhet meg a hirdetés); valamint az ismétlődések kiszűrését hirdetői és kampányszinten (hirdetőnként megfelelő számú hirdetés kiválasztását, hogy a vállalkozások méltányosan vehessenek részt).

A megjeleníthetőségi ellenőrzéseken átjutó jelöltek pontozási szakaszba kerülnek. A vezérlő itt különböző pontozórendszereket hív meg eszközökön keresztül, és olyan kiszolgálási szempontokat vizsgál, mint a szemantikus relevancia (kapcsolódik-e a hirdetés a felhasználó céljához?), a várható aktivitás (valószínű-e, hogy megtekintik, rákattintanak, és eléri a hirdető kívánt eredményét?), valamint a korábbi teljesítmény (jól teljesített-e eddig a felhasználóknak megjelenítve?). A vezérlő az aukció előtt a relevancia és a biztonság érdekében is szűri a hirdetéseket. Ezek a rendszerek egy kisebb, aukcióra kész jelöltkörre szűkítik a mezőnyt, de még nem határozzák meg, végül melyik hirdetést kézbesítjük.

A vezérlő a beszélgetés kontextusában értékeli az előkészített jelölteket, és kiválasztja azokat, amelyek kellően megfelelőnek tűnnek a végső aukcióhoz. A vezérlő nem közvetlenül dönti el, melyik hirdetést szolgálja ki a rendszer, és árat sem határoz meg. A kontextushoz illő jelölteket továbbítja értékelésre az aukciós eszköznek.

Az aukció alkalmazza a végső kiszolgálási mechanizmusokat: az aukcióba való beengedést (a minimális relevancia- és értékküszöb teljesítését), az ütemezést (a hirdetési keret egyenletesebb elköltését), a licitek és aukciós jellemzők kiszámítását, a minőséggel korrigált rangsorolást, az árazást és a végső kiválasztást.

Az aukció után két okból hiúsulhat meg egy hirdetés kézbesítése; mindkettő a ChatGPT beszélgetéses közegéből fakad.

1. A hirdetés nem feltétlenül illik a beszélgetésbe: bár az integritási modellek (amelyek eldöntik, mikor helyénvaló hirdetést kiszolgálni) magát a beszélgetést biztonságosnak ítélték a hirdetéselhelyezéshez, és a hirdetés is megfelelt a szabályzatoknak, bizonyos beszélgetések kontextusában mégis oda nem illőnek hathat. A vezérlő megakadályozza ezeknek a hirdetéseknek a megjelenítését.

2. A hirdetési kérés nem feltétlenül érkezik meg időben: ha a ChatGPT modellje már készen áll a válaszra, de a hirdetés még nem áll készen az elhelyezésre, a hirdetési kérés időtúllépéssel lezárul, és a hirdetést nem kézbesítjük. A hirdetési rendszer egyik célja ezért a lehető leggyorsabb működés. A ChatGPT modelljének válaszideje változó, és nem késleltetjük a válaszokat a hirdetések betöltésére várva.

Ha a hirdetés minden fenti ellenőrzésen megfelel, elküldjük a frontendnek megjelenítésre. Ezt szerveroldali hirdetés-kézbesítésnek tekintjük, de a hirdetés még ekkor sem feltétlenül jelenik meg a felhasználónak – és ez szándékos.

Egy olyan beszélgetéses termékben, mint a ChatGPT, a hirdetési kreatív szerveroldali kézbesítése nem garantálja a megjelenítést: a hirdetésnek időben is kell érkeznie, hogy bekerülhessen az aktuális fordulóba. A hirdetési kreatív tartalmazza a címet, a leírást, a célhivatkozást és az esetleges cselekvésre ösztönző szöveget. A hirdetési rendszer emellett egy modell által generált felvezetést is visszaad: ez egy rövid, semleges bevezető, amely elmagyarázza, hogyan kapcsolódik a hirdetés a beszélgetéshez. A felvezetés és a kreatív elkülönítése megőrzi a hirdető üzenetét, miközben a ChatGPT hangvétele semleges marad.

A ChatGPT frontendje egy csomagban kapja meg a felvezetést és a hirdetési kreatívot. Ha ez a ChatGPT válaszának teljes elkészülte előtt megérkezik, a frontend a válasz alatt, egyértelműen szponzoráltként megjelölve jeleníti meg a hirdetést. Ha túl későn érkezik, az adott fordulóban nem jelenik meg a hirdetés. Ez a különbség a szerveroldali hirdetéskézbesítés és a felhasználónál ténylegesen megjelenő hirdetés között.

Hirdetési rendszerünk hagyományos naplózási és adatfeldolgozási folyamatokat használ. Ennek három fő előnye van: a hirdetők könnyebben integrálhatják meglévő rendszereiket a miénkkel, a jelentések adatai alapján javíthatják stratégiáikat, csapatunk pedig azonosíthatja a rendszer fejlesztendő területeit. Ezeken a jelentéskészítési és optimalizálási eszközökön túl egy kiváló minőségű modellt is használunk a kézbesítés értékelésére és más hirdetési modellek betanítására, hatékony önfejlesztő ciklust hozva létre.

Az események részletes bontása segít a hirdetési rendszer minden elemét külön-külön megérteni és fejleszteni. A naplófeldolgozó rendszer olyan részletes kimeneteleket is rögzít, mint például:

• A forduló nem volt alkalmas hirdetés megjelenítésére.

• Elindult egy hirdetési munkamenet, de nem történt lekérési kérés.

• A lekérés nem adott vissza jelölteket.

• A jelöltek lekérése sikerült, de a teljes adataik betöltése vagy a megjeleníthetőségi ellenőrzés sikertelen volt.

• A hirdetést kézbesítettük, majd később interakció történt vele.

Ezek a részletes bontások segítenek a hirdetéskiszolgáló rendszer minden elemét külön-külön fejleszteni. A lehetőségek felismerésének javításához más adatokra van szükség, mint a lekérés, a jelöltek minősége, az aukciós részvétel vagy a kézbesítés megbízhatóságának fejlesztéséhez.

A modellalapú értékelés lényege, hogy legerősebb, a legfejlettebb érvelésre képes modelljeink megfigyelik és értékelik rendszerünk eredményeit, majd további betanítással javítják az utólag betanított LLM teljesítményét. Például kisebb, hatékonyabb vagy kevesebb érvelést végző modelleket is használhatunk vezérlésre vagy lekérésre, ha a legerősebb modellünk visszajelzéseket gyűjt, és betanítja ezeket a kisebb segítőket a lehető legjobb munkavégzésre.

Emberi visszajelzéseket gyűjtünk és használunk fel: a felhasználók kattintásait és hirdetéselrejtéseit, a felhasználói felmérések eredményeit, valamint a hirdetők közvetlen visszajelzéseit a hirdetéskezelőn keresztül. A fejlesztés során csapatunk közvetlenül is fogadja a visszajelzéseket, és meghallgatja mind a ChatGPT felhasználóinak, mind a hirdetőknek az igényeit. Ezek a visszajelzések a modell megfigyeléseinél is erősebben alakítják az irányt, és részben ezeknek köszönhetjük, hogy gyors iterációkkal jutottunk el a helyes termékdöntésekhez. A modell képes lehet megérteni a felhasználói szándékot, és kritikus gondolkodással értéket nyújtani, de az ízlést az emberek alakítják.

Egy éve még nem volt hirdetési rendszerünk, és csak néhányan foglalkoztak ezzel a területtel. Ma már stabil hirdetési rendszerünk van, amely az aktuális bevételi ütemet évesítve több mint 1 milliárd dolláros bevételt biztosít, a hirdetési folyamatot pedig LLM-alapú vezérlő irányítja. A Codex alapvetően megsokszorozta a kapacitásunkat: lehetővé tette, hogy a nulláról felépített rendszerrel páratlan gyorsasággal érjük el ezt a jelentős használati mérföldkövet. A csapatot és a fejlesztési munkafolyamatokat kezdettől úgy alakítottuk ki, hogy a Codex segítségével gyorsan építhessük és skálázhassuk a rendszert. Védelmi korlátokat alakítottunk ki, hogy a Codex megbízhatóan és biztonságosan juttathasson kódot éles környezetbe. Ezzel párhuzamosan adatinfrastruktúra-bővítményeket készítettünk a Codexhez, hogy jelentősen lerövidítsük a felismerések gyűjtésétől a fejlesztések bevezetéséig tartó ciklust, legyen szó új termékfunkciókról, minőségjavításról vagy jobb rendszerteljesítményről.

Rendszerünk hirdetési alapelveinken⁠ nyugvó korlátai és az LLM-alapú vezérlő együtt teszik lehetővé, hogy hasznossá tegyük a hirdetéseket anélkül, hogy minden beszélgetést hirdetési kérésként kezelnénk. A jövőben tovább kísérletezünk dinamikusabb hirdetési formátumokkal, hogy növeljük a felhasználóknak és a hirdetőknek nyújtott értéket – például lehetővé téve, hogy a felhasználók közvetlenül a vállalkozásokkal beszélgessenek a hirdetéseken keresztül. Az OpenAI modelljeire és folyamatos visszacsatolási ciklusokra épülő, önfejlesztő architektúra felgyorsítja a relevancia és a személyre szabás további javítását.