Nýja auglýsingakerfi ChatGPT: byggt fyrir traust notenda og viðeigandi auglýsingar

Hefðbundin auglýsingakerfi eru byggð til að bregðast við afmörkuðum vísbendingum um ásetning notenda. Notandi leitar að einhverju eða skoðar eitthvað á netinu. Auglýsingakerfið tekur við þessum fyrirspurnum og síðuflettingum sem atburðum og leitar að auglýsingum sem passa við þá. Að byggja auglýsingakerfi fyrir ChatGPT var annars eðlis: ásetningur notenda þróast í samtölum og breytist yfir margar umferðir samtals, stundum án þess að nokkurn tíma gefist heppilegt færi á auglýsingu. Til að styðja þetta nýja fyrirkomulag smíðuðum við sérhannað kerfi fyrir afhendingu auglýsinga. Þessi nýja gerð auglýsingakerfis byggist á sérsniðnu, eftirþjálfuðu og háþróuðu LLM. Það kallar á verkfæri fyrir sókn (að finna bestu kostina), röðun (að spá fyrir um viðbrögð notenda), mat á tengslum við samtalið (að meta gagnsemi auglýsingarinnar) og uppboð sem ákvarða endanlegt auglýsingaval og verð.

Þrjár lykilákvarðanir í hönnun gera auglýsingakerfinu okkar kleift að taka mið af blæbrigðum breytilegra markmiða notenda: 1) auglýsingalotur varðveita stöðu, þannig að upplýsingar haldast milli umferða samtals og milli samtala; 2) sérsniðið, eftirþjálfað LLM notar verkfæraköll til að túlka samhengi og undirliggjandi ásetning samtals og velja, raða og afhenda auglýsingar á skilvirkan hátt; og 3) auglýsingavalið fer fram í sérstakri þjónustu, aðskilið frá svarmyndun ChatGPT, svo auglýsingar hafi ekki áhrif á svör og rödd ChatGPT haldist hlutlaus. Við notum eftirþjálfaða LLM-líkanið okkar til að stýra öllu auglýsingaferlinu og ákvarða hvaða auglýsing eigi að birtast hvenær, bæði út frá núverandi umferð samtalsins og samtalsferli notandans. Áður tók mörg ár að byggja frá grunni auglýsingakerfi sem bætir sjálft sig með þessum hætti. ChatGPT Ads náði hins vegar tekjuhraða sem samsvarar einum milljarði Bandaríkjadala á ári innan við 200 dögum eftir opnun. Nú hafa yfir 100.000 auglýsendur birt auglýsingar á ChatGPT frá opnun.

Hefðbundin auglýsingabeiðni byrjar yfirleitt á skýrt afmörkuðum atburði. Notandi sendir inn leitarfyrirspurn eða opnar vefsíðu og auglýsingakerfið tekur við beiðni. Slíkt kerfi er fremur einfalt: það sækir mögulegar auglýsingar, raðar þeim, keyrir uppboð til að verðleggja birtingartækifærið með viðeigandi hætti og sýnir notandanum auglýsinguna sem verður fyrir valinu. Í ChatGPT verður slíkt skýrt augnablik ekki sjálfkrafa til.

Fólk kemur inn í samtal við ChatGPT með markmið fremur en leitarfyrirspurn sem kallar á eitt svar. Það gæti verið að skipuleggja ferð, velja hugbúnað fyrir fyrirtækið sitt, innrétta heimili eða kynna sér nýtt áhugamál. Þetta gerist ekki allt í einni umferð samtals. ChatGPT hjálpar notandanum oft að átta sig á því hvað skiptir máli eftir því sem samtalinu vindur fram.

Sem dæmi spurði verkfræðiteymið okkar ChatGPT hvernig ætti að æfa fyrir hlaup. Samtalið byrjar á almennri spurningu um hlaup. Nokkrum umferðum síðar spyr teymið um skó sem henta við æfingar. Viðskiptaleg merking samtalsins breytist með hverju nýju skilyrði og þetta persónulega samhengi þróast yfir margar lotur. Kerfi sem brygðist strax við fyrstu skilaboðunum gæti farið algerlega á mis við ásetning notandans og þannig hugsanlega skert upplifun hans og staðið í vegi fyrir honum.

Við smíði auglýsingakerfisins þurftum við að fara út fyrir hefðbundna beiðni-og-svars-högun og byggja kerfi frá grunni sem gæti fundið viðskiptatækifæri en setti jafnframt traust notenda og gildi fyrir þá í forgang.

Að gera hver skilaboð að sjálfstæðri beiðni, líkt og hefðbundin auglýsingakerfi gera, hefði haft nokkra áhættu í för með sér í spjallinu okkar: 1) að mistúlka markmið notandans með ofureinföldun, 2) að hefja auglýsingaferlið of snemma, áður en raunveruleg þörf notandans liggur fyrir, 3) að sýna auglýsingar sem hindra notandann í stað þess að styðja hann og 4) að endurkeyra auglýsingaferlið á óskilvirkan hátt í hvert sinn sem beiðnin breytist, með tilheyrandi truflun og óþarfa kostnaði. Í stað þess að byggjast á einstökum atburðum heldur auglýsingakerfið, sem samanstendur af sókn, röðun og afhendingu, utan um lotu sem varðveitir stöðu. Auglýsingalotan er því virk meðan á umferð samtals stendur sem uppfyllir skilyrði fyrir auglýsingum og man upplýsingar og uppfærir þær eftir því sem þær breytast. ChatGPT sendir upphaflegt samhengi beiðninnar til auglýsingaþjónsins. Auglýsingakerfið fylgist með samtalinu og lagar sig að þróun þess í stað þess að treysta á eina einfaldaða fyrirspurn.

Auglýsingavalið keyrir samhliða venjulegri svarmyndun ChatGPT til að tryggja að auglýsingaferlið hafi ekki áhrif á svör þess. Auglýsingar eru síaðar og valdar í sérstöku kerfi sem vinnur úr samtalinu samkvæmt eigin skilyrðum um gjaldgengi, gæði og afhendingu. Þessi mikilvægi aðskilnaður í högun — ólíkar þjónustur sem nota aðskilin líkön og aðskilinn kóða — gerir kjarnaþjónum ChatGPT kleift að sjá um að mynda svar án auglýsingaáhrifa. Á meðan metur auglýsingakerfið sjálfstætt hvort viðeigandi tækifæri sé til auglýsingabirtingar og undirbýr þá kostaða auglýsingu í sérstöku birtingarferli.

Auk þess að vernda upplifun notandans hefur þessi aðskilnaður nokkur hagnýt áhrif. ChatGPT er óháð auglýsingakerfinu — þjónusturnar eru á engan hátt samtvinnaðar og deila ekki líkani til efnismyndunar. Ef auglýsingabirtingarkerfið liggur niðri eða er hægt hefur það því engin áhrif á svar ChatGPT. Þetta þýðir að auglýsingakerfið getur hvorki valdið rekstrarstöðvun né töfum í ChatGPT. Annar kostur við þennan aðskilnað er að hann tryggir að gerðar séu mjög miklar kröfur um gagnsemi auglýsinga. Að skila engri auglýsingu er eðlileg og fullgild niðurstaða. Kerfið afhendir aðeins auglýsingu ef hún gagnast bæði notendum og auglýsendum með skýrum hætti.

Hinn lykilþátturinn í högun auglýsingakerfisins okkar er eftirþjálfað LLM sem túlkar samtöl og stýrir öllu auglýsingaferlinu í endurtekinni fulltrúalykkju. Það kallar á verkfæri fyrir kjarnavirkni auglýsingakerfisins, frá sókn og röðun til uppboðs og að lokum afhendingar. Við köllum þetta LLM stýrilíkanið.

Fyrsti hluti auglýsingaferlisins felst í að skilja ásetning notandans svo hægt sé að hefja sóknarferlið. Þar er safnað hratt og vísvitandi víða mögulegum auglýsingum sem verða síaðar síðar. Þegar samtalið berst smám saman verða upplýsingarnar ríkari en sóknarverkefnið jafnframt margræðara, því auglýsingakerfið þarf að greina núverandi ásetning frá úreltu samhengi. Stýrilíkanið þarf að túlka vísanir í fyrri skilaboð, átta sig á því þegar notandi talar um ímyndaðar aðstæður og forðast að líta á hverja minnstu tilvísun í vöru eða þjónustu sem ósk um að kaupa eitthvað.

Stýrilíkan auglýsingakerfisins nýtir fyrirliggjandi samtal og upplýsingar um aðstæður notandans. Það leitar ítrekað að góðum auglýsingum og ákveður í hvert sinn hvenær kalla skuli á hvaða verkfæri, með það að markmiði að finna auglýsinguna sem hentar samtalinu og samhenginu best — þá sem veitir bæði notanda og auglýsanda mikið gildi. Ef notandinn kýs að sérsníða auglýsingar tekur stýrilíkanið einnig mið af tiltækum, óviðkvæmum upplýsingum um fyrri samtöl hans til að finna auglýsingar sem henta best.

Eftir því sem samtalinu vindur fram og stýrilíkaninu berast nýrri upplýsingar getur það kallað aftur á verkfæri með uppfærðu samhengi til að finna betri auglýsingar. Það skilar þeim til biðlarans, sem getur þá nýtt þær ef þær berast í tæka tíð.

Stýrilíkanið er hannað til að vega saman gildi fyrir notendur og auglýsendur, en setur notendur alltaf í fyrsta sæti.

Auglýsingakerfið samanstendur af einstökum verkfærum sem stýrilíkanið kallar ítrekað á til að finna bestu auglýsingarnar fyrir samtal. Í grófum dráttum breytir stýrilíkanið samtölum í stuttar textasamantektir, sem síðan er breytt í merkingarvigra — vistaða framsetningu merkingar sem auðveldara er fyrir auglýsingakerfi að leita í. Það sækir mögulegar auglýsingar með þessum vigrum, síar þær eftir gjaldgengi út frá fjárhagsáætlun, notandastillingum og öðrum forathugunum, metur gæði þeirra og mikilvægi fyrir notandann og raðar þeim að lokum til að finna auglýsingar sem gætu veitt mikið gildi aftan við svar í spjalli. Hver auglýsing þarf því að standast strangar kröfur um gjaldgengi og tengsl við samtalið til að koma til greina fyrir birtingu.

Stýrilíkanið útbýr fyrst eina eða fleiri fyrirspurnir sem lýsa þeim ásetningi sem skiptir máli í viðskiptalegu samhengi. Þetta getur falið í sér að umorða samhengi samtalsins til að finna fleiri viðskiptamöguleika en bein samsvörun við leitarfyrirspurnir myndi gefa. Síðan er búin til merkingarleg framsetning þar sem stýrilíkanið dregur saman samtal með mörgum umferðum fyrir sóknarkerfið, svo hægt sé að sækja auglýsingar markvisst úr gagnagrunninum okkar.

Auglýsingabirtingar gagnast bæði notendum og auglýsendum betur ef þær eiga sér aðeins stað þegar ásetningur notandans hefur verið skilinn til hlítar. Margar fyrirspurnir geta varðveitt ólíkar hliðar ásetningsins. Samtal um ferðaskipulag gæti til dæmis falið í sér aðskildar þarfir sem varða samgöngur, gistingu eða afþreyingu. Sóknarkerfið getur varðveitt þennan greinarmun í stað þess að þjappa öllu samtalinu í einn bókstaflegan textastreng.

Skoðum sem dæmi hugsanlega röð skilaboða í samtali um gönguskó:

1. Hvað þarf ég að hafa í huga fyrir tveggja daga ferð til Yosemite?

2. Verður kalt í næstu viku?

3. Nýjar vörulínur frá [insert brand]?

Þótt notandinn hafi ekki tengt spurninguna um skómerkið við Yosemite-ferðina mætti setja samtalið fram í auglýsingakerfinu okkar með tveimur fyrirspurnum, svo sem [skór sem henta til göngu] og [nýjar vörulínur frá [brand] sem eru góðar til ferðalaga]. Þetta gæti aðeins verið fyrsta tilraunin. Stýrilíkanið er hannað til að endurbæta þessa framsetningu ítrekað þar til það finnur auglýsingar í safninu okkar sem veita notandanum mikið gildi.

Sókn er ferlið þar sem vísvitandi er myndað breitt safn mögulegra auglýsinga. Auglýsingar geta komið úr mismunandi sóknaraðferðum og síðar keppt á sömu forsendum um birtingu. Við byggjum margar atriðaskrár sem eru fínstilltar fyrir ólíkar kröfur kerfisins og vörunnar. Til dæmis er atriðaskrá fyrir auglýsingar úr vörustraumi hönnuð til að taka mið af jákvæðum eða neikvæðum vöruumsögnum þegar hún sækir bestu mögulegu auglýsingarnar. Þetta á ekki við um aðrar auglýsingar sem tengjast hugsanlega engum umsögnum. Hver atriðaskrá er fínstillt fyrir tiltekna útgáfu af nálgaðri næsta-nágranna-leit (ANN), með vigrum sem tákna ásetning notandans. Þessi ANN-leit er nálgunarreiknirit til sóknar í stórum merkingarskrám. Það þýðir að auglýsingar eru sóttar mjög hratt með því að nálgast góða lausn í stað þess að leita að „réttu“ lausninni, en þó þannig að flestar auglýsingar sem eiga við haldist inni.

Markmið síunar er að útiloka allar mögulegar auglýsingar sem standast ekki kröfur um birtingu hvað varðar tengsl við samtalið, tilboð og fjárhagsáætlun. Eftir auglýsingu og uppsetningu getur síunin athugað hvort auglýsingaefni og herferð séu virk, miðun herferðar (t.d. á hvaða tungumála- og landsvæðum hún má birtast), takmarkanir samkvæmt reglum (kröfur um hvað megi auglýsa), tiltækt fjármagn (hvort enn sé fé eftir í fjárhagsáætlun herferðar), útgjaldadreifingu (hvort verja eigi fé núna eða síðar um daginn), samhæfi við birtingarstað (í hvers konar samtölum auglýsingin má birtast) og fjöldatakmarkanir á auglýsanda og herferð (val á hæfilegum fjölda auglýsinga frá hverjum auglýsanda til að fyrirtæki sitji við sama borð).

Auglýsingar sem standast gjaldgengisathuganir fara áfram í stigagjöf. Þar kallar stýrilíkanið á ýmis stigagjafarkerfi til að meta birtingarþætti á borð við merkingarleg tengsl (tengist auglýsingin markmiði notandans?), áætluð viðbrögð (er líklegt að auglýsingin verði skoðuð, smellt á hana og að hún leiði til þeirrar niðurstöðu sem auglýsandinn sækist eftir?) og fyrri árangur (hefur auglýsingin skilað góðum árangri þegar hún hefur verið sýnd notendum hingað til?). Stýrilíkanið síar einnig auglýsingar fyrir uppboðið til að tryggja að þær eigi við og séu öruggar. Þessi kerfi fækka auglýsingunum í minna safn sem er tilbúið í uppboð, en þau ákvarða samt ekki hvaða auglýsing verður að lokum afhent.

Stýrilíkanið metur auglýsingarnar sem hafa verið undirbúnar í samhengi við samtalið og velur þær sem þykja nógu líklegar til að henta til að fara í lokauppboðið. Stýrilíkanið ákveður ekki beint hvaða auglýsing verður birt og ákveður heldur ekki verð. Það tilnefnir auglýsingar sem henta samhenginu og uppboðsverkfærið metur þær.

Í uppboðinu eru lokaskilyrði birtingar metin. Þar á meðal eru aðgangur að uppboði (að standast lágmarkskröfur um tengsl við samtalið og gildi), útgjaldadreifing (að dreifa auglýsingafénu jafnar), útreikningur tilboða og uppboðsbreyta, röðun með tilliti til gæða, verðlagning og endanlegt val.

Eftir uppboðið getur afhending auglýsingar fallið niður af tveimur ástæðum sem báðar tengjast sérstaklega samtalsformi ChatGPT.

1. Auglýsingin gæti virkað óviðeigandi í spjallinu: Þótt öryggislíkön — líkönin sem ákveða hvenær viðeigandi sé að birta auglýsingu — hafi metið samtalið öruggt fyrir auglýsingabirtingu og auglýsingin sjálf hafi talist samræmast reglum getur hún stundum virkað óviðeigandi í samhengi tiltekinna samtala. Stýrilíkanið kemur í veg fyrir að þessar auglýsingar birtist.

2. Auglýsingabeiðnin gæti ekki borist í tæka tíð: Ef ChatGPT‑líkanið er tilbúið að svara en auglýsingin er ekki enn tilbúin til birtingar rennur beiðnin út á tíma og auglýsingin er ekki afhent. Eitt markmið auglýsingakerfisins er því að vinna eins hratt og hægt er. Svartími ChatGPT‑líkansins er breytilegur og við tefjum ekki svör í spjalli til að bíða eftir að auglýsingar hlaðist.

Ef allar ofangreindar athuganir standast sendum við auglýsinguna til framendans til birtingar. Við lítum á þetta sem afhendingu auglýsingar frá þjóni, en auglýsingin birtist samt ekki endilega notandanum — og það er með ráðum gert.

Í samtalsþjónustu eins og ChatGPT tryggir afhending auglýsingaefnis frá þjóni ekki að auglýsing birtist. Hún þarf líka að berast í tæka tíð til að komast með í yfirstandandi umferð samtalsins. Auglýsingaefnið inniheldur titil, lýsingu, tengil á áfangasíðu og eftir atvikum hvatningu til aðgerða. Auk þess skilar auglýsingakerfið inngangi sem líkan semur: stuttri, hlutlausri kynningu sem útskýrir hvernig auglýsingin tengist samtalinu. Með því að halda innganginum aðskildum frá auglýsingaefninu varðveitum við skilaboð auglýsandans um leið og rödd ChatGPT helst hlutlaus.

Framendi ChatGPT tekur við innganginum og auglýsingaefninu saman í pakka. Ef pakkinn berst áður en svar ChatGPT er fullbúið birtir framendinn auglýsinguna fyrir neðan svarið, skýrt merkta sem kostað efni. Ef hann berst of seint birtist auglýsingin ekki í þeirri umferð samtalsins. Þarna liggur munurinn á afhendingu auglýsingar frá þjóni og raunverulegri birtingu hennar fyrir notanda.

Auglýsingakerfið okkar notar hefðbundna atvikaskráningu og gagnavinnslukeðjur. Það hefur þrjá helstu kosti: auglýsendur geta auðveldar samþætt núverandi kerfi sín við okkar, þeir geta bætt aðferðir sínar með gögnum úr skýrslum og teymið okkar getur fundið þætti kerfisins sem má bæta. Auk þessara skýrslu- og bestunarverkfæra notum við hágæðalíkan til að meta afhendingu og þjálfa önnur auglýsingalíkön. Þannig myndast öflug umbótalykkja þar sem kerfið bætir sjálft sig.

Ítarleg greining á því sem gerðist hjálpar okkur að skilja og bæta hvern hluta auglýsingakerfisins fyrir sig. Atvikaskrárvinnslan skráir einnig nákvæmar niðurstöður á borð við þessar:

• Umferð samtalsins uppfyllti ekki skilyrði fyrir auglýsingum.

• Auglýsingalota hófst en ekki var óskað eftir sókn.

• Sókn skilaði engum mögulegum auglýsingum.

• Mögulegar auglýsingar voru sóttar en ekki tókst að fylla út gögn þeirra eða þær stóðust ekki gjaldgengismat.

• Auglýsing var afhent og notandi brást síðar við henni.

Þessar ítarlegu greiningar hjálpa okkur að bæta hvern hluta auglýsingabirtingarkerfisins fyrir sig. Til að bæta greiningu auglýsingatækifæra þarf önnur gögn en til að bæta sókn, gæði mögulegra auglýsinga, þátttöku í uppboðum eða áreiðanleika afhendingar.

Hugmyndin að baki líkanamiðuðu mati er að öflugustu líkönin okkar, sem beita rökum best, fylgist með og meti niðurstöður kerfisins. Þau bæta síðan eftirþjálfaða LLM-líkanið með því að þjálfa það til að standa sig betur. Við getum til dæmis notað smærri og skilvirkari líkön, eða líkön sem beita rökum í minni mæli, við stýringu eða sókn ef öflugasta líkanið okkar safnar endurgjöf og þjálfar þessi smærri líkön til að vinna sem best.

Við söfnum endurgjöf frá fólki og bregðumst við henni: smellum notenda og því þegar þeir fela auglýsingar, svörum úr notendakönnunum og beinum athugasemdum auglýsenda í gegnum Ads Manager. Teymið okkar er einnig til reiðu til að taka við endurgjöf meðan á þróun stendur og við hlustum beint á óskir bæði notenda ChatGPT og auglýsenda. Þessi endurgjöf mótar stefnu okkar enn meira en endurgjöf sem byggist á athugunum líkansins. Hún á sinn þátt í að við höfum getað unnið okkur hratt að réttum ákvörðunum um vöruna. Líkanið kann að geta skilið ásetning notanda og hugsað gagnrýnið til að skila einhverju gagnlegu, en það er fólk sem mótar smekkinn.

Fyrir ári vorum við ekki með neitt auglýsingakerfi og aðeins örfáir starfsmenn voru að velta þessum viðfangsefnum fyrir sér. Nú erum við með traust auglýsingakerfi sem skilar tekjum á hraða sem samsvarar yfir einum milljarði Bandaríkjadala á ári og stýrilíkan byggt á LLM sér um auglýsingaferlið. Codex margfaldaði afkastagetu okkar og var lykillinn að því að við gátum byggt kerfið frá grunni og náð þessum mikilvæga áfanga í notkun á áður óþekktum hraða. Frá upphafi skipulögðum við teymið og þróunarferlana þannig að Codex nýttist til að byggja kerfið hratt upp og auka afkastagetu þess. Við byggðum inn varnir svo Codex gæti sett kóða í notkun á áreiðanlegan og öruggan hátt. Samhliða því settum við upp gagnainnviðaviðbætur fyrir Codex til að stytta verulega leiðina frá öflun innsýnar til innleiðingar umbóta í kerfinu, þar á meðal nýrra eiginleika, aukinna gæða og betri afkasta.

Mörkin sem við setjum kerfinu, byggð á meginreglum okkar um auglýsingar⁠, gera okkur ásamt LLM-stýrilíkaninu kleift að láta auglýsingar gagnast án þess að meðhöndla hvert samtal sem auglýsingabeiðni. Áfram munum við prófa gagnvirkari auglýsingaform til að auka gildi fyrir bæði notendur og auglýsendur, til dæmis með því að gera notendum kleift að ræða beint við fyrirtæki í gegnum auglýsingar. Högun kerfisins, sem bætir sjálft sig og byggist á líkönum OpenAI með samfelldum endurgjafarlykkjum, mun hjálpa okkur að bæta tengsl auglýsinga við þarfir notenda og sérsnið sífellt hraðar.