Jak zbudowaliśmy nowy system reklam w ChatGPT, dbając o zaufanie użytkowników i trafność reklam

Tradycyjne systemy reklamowe są tworzone tak, by reagować na pojedyncze sygnały intencji użytkownika. Użytkownik czegoś szuka lub coś przegląda w internecie, system reklamowy otrzymuje te zapytania i odsłony stron jako zdarzenia, a następnie szuka na ich podstawie pasujących reklam. Budowa systemu reklamowego dla ChatGPT wyglądała inaczej: intencja użytkownika rozwija się w toku rozmów i zmienia przez wiele tur, a czasem w ogóle nie pojawia się odpowiedni moment na reklamę. Aby obsłużyć ten nowy paradygmat, stworzyliśmy system dostarczania reklam dopasowany do tych potrzeb. Ten nowy typ systemu reklamowego opiera się na specjalnie dostosowanym, pionierskim LLM, który przeszedł szkolenie następcze i wywołuje narzędzia do wyszukiwania (wskazywania najlepszych opcji), tworzenia rankingu (przewidywania zaangażowania użytkownika), oceny trafności (użyteczności reklamy) i przeprowadzania aukcji służących do ostatecznego wyboru reklamy i ustalenia ceny.

Nasz system reklamowy uwzględnia niuanse zmieniających się celów użytkownika dzięki trzem kluczowym decyzjom projektowym: 1) wdrożeniu stanowych sesji reklamowych, czyli zapamiętywaniu informacji między turami rozmowy i między rozmowami; 2) oparciu systemu na specjalnie dostosowanym LLM, który przeszedł szkolenie następcze i dzięki architekturze wywołań narzędzi interpretuje kontekst rozmowy i intencję użytkownika, a następnie skutecznie wybiera reklamy, ustala ich ranking i je dostarcza; 3) uruchamianiu procesu wyboru reklam w osobnej usłudze, niezależnie od generowania odpowiedzi ChatGPT, by reklamy nie wpływały na odpowiedzi, a ChatGPT zachował neutralny ton. Nasz LLM, który przeszedł szkolenie następcze, koordynuje cały proces reklamowy, ustalając na podstawie bieżącej wypowiedzi użytkownika i historii rozmów, którą reklamę wyświetlić i kiedy. Choć zbudowanie od podstaw takiego samodoskonalącego się systemu reklamowego zajmowało kiedyś lata, system ChatGPT Ads osiągnął tempo przychodów odpowiadające 1 mld USD rocznie w mniej niż 200 dni od uruchomienia. Od uruchomienia systemu ponad 100 000 reklamodawców uruchomiło już reklamy w ChatGPT.

W tradycyjnych systemach reklamowych żądanie reklamy jest zwykle wywoływane przez konkretne zdarzenie. Użytkownik wpisuje zapytanie w wyszukiwarce lub otwiera stronę internetową, a system reklamowy otrzymuje żądanie. Taki system jest dość prosty: wyszukuje potencjalne reklamy, tworzy ich ranking, przeprowadza aukcję, by odpowiednio wycenić możliwość emisji, i pokazuje użytkownikowi wybraną reklamę. W ChatGPT taki konkretny moment nie pojawia się w naturalny sposób.

Ludzie rozpoczynają rozmowę z ChatGPT z określonym celem, a nie z zapytaniem wymagającym jednej odpowiedzi. Mogą planować podróż, wybierać oprogramowanie dla firmy, urządzać dom lub poznawać nowe hobby. Nie wszystko dzieje się w jednej turze rozmowy. ChatGPT często pomaga użytkownikowi po drodze doprecyzować, co jest ważne.

Na przykład nasz zespół inżynierów zapytał ChatGPT, jak przygotować się do zawodów biegowych. Rozmowa zaczyna się od ogólnego pytania o bieganie. Kilka tur później pojawia się pytanie o buty do treningu. Z każdym nowym warunkiem zmienia się znaczenie rozmowy z punktu widzenia reklam, a ten indywidualny kontekst rozwija się w wielu sesjach. System reagujący na pierwszą wiadomość mógłby całkowicie błędnie odczytać intencję, potencjalnie pogarszając komfort użytkownika i utrudniając mu realizację celu.

Budowa naszego systemu reklamowego wymagała odejścia od architektury żądanie–odpowiedź i stworzenia go od podstaw tak, by znajdował potencjalne okazje biznesowe, a jednocześnie stawiał na pierwszym miejscu zaufanie użytkownika i wartość dla niego.

Traktowanie każdej wiadomości jako osobnego żądania, tak jak w tradycyjnym systemie reklamowym, wiązałoby się na naszym czacie z kilkoma zagrożeniami: 1) błędnym odczytaniem celu użytkownika wskutek nadmiernego uproszczenia; 2) zbyt wczesnym rozpoczęciem procesu reklamowego, zanim rzeczywista potrzeba użytkownika stanie się jasna; 3) pokazywaniem reklam, które utrudniają użytkownikowi realizację celu, zamiast ją wspierać; 4) nieefektywnym ponawianiem procesu reklamowego przy każdej zmianie żądania, co powoduje niepotrzebne działania systemu i zwiększa koszty. Zamiast opierać się na pojedynczych zdarzeniach, system reklamowy (obejmujący wyszukiwanie, ranking i dostarczanie) utrzymuje sesję stanową. Oznacza to, że sesja reklamowa trwa przez całą turę kwalifikującą się do reklam, zapamiętując informacje i aktualizując je w miarę rozwoju rozmowy. ChatGPT wysyła początkowy kontekst żądania do serwera reklamowego. System reklamowy śledzi rozwijającą się wymianę zdań i dostosowuje się do niej, zamiast polegać na jednym uproszczonym zapytaniu.

Proces wyboru reklam działa równolegle do standardowego generowania odpowiedzi ChatGPT, dzięki czemu proces reklamowy nie wpływa na te odpowiedzi. Reklamy są filtrowane i wybierane przez osobny system, który przetwarza rozmowę według własnych warunków kwalifikacji, jakości i dostarczania. Ten istotny podział architektury — odrębne usługi korzystające z osobnych modeli i osobnego kodu — pozwala głównym serwerom ChatGPT generować odpowiedź niezależną od reklam. W tym samym czasie system reklamowy samodzielnie ocenia, czy pojawiła się odpowiednia okazja do reklamy, a jeśli tak, przygotowuje treść sponsorowaną w osobnym procesie emisji.

Poza ochroną komfortu użytkowników ten rozdział ma też praktyczne konsekwencje. ChatGPT nie zależy od systemu reklamowego — te usługi działają niezależnie od siebie i nie korzystają ze wspólnego modelu generowania treści. Jeśli więc system emisji reklam jest niedostępny lub działa wolno, nie wpływa to na generowanie niezależnej od reklam odpowiedzi ChatGPT. Oznacza to, że system reklamowy nie może spowodować awarii ani spowolnienia ChatGPT. Kolejną korzyścią z tego rozdziału jest utrzymanie bardzo wysokich wymagań co do wartości reklam. Brak reklamy to zwyczajny, prawidłowy wynik działania systemu. System dostarcza reklamę tylko wtedy, gdy przynosi ona wyraźną korzyść użytkownikom i reklamodawcom.

Drugim kluczowym elementem architektury naszego systemu reklamowego jest LLM, który przeszedł szkolenie następcze, interpretuje rozmowy i zarządza całym procesem reklamowym w pętli agentowej — wywołując narzędzia obsługujące podstawowe funkcje systemu, od wyszukiwania, przez tworzenie rankingu i aukcję, aż po dostarczenie reklamy. Ten LLM nazywamy orkiestratorem.

Proces reklamowy zaczyna się od zrozumienia intencji użytkownika, by uruchomić wyszukiwanie: szybkie zebranie celowo szerokiego zestawu potencjalnych reklam do późniejszego filtrowania. Napływ kolejnych wiadomości wzbogaca kontekst wyszukiwania, ale jednocześnie utrudnia interpretację, bo system reklamowy musi odróżniać bieżącą intencję od nieaktualnego kontekstu. Orkiestrator musi interpretować odniesienia do wcześniejszych wiadomości, rozpoznawać, kiedy użytkownik mówi hipotetycznie, i nie traktować każdej wzmianki o produkcie lub usłudze jako zamiaru zakupu.

Orkiestrator reklam korzysta z dostępnego kontekstu rozmowy i użytkownika, szukając dobrych reklam w kolejnych iteracjach. Za każdym razem wybiera, kiedy i które narzędzie wywołać, aby znaleźć reklamę najlepiej dopasowaną do danej rozmowy i kontekstu — taką, która łączy dużą wartość dla użytkownika z dużą wartością dla reklamodawcy. Jeśli użytkownik zdecyduje się na personalizację reklam, orkiestrator uwzględnia też dostępne informacje o jego wcześniejszych rozmowach, z wyłączeniem danych wrażliwych, aby jak najlepiej dopasować reklamy.

W miarę rozwoju rozmowy i napływu nowych informacji orkiestrator reklam może uruchomić kolejną serię wywołań narzędzi z uwzględnieniem zaktualizowanego kontekstu. W ten sposób znajduje lepsze reklamy i przekazuje je aplikacji klienckiej, która może je wykorzystać, jeśli dotrą na czas.

Orkiestrator został zaprojektowany tak, by równoważyć korzyści dla użytkowników i reklamodawców, zawsze stawiając użytkowników na pierwszym miejscu.

System reklamowy składa się z osobnych narzędzi, które orkiestrator wywołuje iteracyjnie, by znaleźć najlepsze reklamy dla danej rozmowy. W uproszczeniu orkiestrator przekształca rozmowy w krótkie podsumowania tekstowe, które następnie są zamieniane na osadzenia semantyczne (zapis znaczenia w postaci ułatwiającej systemowi reklamowemu przeszukiwanie). Używa ich do wyszukiwania potencjalnych reklam, które następnie filtruje pod kątem kwalifikacji (na podstawie budżetu, ustawień użytkownika i innych wstępnych kontroli), ocenia ich jakość i trafność, a następnie tworzy końcowy ranking, by wskazać reklamy, których umieszczenie na końcu odpowiedzi na czacie przyniesie dużą wartość. Każda reklama musi więc spełnić wysokie wymagania dotyczące kwalifikacji i trafności, aby mogła zostać wyświetlona.

LLM pełniący rolę orkiestratora najpierw przygotowuje jedno lub więcej zapytań odzwierciedlających istotną intencję zakupową. Może to obejmować przeformułowanie kontekstu rozmowy, by poszerzyć możliwości doboru ofert poza dosłowne zapytania, a następnie utworzenie reprezentacji semantycznych. Orkiestrator sprowadza wówczas rozmowę złożoną z wielu tur do podsumowania dla systemu wyszukiwania, co pozwala precyzyjnie wyszukiwać reklamy w naszej bazie danych.

Reklamy będą lepiej służyć zarówno użytkownikom, jak i reklamodawcom, jeśli pojawią się tylko wtedy, gdy intencja użytkownika zostanie dogłębnie zrozumiana. Wiele zapytań pozwala zachować różne aspekty intencji. Na przykład rozmowa o planowaniu podróży może obejmować odrębne potrzeby związane z transportem, noclegiem czy atrakcjami. System wyszukiwania może zachować te rozróżnienia, zamiast sprowadzać całą rozmowę do jednego dosłownego ciągu tekstowego.

Przyjrzyjmy się przykładowej sekwencji wiadomości w rozmowie o butach trekkingowych:

1. What should I cover on a two-day trip to Yosemite?

2. Will it be cold next week?

3. New [insert brand] product lines?

Choć użytkownik nie powiązał pytania o markę obuwia z wyjazdem do Yosemite, nasz system reklamowy może przedstawić tę rozmowę w postaci dwóch zapytań, takich jak [shoes appropriate for hiking trip] i [new [brand] product lines good for travel]. To może być dopiero pierwsza próba. Orkiestrator jest zaprojektowany tak, by dopracowywać te reprezentacje w kolejnych iteracjach, aż znajdzie w naszych zasobach reklamy o dużej wartości dla użytkownika.

Wyszukiwanie to proces tworzenia celowo szerokiej puli reklam do wyboru. Reklamy mogą być wyszukiwane za pomocą różnych strategii i później konkurować na tych samych warunkach emisji. Tworzymy wiele indeksów zoptymalizowanych pod kątem różnych ograniczeń systemowych i produktowych. Na przykład indeks reklam z plików produktowych został zaprojektowany tak, by przy wyszukiwaniu najlepszych reklam uwzględniać pozytywne i negatywne opinie o produktach. Nie ma to znaczenia w przypadku innych reklam, które mogą nie mieć powiązanych opinii. Każdy indeks jest zoptymalizowany pod kątem określonego wariantu przybliżonego wyszukiwania najbliższych sąsiadów (ANN), wykorzystującego osadzenia reprezentujące intencję użytkownika. Wyszukiwanie ANN to algorytm aproksymacyjny służący do przeszukiwania dużych indeksów semantycznych. Dzięki niemu reklamy są pobierane bardzo szybko: zamiast szukać „właściwego” rozwiązania, algorytm zbliża się do dobrego rozwiązania, zachowując przy tym większość trafnych reklam.

Celem filtrowania jest wyeliminowanie wszystkich reklam, które nie spełniają wymagań dotyczących trafności, stawek i budżetu. Zależnie od reklamy i konfiguracji filtrowanie może sprawdzać dostępność kreacji i kampanii (czy kampania lub kreacje reklamowe są aktywne), kierowanie kampanii (np. w jakich lokalizacjach może ona działać), ograniczenia wynikające z zasad (wymogi dotyczące tego, co można reklamować), dostępność budżetu (czy kampania ma jeszcze środki do wydania), tempo wydatków (czy budżet kampanii powinien być wydawany teraz, czy o innej porze dnia), zgodność z miejscem emisji (w jakich rozmowach można wyświetlić tę reklamę) oraz deduplikację na poziomie reklamodawcy i kampanii (wybór odpowiedniej liczby reklam na reklamodawcę, by zapewnić firmom równe szanse udziału).

Reklamy spełniające kryteria kwalifikacji trafiają do etapu oceny punktowej. Orkiestrator wywołuje wtedy narzędzia różnych systemów oceny, uwzględniających takie kryteria emisji jak trafność semantyczna (czy reklama odpowiada celowi użytkownika?), przewidywane zaangażowanie (czy reklama prawdopodobnie zostanie obejrzana, kliknięta i doprowadzi do rezultatu oczekiwanego przez reklamodawcę?) oraz dotychczasowe wyniki (czy reklama wyświetlana dotąd użytkownikom przynosiła dobre rezultaty?). Przed aukcją orkiestrator filtruje też reklamy, aby zapewnić ich trafność i bezpieczeństwo. Te systemy zawężają wybór do mniejszej puli reklam, które mogą wziąć udział w aukcji, ale nadal nie rozstrzygają, która reklama zostanie ostatecznie dostarczona.

Orkiestrator ocenia wstępnie wybrane reklamy w kontekście rozmowy i wybiera te, które są na tyle odpowiednie, by wziąć udział w końcowej aukcji. Orkiestrator nie decyduje bezpośrednio o tym, która reklama zostanie wyemitowana, ani nie ustala ceny. Wskazuje reklamy pasujące do kontekstu, które następnie ocenia narzędzie aukcyjne.

Na etapie aukcji stosowane są końcowe mechanizmy emisji: dopuszczenie do aukcji (przekroczenie minimalnego progu trafności i wartości), regulacja tempa wydatków (bardziej równomierne wydawanie budżetu reklamowego), obliczanie stawek i parametrów aukcyjnych, ranking uwzględniający jakość, ustalenie ceny i ostateczny wybór.

Po aukcji reklama może nie zostać dostarczona z dwóch powodów, charakterystycznych dla konwersacyjnego środowiska ChatGPT.

1. Reklama może nie pasować do czatu: choć modele bezpieczeństwa (czyli modele decydujące, kiedy można wyemitować reklamę) uznały samą rozmowę za bezpieczną dla reklam, a reklama została uznana za zgodną z zasadami, w kontekście niektórych rozmów może ona mimo wszystko wydawać się niestosowna. Orkiestrator blokuje wyświetlanie takich reklam.

2. Żądanie reklamy może nie zostać obsłużone na czas: jeśli model ChatGPT jest gotowy do odpowiedzi, ale reklama nie jest jeszcze gotowa do umieszczenia, upływa czas przeznaczony na obsługę żądania reklamy, przez co reklama nie trafia do aplikacji klienckiej. Dlatego jednym z celów systemu reklamowego jest jak najszybsze działanie. Czas odpowiedzi modelu ChatGPT jest zmienny, a my nie opóźniamy odpowiedzi na czacie, by czekać na załadowanie reklam.

Jeśli wszystkie powyższe kontrole zakończą się pomyślnie, wysyłamy reklamę do interfejsu użytkownika w celu jej wyrenderowania. Uznajemy to za dostarczenie reklamy po stronie serwera, ale nadal możemy jej nie pokazać użytkownikowi — i jest to zamierzone.

W produkcie konwersacyjnym takim jak ChatGPT dostarczenie kreacji reklamowej po stronie serwera nie gwarantuje jej wyświetlenia. Reklama musi też dotrzeć na czas, by można było ją uwzględnić w bieżącej turze rozmowy. Kreacja reklamowa zawiera tytuł, opis, łącze docelowe i ewentualne wezwanie do działania. System reklamowy zwraca też wygenerowany przez model wstęp — krótkie, neutralne wyjaśnienie, jak reklama wiąże się z rozmową. Oddzielenie wstępu od kreacji pozwala zachować przekaz reklamodawcy, a jednocześnie utrzymać neutralny ton ChatGPT.

Interfejs ChatGPT otrzymuje wstęp i kreację reklamową w jednym pakiecie. Jeśli pakiet dotrze przed zakończeniem generowania odpowiedzi ChatGPT, interfejs wyświetla pod nią reklamę, wyraźnie oznaczoną jako treść sponsorowana. Jeśli dotrze za późno, reklama nie jest pokazywana w tej turze rozmowy. Na tym polega różnica między dostarczeniem reklamy po stronie serwera a jej wyświetleniem użytkownikowi.

Nasz system reklamowy korzysta z tradycyjnego rejestrowania zdarzeń i potoków danych, co daje trzy główne korzyści: reklamodawcom łatwiej jest zintegrować istniejące systemy z naszym, mogą oni ulepszać swoje strategie na podstawie danych z raportów, a nasz zespół może wskazywać obszary systemu wymagające poprawy. Oprócz tych narzędzi raportowania i optymalizacji wykorzystujemy wysokiej jakości model do oceny dostarczania reklam i trenowania innych modeli reklamowych, tworząc skuteczną pętlę samodoskonalenia.

Szczegółowe analizy przebiegu zdarzeń pomagają nam zrozumieć i ulepszać każdą część systemu reklamowego z osobna. System przetwarzania logów rejestruje też szczegółowe wyniki, takie jak:

• Tura rozmowy nie kwalifikowała się do wyświetlania reklam.

• Rozpoczęto sesję reklamową, ale nie zlecono wyszukiwania.

• Wyszukiwanie nie zwróciło żadnych reklam do dalszej oceny.

• Znaleziono reklamy, ale nie udało się uzupełnić ich danych lub nie spełniały kryteriów kwalifikacji.

• Reklama została dostarczona, a później użytkownik wszedł z nią w interakcję.

Te szczegółowe analizy pomagają nam ulepszać każdą część systemu emisji reklam z osobna. Usprawnienie wykrywania okazji do emisji wymaga innych danych niż ulepszanie wyszukiwania, jakości wytypowanych reklam, udziału w aukcjach czy niezawodności dostarczania.

Ocena oparta na modelach polega na tym, że nasze najmocniejsze modele rozumujące obserwują i oceniają wyniki systemu, a następnie dzięki dalszemu treningowi poprawiają działanie LLM, który przeszedł szkolenie następcze. Na przykład możemy używać do orkiestracji lub wyszukiwania mniejszych, wydajniejszych modeli albo modeli o mniejszych zdolnościach rozumowania, jeśli nasz najpotężniejszy model zbiera informacje zwrotne i trenuje te mniejsze modele, by wykonywały swoje zadania jak najlepiej.

Zbieramy i wykorzystujemy sygnały od użytkowników (kliknięcia i ukrycia reklam), wyniki ankiet oraz bezpośrednie opinie reklamodawców przekazywane przez Ads Manager. W trakcie prac nasz zespół jest też dostępny dla osób chcących przekazać uwagi. Bezpośrednio słuchamy potrzeb zarówno użytkowników ChatGPT, jak i reklamodawców. To źródło informacji wpływa na kierunek rozwoju jeszcze silniej niż obserwacje modelu i między innymi dzięki niemu mogliśmy szybko dochodzić do właściwych decyzji produktowych w kolejnych iteracjach. Model może rozumieć intencję użytkownika i myśleć krytycznie, by dostarczyć coś wartościowego, ale to ludzie kształtują wyczucie tego, co jest stosowne.

Rok temu nie mieliśmy systemu reklamowego, a tym zagadnieniem zajmowało się zaledwie kilka osób. Dziś mamy solidny system reklamowy generujący przychody w tempie przekraczającym 1 mld USD w przeliczeniu na rok, z orkiestratorem opartym na LLM, który zarządza procesem reklamowym. Codex znacząco zwiększył nasze możliwości i odegrał kluczową rolę w zbudowaniu systemu od podstaw oraz osiągnięciu tego ważnego etapu rozwoju w bezprecedensowym tempie. Od początku organizowaliśmy zespół i procesy programistyczne tak, by wykorzystać Codex do szybkiego budowania i skalowania systemu. Stworzyliśmy zabezpieczenia, dzięki którym Codex może niezawodnie i bezpiecznie wdrażać kod. Równolegle przygotowaliśmy dla Codex wtyczki do infrastruktury danych, aby radykalnie skrócić cykl od zdobywania wiedzy do wdrażania usprawnień systemu — w tym nowych funkcji produktu, poprawy jakości i zwiększenia wydajności.

Połączenie granic wyznaczonych naszemu systemowi (wynikających z naszych zasad dotyczących reklam⁠) z orkiestratorem opartym na LLM pozwala nam tworzyć użyteczne reklamy bez traktowania każdej rozmowy jako żądania reklamy. Będziemy nadal eksperymentować z bardziej dynamicznymi formatami reklam, aby zwiększać wartość dla użytkowników (np. umożliwiając im bezpośrednią rozmowę z firmami za pośrednictwem reklam) i reklamodawców. Samodoskonaląca się architektura systemu, oparta na modelach OpenAI i ciągłych pętlach informacji zwrotnych, pozwoli nam coraz szybciej poprawiać trafność i personalizację.