Wie wir das neue Werbesystem von ChatGPT für Vertrauen und Relevanz entwickelt haben

Herkömmliche Werbesysteme sind darauf ausgelegt, auf einzelne, klar abgegrenzte Absichtssignale zu reagieren. Eine Person sucht online nach etwas oder sieht sich etwas an. Das Werbesystem erhält diese Suchanfragen und Seitenaufrufe als Ereignisse und sucht auf dieser Grundlage nach passenden Anzeigen. Ein Werbesystem für ChatGPT zu entwickeln, war anders: Absichten entstehen über Unterhaltungen hinweg und verändern sich über mehrere Gesprächsrunden, manchmal ohne einen passenden Moment für Werbung. Um diesem neuen Ansatz gerecht zu werden, haben wir ein eigens dafür entwickeltes System zur Anzeigenauslieferung aufgebaut. Dieses neuartige Werbesystem basiert auf einem speziell angepassten, nachtrainierten Frontier-LLM. Es ruft Tools auf, um Anzeigen abzurufen (die besten Optionen ermitteln), eine Rangfolge zu erstellen (Interaktionen prognostizieren), Relevanz zu prüfen (den Nutzen der Anzeige bewerten) und Auktionen zur endgültigen Anzeigenauswahl und Preisbildung durchzuführen.

Unser Werbesystem berücksichtigt die Feinheiten sich verändernder Ziele durch drei zentrale Architekturentscheidungen: 1) zustandsbehaftete Anzeigensitzungen, die Informationen über Gesprächsrunden und mehrere Unterhaltungen hinweg speichern; 2) ein speziell angepasstes, nachtrainiertes LLM, das mithilfe einer Architektur für Tool-Aufrufe den Gesprächskontext und die zugrunde liegende Absicht interpretiert, um Anzeigen wirksam auszuwählen, zu ordnen und auszuliefern; und 3) eine Anzeigenauswahl, die in einem eigenen Dienst getrennt von der Antwortgenerierung durch ChatGPT läuft. So beeinflussen Anzeigen die Antworten nicht, und die Ausdrucksweise von ChatGPT bleibt neutral. Unser nachtrainiertes LLM orchestriert den gesamten Anzeigenablauf. Anhand der aktuellen Gesprächsrunde und des Gesprächsverlaufs bestimmt es, welche Anzeige zum jeweiligen Zeitpunkt passend ist. Früher dauerte es Jahre, ein solches selbstverbesserndes Werbesystem von Grund auf aufzubauen. ChatGPT Ads erreichte dagegen weniger als 200 Tage nach dem Start einen auf das Jahr hochgerechneten Umsatz von 1 Milliarde USD. Inzwischen haben seit dem Start mehr als 100.000 werbende Unternehmen Anzeigen in ChatGPT geschaltet.

Eine herkömmliche Anzeigenanfrage beginnt meist mit einem klar definierten Ereignis. Eine Person stellt eine Suchanfrage oder öffnet eine Webseite, und das Werbesystem erhält eine Anfrage. Ein solches System ist recht einfach: Es ruft mögliche Anzeigenkandidaten ab, ordnet sie, führt eine Auktion zur angemessenen Preisbildung durch und zeigt der Person die ausgewählte Anzeige. Bei ChatGPT ergibt sich ein solcher konkreter Moment nicht von selbst.

Menschen beginnen eine Unterhaltung mit ChatGPT mit Zielen, nicht mit einer Suchanfrage, die nur eine einzelne Antwort verlangt. Vielleicht planen sie eine Reise, wählen Software für ihr Unternehmen aus, richten ein Zuhause ein oder lernen ein neues Hobby kennen. Das geschieht nicht alles in einer einzigen Gesprächsrunde. Oft hilft ChatGPT dabei, unterwegs zu klären, worauf es ankommt.

Ein Beispiel: Unser Entwicklungsteam fragte ChatGPT, wie man für einen Wettlauf trainiert. Die Unterhaltung beginnt mit einer allgemeinen Frage zum Laufen. Einige Gesprächsrunden später fragt das Team nach Schuhen fürs Training. Mit jeder neuen Anforderung verändert sich die kommerzielle Bedeutung der Unterhaltung. Dieser persönliche Kontext entwickelt sich über mehrere Sitzungen hinweg weiter. Ein System, das bereits auf die erste Nachricht reagiert, könnte eine völlig falsche Absicht zugrunde legen. Das könnte das Nutzungserlebnis verschlechtern und der Person im Weg stehen.

Für unser Werbesystem mussten wir die Anfrage-Antwort-Architektur hinter uns lassen und von Grund auf ein neues System entwickeln. Es sollte mögliche wirtschaftliche Chancen erkennen und zugleich Vertrauen und Nutzen für die Menschen im Chat an erste Stelle setzen.

Jede Nachricht wie in einem herkömmlichen Werbesystem als eigenständige Anfrage zu behandeln, hätte für unseren Chat mehrere Risiken mit sich gebracht: 1) das Ziel der Person durch übermäßige Vereinfachung falsch zu verstehen; 2) den Anzeigenablauf zu früh zu starten, bevor der tatsächliche Bedarf klar ist; 3) Anzeigen zu zeigen, die den Weg zum Ziel behindern, statt ihn zu unterstützen; und 4) den Anzeigenablauf bei jeder Änderung der Anfrage ineffizient neu zu starten, was unnötige Signale und Kosten erzeugt. Statt auf einzelnen Ereignissen aufzubauen, führt das Werbesystem aus Abruf, Rangfolgebildung und Auslieferung eine zustandsbehaftete Sitzung. Die Anzeigensitzung läuft also für die Dauer einer geeigneten Gesprächsrunde und speichert und aktualisiert Informationen, während sich die Unterhaltung entwickelt. ChatGPT sendet den ursprünglichen Anfragekontext an den Anzeigenserver. Das Werbesystem folgt dem sich entwickelnden Austausch und passt sich daran an, statt sich auf eine einzelne, vereinfachte Anfrage zu stützen.

Die Anzeigenauswahl läuft parallel zur normalen Antwortgenerierung von ChatGPT. So wird sichergestellt, dass der Anzeigenablauf die Antworten von ChatGPT nicht beeinflusst. Ein separates System verarbeitet die Unterhaltung und filtert und wählt Anzeigen nach eigenen Vorgaben für Eignung, Qualität und Auslieferung aus. Diese wichtige Architekturgrenze besteht aus unterschiedlichen Diensten mit getrennten Modellen und getrenntem Code. So können die zentralen ChatGPT‑Server die organische Antwort erzeugen. Währenddessen prüft das Werbesystem unabhängig, ob eine passende Werbemöglichkeit besteht, und bereitet gegebenenfalls über einen separaten Auslieferungsprozess eine gesponserte Platzierung vor.

Diese Trennung schützt nicht nur das Nutzungserlebnis, sondern hat auch praktische Auswirkungen. ChatGPT ist nicht vom Werbesystem abhängig. Die Dienste sind in keiner Weise miteinander verflochten und nutzen kein gemeinsames Modell zur Inhaltserstellung. Ist das System zur Anzeigenauslieferung nicht verfügbar oder langsam, bleibt die organische Antwort von ChatGPT davon unberührt. Das Werbesystem kann ChatGPT also weder lahmlegen noch verzögern. Ein weiterer Vorteil dieser Trennung: Die Anforderungen an den Nutzen von Anzeigen bleiben sehr hoch. Keine Anzeige auszugeben, ist ein ganz normales, erfolgreiches Ergebnis. Das System liefert nur dann eine Anzeige aus, wenn sie sowohl für die Person im Chat als auch für das werbende Unternehmen klar nützlich ist.

Die andere zentrale Architekturkomponente unseres Werbesystems ist das nachtrainierte LLM. Es interpretiert Unterhaltungen und steuert den gesamten Anzeigenablauf in einer agentischen Schleife. Dabei ruft es Tools für die Kernfunktionen des Werbesystems auf: vom Abruf über die Rangfolge und Auktion bis hin zur Auslieferung. Wir nennen dieses LLM den Orchestrator.

Am Anfang des Anzeigenablaufs steht das Verständnis der Absicht der Person im Chat. Darauf baut der Abruf auf: eine schnelle und bewusst breit angelegte Suche nach möglichen Anzeigen, die später gefiltert werden. Das schrittweise Übersenden der Unterhaltung macht den Abruf informationsreicher, aber auch mehrdeutiger: Das Werbesystem muss die aktuelle Absicht von überholtem Kontext unterscheiden. Der Orchestrator muss Bezüge zu früheren Nachrichten interpretieren, hypothetische Aussagen erkennen und vermeiden, jede Erwähnung eines Produkts oder einer Dienstleistung als Kaufwunsch zu behandeln.

Der Anzeigen-Orchestrator nutzt die verfügbare Unterhaltung und den Kontext zur jeweiligen Person, um schrittweise passende Anzeigen zu finden. Dabei entscheidet er immer wieder, welches Tool er wann aufruft. Sein Ziel ist die Anzeige, die am besten zur Unterhaltung und zum Kontext passt und einen hohen Nutzen für die Person mit einem hohen Nutzen für das werbende Unternehmen verbindet. Entscheidet sich die Person für personalisierte Anzeigen, berücksichtigt der Orchestrator auch verfügbare, nicht sensible Informationen aus früheren Unterhaltungen, um die passendsten Anzeigen zu finden.

Im Verlauf der Unterhaltung erhält der Anzeigen-Orchestrator aktuellere Informationen. Mit diesem aktualisierten Kontext kann er weitere Tools aufrufen, um passendere Anzeigen zu finden und an den Client zurückzugeben. Treffen sie rechtzeitig ein, kann der Client diese neuen Anzeigen verwenden.

Der Orchestrator soll den Nutzen für die Menschen im Chat und für werbende Unternehmen ausbalancieren. Die Menschen im Chat stehen dabei immer an erster Stelle.

Das Werbesystem besteht aus einzelnen Tools. Der Orchestrator ruft sie iterativ auf, um die besten Anzeigen für eine Unterhaltung zu finden. Vereinfacht gesagt erstellt der Orchestrator kurze Textzusammenfassungen von Unterhaltungen. Diese werden in semantische Einbettungen umgewandelt: gespeicherte Bedeutungen, die ein Werbesystem leichter durchsuchen kann. Anhand dieser Einbettungen ruft er Anzeigenkandidaten ab und filtert sie nach ihrer Eignung, etwa anhand des Budgets, der persönlichen Einstellungen und weiterer Vorprüfungen. Anschließend bewertet er Qualität und Relevanz und erstellt eine abschließende Rangfolge, um besonders nützliche Platzierungen am Ende einer Chatantwort zu ermitteln. Jede Anzeige muss daher hohe Anforderungen an Eignung und Relevanz erfüllen, um für eine Platzierung infrage zu kommen.

Das Orchestrator-LLM bereitet zunächst eine oder mehrere Anfragen vor, die die relevante kommerzielle Absicht abbilden. Dazu kann es den Gesprächskontext umformulieren, um über wortgetreue Suchanfragen hinaus weitere kommerzielle Möglichkeiten zu erfassen. Anschließend erstellt es semantische Darstellungen: Der Orchestrator verdichtet eine Unterhaltung mit mehreren Gesprächsrunden zu einer Zusammenfassung für das Abrufsystem. So lassen sich Anzeigen gezielt aus unserer Datenbank abrufen.

Anzeigenplatzierungen sind für Menschen im Chat und werbende Unternehmen besser, wenn sie nur auf Grundlage eines tiefen Verständnisses der jeweiligen Absicht erscheinen. Mehrere Anfragen können unterschiedliche Aspekte dieser Absicht bewahren. Eine Unterhaltung über Reiseplanung kann zum Beispiel unterschiedliche Bedürfnisse rund um Verkehrsmittel, Unterkunft oder Aktivitäten enthalten. Das Abrufsystem kann diese Unterschiede erhalten, statt die gesamte Unterhaltung auf eine einzige wörtliche Zeichenfolge zu reduzieren.

Betrachten wir als Beispiel einen möglichen Gesprächsverlauf über Wanderschuhe:

1. Was sollte ich für zwei Tage in Yosemite mitnehmen?

2. Wird es nächste Woche kalt?

3. Neue Produkte von [Marke einfügen]?

Obwohl die Person die Frage zur Schuhmarke nicht mit der Yosemite-Reise verknüpft hat, könnte unser Werbesystem diese Unterhaltung durch zwei Anfragen darstellen, etwa [Passende Schuhe für eine Wanderreise] und [Neue Produkte von [Marke] zum Reisen]. Das ist möglicherweise nur der erste Versuch. Der Orchestrator ist darauf ausgelegt, diese Darstellungen schrittweise zu verfeinern, bis er in unserem Bestand Anzeigen findet, die für die Person besonders nützlich sind.

Beim Abruf wird eine bewusst breite Auswahl möglicher Anzeigen zusammengestellt. Kandidaten können aus unterschiedlichen Abrufstrategien stammen und später unter denselben Auslieferungsbedingungen miteinander konkurrieren. Wir erstellen mehrere Indizes, die für unterschiedliche System- und Produktanforderungen optimiert sind. So berücksichtigt der Index für Produktfeed-Anzeigen beim Abruf der bestmöglichen Anzeigen positive und negative Produktbewertungen. Für andere Anzeigen, zu denen möglicherweise keine Bewertungen vorliegen, ist das nicht relevant. Jeder Index ist für eine Variante der approximativen Nächste-Nachbarn-Suche (ANN) optimiert. Sie nutzt Einbettungen, die die Absicht der Person abbilden. Diese ANN-Suche ist ein Näherungsalgorithmus für den Abruf aus großen semantischen Indizes. Anzeigen werden dadurch sehr schnell abgerufen: Statt nach „der richtigen“ Lösung zu suchen, nähert sich der Algorithmus einer guten Lösung an und behält dabei die meisten relevanten Kandidaten bei.

Die Filterung soll alle Anzeigenkandidaten ausschließen, die bei Relevanz, Geboten und Budget die Anforderungen für eine Platzierung nicht erfüllen. Je nach Kandidat und Konfiguration können die Prüfungen Folgendes umfassen: die Verfügbarkeit von Werbemitteln und Kampagnen (sind sie aktiv?), die Kampagnenausrichtung (etwa zulässige Sprach- und Länderregionen), Richtlinienbeschränkungen (Vorgaben dazu, was beworben werden darf), das verfügbare Budget (hat die Kampagne noch Geld zum Ausgeben?), die Ausgabensteuerung (soll die Kampagne jetzt oder zu einer anderen Tageszeit Budget ausgeben?), die Platzierungskompatibilität (für welche Unterhaltungen ist die Anzeige geeignet?) und die Deduplizierung auf Unternehmens- und Kampagnenebene (eine angemessene Zahl von Anzeigen pro werbendem Unternehmen auswählen, um eine faire Beteiligung der Unternehmen sicherzustellen).

Kandidaten, die die Eignungsprüfungen bestehen, gelangen in die Bewertungsphase. Hier ruft der Orchestrator Tools verschiedener Bewertungssysteme auf. Diese prüfen Kriterien für die Auslieferung: semantische Relevanz (passt die Anzeige zum Ziel der Person?), prognostizierte Interaktion (wird die Anzeige voraussichtlich angesehen, angeklickt und zum gewünschten Ergebnis des werbenden Unternehmens führen?) und bisherige Leistung (hat die Anzeige bisher gute Ergebnisse erzielt?). Der Orchestrator filtert Anzeigen außerdem vor der Auktion, um Relevanz und Sicherheit sicherzustellen. Diese Systeme grenzen die Auswahl auf einen kleineren Kandidatenpool für die Auktion ein. Welche Anzeige letztlich ausgeliefert wird, legen sie aber noch nicht fest.

Der Orchestrator bewertet die vorbereiteten Kandidaten im Gesprächskontext und entscheidet, welche Anzeigen plausibel genug für die abschließende Auktion sind. Der Orchestrator entscheidet weder direkt, welche Anzeige ausgeliefert wird, noch legt er einen Preis fest. Er schlägt kontextuell passende Kandidaten vor, die das Auktionstool bewertet.

Die Auktion wendet die abschließenden Auslieferungsmechanismen an. Dazu gehören die Auktionszulassung (eine Mindestschwelle für Relevanz und Nutzen überschreiten), die Ausgabensteuerung (Werbebudget gleichmäßiger ausgeben), die Berechnung von Geboten und Auktionsmerkmalen, eine qualitätsbereinigte Rangfolge, die Preisbildung und die endgültige Auswahl.

Nach der Auktion kann die Auslieferung einer Anzeige noch aus zwei Gründen scheitern. Beide sind spezifisch für das dialogbasierte Medium ChatGPT.

1. Die Anzeige könnte im Chat unpassend wirken: Integritätsmodelle entscheiden, wann eine Anzeigenauslieferung angemessen ist. Selbst wenn diese Modelle die Unterhaltung als sicher für Werbung einstufen und die Anzeige selbst als richtlinienkonform gilt, kann sie im Kontext bestimmter Unterhaltungen unpassend wirken. Der Orchestrator verhindert, dass diese Anzeigen erscheinen.

2. Die Anzeigenanfrage könnte nicht rechtzeitig eintreffen: Ist das ChatGPT‑Modell bereit zu antworten, die Anzeige aber noch nicht bereit zur Platzierung, läuft die Anzeigenanfrage ab und die Anzeige wird nicht ausgeliefert. Ein Ziel des Werbesystems ist es deshalb, so schnell wie möglich zu arbeiten. Die Antwortzeit des ChatGPT‑Modells variiert. Wir verzögern Chatantworten nicht, um auf das Laden von Anzeigen zu warten.

Sind alle genannten Prüfungen bestanden, senden wir die Anzeige zur Darstellung an das Frontend. Das betrachten wir als serverseitige Auslieferung einer Anzeige. Trotzdem wird sie der Person möglicherweise nicht angezeigt. Das ist so vorgesehen.

Bei einem dialogbasierten Produkt wie ChatGPT garantiert die serverseitige Auslieferung eines Werbemittels nicht, dass die Anzeige erscheint. Sie muss auch rechtzeitig eintreffen, um in die aktuelle Gesprächsrunde aufgenommen zu werden. Das Werbemittel umfasst Titel, Beschreibung, Ziellink und gegebenenfalls eine Handlungsaufforderung. Zusätzlich gibt das Werbesystem eine modellgenerierten Einleitung zurück: eine kurze, neutrale Erklärung darüber, wie die Anzeige mit der Unterhaltung zusammenhängt. Die Trennung von Einleitung und Werbemittel bewahrt die Botschaft des werbenden Unternehmens, während die Ausdrucksweise von ChatGPT neutral bleibt.

Das ChatGPT‑Frontend erhält Einleitung und Werbemittel als gemeinsames Paket. Trifft es ein, bevor die Antwort von ChatGPT vollständig generiert wurde, zeigt das Frontend die Anzeige darunter an, klar als gesponsert gekennzeichnet. Trifft es zu spät ein, erscheint die Anzeige in dieser Gesprächsrunde nicht. Das ist der Unterschied zwischen der serverseitigen Anzeigenauslieferung und einer sichtbaren Anzeigenimpression.

Unser Werbesystem nutzt herkömmliche Protokollierung und Datenpipelines. Das hat drei wesentliche Vorteile: Werbende Unternehmen können ihre bestehenden Systeme leichter integrieren und ihre Strategien anhand der Berichtsdaten verbessern. Unser Team kann zudem erkennen, wo sich das System verbessern lässt. Neben diesen Berichts- und Optimierungstools setzen wir ein hochwertiges Modell ein, das unsere Auslieferung bewertet und andere Anzeigenmodelle trainiert. So entsteht ein leistungsfähiger Kreislauf zur Selbstverbesserung.

Detaillierte Aufschlüsselungen der Abläufe helfen uns, jeden Teil des Werbesystems einzeln zu verstehen und zu verbessern. Das System zur Protokollverarbeitung erfasst auch detaillierte Ergebnisse wie diese:

• Die Gesprächsrunde war nicht für Werbung geeignet.

• Eine Anzeigensitzung wurde gestartet, aber kein Abruf angefordert.

• Der Abruf lieferte keine Kandidaten.

• Kandidaten wurden abgerufen, scheiterten aber bei der Datenanreicherung oder der Eignungsprüfung.

• Eine Anzeige wurde ausgeliefert und führte später zu einer Interaktion.

Diese detaillierten Aufschlüsselungen helfen uns, jeden Teil des Systems zur Anzeigenauslieferung einzeln zu verbessern. Um passende Werbemöglichkeiten besser zu erkennen, brauchen wir andere Erkenntnisse als für Verbesserungen beim Abruf, bei der Kandidatenqualität, der Auktionsteilnahme oder der Zuverlässigkeit der Auslieferung.

Die Idee hinter der modellbasierten Bewertung: Unsere stärksten Modelle mit den besten Reasoning-Fähigkeiten beobachten und beurteilen die Ergebnisse unseres Systems. Anschließend verbessern sie das nachtrainierte LLM, indem sie es auf eine bessere Leistung trainieren. So können wir für die Orchestrierung oder den Abruf kleinere, effizientere Modelle oder Modelle mit geringeren Reasoning-Fähigkeiten einsetzen, wenn unser leistungsstärkstes Modell Feedback sammelt und diese kleineren Modelle darauf trainiert, ihre Aufgaben bestmöglich zu erfüllen.

Wir erfassen und berücksichtigen menschliches Feedback: Klicks und ausgeblendete Anzeigen, Umfragen unter Menschen, die ChatGPT nutzen, sowie direkte Rückmeldungen werbender Unternehmen über unseren Ads Manager. Auch unser Team steht während der Entwicklung für Feedback zur Verfügung. Wir hören direkt zu, was sich die Menschen, die ChatGPT nutzen, und werbende Unternehmen wünschen. Diese Rückmeldungen prägen unsere Richtung noch stärker als das Feedback aus den Modellbeobachtungen. Sie haben dazu beigetragen, dass wir uns schnell und schrittweise den richtigen Produktentscheidungen nähern konnten. Das Modell kann möglicherweise Absichten verstehen und kritisch denken, um etwas Nützliches zu liefern. Doch was als geschmackvoll empfunden wird, bestimmen Menschen.

Vor einem Jahr hatten wir noch kein Werbesystem, und nur wenige Personen beschäftigten sich mit diesem Themenfeld. Heute haben wir ein robustes Werbesystem, das einen auf das Jahr hochgerechneten Umsatz von mehr als 1 Milliarde USD ermöglicht. Ein LLM-basierter Orchestrator steuert den Anzeigenablauf. Codex hat unsere Leistungsfähigkeit entscheidend vervielfacht. Dadurch konnten wir unser System von Grund auf entwickeln und diesen wichtigen Meilenstein bei der Nutzung in beispielloser Geschwindigkeit erreichen. Von Anfang an haben wir das Team und die Entwicklungsabläufe darauf ausgerichtet, das System mit Codex schnell aufzubauen und zu skalieren. Wir haben Schutzmechanismen geschaffen, damit Codex Code zuverlässig und sicher bereitstellen kann. Parallel dazu haben wir Dateninfrastruktur-Plugins für Codex eingerichtet. Sie verkürzen den Weg von neuen Erkenntnissen zu umgesetzten Systemverbesserungen erheblich, darunter neue Produktfunktionen, höhere Qualität und bessere Systemleistung.

Die Kombination aus den Grenzen unseres Systems, die auf unseren Werbegrundsätzen⁠ beruhen, und unserem LLM-basierten Orchestrator ermöglicht nützliche Werbung, ohne jede Unterhaltung als Anzeigenanfrage zu behandeln. Künftig werden wir weiter mit dynamischeren Anzeigenformaten experimentieren, um den Nutzen für Menschen im Chat und werbende Unternehmen zu erhöhen. Beispielsweise könnten Anzeigen es ermöglichen, direkt mit Unternehmen zu sprechen. Die selbstverbessernde Architektur des Systems basiert auf Modellen von OpenAI und kontinuierlichen Feedbackschleifen. Sie wird uns helfen, Relevanz und Personalisierung im Laufe der Zeit schneller weiterzuentwickeln.