Concevoir la publicité dans ChatGPT pour allier confiance et pertinence

Les systèmes publicitaires traditionnels sont conçus pour répondre à des manifestations ponctuelles de l’intention de l’utilisateur. Un utilisateur recherche ou consulte quelque chose en ligne ; le système publicitaire reçoit ces requêtes et ces pages vues sous forme d’événements, puis recherche des annonces correspondantes. Construire une infrastructure publicitaire pour ChatGPT était différent : l’intention de l’utilisateur se développe au fil des conversations et évolue sur plusieurs échanges, parfois sans qu’un moment propice à la publicité se présente. Pour répondre à ce nouveau paradigme, nous avons construit un système de diffusion publicitaire sur mesure. Ce nouveau type d’infrastructure publicitaire repose sur un LLM de pointe personnalisé et affiné, qui appelle des outils pour la recherche (repérer les meilleures options), le classement (prédire l’engagement des utilisateurs), la pertinence (évaluer l’utilité de l’annonce) et les enchères déterminant la sélection finale et le prix des annonces.

Notre système publicitaire tient compte des nuances et de l’évolution des objectifs des utilisateurs grâce à trois choix de conception clés : 1) des sessions publicitaires avec état, qui mémorisent les informations d’un échange à l’autre et entre plusieurs conversations ; 2) un LLM personnalisé et affiné, qui utilise une architecture d’appels d’outils pour interpréter le contexte et l’intention sous-jacente d’une conversation, puis sélectionner, classer et diffuser efficacement les annonces ; 3) un processus de sélection publicitaire distinct de la génération des réponses de ChatGPT, exécuté dans son propre service, pour empêcher les annonces d’influencer les réponses et préserver la neutralité de ChatGPT. Nous utilisons notre LLM affiné pour orchestrer l’ensemble du processus publicitaire et déterminer la bonne annonce à présenter au bon moment, en fonction de l’échange en cours et de l’historique de conversation. Alors que lancer un tel système publicitaire auto-améliorant prenait autrefois des années, ChatGPT Ads a atteint un milliard de dollars de revenus en rythme annualisé moins de 200 jours après son lancement. À ce jour, plus de 100 000 annonceurs ont diffusé des annonces sur ChatGPT depuis son lancement.

Une requête publicitaire classique commence généralement par un événement bien défini. Un utilisateur lance une recherche ou ouvre une page web, et le système publicitaire reçoit une requête. Ce type de système est assez simple : il recherche des annonces candidates, les classe, organise une enchère pour fixer un prix adapté à l’opportunité, puis affiche l’annonce retenue à l’utilisateur. ChatGPT ne produit pas naturellement un moment aussi précis.

Dans une conversation avec ChatGPT, les utilisateurs arrivent avec des objectifs plutôt qu’avec une requête de recherche appelant une seule réponse. Ils peuvent préparer un voyage, choisir un logiciel pour leur entreprise, meubler leur logement ou s’initier à un nouveau loisir. Tout cela ne se fait pas en un seul échange. ChatGPT aide souvent l’utilisateur à préciser ce qui compte au fil de la conversation.

Par exemple, notre équipe d’ingénierie a demandé à ChatGPT comment se préparer pour une course : la conversation commence par une question générale sur la course à pied. Plusieurs échanges plus tard, l’équipe pose une question sur les chaussures adaptées à l’entraînement. La portée commerciale de la conversation change à chaque nouvelle contrainte, et ce contexte personnalisé évolue sur plusieurs sessions. Un système qui agirait dès le premier message pourrait se méprendre entièrement sur l’intention de l’utilisateur, au risque de dégrader son expérience et de le gêner.

Pour construire notre système publicitaire, nous avons dû dépasser l’architecture publicitaire requête-réponse et créer une infrastructure de zéro, afin de repérer des opportunités économiques tout en privilégiant la confiance des utilisateurs et la valeur qui leur est apportée.

Transformer chaque message en requête indépendante, comme dans un système publicitaire traditionnel, aurait présenté plusieurs risques dans notre contexte conversationnel : 1) mal interpréter l’objectif de l’utilisateur en le simplifiant trop ; 2) lancer le processus publicitaire trop tôt, avant que son besoin réel soit clair ; 3) afficher des annonces qui entravent son parcours au lieu de l’accompagner ; 4) relancer inutilement le processus publicitaire à chaque modification de la requête, ce qui crée du bruit et des coûts superflus. Plutôt que de s’articuler autour d’événements isolés, le système publicitaire (recherche, classement et diffusion) maintient une session avec état : la session publicitaire reste active pendant toute la durée d’un échange éligible, mémorisant et actualisant les informations à mesure qu’elles évoluent. ChatGPT envoie le contexte initial de la requête au serveur publicitaire. Le système publicitaire suit l’évolution de l’échange et s’y adapte, au lieu de s’appuyer sur une seule requête simplifiée.

Le processus de sélection des annonces s’exécute en parallèle de la génération normale des réponses de ChatGPT, pour garantir que le processus publicitaire ne les influence pas. Les annonces sont filtrées et sélectionnées par un système distinct, qui exploite la conversation selon ses propres contraintes d’éligibilité, de qualité et de diffusion. Cette séparation architecturale essentielle — des services distincts utilisant des modèles et du code séparés — laisse aux serveurs principaux de ChatGPT le soin de générer la réponse non sponsorisée. En parallèle, le système publicitaire évalue indépendamment s’il existe une opportunité publicitaire appropriée et, si c’est le cas, prépare un placement sponsorisé via un processus de diffusion distinct.

Au-delà de la protection de l’expérience utilisateur, cette séparation a des conséquences pratiques. ChatGPT ne dépend aucunement du système publicitaire : les services ne sont en rien imbriqués et ne partagent pas de modèle de génération de contenu. Ainsi, si le système de diffusion publicitaire est indisponible ou lent, la réponse non sponsorisée de ChatGPT n’est pas affectée. Le système publicitaire ne peut donc ni interrompre ni ralentir le fonctionnement de ChatGPT. Cette séparation permet aussi de maintenir un niveau d’exigence très élevé quant à l’utilité des annonces. Ne renvoyer aucune annonce est un résultat normal et satisfaisant. Le système ne diffuse une annonce que si elle est clairement bénéfique aux utilisateurs et aux annonceurs.

L’autre composant architectural clé de notre infrastructure publicitaire est le LLM affiné qui interprète les conversations et exécute l’ensemble du processus publicitaire dans une boucle agentique. Il appelle des outils correspondant aux fonctions essentielles du système publicitaire, de la recherche à la diffusion, en passant par le classement et les enchères. Nous appelons ce LLM l’orchestrateur.

La première étape du processus publicitaire consiste à comprendre l’intention de l’utilisateur pour lancer la recherche : une collecte rapide et délibérément large d’annonces potentielles à filtrer ensuite. Recevoir la conversation progressivement rend la recherche plus riche, mais aussi plus ambiguë, car le système publicitaire doit distinguer l’intention actuelle du contexte devenu obsolète. L’orchestrateur doit interpréter les références aux messages précédents, reconnaître les propos hypothétiques et éviter de traiter chaque mention d’un produit ou d’un service comme une demande d’achat.

L’orchestrateur publicitaire utilise la conversation et le contexte utilisateur disponibles. Il procède par itérations pour trouver de bonnes annonces, choisissant à chaque étape quel outil appeler et à quel moment, avec pour objectif de trouver l’annonce la plus adaptée à cette conversation et à ce contexte, alliant une forte valeur pour l’utilisateur et pour l’annonceur. Si l’utilisateur choisit de personnaliser les annonces, l’orchestrateur tient également compte des informations non sensibles disponibles sur ses conversations passées pour trouver les annonces les plus adaptées.

À mesure que la conversation avance et que l’orchestrateur publicitaire reçoit des informations actualisées, il peut lancer une nouvelle série d’appels d’outils avec ce contexte mis à jour pour trouver de meilleures annonces et les renvoyer au client, qui peut alors les utiliser si elles arrivent à temps.

L’orchestrateur est conçu pour équilibrer la valeur apportée aux utilisateurs et aux annonceurs, en donnant toujours la priorité aux utilisateurs.

Le système publicitaire se compose d’outils distincts, que l’orchestrateur appelle de manière itérative pour trouver les meilleures annonces pour une conversation. Dans les grandes lignes, l’orchestrateur transforme les conversations en brefs résumés textuels, ensuite convertis en représentations vectorielles sémantiques (des significations stockées que le système publicitaire peut plus facilement parcourir). Il utilise ces représentations pour rechercher des annonces candidates, vérifie leur éligibilité (selon le budget, les paramètres utilisateur et d’autres contrôles préliminaires), évalue leur qualité et leur pertinence, puis établit un classement final pour repérer les placements à forte valeur ajoutée en fin de réponse. Chaque annonce doit donc satisfaire à des exigences élevées d’éligibilité et de pertinence pour pouvoir être affichée.

Le LLM orchestrateur prépare d’abord une ou plusieurs requêtes représentant l’intention commerciale pertinente. Cela peut inclure une reformulation du contexte de la conversation pour élargir les possibilités commerciales au-delà de requêtes de recherche littérales, puis la création de représentations sémantiques. L’orchestrateur condense alors une conversation de plusieurs échanges en un résumé destiné au système de recherche, afin de rechercher de façon ciblée des annonces dans notre base de données.

Les placements publicitaires seront plus utiles aux utilisateurs comme aux annonceurs s’ils n’apparaissent que lorsque l’intention de l’utilisateur est bien comprise. Plusieurs requêtes permettent de préserver différents aspects de l’intention. Une conversation sur la préparation d’un voyage peut, par exemple, contenir des besoins distincts en matière de transport, d’hébergement ou d’activités. Le système de recherche peut préserver ces distinctions plutôt que de réduire toute la conversation à une seule chaîne de texte littérale.

Prenons l’exemple d’une suite d’échanges possible au sujet de chaussures de randonnée :

1. Que devrais-je visiter lors d’un séjour de deux jours à Yosemite ?

2. Est-ce qu’il fera froid la semaine prochaine ?

3. Quelles sont les nouvelles gammes de produits [insérer la marque] ?

Bien que l’utilisateur n’ait pas relié sa question sur la marque de chaussures au séjour à Yosemite, cette conversation pourrait être représentée dans notre système publicitaire par deux requêtes, comme [shoes appropriate for hiking trip] et [new [brand] product lines good for travel]. Il peut ne s’agir que d’un premier essai : l’orchestrateur est conçu pour affiner ces représentations par itérations jusqu’à trouver dans notre inventaire des annonces très utiles à l’utilisateur.

La recherche consiste à constituer un ensemble délibérément large d’annonces possibles. Les candidates peuvent provenir de différentes stratégies de recherche, puis être mises en concurrence selon les mêmes contraintes de diffusion. Nous construisons plusieurs index optimisés pour différentes contraintes du système et du produit. Par exemple, l’index des annonces issues de flux de produits est conçu pour tenir compte des avis positifs ou négatifs sur les produits lorsqu’il recherche les meilleures annonces possibles. Ce critère ne s’applique pas aux autres annonces, auxquelles aucun avis n’est nécessairement associé. Chaque index est optimisé pour une variante de recherche approximative des plus proches voisins (ANN), à l’aide de représentations vectorielles de l’intention de l’utilisateur. Cette recherche ANN est un algorithme d’approximation appliqué à de grands index sémantiques : elle retrouve très rapidement des annonces en se rapprochant d’une bonne solution plutôt qu’en cherchant « la bonne », tout en conservant la plupart des candidates pertinentes.

Le filtrage vise à écarter toutes les annonces candidates qui ne satisfont pas aux exigences de placement en matière de pertinence, d’enchères et de budget. Selon la candidate et la configuration, les contrôles peuvent porter sur la disponibilité des créations et des campagnes (sont-elles actives ?), le ciblage des campagnes (par exemple, les zones géographiques autorisées), les restrictions réglementaires (les exigences de conformité concernant ce qui peut faire l’objet d’une publicité), le budget disponible (reste-t-il un budget à dépenser ?), le rythme de dépense (faut-il dépenser maintenant ou à un autre moment de la journée ?), la compatibilité du placement (les types de conversations où l’annonce est autorisée) et la déduplication par annonceur et par campagne (choisir un nombre adapté d’annonces par annonceur pour garantir une participation équitable des entreprises).

Les candidates qui passent les contrôles d’éligibilité accèdent à une phase de notation. L’orchestrateur appelle alors différents systèmes de notation pour évaluer des critères de diffusion tels que la pertinence sémantique (l’annonce correspond-elle à l’objectif de l’utilisateur ?), l’engagement prédit (est-elle susceptible d’être vue, de recevoir des clics et de produire le résultat souhaité par l’annonceur ?) et les performances passées (a-t-elle obtenu de bons résultats lors de ses précédents affichages ?). L’orchestrateur filtre aussi les annonces pour garantir leur pertinence et leur sécurité avant l’enchère. Ces systèmes réduisent la sélection à un ensemble plus restreint de candidates prêtes pour l’enchère, sans toutefois déterminer l’annonce qui sera finalement diffusée.

L’orchestrateur évalue les candidates préparées dans le contexte de la conversation et choisit celles qui sont suffisamment adaptées pour participer à l’enchère finale. L’orchestrateur ne décide pas directement de l’annonce à diffuser et ne fixe pas son prix. Il propose des candidates adaptées au contexte, que l’outil d’enchères doit évaluer.

L’enchère applique les mécanismes finaux de diffusion : admission à l’enchère (atteinte d’un seuil minimal de pertinence et de valeur), régulation du rythme de dépense (répartition plus régulière du budget publicitaire), calcul des offres et des paramètres d’enchère, classement ajusté selon la qualité, tarification et sélection finale.

Après l’enchère, deux situations peuvent empêcher la diffusion d’une annonce, toutes deux propres au format conversationnel de ChatGPT.

1. L’annonce peut sembler inappropriée dans la discussion : même si les modèles d’intégrité (qui déterminent quand il est approprié de diffuser une annonce) ont jugé la conversation compatible avec un placement publicitaire et que l’annonce a été jugée conforme aux règles, elle peut parfois sembler inappropriée dans le contexte de certaines conversations. L’orchestrateur empêche l’affichage de ces annonces.

2. La requête publicitaire peut ne pas aboutir à temps : si le modèle ChatGPT est prêt à répondre, mais que l’annonce n’est pas encore prête à être placée, le délai de la requête expire et l’annonce n’est pas diffusée. L’un des objectifs du système publicitaire est donc de fonctionner aussi vite que possible. Le temps de réponse du modèle ChatGPT varie, et nous ne retardons pas les réponses pour attendre le chargement des annonces.

Si tous les contrôles ci-dessus sont validés, nous envoyons l’annonce à l’interface pour son rendu. Nous considérons cela comme une diffusion publicitaire côté serveur, mais il est encore possible que l’annonce ne soit pas affichée à l’utilisateur, et c’est voulu.

Dans un produit conversationnel comme ChatGPT, la diffusion côté serveur d’une création publicitaire ne garantit pas son affichage : l’annonce doit aussi arriver à temps pour être intégrée à l’échange en cours. La création publicitaire comprend le titre, la description, le lien de destination et les éventuels appels à l’action. Le système publicitaire renvoie également un préambule généré par un modèle : une courte introduction neutre expliquant le lien entre l’annonce et la conversation. Séparer le préambule de la création préserve le message de l’annonceur tout en maintenant la neutralité de ChatGPT.

L’interface de ChatGPT reçoit le préambule et la création publicitaire dans un même ensemble. S’il arrive avant la fin de la génération de la réponse de ChatGPT, l’interface affiche l’annonce sous cette réponse, en l’identifiant clairement comme sponsorisée. S’il arrive trop tard, l’annonce n’est pas affichée pour cet échange. C’est la différence entre une diffusion publicitaire côté serveur et une impression publicitaire visible par l’utilisateur.

Notre infrastructure publicitaire utilise des pipelines classiques de journalisation et de données, avec trois grands avantages : les annonceurs peuvent plus facilement y intégrer leurs systèmes existants, ils peuvent améliorer leurs stratégies grâce aux données des rapports, et notre équipe peut repérer les points du système à améliorer. Au-delà de ces outils de reporting et d’optimisation, nous déployons un modèle de haute qualité pour évaluer notre diffusion et entraîner d’autres modèles publicitaires, créant ainsi une puissante boucle d’auto-amélioration.

Des analyses détaillées des événements nous aident à comprendre et à améliorer séparément chaque partie du système publicitaire. Le système de traitement des journaux consigne aussi des résultats précis, tels que :

• L’échange n’était pas éligible à la publicité.

• Une session publicitaire a démarré, mais aucune recherche n’a été demandée.

• La recherche n’a renvoyé aucune candidate.

• Des candidates ont été trouvées, mais l’hydratation ou les contrôles d’éligibilité ont échoué.

• Une annonce a été diffusée, puis a suscité une interaction.

Ces analyses détaillées nous aident à améliorer séparément chaque partie du système de diffusion publicitaire. Améliorer la détection des opportunités nécessite des éléments différents de ceux requis pour améliorer la recherche, la qualité des candidates, la participation aux enchères ou la fiabilité de la diffusion.

Le principe de l’évaluation par les modèles est le suivant : nos modèles les plus puissants, dotés des meilleures capacités de raisonnement, observent et jugent les résultats de notre système, puis améliorent le LLM affiné en l’entraînant à être plus performant. Par exemple, nous pouvons utiliser des modèles plus petits et plus efficaces, ou aux capacités de raisonnement moindres, pour l’orchestration ou la recherche, si notre modèle le plus puissant recueille des retours et entraîne ces petits modèles à accomplir au mieux leur tâche.

Nous recueillons et exploitons les retours humains (clics et masquages des utilisateurs), ainsi que les réponses aux enquêtes auprès des utilisateurs et les retours directs des annonceurs via notre Ads Manager. Notre équipe se tient également disponible pour recueillir des retours au fil du développement, à l’écoute directe des attentes des utilisateurs de ChatGPT comme des annonceurs. Ces retours orientent notre travail encore davantage que les observations du modèle et nous ont notamment permis d’aboutir rapidement, par itérations, aux bonnes décisions produit. Le modèle peut comprendre l’intention de l’utilisateur et faire preuve d’esprit critique pour proposer quelque chose d’utile, mais le sens du goût reste façonné par les personnes.

Il y a un an, nous n’avions aucun système publicitaire et seules quelques personnes réfléchissaient à ces problématiques. Aujourd’hui, nous disposons d’un système publicitaire robuste générant plus d’un milliard de dollars de revenus en rythme annualisé, avec un orchestrateur fondé sur un LLM qui pilote le processus publicitaire. Codex a été un multiplicateur de force essentiel, qui nous a permis de lancer notre système et d’atteindre ce cap majeur d’utilisation à une vitesse sans précédent. Dès le départ, nous avons organisé l’équipe et les processus de développement autour de Codex pour construire le système et le faire évoluer rapidement à grande échelle. Nous avons mis en place des garde-fous pour que Codex puisse livrer du code de manière fiable et sûre. En parallèle, nous avons créé des extensions d’infrastructure de données pour Codex afin de raccourcir considérablement le cycle entre l’obtention d’enseignements et la mise en œuvre d’améliorations du système : nouvelles fonctionnalités produit, gains de qualité et meilleures performances.

L’association des limites de notre système (fondées sur nos principes publicitaires⁠) et de notre orchestrateur fondé sur un LLM nous permet de rendre la publicité utile sans traiter chaque conversation comme une requête publicitaire. À l’avenir, nous continuerons à expérimenter des formats publicitaires plus dynamiques pour accroître la valeur apportée aux utilisateurs (par exemple, en leur permettant de parler directement aux entreprises via les annonces) et aux annonceurs. L’architecture auto-améliorante de cette infrastructure, fondée sur les modèles OpenAI et des boucles de rétroaction continues, accélérera notre capacité à améliorer durablement la pertinence et la personnalisation.