Cómo creamos la nueva infraestructura publicitaria de ChatGPT para generar confianza y relevancia

Los sistemas publicitarios tradicionales están diseñados para responder a manifestaciones aisladas de la intención del usuario. Un usuario busca o ve algo en internet, el sistema de anuncios recibe esas consultas y visitas a páginas como eventos y busca anuncios que encajen con ellos. Crear una infraestructura publicitaria para ChatGPT fue distinto: la intención del usuario se desarrolla a lo largo de las conversaciones y cambia entre sus distintos turnos, a veces sin que surja un momento adecuado para mostrar publicidad. Para dar respuesta a este nuevo paradigma, creamos un sistema de entrega de anuncios a medida. Este nuevo tipo de infraestructura publicitaria se basa en un LLM de vanguardia personalizado y posentrenado que realiza llamadas a herramientas para la recuperación (identificar las mejores opciones), la clasificación (predecir la interacción del usuario), la relevancia (evaluar la utilidad del anuncio) y la ejecución de subastas para la selección final y la fijación de precios de los anuncios.

Nuestro sistema de anuncios se adapta a los matices de los objetivos cambiantes del usuario gracias a tres decisiones clave de diseño: 1) implementar sesiones publicitarias con estado, que recuerdan información entre los turnos de una conversación y entre distintas conversaciones; 2) utilizar un LLM personalizado y posentrenado con una arquitectura de llamadas a herramientas para interpretar el contexto y la intención subyacente de una conversación y, después, seleccionar, clasificar y entregar anuncios de forma eficaz; y 3) ejecutar el proceso de selección de anuncios por separado de la generación de respuestas de ChatGPT, en un servicio propio, para evitar que los anuncios influyan en las respuestas y mantener la neutralidad de la voz de ChatGPT. Utilizamos nuestro LLM posentrenado para orquestar todo el flujo publicitario y determinar qué anuncio mostrar y en qué momento, teniendo en cuenta tanto el turno actual del usuario como el historial de conversaciones. Aunque antes se tardaban años en poner en marcha un sistema publicitario con capacidad de mejora autónoma como este, ChatGPT Anuncios alcanzó un ritmo de ingresos anualizado de 1000 millones de dólares en menos de 200 días desde su lanzamiento. Hasta la fecha, más de 100 000 anunciantes han publicado anuncios en ChatGPT desde el lanzamiento.

Una solicitud publicitaria convencional suele comenzar con un evento bien definido. Un usuario envía una consulta de búsqueda o abre una página web y el sistema de anuncios recibe una solicitud. Este tipo de sistema es bastante sencillo: recupera posibles anuncios candidatos, los clasifica, ejecuta una subasta para fijar un precio adecuado para la oportunidad y muestra al usuario el anuncio resultante. En ChatGPT no surge de forma natural un momento tan concreto.

En una conversación con ChatGPT, las personas llegan con objetivos, no con una consulta de búsqueda que se resuelve con una única respuesta. Puede que estén planificando un viaje, eligiendo software para su empresa, amueblando una casa o iniciándose en una nueva afición. Todo esto no ocurre en un único turno de conversación. A menudo, ChatGPT ayuda al usuario a aclarar qué es lo importante a medida que avanza.

Por ejemplo, nuestro equipo de ingeniería preguntó a ChatGPT cómo entrenar para una carrera: la conversación comienza con una pregunta general sobre correr. Varios turnos después, preguntan por zapatillas para entrenar. El significado comercial de la conversación cambia con cada nuevo requisito, y este contexto personalizado evoluciona a lo largo de varias sesiones. Un sistema que actuara a partir del primer mensaje podría interpretar la intención de forma completamente errónea, lo que podría empeorar la experiencia del usuario y entorpecer su avance.

Para crear nuestro sistema de anuncios, tuvimos que ir más allá de la arquitectura publicitaria de solicitud y respuesta y desarrollar una infraestructura desde cero que identificara posibles oportunidades económicas, dando prioridad a la confianza del usuario y al valor que recibe.

Convertir cada mensaje en una solicitud independiente, como hace un sistema publicitario tradicional, habría entrañado varios riesgos en nuestro caso de uso de chat: 1) interpretar mal el objetivo del usuario al simplificarlo en exceso; 2) iniciar el flujo publicitario demasiado pronto, antes de que la necesidad real del usuario esté clara; 3) mostrar anuncios que entorpezcan el recorrido del usuario en lugar de facilitarlo; y 4) volver a ejecutar el flujo publicitario de forma ineficiente cada vez que cambie la solicitud, generando ruido y costes innecesarios. En lugar de basarse en eventos individuales, el sistema de anuncios (que incluye recuperación, clasificación y entrega) mantiene una sesión con estado. Esto significa que la sesión publicitaria permanece activa durante todo un turno apto para publicidad, recordando y actualizando la información a medida que cambia. ChatGPT envía el contexto de la solicitud inicial al servidor de anuncios. El sistema de anuncios sigue la evolución del intercambio y se adapta a él, en lugar de basarse en una única consulta simplificada.

El proceso de selección de anuncios se ejecuta en paralelo a la generación normal de respuestas de ChatGPT para garantizar que el flujo publicitario no influya en ellas. Los anuncios se filtran y seleccionan mediante un sistema independiente que procesa la conversación con sus propios criterios de admisibilidad, calidad y entrega. Esta importante separación arquitectónica —servicios distintos que utilizan modelos y código independientes— permite que los servidores principales de ChatGPT se encarguen de generar la respuesta orgánica. Mientras tanto, el sistema de anuncios evalúa de forma independiente si existe una oportunidad publicitaria adecuada y, en ese caso, prepara un espacio patrocinado mediante un proceso de publicación separado.

Además de proteger la experiencia del usuario, esta separación tiene algunas consecuencias prácticas. ChatGPT no depende del sistema de anuncios: los servicios no están interconectados de ninguna forma ni comparten un modelo de generación de contenido. Por tanto, si el sistema de publicación de anuncios no está disponible o funciona con lentitud, la respuesta orgánica de ChatGPT sigue su curso sin verse afectada. Esto significa que el sistema de anuncios no puede provocar una caída ni retrasos en ChatGPT. La otra ventaja de esta separación es que mantiene un nivel de exigencia muy alto en cuanto al valor que aportan los anuncios. No devolver ningún anuncio es un resultado normal y satisfactorio. El sistema solo entrega un anuncio si resulta claramente beneficioso para los usuarios y los anunciantes.

El otro componente arquitectónico clave de nuestra infraestructura publicitaria es el LLM posentrenado que interpreta las conversaciones y ejecuta todo el flujo publicitario en un bucle agéntico: realiza llamadas a herramientas para acceder a las funciones principales del sistema de anuncios, desde la recuperación hasta la clasificación, la subasta y, por último, la entrega. A este LLM lo llamamos orquestador.

La primera parte del flujo publicitario consiste en entender la intención del usuario para iniciar el proceso de recuperación: una búsqueda rápida y deliberadamente amplia de posibles anuncios que se filtrarán más adelante. Recibir la conversación de forma incremental plantea un problema de recuperación más complejo, pero también más ambiguo, porque el sistema de anuncios debe distinguir la intención actual del contexto que ha quedado desfasado. El orquestador debe interpretar las referencias a mensajes anteriores, reconocer cuándo un usuario plantea una situación hipotética y evitar tratar cada mención de un producto o servicio como una solicitud de compra.

El orquestador de anuncios utiliza la conversación y el contexto del usuario disponibles para buscar buenos anuncios de forma iterativa. En cada paso decide a qué herramienta llamar y cuándo, con el objetivo de encontrar el anuncio más adecuado para esa conversación y ese contexto: uno que equilibre un alto valor para el usuario y para el anunciante. Si el usuario decide personalizar los anuncios, el orquestador también tiene en cuenta la información no sensible disponible sobre sus conversaciones anteriores para encontrar los anuncios que mejor encajen.

A medida que avanza la conversación y el orquestador de anuncios recibe información más reciente, puede realizar una nueva serie de llamadas a herramientas con el contexto actualizado para encontrar mejores anuncios y devolverlos al cliente, que podrá utilizarlos si llegan a tiempo.

El orquestador está diseñado para equilibrar el valor para el usuario y para el anunciante, siempre dando prioridad a los usuarios.

El sistema de anuncios consta de herramientas individuales a las que el orquestador llama de forma iterativa para encontrar los mejores anuncios para una conversación. A grandes rasgos, el orquestador convierte las conversaciones en breves resúmenes de texto, que después se transforman en embeddings semánticos (significados almacenados que el sistema de anuncios puede examinar con más facilidad). Utiliza esos embeddings para recuperar anuncios candidatos, filtra los que cumplen los requisitos (según el presupuesto, la configuración del usuario y otras comprobaciones preliminares), evalúa su calidad y relevancia y realiza una clasificación final para identificar oportunidades de alto valor para mostrar anuncios al final de una respuesta del chat. Por tanto, cada anuncio debe cumplir unos criterios muy exigentes de admisibilidad y relevancia para poder mostrarse.

El LLM orquestador prepara primero una o varias consultas que representan la intención comercial relevante. Esto puede incluir reformular el contexto de la conversación para ampliar las posibilidades comerciales más allá de las consultas de búsqueda directas y, después, crear representaciones semánticas. Para ello, el orquestador condensa una conversación de varios turnos en un resumen destinado al sistema de recuperación, lo que permite recuperar anuncios de nuestra base de datos de forma precisa.

Los anuncios serán más beneficiosos tanto para los usuarios como para los anunciantes si solo aparecen cuando se comprende en profundidad la intención del usuario. Utilizar varias consultas permite conservar distintos aspectos de esa intención. Por ejemplo, una conversación sobre la planificación de un viaje puede incluir necesidades distintas relacionadas con el transporte, el alojamiento o las actividades. El sistema de recuperación puede mantener estas distinciones en lugar de comprimir toda la conversación en una única cadena de texto literal.

Como ejemplo, veamos una posible secuencia de conversación sobre calzado de senderismo:

1. ¿Qué debería visitar en un viaje de dos días a Yosemite?

2. ¿Hará frío la semana que viene?

3. ¿Nuevas líneas de productos de [insertar marca]?

Aunque el usuario no haya relacionado la pregunta sobre la marca de calzado con el viaje a Yosemite, esta conversación podría representarse en nuestro sistema de anuncios mediante dos consultas, como [calzado adecuado para un viaje de senderismo] y [nuevas líneas de productos de [marca] adecuadas para viajar]. Este podría ser solo el primer intento: el orquestador está diseñado para ajustar estas representaciones de forma iterativa hasta encontrar anuncios de nuestro inventario que aporten un gran valor al usuario.

La recuperación es el proceso de crear un conjunto deliberadamente amplio de opciones publicitarias. Los candidatos pueden proceder de distintas estrategias de recuperación y competir después bajo las mismas restricciones de publicación. Creamos varios índices optimizados para distintas restricciones del sistema y del producto. Por ejemplo, el índice de anuncios de feeds de productos está diseñado para tener en cuenta las reseñas positivas o negativas de los productos al buscar los mejores anuncios posibles. Esto no es relevante para otros anuncios que pueden no tener reseñas asociadas. Cada índice está optimizado para una variante de la búsqueda aproximada de vecinos más cercanos (ANN), utilizando embeddings que representan la intención del usuario. Esta búsqueda ANN es un algoritmo de aproximación para recuperar información de grandes índices semánticos. Permite obtener anuncios con gran rapidez al aproximarse a una buena solución, en lugar de buscar «la solución correcta», y conserva la mayoría de los candidatos relevantes.

El objetivo del filtrado es descartar todos los anuncios candidatos que no cumplan los requisitos de relevancia, pujas y presupuesto necesarios para mostrarse. Según el candidato y la configuración, las comprobaciones de filtrado pueden incluir la disponibilidad de creatividades y campañas (si la campaña o las creatividades están activas), la segmentación de la campaña (por ejemplo, en qué regiones e idiomas puede operar), las restricciones de las políticas (requisitos sobre lo que se puede anunciar), la disponibilidad de presupuesto (si a la campaña le queda presupuesto por gastar), el ritmo de gasto (si la campaña debe gastar presupuesto ahora o en otro momento del día), la compatibilidad del espacio publicitario (en qué tipos de conversaciones se puede mostrar el anuncio) y la deduplicación por anunciante y campaña (seleccionar un número adecuado de anuncios por anunciante para garantizar una participación equitativa entre las empresas).

Los candidatos que superan las comprobaciones de requisitos pasan a una fase de puntuación en la que el orquestador realiza llamadas a herramientas de distintos sistemas de evaluación. Estos valoran factores de publicación como la relevancia semántica (¿es relevante el anuncio para el objetivo del usuario?), la interacción prevista (¿es probable que el anuncio se vea, reciba clics y genere el resultado que busca el anunciante?) y el rendimiento histórico (¿ha obtenido buenos resultados al mostrarse a los usuarios hasta ahora?). El orquestador también filtra los anuncios para garantizar su relevancia y seguridad antes de la subasta. Estos sistemas reducen las opciones a un conjunto más pequeño de candidatos listos para la subasta, pero aún no determinan qué anuncio se entregará.

El orquestador evalúa los candidatos preparados en el contexto de la conversación y decide cuáles tienen suficiente potencial para participar en la subasta final. El orquestador no decide directamente qué anuncio se publicará ni fija un precio. Propone candidatos adecuados para el contexto que evaluará la herramienta de subastas.

La subasta aplica los mecanismos finales de publicación, que incluyen la admisión a la subasta (superar un umbral mínimo de relevancia y valor), el ritmo de gasto (distribuir el presupuesto publicitario de forma más uniforme), el cálculo de pujas y variables de la subasta, la clasificación ajustada por calidad, la fijación de precios y la selección final.

Tras la subasta, hay dos motivos por los que un anuncio podría no entregarse, ambos propios del entorno conversacional de ChatGPT.

1. El anuncio podría resultar inadecuado en el chat: aunque los modelos de integridad (los que deciden cuándo es apropiado publicar un anuncio) hayan considerado que la conversación es segura para mostrar publicidad y se haya determinado que el anuncio cumple las políticas, a veces este puede resultar inapropiado en el contexto de determinadas conversaciones. El orquestador impide que se muestren estos anuncios.

2. La solicitud del anuncio podría no llegar a tiempo: si el modelo de ChatGPT está listo para responder, pero el anuncio aún no está preparado para mostrarse, la solicitud supera el tiempo de espera y el anuncio no se entrega. Por tanto, uno de los objetivos del sistema de anuncios es funcionar lo más rápido posible. El tiempo de respuesta del modelo de ChatGPT es dinámico y no retrasamos las respuestas del chat para esperar a que se carguen los anuncios.

Si se superan todas las comprobaciones anteriores, enviamos el anuncio al frontend para su renderizado. Consideramos que esto es una entrega del anuncio por parte del servidor, pero aun así puede que no se muestre al usuario, y es algo previsto en el diseño.

En un producto conversacional como ChatGPT, que el servidor entregue una creatividad publicitaria no garantiza que el anuncio se muestre: también debe llegar a tiempo para incluirse en el turno actual. La creatividad publicitaria incluye el título, la descripción, el enlace de destino y cualquier llamada a la acción. Además, el sistema de anuncios devuelve un preámbulo generado por un modelo: una introducción breve y neutral que explica cómo se relaciona el anuncio con la conversación. Mantener el preámbulo separado de la creatividad conserva el mensaje del anunciante y, al mismo tiempo, mantiene la neutralidad de la voz de ChatGPT.

El frontend de ChatGPT recibe el preámbulo y la creatividad publicitaria en un mismo paquete. Si llega antes de que se termine de generar la respuesta de ChatGPT, el frontend muestra el anuncio debajo de ella, claramente identificado como patrocinado. Si llega demasiado tarde, el anuncio no se muestra en ese turno. Esta es la diferencia entre la entrega de un anuncio por parte del servidor y una impresión publicitaria visible para el usuario.

Nuestra infraestructura publicitaria utiliza sistemas tradicionales de registro y procesamiento de datos, lo que ofrece tres ventajas principales: los anunciantes pueden integrar sus sistemas actuales con nuestra infraestructura más fácilmente, pueden mejorar sus estrategias con los datos de los informes y nuestro equipo puede identificar áreas de mejora del sistema. Además de estas herramientas de análisis y optimización, utilizamos un modelo de alta calidad para evaluar la entrega de anuncios y entrenar otros modelos publicitarios, lo que crea un potente ciclo de mejora autónoma.

Los desgloses detallados de lo ocurrido nos ayudan a comprender y mejorar cada parte del sistema de anuncios por separado. El sistema de procesamiento de registros también recoge resultados específicos, como los siguientes:

• El turno no cumplía los requisitos para mostrar publicidad.

• Se inició una sesión publicitaria, pero no se solicitó ninguna recuperación.

• La recuperación no devolvió candidatos.

• Se recuperaron candidatos, pero falló la hidratación o no cumplieron los requisitos.

• Se entregó un anuncio y posteriormente recibió una interacción.

Estos desgloses detallados nos ayudan a mejorar cada parte del sistema de publicación de anuncios por separado. Mejorar la detección de oportunidades requiere datos distintos de los necesarios para mejorar la recuperación, la calidad de los candidatos, la participación en las subastas o la fiabilidad de la entrega.

La idea de la evaluación basada en modelos es que nuestros modelos más potentes y con mayor capacidad de razonamiento observen y valoren los resultados del sistema, y después mejoren el LLM posentrenado mediante un entrenamiento que le permita rendir mejor. Por ejemplo, podemos utilizar modelos más pequeños y eficientes, o con menor capacidad de razonamiento, para la orquestación o la recuperación si nuestro modelo más potente recopila información sobre su desempeño y entrena a estos pequeños ejecutores para que hagan el mejor trabajo posible.

Recopilamos señales de los usuarios (clics y anuncios ocultados), respuestas a encuestas y comentarios directos de los anunciantes a través de nuestro Gestor de anuncios, y actuamos en consecuencia. Nuestro equipo también está disponible para recibir comentarios durante el desarrollo, y escuchamos directamente lo que quieren tanto los usuarios de ChatGPT como los anunciantes. Esta fuente de información orienta nuestro rumbo incluso más que las observaciones del modelo y es uno de los factores que nos han permitido avanzar rápidamente hacia las decisiones de producto adecuadas. El modelo puede ser capaz de comprender la intención del usuario y pensar de forma crítica para ofrecer algo valioso, pero son las personas quienes definen el buen criterio.

Hace un año no teníamos un sistema de anuncios y solo unas pocas personas estaban estudiando este ámbito. Ahora contamos con un sistema de anuncios sólido que genera ingresos a un ritmo anualizado de más de 1000 millones de dólares, con un orquestador basado en un LLM que ejecuta el flujo publicitario. Codex fue fundamental para multiplicar nuestra capacidad y nos permitió poner en marcha el sistema hasta alcanzar este importante hito de uso con una rapidez sin precedentes. Desde el principio, organizamos el equipo y los flujos de trabajo de desarrollo para utilizar Codex y crear y ampliar el sistema rápidamente. Creamos salvaguardas para que Codex pudiera poner código en producción de forma fiable y segura. En paralelo, configuramos complementos de infraestructura de datos para Codex con el fin de acortar drásticamente el ciclo de obtención de información e implementación de mejoras en el sistema, incluidas nuevas funciones del producto, mejoras de calidad y un mayor rendimiento del sistema.

La combinación de los límites de nuestro sistema (basados en nuestros principios publicitarios⁠) y nuestro orquestador basado en un LLM nos permite hacer que la publicidad sea útil sin tratar cada conversación como una solicitud de anuncios. De cara al futuro, seguiremos experimentando con formatos publicitarios más dinámicos para aumentar el valor tanto para los usuarios (por ejemplo, permitiéndoles hablar directamente con las empresas a través de los anuncios) como para los anunciantes. La arquitectura de mejora autónoma de esta infraestructura, basada en modelos de OpenAI con ciclos continuos de retroalimentación, acelerará nuestra capacidad de seguir mejorando la relevancia y la personalización con el tiempo.