GPT‑Red: abrir la puerta a la automejora para la robustez

Los sistemas de IA suelen encontrarse con datos de terceros a través de navegadores, aplicaciones conectadas, archivos locales y otras herramientas. Estas capacidades son necesarias para llevar a cabo tareas del mundo real, pero también crean más oportunidades para que actores maliciosos influyan en el comportamiento del modelo. Por ejemplo, un tercero podría insertar una instrucción cuidadosamente elaborada⁠ —diseñada para engañar al modelo y hacer que suba datos sensibles a un servidor externo— en un correo electrónico, una página web, una respuesta de herramienta o un repositorio de código.

El red teaming humano es una parte fundamental de nuestro trabajo de seguridad: nos ayuda a descubrir estas vulnerabilidades antes del despliegue y a implementar las salvaguardas adecuadas. Pero el red teaming humano por sí solo es difícil de escalar. Diseñar y ejecutar estos ejercicios requiere mucho tiempo, lo que limita la rapidez con la que podemos identificar nuevos modos de fallo e incorporarlos a salvaguardas más sólidas. Además, aunque estos ejercicios producen ejemplos valiosos de ataques con éxito, no pueden generar el volumen y la diversidad de datos adversarios necesarios para mejorar la robustez de los modelos mediante entrenamiento.

Seguir el ritmo de modelos cada vez más capaces exige que el red teaming también escale. Con este fin, hemos estado entrenando modelos automatizados de red teaming, solo para uso interno, que descubren vulnerabilidades antes del despliegue y generan ataques durante el entrenamiento de modelos para mejorar la robustez. Creemos que el red teaming automatizado posibilita una forma crucial de automejora para la seguridad: usar los modelos actuales para ayudar directamente a que los modelos futuros sean más seguros.

GPT‑Red es la culminación de estos esfuerzos y nuestro mejor modelo actual de red teaming automatizado para seguridad. De forma similar a como los red teamers humanos diseñan ataques, el modelo avanza hacia un objetivo enviando un prompt, observando cómo responden a él los modelos GPT e iterando. Entrenamos GPT‑Red a la escala de cómputo de algunas de nuestras mayores ejecuciones de postentrenamiento en OpenAI: una cantidad de cómputo sin precedentes dedicada exclusivamente a mejorar la seguridad.

Incorporamos directamente GPT‑Red al proceso de entrenamiento de nuestros modelos de producción. Como resultado, GPT‑5.6 Sol es nuestro modelo más robusto hasta la fecha frente a inyecciones de prompts, con 6 veces menos fallos en nuestro benchmark más difícil de inyección directa de prompts que nuestro mejor modelo de producción de apenas cuatro meses antes. La escalabilidad de nuestro enfoque nos entusiasma ante la posibilidad de obtener resultados aún más sólidos en el futuro mientras seguimos entrenando red teamers más potentes.

GPT‑Red se entrena con aprendizaje por refuerzo mediante autojuego, en el que el modelo y una colección de LLM defensores diversos se entrenan simultáneamente en un amplio conjunto de escenarios de red teaming. GPT‑Red recibe recompensa por provocar un fallo válido, como una inyección de prompts con éxito, mientras que los modelos defensores reciben recompensa por resistir el ataque y completar sus tareas originales. A medida que los defensores se vuelven más robustos, GPT‑Red se ve obligado a descubrir ataques más potentes y variados.

Para respaldar el entrenamiento mediante autojuego, creamos un amplio conjunto de escenarios realistas en los que podrían insertarse inyecciones de prompts. Cada entorno tiene un modelo de amenaza que especifica qué puede controlar GPT‑Red y qué cuenta como un ataque con éxito. Por ejemplo, GPT‑Red podría controlar parte de un archivo local, un banner de una página web, el cuerpo de un correo electrónico o la salida de una herramienta.

Al final de su entrenamiento, GPT‑Red es un atacante muy potente: puede vulnerar casi todos los modelos a los que se enfrenta, tanto internos como de producción, hasta GPT‑5.5 incluido. Cuando GPT‑Red terminó el entrenamiento, lo usamos para generar inyecciones de prompts para el entrenamiento de GPT‑5.6, lo que hizo que el modelo se volviera muy resistente a los ataques de GPT‑Red.

Mantenemos GPT‑Red separado de los modelos que desplegamos. Así mantenemos las capacidades maliciosas que entrenamos específicamente en GPT‑Red fuera del alcance de actores adversarios, a la vez que incorporamos robustez a nuestros modelos de producción.

GPT‑Red es muy eficaz frente a la población de modelos defensores y escenarios de red teaming con los que se entrenó. También evaluamos si el modelo resulta útil como agente de red teaming de propósito general para beneficiar ampliamente la seguridad en OpenAI. Para ello, probamos la eficacia de GPT‑Red en nuevos entornos de seguridad y modelos objetivo.

Primero evaluamos la capacidad de GPT‑Red para generalizar a nuevos escenarios de red teaming usando una versión replicada de la arena de inyección indirecta de prompts de Dziemian et al. (2025)⁠(se abre en una ventana nueva). En este reto, tanto red teamers humanos como GPT‑Red propusieron ataques de forma independiente contra GPT‑5.1 en un conjunto de entornos preespecificados. Estos escenarios y objetivos de red teaming son distintos de los usados para entrenar GPT‑Red. GPT‑Red logra tasas de éxito de ataque significativamente mayores, con éxito en el 84 % de los escenarios frente al 13 % de los humanos.

La prueba definitiva de un red teamer es la capacidad de alcanzar objetivos maliciosos concretos contra sistemas agénticos del mundo real con un conocimiento incompleto del modelo subyacente del sistema y del diseño del harness. Nuestro primer experimento en este contexto enfrentó GPT‑Red a una máquina expendedora con IA de la oficina de OpenAI (similar a Project Vend⁠(se abre en una ventana nueva)) producida por Andon Labs. Dimos a GPT‑Red una descripción del sistema y la capacidad de enviar ataques y observar llamadas a herramientas del agente simulado, que refleja de cerca el despliegue en el mundo real. Tras iterar sobre los ataques, GPT‑Red desplegó su ataque contra el agente de producción y consiguió sus tres objetivos maliciosos:

• Cambiar el precio de un artículo caro disponible al precio mínimo permitido de 0,50 $;
• Pedir un nuevo artículo de más de 100 $ y ofrecerlo por 0,50 $; y
• Cancelar el pedido de otro cliente.

Comunicamos estas vulnerabilidades y se están probando activamente nuevas salvaguardas.

También usamos GPT‑Red para atacar un agente de Codex CLI (basado en GPT‑5.4 mini) en un conjunto de 10 escenarios reservados de exfiltración de datos. Comparamos el modelo con una línea base de GPT‑5.5 con prompt para estudiar el impacto de nuestro procedimiento de entrenamiento en el rendimiento de red teaming en escenarios reservados. GPT‑Red es más eficaz, porque logra que el agente exfiltre datos sensibles en más escenarios, y también es más eficiente en tokens.

El objetivo último de GPT‑Red es mejorar la robustez de nuestros modelos. Durante los últimos seis meses, hemos entrenado modelos de red teaming progresivamente más potentes (precursores de GPT‑Red) con cada vez más cómputo, y hemos usado estos modelos en el entrenamiento de cada modelo de producción sucesivo desde GPT‑5.3. Con el tiempo, cada nueva versión de GPT se ha vuelto más robusta.

Por ejemplo, una versión temprana de GPT‑Red encontró una nueva clase de ataques de inyección directa de prompts conocida como ataques de «cadena de pensamiento falsa». Estos ataques alcanzaron tasas de éxito superiores al 95 % en GPT‑5.1, pero ahora están por debajo del 10 % en GPT‑5.6 Sol. Del mismo modo, varios de nuestros benchmarks de inyección indirecta de prompts dirigidos a ataques en herramientas para desarrolladores y navegación han sido saturados por nuestro modelo más reciente (>97 % de precisión).

La robustez frente al propio GPT‑Red también ha mejorado sustancialmente. En un amplio conjunto de entornos de robustez, las tasas de éxito de ataque de GPT‑Red han descendido de forma monótona con el tiempo. Con nuestro último lanzamiento de modelo, GPT‑5.6 Sol falla solo en el 0,05 % de las inyecciones directas de prompts de GPT‑Red.

Un modelo puede parecer más seguro si rechaza más solicitudes o se vuelve menos capaz. Un modelo que hace menos cosas es naturalmente más difícil de atacar, pero eso no es una robustez útil.

Evaluamos exhaustivamente tanto las capacidades generales de vanguardia como tareas específicas de exceso de rechazo que diseñamos. Observamos que todas las capacidades normales se mantienen intactas mientras la robustez mejora de forma significativa. Esto sugiere que las ganancias de robustez procedieron de una mejor resistencia a instrucciones maliciosas, no de un uso inadecuado de herramientas ni de rechazar solicitudes legítimas por defecto.

Los agentes de IA ya se están usando para mejorar las capacidades de nuestros modelos de próxima generación. Creemos que con GPT‑Red hemos empezado a posibilitar un ciclo de mejora similar para la seguridad, en el que los modelos actuales pueden usarse para hacer que los modelos de mañana sean más robustos, alineados y fiables. Seguiremos escalando el cómputo y los datos mientras introducimos mejoras algorítmicas, para entrenar versiones futuras de GPT‑Red más potentes que el modelo actual. Y, a su vez, estos modelos ayudarán a que las futuras versiones de GPT sean más seguras.

Publicaremos una prepublicación con más detalles a finales de esta semana.