GPT‑Red: activar la automejora para mayor robustez

Los sistemas de IA suelen encontrar datos de terceros mediante navegadores, apps conectadas, archivos locales y otras herramientas. Estas capacidades son necesarias para realizar tareas del mundo real, pero también crean más oportunidades para que actores maliciosos influyan en el comportamiento del modelo. Por ejemplo, un tercero podría insertar una instrucción cuidadosamente diseñada⁠ —creada para engañar al modelo y hacer que suba datos sensibles a un servidor externo— en un correo electrónico, una página web, una respuesta de herramienta o un repositorio de código.

El red teaming humano es una parte crítica de nuestro trabajo de seguridad, porque nos ayuda a descubrir estas vulnerabilidades antes de la implementación y a establecer las salvaguardas adecuadas. Pero el red teaming humano por sí solo es difícil de escalar. Diseñar y ejecutar estos ejercicios requiere mucho tiempo, lo que limita la rapidez con la que podemos identificar nuevos modos de falla e incorporarlos en salvaguardas más fuertes. Además, aunque estos ejercicios producen ejemplos valiosos de ataques exitosos, no pueden generar el volumen ni la diversidad de datos adversariales necesarios para mejorar la robustez del modelo mediante entrenamiento.

Mantener el ritmo de modelos cada vez más capaces exige que el red teaming también escale. Con este fin, hemos estado entrenando modelos automatizados de red teaming, solo para uso interno, que descubren vulnerabilidades antes de la implementación y generan ataques durante el entrenamiento de modelos para mejorar la robustez. Creemos que el red teaming automatizado activa una forma crucial de automejora para la seguridad: usar los modelos de hoy para ayudar directamente a que los modelos futuros sean más seguros.

GPT‑Red es la culminación de estos esfuerzos y nuestro mejor modelo actual de red teaming automatizado para seguridad. De manera similar a como los red teamers humanos diseñan ataques, el modelo avanza hacia un objetivo enviando un prompt, observando cómo responden los modelos GPT e iterando. Entrenamos GPT‑Red a la escala de cómputo de algunas de nuestras mayores ejecuciones de postentrenamiento en OpenAI: una cantidad sin precedentes de cómputo dedicada exclusivamente a mejorar la seguridad.

Incorporamos GPT‑Red directamente en el proceso de entrenamiento de nuestros modelos de producción. Como resultado, GPT‑5.6 Sol es nuestro modelo más robusto frente a inyecciones de prompts hasta la fecha, con 6 veces menos fallas en nuestro benchmark más difícil de inyección directa de prompts en comparación con nuestro mejor modelo de producción de apenas cuatro meses antes. La escalabilidad de nuestro enfoque nos entusiasma por la posibilidad de obtener resultados aún más sólidos en el futuro mientras seguimos entrenando red teamers más fuertes.

GPT‑Red se entrena con aprendizaje por refuerzo mediante autojuego, en el que el modelo y un conjunto diverso de LLM defensores se entrenan simultáneamente en una amplia variedad de escenarios de red teaming. GPT‑Red recibe recompensas por provocar una falla válida, como una inyección de prompts exitosa, mientras que los modelos defensores reciben recompensas por resistir el ataque y completar sus tareas originales. A medida que los defensores se vuelven más robustos, GPT‑Red se ve obligado a descubrir ataques más potentes y variados.

Para respaldar el entrenamiento de autojuego, creamos un amplio conjunto de escenarios realistas donde podrían insertarse inyecciones de prompts. Cada entorno tiene un modelo de amenaza que especifica qué puede controlar GPT‑Red y qué cuenta como ataque exitoso. Por ejemplo, GPT‑Red podría controlar parte de un archivo local, un banner de una página web, el cuerpo de un correo electrónico o la salida de una herramienta.

Al final de su entrenamiento, GPT‑Red es un atacante muy fuerte: puede vulnerar casi todos los modelos contra los que se enfrenta, tanto internos como de producción, hasta GPT‑5.5 inclusive. Después de que GPT‑Red completó su entrenamiento, lo usamos para generar inyecciones de prompts para el entrenamiento de GPT‑5.6, lo que hizo que el modelo se volviera muy resistente a los ataques de GPT‑Red.

Mantenemos GPT‑Red separado de los modelos que implementamos. Esto mantiene fuera del alcance de actores adversarios las capacidades maliciosas que entrenamos específicamente en GPT‑Red, a la vez que incorpora robustez en nuestros modelos de producción.

GPT‑Red es sumamente eficaz contra la población de modelos defensores y escenarios de red teaming con los que fue entrenado. También evaluamos si el modelo es útil como agente de red teaming de propósito general para beneficiar la seguridad de forma amplia en OpenAI. Para ello, probamos la eficacia de GPT‑Red en entornos de seguridad y modelos objetivo nuevos.

Primero evaluamos la capacidad de GPT‑Red para generalizar a nuevos escenarios de red teaming usando una versión replicada de la arena de inyección indirecta de prompts de Dziemian et al. (2025)⁠(se abre en una nueva ventana). En este desafío, tanto especialistas humanos en red teaming como GPT‑Red propusieron de manera independiente ataques contra GPT‑5.1 en un conjunto de entornos predefinidos. Estos escenarios y objetivos de red teaming son distintos de los usados para entrenar GPT‑Red. GPT‑Red alcanza tasas de éxito de ataque significativamente más altas: logra éxito en el 84 % de los escenarios, frente al 13 % de los humanos.

La prueba definitiva de un red teamer es la capacidad de lograr objetivos maliciosos específicos contra sistemas agénticos del mundo real con conocimiento incompleto del modelo subyacente y del diseño del arnés de ejecución del sistema. Nuestro primer experimento en este entorno enfrentó a GPT‑Red con una máquina expendedora impulsada por IA en la oficina de OpenAI (similar a Project Vend⁠(se abre en una nueva ventana)) producida por Andon Labs. Le dimos a GPT‑Red una descripción del sistema y la capacidad de enviar ataques y observar llamadas a herramientas del agente simulado, que refleja muy de cerca la implementación en el mundo real. Después de iterar sobre los ataques, GPT‑Red desplegó su ataque contra el agente de producción y logró sus tres objetivos maliciosos:

• Cambiar el precio de un artículo caro en stock al precio mínimo permitido de $0,50;
• Pedir un artículo nuevo de más de $100 y ofrecerlo por $0,50; y
• Cancelar el pedido de otro cliente.

Informamos estas vulnerabilidades y se están probando activamente nuevas salvaguardas.

También usamos GPT‑Red para atacar un agente de Codex CLI (basado en GPT‑5.4 mini) en un conjunto de 10 escenarios reservados de exfiltración de datos. Comparamos el modelo con una línea base de GPT‑5.5 con prompts para estudiar el impacto de nuestro procedimiento de entrenamiento en el rendimiento de red teaming en escenarios reservados. GPT‑Red es más eficaz, porque consigue que el agente exfiltre datos sensibles con éxito en más escenarios, y también es más eficiente en tokens.

El objetivo final de GPT‑Red es mejorar la robustez de nuestros modelos. Durante los últimos seis meses, entrenamos modelos de red teaming cada vez más fuertes (precursores de GPT‑Red) con mayor cómputo, y usamos estos modelos en el entrenamiento de cada modelo de producción sucesivo desde GPT‑5.3. Con el tiempo, cada lanzamiento posterior de GPT se volvió más robusto.

Como ejemplo, una versión temprana de GPT‑Red encontró una nueva clase de ataques de inyección directa de prompts conocida como ataques de “cadena de pensamiento falsa”. Estos ataques alcanzaron tasas de éxito superiores al 95 % en GPT‑5.1, pero ahora están por debajo del 10 % en GPT‑5.6 Sol. Del mismo modo, varios de nuestros benchmarks de inyección indirecta de prompts dirigidos a ataques en herramientas de desarrollo y navegación fueron saturados por nuestro modelo más reciente (>97 % de precisión).

La robustez frente a GPT‑Red en sí también mejoró sustancialmente. En un conjunto amplio de entornos de robustez, las tasas de éxito de ataque de GPT‑Red disminuyeron de forma monótona con el tiempo. Con nuestro lanzamiento de modelo más reciente, GPT‑5.6 Sol falla solo en el 0,05 % de las inyecciones directas de prompts de GPT‑Red.

Un modelo puede parecer más seguro si rechaza más solicitudes o se vuelve menos capaz. Un modelo que hace menos es naturalmente más difícil de atacar, pero esa no es una robustez útil.

Evaluamos exhaustivamente tanto las capacidades generales de vanguardia como las tareas específicas de rechazo excesivo que diseñamos. Observamos que todas las capacidades normales permanecen intactas mientras la robustez mejora significativamente. Esto sugiere que las mejoras de robustez provinieron de una mayor resistencia a instrucciones maliciosas, no de un uso inadecuado de herramientas ni de rechazar solicitudes legítimas de forma predeterminada.

Los agentes de IA ya se están usando para mejorar las capacidades de nuestros modelos de próxima generación. Creemos que con GPT‑Red empezamos a activar un ciclo virtuoso similar para la seguridad, en el que los modelos de hoy pueden usarse para hacer que los modelos de mañana sean más robustos, alineados y confiables. Seguiremos escalando cómputo y datos, además de hacer mejoras algorítmicas, para entrenar futuras versiones de GPT‑Red que sean más fuertes que el modelo actual. Y, a su vez, estos modelos ayudarán a que futuros lanzamientos de GPT sean más seguros.

Publicaremos un preprint con más detalles más adelante esta semana.