Evaluaciones de ciberseguridad de terceros con modelos de OpenAI

Las pruebas independientes desempeñan un papel importante a la hora de ayudarnos a validar y comprender mejor los riesgos antes del despliegue. Algunas evaluaciones de ciberseguridad utilizan deliberadamente configuraciones a medida, como salvaguardias reducidas, para medir la capacidad intrínseca, no el comportamiento habitual de los modelos en despliegues disponibles públicamente.

Durante evaluaciones recientes, dos socios externos de pruebas detectaron incidentes en los que la combinación de las configuraciones y controles de prueba con las capacidades cada vez mayores de los modelos recientes permitió que la actividad de los modelos sobrepasara los límites previstos para las pruebas. Los incidentes ponen de relieve la importancia de colaborar con todo el sector y con evaluadores externos para adaptar los estándares de los entornos y las prácticas de prueba a medida que los modelos adquieren más capacidades. Nota del editor: estos casos son independientes del incidente de seguridad de Hugging Face. Seguiremos publicando novedades sobre el incidente de Hugging Face aquí.

En los nuevos incidentes, modelos de OpenAI accedieron a la internet pública durante evaluaciones de ciberseguridad realizadas por terceros, bajo condiciones específicas y con configuraciones de salvaguardias reducidas que no reflejaban un despliegue habitual. Los incidentes fueron los siguientes:

1. UK AISI, el Instituto de Seguridad de la IA del Gobierno británico, realizaba evaluaciones en entornos de ciberseguridad con el acceso a internet activado deliberadamente para que los agentes pudieran buscar sus propias herramientas y operar en condiciones más cercanas a las de un atacante real. También había desactivado los clasificadores de ciberseguridad para medir la capacidad intrínseca. Puedes consultar su blog aquí.⁠(se abre en una ventana nueva)
2. Irregular, uno de nuestros socios externos de pruebas de ciberseguridad, realizaba evaluaciones de tipo captura de bandera que debían estar aisladas de internet, pero una configuración incorrecta del entorno de pruebas permitió que los modelos accedieran a la internet pública.

A continuación resumimos lo ocurrido, las condiciones de prueba que posibilitaron la actividad, las medidas adoptadas para contenerla y lo que estamos haciendo para garantizar que los laboratorios independientes puedan seguir evaluando de forma rigurosa y segura modelos cada vez más capaces.

Estos incidentes reflejan el mismo desafío general que describimos en nuestra publicación reciente sobre el incidente de Hugging Face: a medida que aumentan las capacidades de los modelos, también deben avanzar los sistemas de seguridad y protección que los rodean. Esto incluye tanto los entornos utilizados para desarrollar modelos como aquellos que emplean los laboratorios y socios independientes para evaluarlos.

En las próximas semanas revisaremos nuestro enfoque de las pruebas realizadas por terceros. Esto incluye cómo identificamos las evaluaciones de mayor riesgo, acordamos su alcance, valoramos las solicitudes para habilitar el acceso a internet o reducir las salvaguardias, definimos las expectativas sobre aislamiento, gestión de credenciales, supervisión y condiciones de interrupción, y establecemos procesos más claros para notificar y escalar incidentes.

Nos comprometemos a colaborar con todo el sector para reforzar las prácticas comunes destinadas a realizar evaluaciones de alto riesgo de forma segura. Para ello, en las próximas semanas reuniremos a partes interesadas como institutos nacionales de IA, evaluadores independientes, otros laboratorios de IA y otros grupos. Nuestro objetivo es preservar el valor de una evaluación independiente y rigurosa, a la vez que garantizamos que las prácticas de prueba avancen al mismo ritmo que las capacidades de los modelos.

El 3 de agosto, UK AISI nos comunicó que, durante una evaluación rutinaria de ciberseguridad iniciada el 25 de julio, los modelos de OpenAI y de otro laboratorio habían sobrepasado en algunos casos el alcance de las pruebas. La evaluación se llevó a cabo en entornos controlados de ciberseguridad diseñados para reproducir redes del mundo real. De los 19 sucesos detectados, dos involucraron a un modelo de OpenAI, GPT‑5.6 Sol. Los demás casos correspondían a modelos de otro laboratorio.

Para esta evaluación, se indicó a los agentes que actuaran como expertos en ciberseguridad en un ejercicio de captura de bandera: debían vulnerar tres entornos simulados conectados y recuperar una bandera final. El prompt de la tarea identificaba las redes del entorno incluidas en el alcance e indicaba que varios sistemas quedaban fuera de él. UK AISI también habilitó el acceso en tiempo real a internet para que los agentes pudieran descargar herramientas y operar en condiciones más cercanas a las de un atacante humano, y desactivó los clasificadores de ciberseguridad del modelo para medir su capacidad intrínseca.

El límite de autorización previsto por UK AISI era el entorno simulado de ciberseguridad: los agentes estaban autorizados a atacar las redes simuladas especificadas y recuperar una bandera, pero no a interactuar con sistemas situados fuera de los límites de red del entorno. Sin embargo, no se indicó expresamente a los agentes cómo podían y no podían utilizar el acceso abierto a internet, algo que UK AISI señala como un posible factor que contribuyó al incidente.

En estas ejecuciones, UK AISI determinó que GPT‑5.6 Sol llevó a cabo dos acciones no autorizadas mientras intentaba encontrar una vía de acceso al entorno simulado y recuperar la bandera:

1. GPT‑5.6 Sol reutilizó un token de GitHub que el agente de otro laboratorio había dejado accesible públicamente para comprobar si algún sistema del entorno consultaba periódicamente GitHub u otro servicio de actualizaciones, intentó sortear la recuperación de cuentas y los límites de solicitudes, y creó cuentas en proveedores externos de DNS y tunelización.
2. GPT‑5.6 Sol utilizó un servicio público de tunelización para hacer accesible desde la internet pública un servidor DNS que se ejecutaba localmente en su entorno de evaluación. El servidor contenía cargas útiles dirigidas a una vulnerabilidad conocida de un software que se ejecutaba en el entorno de pruebas. La configuración no funcionó, no hay constancia de que ningún resolutor real consultara el servidor y la infraestructura se eliminó al finalizar la evaluación.

Aunque el modelo intentaba superar el ejercicio del entorno de ciberseguridad, UK AISI consideró que estas acciones no estaban autorizadas porque implicaban cuentas y servicios externos reales situados fuera de los límites del entorno y no eran necesarias para completar la tarea. El servidor DNS también alojó cargas útiles de exploits en la internet pública, aunque la configuración no funcionó y no hay constancia de que ningún resolutor real consultara el servidor.

UK AISI detectó la actividad el 28 de julio, después de que la supervisión de seguridad identificara transferencias de datos inusuales. Detuvo las evaluaciones relacionadas, aisló las máquinas pertinentes y contuvo la actividad en aproximadamente una hora desde la detección.

Agradecemos la colaboración de UK AISI durante todo este proceso, incluido su trabajo para identificar e investigar la actividad y compartir información sobre ella. Esperamos seguir colaborando.

El 29 de julio, Irregular, uno de nuestros socios externos de evaluación, nos informó de un incidente relacionado con modelos de OpenAI durante evaluaciones de ciberseguridad de tipo captura de bandera (CTF). Los modelos recibieron instrucciones de encontrar información oculta explotando vulnerabilidades en un entorno simulado y se les indicó que no tenían acceso a internet. Sin embargo, una configuración incorrecta del entorno de pruebas permitió que los modelos accedieran a la internet pública.

En una prueba, el nombre del objetivo ficticio del desafío CTF coincidió accidentalmente con un dominio real. Como el entorno de pruebas estaba conectado a internet por error, el modelo explotó un sitio web real al confundirlo con parte del entorno simulado. No se trató de una sofisticada fuga del entorno aislado ni de una vulnerabilidad de día cero: el acceso a internet se debió a una configuración incorrecta y, al parecer, el modelo explotó una vulnerabilidad de seguridad básica.

Según la investigación de Irregular, el modelo también encontró y utilizó credenciales para operar ese mismo sitio. Irregular no ha detectado ningún impacto más allá de los propios datos del sitio afectado y su auditoría continúa. Ha suspendido las evaluaciones e iniciado las medidas correctivas, y se informó a los terceros afectados. Irregular nos ha comunicado que ninguno de los problemas detectados en relación con el incidente sigue activo y que se añadieron las salvaguardias pertinentes al entorno de pruebas. Irregular también ha informado de incidentes relacionados con el mismo entorno de pruebas que afectaron a otros laboratorios.

Agradecemos la colaboración de Irregular y seguiremos trabajando estrechamente con su equipo para respaldar su investigación. Irregular también está elaborando un libro blanco para compartir buenas prácticas de contención y ejecución segura de evaluaciones de ciberseguridad. Esperamos colaborar en el libro blanco para poner las conclusiones a disposición de la comunidad y seguir trabajando juntos. Consideramos que este tipo de colaboración es esencial para garantizar una evaluación segura y exhaustiva de los modelos actuales y futuros.