OpenAI y Hugging Face se alían para abordar un incidente de seguridad al evaluar modelos
La semana pasada, Hugging Face reveló un nuevo tipo de incidente de seguridad(se abre en una ventana nueva) tras detectar y contener a un agente de IA que comprometió su infraestructura, algo que esperamos que sea más habitual con la proliferación de modelos con capacidades cibernéticas cada vez mayores. Tras investigar, ahora sabemos que este incidente concreto fue impulsado por una combinación de modelos de OpenAI —incluidos GPT‑5.6 Sol y un modelo en versión preliminar aún más capaz, todos con menos negativas en ciberseguridad con fines de evaluación— mientras se probaban internamente en un benchmark(se abre en una ventana nueva) de capacidades cibernéticas.
Consideramos que se trata de un incidente cibernético sin precedentes, con capacidades cibernéticas de última generación, y estamos respondiendo en consecuencia. Compartimos hallazgos preliminares en esta fase para ayudar a los defensores a entender qué ocurrió y a ajustar las expectativas sobre lo que los modelos ya son capaces de hacer. Seguiremos llevando a cabo una investigación exhaustiva junto con Hugging Face y compartiremos más detalles sobre las vulnerabilidades, el incidente y los hallazgos cuando nuestra investigación concluya.
Este incidente se produjo durante una evaluación interna en la que se insta a los modelos a intentar una explotación avanzada mediante rutas de ataque complejas, con el objetivo de cuantificar sus capacidades cibernéticas. Estimamos las capacidades cibernéticas máximas ejecutando esta evaluación sin los clasificadores de producción que se usan para impedir que los modelos lleven a cabo actividades cibernéticas de alto riesgo. Nuestros benchmarks se ejecutan en un entorno muy aislado, con el acceso a la red limitado a la capacidad de instalar paquetes a través de un software de terceros alojado internamente que actúa como proxy y caché de los registros de paquetes.
Los modelos identificaron y encadenaron vulnerabilidades entre el entorno de investigación de OpenAI y la infraestructura de producción de Hugging Face para obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face. Todos los indicios sugieren que los modelos estaban centrados de forma obsesiva en encontrar una solución para ExploitGym y llegaron a extremos desmesurados para lograr un objetivo de prueba bastante limitado.
Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos dedicaron una cantidad considerable de computación de inferencia a encontrar una forma de obtener acceso abierto a Internet para resolver el problema de la evaluación. Para obtener acceso, los modelos identificaron y explotaron una vulnerabilidad de día cero (que ya hemos comunicado de forma responsable al proveedor) en el proxy de caché del registro de paquetes. Con este acceso, nuestros modelos llevaron a cabo una serie de acciones de escalada de privilegios y movimiento lateral en nuestro entorno de pruebas de investigación hasta que llegaron a un nodo con acceso a Internet.
Tras obtener acceso a Internet, los modelos infirieron que Hugging Face podía alojar modelos, conjuntos de datos y soluciones para ExploitGym. Con esto en mente, el modelo buscó y logró encontrar formas de acceder a información secreta que podía usar para hacer trampas en la evaluación. En un ejemplo, el modelo encadenó múltiples vectores de ataque, incluido el uso de credenciales robadas y vulnerabilidades de día cero para encontrar una ruta de ejecución remota de código en los servidores de Hugging Face. El equipo de seguridad de OpenAI descubrió internamente esta actividad anómala.
El equipo de seguridad y los agentes de Hugging Face detectaron y detuvieron la actividad en su infraestructura, y ya habían empezado la contención y la reconstrucción forense con sus propios modelos de código abierto cuando nuestros equipos se pusieron en contacto. Estamos trabajando activamente con ellos para seguir investigando el incidente. Agradecemos la colaboración rápida y estrecha de Hugging Face en la investigación y la remediación.
- Como parte de la investigación del incidente, estamos implantando controles estrictos en la configuración de la infraestructura, aun a costa del ritmo de nuestra investigación, mientras se corrigen las vulnerabilidades. Informamos periódicamente a nuestro Comité de Seguridad y Protección sobre estos controles y su impacto.
- Estamos trabajando con Hugging Face para investigar el incidente desde el punto de vista forense.
- Hemos comunicado de forma responsable la vulnerabilidad de día cero identificada en el software de terceros alojado internamente y estamos trabajando con ellos para corregirla.
- Hemos incorporado a Hugging Face al programa de acceso de confianza y estamos ayudando a sus equipos a usar rápidamente las capacidades de nuestros modelos para mejorar sus defensas.
- Estamos mejorando y añadiendo protecciones más sólidas para futuros entrenamientos y evaluaciones. Esta semana publicamos un artículo sobre cómo mejorar la seguridad y la alineación en una era de modelos con horizontes temporales largos. Estas salvaguardas de despliegue no se activaron deliberadamente durante esta evaluación porque su objetivo era probar vulnerabilidades cibernéticas. Este incidente señala la necesidad de reforzar aún más la alineación de nuestro modelo, las protecciones cibernéticas durante las evaluaciones y la supervisión durante las pruebas internas.
Como compartimos recientemente, la IA está acelerando el descubrimiento y la explotación de vulnerabilidades. La principal lección de este incidente es que la seguridad y la protección de los modelos deben avanzar al mismo ritmo que unas capacidades que progresan con rapidez. Estamos reforzando las prácticas de contención, supervisión, control de acceso y evaluación utilizadas durante el desarrollo de modelos.
La evaluación del UK AISI muestra que modelos como GPT‑5.6 Sol son cada vez más capaces de sostener operaciones cibernéticas complejas y de varios pasos durante horizontes temporales largos. Este incidente implica que estas capacidades teóricas sí se aplican en entornos reales.
El incidente también deja claro que los modelos avanzados pueden descubrir y explotar nuevas rutas de ataque en sistemas reales sin acceso al código fuente. Pone de relieve que las capacidades cibernéticas avanzadas deben desarrollarse junto con salvaguardas y herramientas defensivas más sólidas.
Creemos que los modelos con capacidades cibernéticas avanzadas deben ayudar a los equipos de seguridad a encontrar debilidades antes que los atacantes, entender cómo pueden encadenarse las vulnerabilidades y remediarlas a velocidad de máquina. Estamos usando estas capacidades para seguir reforzando las protecciones en torno a la configuración de la infraestructura y los entornos de evaluación de modelos; compartiremos nuestros hallazgos y buenas prácticas a medida que aprendamos. Animamos a otros defensores a solicitar acceso de confianza y experimentar con estos modelos ahora para traducir estas capacidades en una mejor prevención, una detección más rápida y una respuesta a incidentes más eficaz.
«Agradecemos la colaboración con OpenAI en este y otros temas. Este incidente, quizá el primero de este tipo, demuestra algo que creemos desde hace mucho tiempo: la seguridad de la IA no la resolverá una sola empresa trabajando en secreto. Se resolverá de forma abierta, en colaboración y con un amplio acceso a la IA para todos los defensores, en todas partes».
