OpenAI

Gestión del riesgo de la IA de vanguardia: del entrenamiento al despliegue

18 de noviembre de 2026 · Seguridad

Las capacidades de los modelos de vanguardia avanzan a un ritmo acelerado, y nuestra capacidad para comprenderlos, alinearlos y protegerlos debe ir por delante. Estamos regulando el ritmo de desarrollo y lanzamiento de nuestros modelos, incluso pausando el entrenamiento interno⁠(se abre en una ventana nueva) o retrasando modelos como GPT‑6.1 Astra cuando necesitamos más tiempo para cumplir nuestros estándares de seguridad. Hemos introducido nuevos procesos, como las justificaciones de seguridad, y exigimos pruebas más sólidas de un comportamiento alineado durante todo el entrenamiento. Estos requisitos ralentizan el ritmo de lanzamiento de los modelos, pero nos dan mayor confianza para avanzar con seguridad.

Desde el incidente de Hugging Face⁠ en julio, hemos reforzado las salvaguardas y los requisitos de alineación para entrenar, probar y desplegar modelos. En este artículo explicamos cómo evaluamos y gestionamos el riesgo en cada etapa, desde entornos de entrenamiento muy aislados hasta el despliegue de Codex que usas en tu ordenador. Evaluamos tanto los modelos como las salvaguardas en cada etapa y exigimos una revisión de seguridad para avanzar a la siguiente.

Defensa en profundidad durante todo el ciclo de vida del modelo

Aplicamos una defensa en profundidad con varias capas de protección que reducen la dependencia de una única salvaguarda. Si una capa falla, las demás ayudan a evitar daños, limitar las consecuencias o alertarnos para que podamos intervenir.

Organizamos nuestras protecciones en cuatro capas:

Una monitorización eficaz depende de la monitorizabilidad del modelo: la fiabilidad con la que los monitores detectan errores o comportamientos inseguros a partir de su razonamiento y sus acciones. Por ejemplo, un modelo que verbaliza su intención de hacer trampas en su cadena de pensamiento (CoT) es más fácil de monitorizar que uno que omite esa información. Evaluamos la monitorizabilidad durante el entrenamiento y antes del despliegue, desarrollamos mejores métodos para medirla⁠(se abre en una ventana nueva) y estudiamos qué factores la afectan⁠(se abre en una ventana nueva).

El incidente de Hugging Face demostró por qué no debemos depender solo del aislamiento para contener modelos muy capaces. Ahora monitorizamos los modelos de vanguardia en la mayoría de los entornos de despliegue internos y externos, incluidos todos los despliegues internos que usan herramientas.

La función de cada capa cambia a lo largo de tres etapas del desarrollo y despliegue del modelo:

  • Investigación: entrenamos, probamos y usamos modelos en entornos aislados.

  • Despliegue interno: los empleados de OpenAI usan modelos en su trabajo práctico.

  • Despliegue externo: los modelos se ponen a disposición de más personas y organizaciones.

Nos apoyamos en distintas capas según la etapa. Durante el entrenamiento, cuando la alineación es menos segura, dependemos más del aislamiento y la monitorización. A medida que los modelos obtienen un acceso más amplio durante el despliegue, la alineación y los controles a nivel de sistema cobran importancia. En cada etapa, evaluamos si el conjunto de protecciones basta para las capacidades y el acceso del modelo. Nuestras decisiones pueden revisarse con el Grupo Asesor de Seguridad y quedar bajo la supervisión del Comité de Seguridad y Protección del Consejo de Administración de OpenAI Foundation.

Durante la investigación: contener los modelos en entornos aislados

Durante la investigación, evaluamos los modelos para ganar confianza en sus propiedades de alineación. Como aún no podemos confiar plenamente en la alineación para evitar daños, nos apoyamos mucho en la seguridad y el aislamiento para restringir a qué pueden acceder y qué pueden hacer.

Dado el estado actual de la investigación sobre alineación, los sistemas de monitorización y la seguridad de la infraestructura de internet, creemos que lo responsable es entrenar los modelos de vanguardia sin conexión a internet. Tras el incidente de Hugging Face, reestructuramos considerablemente nuestros sistemas internos de investigación para contener los modelos mediante:

  • entornos aislados que restringen los privilegios del modelo

  • máquinas virtuales que aíslan aún más la carga de trabajo del ordenador subyacente

  • perímetros de red y nube que desconectan de internet todo el clúster

Sometemos este sistema a pruebas adversariales continuas: equipos de nuestros modelos más potentes intentan acceder a internet, traspasar los límites de seguridad o comunicarse con agentes de los que deberían estar aislados. Esto nos ayuda a comprobar si la contención resiste las capacidades de los modelos que pretende restringir.

Como capa de defensa adicional, monitorizamos todas las inferencias de los modelos de vanguardia para detectar si el modelo ha eludido nuestras condiciones invariables de seguridad. Si la monitorización detecta que el modelo ha accedido a internet, alertamos a nuestros equipos de seguridad y pausamos automáticamente la carga de trabajo.

La monitorización ofrece un respaldo esencial cuando falla la contención. En un informe reciente de desalineación, explicamos que los monitores detectaron que un modelo interno de investigación explotaba una configuración incorrecta del DNS⁠(se abre en una ventana nueva) para obtener acceso limitado a internet. Pausamos el entrenamiento y la evaluación de nuestros modelos más capaces del 20 de septiembre al 1 de octubre mientras investigábamos y subsanábamos la brecha de seguridad.

Para intervenir de forma rápida y fiable, creamos Control Room⁠, un sistema central que hace un seguimiento de las cargas de trabajo de investigación y detiene la generación del modelo en un máximo de 35 segundos tras recibir la orden de parar una tarea. Estos controles se aplican directamente en la infraestructura de inferencia, por lo que no dependen de que cada carga de trabajo de investigación implemente su propio mecanismo de apagado. En las cargas de trabajo de investigación con modelos de vanguardia, también detienen la generación del modelo si Control Room deja de estar disponible.

El red teaming y la monitorización se complementan. No podemos garantizar que un entorno aislado sea impenetrable, pero el red teaming nos ayuda a evaluar cuánto esfuerzo necesitaría un modelo para escapar de él. Cuanto más esfuerzo necesite el modelo, más oportunidades tendrán los monitores de detectarlo y detenerlo.

Exigimos controles sólidos de seguridad y monitorización en la fase de investigación por varios motivos:

  • Los modelos aún se están evaluando. Algunos aún no han completado el entrenamiento de seguridad, las auditorías de alineación y las revisiones necesarias para su lanzamiento público.

  • Los entornos de investigación de vanguardia pueden amplificar los riesgos. Ciertas tareas de investigación requieren configuraciones más ambiciosas, que hacen que el modelo sea más persistente o capaz de lo habitual en un despliegue externo (por ejemplo, se necesitó un equipo de 10 000 agentes para resolver el problema de Navier-Stokes).

  • El entrenamiento se realiza a gran escala con menos supervisión humana directa. A diferencia de una sesión típica de Codex, nuestras cargas de trabajo de entrenamiento implican numerosas acciones del modelo sin que una persona siga cada interacción.

Despliegue interno: probar la alineación y monitorizar de cerca el comportamiento

Antes del lanzamiento general, los empleados pasan de investigar con modelos de vanguardia en entornos aislados a usarlos internamente sin ese aislamiento, por ejemplo, accediendo al modelo en ChatGPT. Esto nos permite comprender mejor cómo se comportan los modelos en entornos prácticos⁠(se abre en una ventana nueva) y fundamentar las decisiones de despliegue.

En esta fase, damos al modelo un acceso más amplio a internet, así como a nuestro Slack, nuestro código y nuestra infraestructura interna. Esto supone un cambio significativo en el riesgo, pues las acciones del modelo ahora afectan directamente a los sistemas que usamos para desarrollar y hacer funcionar OpenAI. Durante el despliegue interno, debemos apoyarnos más en la alineación del modelo, las salvaguardas del sistema y la monitorización que en los controles de seguridad.

Antes de desplegar un modelo de vanguardia fuera del entorno aislado, debe superar pruebas de alineación y de monitorizabilidad⁠(se abre en una ventana nueva). Contamos con una batería de evaluaciones de alineación que comprueban tanto fallos específicos (como eludir restricciones de seguridad y protección) como tendencias generales de comportamiento (por ejemplo, tomando nuevas muestras de las trayectorias internas de Codex y comprobando si hay desalineación). Puedes consultar más información sobre nuestras evaluaciones de alineación y monitorizabilidad en la última tarjeta del sistema de GPT‑6 Astra⁠(se abre en una ventana nueva).

Como en nuestros entornos de producción, añadimos una capa de defensa con clasificadores a nivel de sistema, diseñados para proteger frente a daños asociados a la IA de vanguardia, como los abusos cibernéticos y el desarrollo de armas biológicas. También solemos exigir que los empleados que usan Codex utilicen Auto-Review⁠(se abre en una ventana nueva), que evalúa las acciones potencialmente arriesgadas y las remite al usuario para su revisión.

Por último, monitorizamos cada inferencia de los modelos de vanguardia durante el despliegue interno para detectar comportamientos desalineados. Dado que el modelo ahora tiene más privilegios y acceso a información y sistemas internos, resulta especialmente importante detectar riesgos como la exfiltración de datos o el envío de datos sensibles a destinos no autorizados. La monitorización también nos ayuda a investigar nuevas formas de desalineación⁠(se abre en una ventana nueva).

Despliegue externo: proteger frente al uso indebido y la desalineación a gran escala

El despliegue público expone a los modelos a muchos más usuarios, tareas y entornos, lo que aumenta tanto la escala como la variedad de los riesgos. En esta etapa, también debemos protegernos de posibles actores maliciosos que dirijan deliberadamente al modelo para causar daños.

Antes del lanzamiento público, los modelos y las salvaguardas del sistema deben cumplir nuestros requisitos de seguridad para el despliegue externo. Los evaluamos mediante:

  • Una batería más amplia de evaluaciones de alineación y seguridad. Para nuestros modelos de vanguardia, esto incluye nuevas rondas de pruebas adaptativas⁠ con nuestros sistemas internos de red teaming automatizado para poner a prueba la robustez del modelo. Publicamos los resultados de nuestras evaluaciones de capacidades y seguridad en las tarjetas del sistema⁠(se abre en una ventana nueva).

  • Para nuestros modelos más capaces, también realizamos pruebas con terceros que ponen a prueba tanto las salvaguardas frente al uso indebido como la alineación subyacente de los modelos.

  • El examen de las alertas de monitorización de la fase de despliegue interno para seguir cualquier cambio en la alineación subyacente del modelo base.

Además de nuestras salvaguardas «síncronas» (como el entrenamiento de seguridad del modelo y los clasificadores del sistema), en los despliegues externos también investigamos y aplicamos medidas de cumplimiento fuera del flujo de interacción. Estos equipos combinan agentes de investigación a gran escala con revisión humana para detectar e identificar posibles actores de amenazas, en casos que abarcan abusos cibernéticos, desarrollo de armas biológicas, destilación⁠ y desalineación del propio modelo. Aplicar medidas de cumplimiento fuera del flujo de interacción resulta especialmente útil para reunir información de varias cuentas y obtener una visión más completa de una posible amenaza.

Los programas de acceso de confianza, como Daybreak y Rosalind⁠, ofrecen otra capa de seguridad y agilizan el trabajo de los defensores y los investigadores legítimos, a la vez que restringen el acceso de posibles atacantes.

Respuesta a incidentes y divulgación

Cuando detectamos un fallo en una de nuestras capas de seguridad, haya causado daños o no, buscamos investigarlo y determinar su prioridad con rapidez y, si es posible y adecuado, divulgarlo externamente. Según nuestra política de notificación de desalineaciones⁠, cualquier empleado puede señalar un incidente para su divulgación pública. Investigamos estas notificaciones y, si hay desacuerdo sobre su divulgación externa, remitimos la decisión a nuestro Grupo Asesor de Seguridad. Además de basarnos en las notificaciones de los empleados, buscamos activamente incidentes de desalineación para abordarlos y compartir los hallazgos.

Puedes consultar nuestros informes de desalineación aquí⁠(se abre en una ventana nueva).

​


​

Este trabajo depende tanto de los avances en investigación como del rigor operativo: configurar bien los controles, probar cómo interactúan y responder con determinación cuando fallan. Un servicio de red mal configurado o una parada automática fallida pueden debilitar protecciones que, por lo demás, son sólidas.

A medida que los modelos adquieran nuevas capacidades, tendremos que seguir cuestionando los supuestos en los que se basan nuestras salvaguardas y mejorarlas cuando sea necesario. Las lecciones de la investigación, el uso interno y el despliegue público deben orientar el entrenamiento, la evaluación y el despliegue de los próximos modelos.

Seguiremos compartiendo hallazgos mediante tarjetas del sistema, informes de incidentes, informes de riesgos⁠(se abre en una ventana nueva) del despliegue interno y evaluaciones externas⁠ para que otros puedan examinar nuestro enfoque, incluidas sus limitaciones. Cuando esas pruebas no alcancen nuestros estándares de seguridad, volveremos a pausar el entrenamiento o a retrasar el lanzamiento hasta cumplir los requisitos.

Investigaciones y recursos relacionados

Establecer estándares de seguridad

Definir y evaluar el comportamiento alineado

Contener los modelos y mejorar las salvaguardas

Respuesta a incidentes y divulgación

Avances en investigación y aplicaciones

  • Acelerar la investigación: una mirada al interior de OpenAI — Primeras pruebas de cómo los agentes de programación están cambiando la investigación en OpenAI, con un uso creciente, tareas cada vez más complejas y efectos en la experimentación.

  • Sobre el problema del milenio de Navier–Stokes — Una demostración matemática generada por un sistema interno de IA, acompañada de una formalización en Lean, que ilustra las capacidades de los despliegues de investigación a gran escala.

  • Daybreak — Nuestro programa de ciberseguridad proporciona a defensores verificados capacidades avanzadas de IA, herramientas de seguridad y apoyo para encontrar vulnerabilidades y reforzar las defensas.

  • Presentamos GPT‑Rosalind para la investigación en ciencias de la vida⁠ — Un modelo especializado en biología, descubrimiento de fármacos y medicina traslacional, disponible para organizaciones que cumplan los requisitos mediante un programa de acceso de confianza.