OpenAI

Gestión de riesgos de la IA de vanguardia: del entrenamiento al despliegue

18 de noviembre de 2026 · Seguridad

Las capacidades de los modelos de vanguardia avanzan rápidamente, y nuestra capacidad de comprenderlos, alinearlos y protegerlos debe mantenerse un paso adelante. Estamos regulando el ritmo de desarrollo y lanzamiento de nuestros modelos, incluso pausando el entrenamiento interno⁠(se abre en una nueva ventana) o retrasando el lanzamiento de modelos como GPT‑6.1 Astra cuando necesitamos más tiempo para cumplir nuestros estándares de seguridad. Hemos incorporado nuevos procesos, como los casos de seguridad, y exigimos evidencia más sólida de un comportamiento alineado durante todo el entrenamiento. Estos requisitos reducen el ritmo de lanzamiento de los modelos, pero nos dan más confianza para avanzar de forma segura.

Desde el incidente de Hugging Face⁠ en julio, hemos reforzado las salvaguardas y los requisitos de alineación que rigen cómo entrenamos, probamos y desplegamos los modelos. Esta publicación explica cómo evaluamos y gestionamos el riesgo en cada etapa, desde los entornos de entrenamiento altamente aislados hasta el despliegue de Codex que usas en tu computadora. Evaluamos tanto los modelos como las salvaguardas en cada etapa y exigimos una revisión de seguridad para avanzar a la siguiente.

Defensa en profundidad durante todo el ciclo de vida del modelo

Usamos una defensa en profundidad con múltiples capas de protección que reducen la dependencia de cualquier salvaguarda individual. Si una capa falla, las demás ayudan a prevenir daños, limitar las consecuencias o alertarnos para que podamos intervenir.

Organizamos nuestras protecciones en cuatro capas:

Un monitoreo eficaz depende de la capacidad de monitorear el modelo: la fiabilidad con la que los monitores detectan errores o comportamientos inseguros a partir del razonamiento y las acciones del modelo. Por ejemplo, un modelo que expresa su intención de hacer trampa en su cadena de pensamiento (CoT) es más fácil de monitorear que uno que omite esta información. Evaluamos la capacidad de monitoreo durante el entrenamiento y antes del despliegue, desarrollamos mejores métodos para medirla⁠(se abre en una nueva ventana) y estudiamos qué la afecta⁠(se abre en una nueva ventana).

El incidente de Hugging Face mostró por qué no debemos depender solo del aislamiento para contener modelos de gran capacidad. Ahora monitoreamos los modelos de vanguardia en la mayoría de los entornos de despliegue interno y externo, incluidos todos los despliegues internos que usan herramientas.

La función de cada capa cambia a lo largo de tres etapas del desarrollo y despliegue de los modelos:

  • Investigación: entrenamos, probamos y usamos modelos en entornos aislados.

  • Despliegue interno: los empleados de OpenAI usan modelos para tareas prácticas.

  • Despliegue externo: los modelos se ponen a disposición de un público más amplio de personas y organizaciones.

Nos apoyamos en distintas capas según la etapa. Durante el entrenamiento, cuando hay menos certeza sobre la alineación, dependemos más del aislamiento y el monitoreo. A medida que los modelos obtienen un acceso más amplio durante el despliegue, la alineación y los controles a nivel del sistema cobran más importancia. En cada etapa, evaluamos si el conjunto de protecciones es suficiente para las capacidades y el acceso del modelo. Nuestras decisiones pueden revisarse con nuestro Grupo Asesor de Seguridad y quedar bajo la supervisión del Comité de Seguridad y Protección de la Junta Directiva de OpenAI Foundation.

Durante la investigación: contener los modelos en entornos aislados

Durante la fase de investigación, evaluamos los modelos para ganar confianza en sus propiedades de alineación. Como aún no podemos confiar plenamente en la alineación para prevenir daños, nos apoyamos en gran medida en la seguridad y el aislamiento para restringir a qué pueden acceder y qué pueden hacer.

Dado el estado actual de la investigación en alineación, los sistemas de monitoreo y la seguridad de la infraestructura de internet, creemos que lo responsable es entrenar los modelos de vanguardia sin acceso a internet en tiempo real. Después del incidente de Hugging Face, reestructuramos significativamente nuestros sistemas internos de investigación para contener los modelos mediante:

  • entornos aislados que restringen los privilegios del modelo

  • máquinas virtuales que aíslan aún más la carga de trabajo de la computadora subyacente

  • perímetros de red y nube que desconectan todo el clúster de internet

Sometemos este sistema a pruebas adversariales continuas: equipos de nuestros modelos más potentes intentan acceder a internet en tiempo real, traspasar los límites de seguridad o comunicarse con agentes de los que deberían estar aislados. Esto nos ayuda a comprobar si la contención resiste las capacidades de los modelos que busca restringir.

Como capa de defensa adicional, monitoreamos todas las inferencias de los modelos de vanguardia para detectar si el modelo ha eludido nuestras condiciones invariantes de seguridad. Si el monitoreo detecta que el modelo ha accedido a internet, alertamos a nuestros equipos de seguridad y pausamos automáticamente la carga de trabajo.

El monitoreo ofrece un respaldo fundamental cuando falla la contención. En un reporte reciente de desalineación, compartimos que los monitores detectaron que un modelo interno de investigación explotaba una configuración incorrecta de DNS⁠(se abre en una nueva ventana) para obtener acceso limitado a internet. Pausamos el entrenamiento y la evaluación de nuestros modelos más capaces del 20 de septiembre al 1 de octubre mientras investigábamos y corregíamos la brecha de seguridad.

Para que las intervenciones sean rápidas y confiables, creamos Control Room⁠, un sistema central que rastrea las cargas de trabajo de investigación y detiene la generación de respuestas del modelo en un máximo de 35 segundos tras recibir la instrucción de detener una tarea. Estos controles se aplican directamente en la infraestructura de inferencia, por lo que no dependen de que cada carga de trabajo de investigación implemente su propio mecanismo de apagado. En las cargas de trabajo de investigación con modelos de vanguardia, también detienen la generación de respuestas si Control Room deja de estar disponible.

El red teaming y el monitoreo se complementan. No podemos garantizar que un entorno aislado sea impenetrable, pero el red teaming nos ayuda a evaluar cuánto esfuerzo necesitaría un modelo para escapar de él. Cuanto más esfuerzo requiera el modelo, más oportunidades tendrán los monitores de detectarlo y detenerlo.

Exigimos controles sólidos de seguridad y monitoreo en la etapa de investigación por varias razones:

  • Los modelos aún están en evaluación. Algunos aún no han completado el entrenamiento de seguridad, las auditorías de alineación y las revisiones necesarias para su lanzamiento público.

  • Los entornos de investigación de vanguardia pueden amplificar los riesgos. Ciertas tareas de investigación requieren configuraciones más ambiciosas, que hacen que el modelo sea más persistente o capaz de lo habitual en un despliegue externo (por ejemplo, se necesitó un equipo de 10 000 agentes para resolver el problema de Navier-Stokes).

  • El entrenamiento se ejecuta a escala con menos supervisión humana directa. A diferencia de una sesión típica de Codex, nuestras cargas de trabajo de entrenamiento implican numerosas acciones del modelo sin que una persona siga cada interacción.

Despliegue interno: probar la alineación y monitorear de cerca el comportamiento

Antes del lanzamiento general, los empleados pasan de usar los modelos de vanguardia en entornos de investigación aislados a usarlos internamente sin aislamiento; por ejemplo, se les da acceso al modelo en ChatGPT. Esto nos permite comprender mejor cómo se comportan los modelos en entornos prácticos⁠(se abre en una nueva ventana) y orienta las decisiones de despliegue.

Durante esta fase, damos al modelo un acceso más amplio a internet, a nuestro Slack, a nuestra base de código y a la infraestructura interna. Esto supone un cambio significativo en el riesgo, ya que las acciones del modelo ahora tienen un impacto directo en los sistemas que usamos para desarrollar y operar OpenAI. Durante el despliegue interno, debemos apoyarnos más en la alineación del modelo, las salvaguardas del sistema y el monitoreo que en los controles de seguridad.

Antes de desplegar un modelo de vanguardia fuera del entorno aislado, este debe pasar por pruebas de alineación y de capacidad de monitoreo⁠(se abre en una nueva ventana). Contamos con un conjunto de evaluaciones de alineación que examinan tanto fallas específicas (como eludir las restricciones de seguridad y protección) como mediciones generales de propensión (como volver a muestrear trayectorias internas de Codex y comprobar si hay desalineación). Puedes consultar más información sobre nuestras evaluaciones de alineación y capacidad de monitoreo en la última tarjeta del sistema de GPT‑6 Astra⁠(se abre en una nueva ventana).

Al igual que en nuestros entornos de producción, añadimos una capa de defensa con clasificadores a nivel del sistema, diseñados para proteger contra daños asociados a la IA de vanguardia, como el abuso cibernético y el desarrollo de armas biológicas. También solemos exigir el uso de Revisión automática⁠(se abre en una nueva ventana) a los empleados que usan Codex. Esta función evalúa las acciones potencialmente riesgosas y las remite al usuario para su revisión.

Por último, monitoreamos cada inferencia de los modelos de vanguardia durante el despliegue interno para detectar comportamientos desalineados. Como el modelo ahora tiene más privilegios y acceso a información y sistemas internos, cobra especial importancia detectar riesgos como la exfiltración de datos o el envío de datos sensibles a un destino no autorizado. El monitoreo también nos ayuda a investigar nuevas formas de desalineación⁠(se abre en una nueva ventana).

Despliegue externo: proteger contra el uso indebido y la desalineación a escala

El despliegue público expone los modelos a muchos más usuarios, tareas y entornos, lo que aumenta tanto la escala como la variedad de los riesgos. En esta etapa, también debemos protegernos contra actores potencialmente maliciosos que dirigen deliberadamente al modelo para causar daño.

Antes del lanzamiento público, los modelos y las salvaguardas del sistema deben cumplir nuestros requisitos de seguridad para el despliegue externo. Los evaluamos mediante las siguientes acciones:

  • Realizar un conjunto más amplio de evaluaciones de alineación y seguridad. Para nuestros modelos de vanguardia, esto incluye nuevas rondas de pruebas adaptativas⁠ con nuestros sistemas internos de red teaming automatizado para poner a prueba la robustez del modelo. Publicamos los resultados de nuestras evaluaciones de capacidad y seguridad en nuestras tarjetas del sistema⁠(se abre en una nueva ventana).

  • Para nuestros modelos más capaces, también realizamos pruebas con terceros que ponen a prueba tanto nuestras salvaguardas contra el uso indebido como la alineación subyacente de los modelos.

  • Examinar las alertas de monitoreo de la etapa de despliegue interno para hacer un seguimiento de cualquier cambio en la alineación subyacente del modelo base.

Además de nuestras salvaguardas “sincrónicas” (como el entrenamiento de seguridad del modelo y los clasificadores del sistema), en los despliegues externos también investigamos y aplicamos medidas de cumplimiento de forma diferida. Estos equipos combinan agentes investigadores a escala con revisión humana para detectar e identificar posibles actores de amenazas en casos de abuso cibernético, desarrollo de armas biológicas y destilación⁠, así como la desalineación del propio modelo. La aplicación diferida de medidas de cumplimiento es especialmente útil para recopilar información entre cuentas y obtener una visión más integral de una posible amenaza.

Los programas de acceso de confianza, como Daybreak y Rosalind⁠, ofrecen otra capa de seguridad y agilizan el trabajo de defensores e investigadores legítimos, a la vez que restringen el acceso de posibles atacantes.

Respuesta a incidentes y divulgación

Cuando detectamos una falla en una de nuestras capas de seguridad, haya causado daño o no, buscamos investigarla rápidamente, determinar su prioridad y, si es posible y pertinente, divulgarla externamente. Según nuestra política de reporte de desalineación⁠, cualquier empleado puede señalar un incidente para su divulgación pública. Estos reportes se investigan y, si hay desacuerdo sobre si deben divulgarse externamente, la decisión se remite a nuestro Grupo Asesor de Seguridad. Además de basarnos en los reportes de los empleados, buscamos activamente incidentes de desalineación para abordarlos y compartir los hallazgos.

Puedes consultar nuestros reportes de desalineación aquí⁠(se abre en una nueva ventana).

​


​

Este trabajo depende tanto del avance de la investigación como de la disciplina operativa: configurar bien los controles, probar cómo interactúan y responder con decisión cuando fallan. Un servicio de red mal configurado o una falla en la detención automática pueden debilitar protecciones que, por lo demás, son sólidas.

A medida que los modelos adquieran nuevas capacidades, tendremos que seguir cuestionando los supuestos que sustentan nuestras salvaguardas y mejorarlas cuando sea necesario. Las lecciones de la investigación, el uso interno y el despliegue público deben orientar cómo entrenamos, evaluamos y desplegamos los próximos modelos.

Seguiremos compartiendo hallazgos mediante tarjetas del sistema, reportes de incidentes, reportes de riesgos⁠(se abre en una nueva ventana) del despliegue interno, y evaluaciones externas⁠ para que otros puedan examinar nuestro enfoque, incluidas sus limitaciones. Cuando esa evidencia no alcance nuestros estándares de seguridad, volveremos a pausar el entrenamiento o a retrasar el lanzamiento hasta que se cumplan esos requisitos.

Investigaciones y recursos relacionados

Establecer estándares de seguridad

Definir y evaluar el comportamiento alineado

Contener los modelos y mejorar las salvaguardas

Respuesta a incidentes y divulgación

Avances de investigación y aplicaciones

  • Acelerar la investigación: una mirada desde dentro de OpenAI — Evidencia inicial de cómo los agentes de programación están cambiando la investigación en OpenAI, incluido su uso creciente, las tareas cada vez más complejas y los efectos en la experimentación.

  • Sobre el problema del milenio de Navier–Stokes — Una demostración matemática producida por un sistema interno de IA, acompañada de una formalización en Lean, que ilustra las capacidades de los despliegues de investigación a gran escala.

  • Daybreak — Nuestro programa de ciberseguridad brinda a defensores verificados capacidades avanzadas de IA, herramientas de seguridad y apoyo para encontrar vulnerabilidades y reforzar las defensas.

  • Presentamos GPT‑Rosalind para la investigación en ciencias de la vida⁠ — Un modelo especializado en biología, descubrimiento de fármacos y medicina traslacional, disponible para organizaciones elegibles mediante un programa de acceso de confianza.