Gestión del riesgo de la IA de vanguardia: del entrenamiento al despliegue
18 de noviembre de 2026 · Seguridad
Las capacidades de los modelos de vanguardia avanzan a un ritmo acelerado, y nuestra capacidad para comprenderlos, alinearlos y protegerlos debe ir por delante. Estamos regulando el ritmo de desarrollo y lanzamiento de nuestros modelos, incluso pausando el entrenamiento interno(se abre en una ventana nueva) o retrasando modelos como GPT‑6.1 Astra cuando necesitamos más tiempo para cumplir nuestros estándares de seguridad. Hemos introducido nuevos procesos, como las justificaciones de seguridad, y exigimos pruebas más sólidas de un comportamiento alineado durante todo el entrenamiento. Estos requisitos ralentizan el ritmo de lanzamiento de los modelos, pero nos dan mayor confianza para avanzar con seguridad.
Desde el incidente de Hugging Face en julio, hemos reforzado las salvaguardas y los requisitos de alineación para entrenar, probar y desplegar modelos. En este artículo explicamos cómo evaluamos y gestionamos el riesgo en cada etapa, desde entornos de entrenamiento muy aislados hasta el despliegue de Codex que usas en tu ordenador. Evaluamos tanto los modelos como las salvaguardas en cada etapa y exigimos una revisión de seguridad para avanzar a la siguiente.
Aplicamos una defensa en profundidad con varias capas de protección que reducen la dependencia de una única salvaguarda. Si una capa falla, las demás ayudan a evitar daños, limitar las consecuencias o alertarnos para que podamos intervenir.
Organizamos nuestras protecciones en cuatro capas:
Una monitorización eficaz depende de la monitorizabilidad del modelo: la fiabilidad con la que los monitores detectan errores o comportamientos inseguros a partir de su razonamiento y sus acciones. Por ejemplo, un modelo que verbaliza su intención de hacer trampas en su cadena de pensamiento (CoT) es más fácil de monitorizar que uno que omite esa información. Evaluamos la monitorizabilidad durante el entrenamiento y antes del despliegue, desarrollamos mejores métodos para medirla(se abre en una ventana nueva) y estudiamos qué factores la afectan(se abre en una ventana nueva).
El incidente de Hugging Face demostró por qué no debemos depender solo del aislamiento para contener modelos muy capaces. Ahora monitorizamos los modelos de vanguardia en la mayoría de los entornos de despliegue internos y externos, incluidos todos los despliegues internos que usan herramientas.
La función de cada capa cambia a lo largo de tres etapas del desarrollo y despliegue del modelo:
Investigación: entrenamos, probamos y usamos modelos en entornos aislados.
Despliegue interno: los empleados de OpenAI usan modelos en su trabajo práctico.
Despliegue externo: los modelos se ponen a disposición de más personas y organizaciones.
Nos apoyamos en distintas capas según la etapa. Durante el entrenamiento, cuando la alineación es menos segura, dependemos más del aislamiento y la monitorización. A medida que los modelos obtienen un acceso más amplio durante el despliegue, la alineación y los controles a nivel de sistema cobran importancia. En cada etapa, evaluamos si el conjunto de protecciones basta para las capacidades y el acceso del modelo. Nuestras decisiones pueden revisarse con el Grupo Asesor de Seguridad y quedar bajo la supervisión del Comité de Seguridad y Protección del Consejo de Administración de OpenAI Foundation.
Durante la investigación, evaluamos los modelos para ganar confianza en sus propiedades de alineación. Como aún no podemos confiar plenamente en la alineación para evitar daños, nos apoyamos mucho en la seguridad y el aislamiento para restringir a qué pueden acceder y qué pueden hacer.
Dado el estado actual de la investigación sobre alineación, los sistemas de monitorización y la seguridad de la infraestructura de internet, creemos que lo responsable es entrenar los modelos de vanguardia sin conexión a internet. Tras el incidente de Hugging Face, reestructuramos considerablemente nuestros sistemas internos de investigación para contener los modelos mediante:
entornos aislados que restringen los privilegios del modelo
máquinas virtuales que aíslan aún más la carga de trabajo del ordenador subyacente
perímetros de red y nube que desconectan de internet todo el clúster
Sometemos este sistema a pruebas adversariales continuas: equipos de nuestros modelos más potentes intentan acceder a internet, traspasar los límites de seguridad o comunicarse con agentes de los que deberían estar aislados. Esto nos ayuda a comprobar si la contención resiste las capacidades de los modelos que pretende restringir.
Como capa de defensa adicional, monitorizamos todas las inferencias de los modelos de vanguardia para detectar si el modelo ha eludido nuestras condiciones invariables de seguridad. Si la monitorización detecta que el modelo ha accedido a internet, alertamos a nuestros equipos de seguridad y pausamos automáticamente la carga de trabajo.
La monitorización ofrece un respaldo esencial cuando falla la contención. En un informe reciente de desalineación, explicamos que los monitores detectaron que un modelo interno de investigación explotaba una configuración incorrecta del DNS(se abre en una ventana nueva) para obtener acceso limitado a internet. Pausamos el entrenamiento y la evaluación de nuestros modelos más capaces del 20 de septiembre al 1 de octubre mientras investigábamos y subsanábamos la brecha de seguridad.
Para intervenir de forma rápida y fiable, creamos Control Room, un sistema central que hace un seguimiento de las cargas de trabajo de investigación y detiene la generación del modelo en un máximo de 35 segundos tras recibir la orden de parar una tarea. Estos controles se aplican directamente en la infraestructura de inferencia, por lo que no dependen de que cada carga de trabajo de investigación implemente su propio mecanismo de apagado. En las cargas de trabajo de investigación con modelos de vanguardia, también detienen la generación del modelo si Control Room deja de estar disponible.
El red teaming y la monitorización se complementan. No podemos garantizar que un entorno aislado sea impenetrable, pero el red teaming nos ayuda a evaluar cuánto esfuerzo necesitaría un modelo para escapar de él. Cuanto más esfuerzo necesite el modelo, más oportunidades tendrán los monitores de detectarlo y detenerlo.
Exigimos controles sólidos de seguridad y monitorización en la fase de investigación por varios motivos:
Los modelos aún se están evaluando. Algunos aún no han completado el entrenamiento de seguridad, las auditorías de alineación y las revisiones necesarias para su lanzamiento público.
Los entornos de investigación de vanguardia pueden amplificar los riesgos. Ciertas tareas de investigación requieren configuraciones más ambiciosas, que hacen que el modelo sea más persistente o capaz de lo habitual en un despliegue externo (por ejemplo, se necesitó un equipo de 10 000 agentes para resolver el problema de Navier-Stokes).
El entrenamiento se realiza a gran escala con menos supervisión humana directa. A diferencia de una sesión típica de Codex, nuestras cargas de trabajo de entrenamiento implican numerosas acciones del modelo sin que una persona siga cada interacción.
Antes del lanzamiento general, los empleados pasan de investigar con modelos de vanguardia en entornos aislados a usarlos internamente sin ese aislamiento, por ejemplo, accediendo al modelo en ChatGPT. Esto nos permite comprender mejor cómo se comportan los modelos en entornos prácticos(se abre en una ventana nueva) y fundamentar las decisiones de despliegue.
En esta fase, damos al modelo un acceso más amplio a internet, así como a nuestro Slack, nuestro código y nuestra infraestructura interna. Esto supone un cambio significativo en el riesgo, pues las acciones del modelo ahora afectan directamente a los sistemas que usamos para desarrollar y hacer funcionar OpenAI. Durante el despliegue interno, debemos apoyarnos más en la alineación del modelo, las salvaguardas del sistema y la monitorización que en los controles de seguridad.
Antes de desplegar un modelo de vanguardia fuera del entorno aislado, debe superar pruebas de alineación y de monitorizabilidad(se abre en una ventana nueva). Contamos con una batería de evaluaciones de alineación que comprueban tanto fallos específicos (como eludir restricciones de seguridad y protección) como tendencias generales de comportamiento (por ejemplo, tomando nuevas muestras de las trayectorias internas de Codex y comprobando si hay desalineación). Puedes consultar más información sobre nuestras evaluaciones de alineación y monitorizabilidad en la última tarjeta del sistema de GPT‑6 Astra(se abre en una ventana nueva).
Como en nuestros entornos de producción, añadimos una capa de defensa con clasificadores a nivel de sistema, diseñados para proteger frente a daños asociados a la IA de vanguardia, como los abusos cibernéticos y el desarrollo de armas biológicas. También solemos exigir que los empleados que usan Codex utilicen Auto-Review(se abre en una ventana nueva), que evalúa las acciones potencialmente arriesgadas y las remite al usuario para su revisión.
Por último, monitorizamos cada inferencia de los modelos de vanguardia durante el despliegue interno para detectar comportamientos desalineados. Dado que el modelo ahora tiene más privilegios y acceso a información y sistemas internos, resulta especialmente importante detectar riesgos como la exfiltración de datos o el envío de datos sensibles a destinos no autorizados. La monitorización también nos ayuda a investigar nuevas formas de desalineación(se abre en una ventana nueva).
El despliegue público expone a los modelos a muchos más usuarios, tareas y entornos, lo que aumenta tanto la escala como la variedad de los riesgos. En esta etapa, también debemos protegernos de posibles actores maliciosos que dirijan deliberadamente al modelo para causar daños.
Antes del lanzamiento público, los modelos y las salvaguardas del sistema deben cumplir nuestros requisitos de seguridad para el despliegue externo. Los evaluamos mediante:
Una batería más amplia de evaluaciones de alineación y seguridad. Para nuestros modelos de vanguardia, esto incluye nuevas rondas de pruebas adaptativas con nuestros sistemas internos de red teaming automatizado para poner a prueba la robustez del modelo. Publicamos los resultados de nuestras evaluaciones de capacidades y seguridad en las tarjetas del sistema(se abre en una ventana nueva).
Para nuestros modelos más capaces, también realizamos pruebas con terceros que ponen a prueba tanto las salvaguardas frente al uso indebido como la alineación subyacente de los modelos.
El examen de las alertas de monitorización de la fase de despliegue interno para seguir cualquier cambio en la alineación subyacente del modelo base.
Además de nuestras salvaguardas «síncronas» (como el entrenamiento de seguridad del modelo y los clasificadores del sistema), en los despliegues externos también investigamos y aplicamos medidas de cumplimiento fuera del flujo de interacción. Estos equipos combinan agentes de investigación a gran escala con revisión humana para detectar e identificar posibles actores de amenazas, en casos que abarcan abusos cibernéticos, desarrollo de armas biológicas, destilación y desalineación del propio modelo. Aplicar medidas de cumplimiento fuera del flujo de interacción resulta especialmente útil para reunir información de varias cuentas y obtener una visión más completa de una posible amenaza.
Los programas de acceso de confianza, como Daybreak y Rosalind, ofrecen otra capa de seguridad y agilizan el trabajo de los defensores y los investigadores legítimos, a la vez que restringen el acceso de posibles atacantes.
Cuando detectamos un fallo en una de nuestras capas de seguridad, haya causado daños o no, buscamos investigarlo y determinar su prioridad con rapidez y, si es posible y adecuado, divulgarlo externamente. Según nuestra política de notificación de desalineaciones, cualquier empleado puede señalar un incidente para su divulgación pública. Investigamos estas notificaciones y, si hay desacuerdo sobre su divulgación externa, remitimos la decisión a nuestro Grupo Asesor de Seguridad. Además de basarnos en las notificaciones de los empleados, buscamos activamente incidentes de desalineación para abordarlos y compartir los hallazgos.
Puedes consultar nuestros informes de desalineación aquí(se abre en una ventana nueva).
Este trabajo depende tanto de los avances en investigación como del rigor operativo: configurar bien los controles, probar cómo interactúan y responder con determinación cuando fallan. Un servicio de red mal configurado o una parada automática fallida pueden debilitar protecciones que, por lo demás, son sólidas.
A medida que los modelos adquieran nuevas capacidades, tendremos que seguir cuestionando los supuestos en los que se basan nuestras salvaguardas y mejorarlas cuando sea necesario. Las lecciones de la investigación, el uso interno y el despliegue público deben orientar el entrenamiento, la evaluación y el despliegue de los próximos modelos.
Seguiremos compartiendo hallazgos mediante tarjetas del sistema, informes de incidentes, informes de riesgos(se abre en una ventana nueva) del despliegue interno y evaluaciones externas para que otros puedan examinar nuestro enfoque, incluidas sus limitaciones. Cuando esas pruebas no alcancen nuestros estándares de seguridad, volveremos a pausar el entrenamiento o a retrasar el lanzamiento hasta cumplir los requisitos.
Establecer estándares de seguridad
Regular el desarrollo de modelos en una era de capacidades críticas para la ciberseguridad — Cómo ralentizamos el entrenamiento de vanguardia mientras reforzábamos la contención, ampliábamos la monitorización y exigíamos pruebas más sólidas de alineación.
Hacia justificaciones de seguridad para el entrenamiento de IA de vanguardia — Directrices iniciales para argumentar la seguridad con pruebas sobre salvaguardas técnicas, prácticas operativas e investigaciones de desalineación.
Prioridades y principios para evaluaciones eficaces de terceros — Nuestra propuesta para el examen independiente de las justificaciones de seguridad, las salvaguardas, las evaluaciones y el comportamiento de los modelos.
Resumen periódico de las evaluaciones de riesgo catastrófico del uso interno(se abre en una ventana nueva) — Nuestro informe público de junio a septiembre de 2026 describe los despliegues internos de modelos de vanguardia, los riesgos evaluados y los cambios en salvaguardas y gobernanza.
Definir y evaluar el comportamiento alineado
Especificaciones del modelo actualizadas para una IA más capaz y beneficiosa — Cómo actualizamos las especificaciones del modelo en torno a cinco valores fundamentales que guían el criterio y el comportamiento de los modelos, así como su respeto por la supervisión humana.
Diferencias de comportamiento entre evaluación y producción en la seguridad de los agentes y el papel de la consciencia de evaluación(se abre en una ventana nueva) — Un estudio de las diferencias entre los resultados de las evaluaciones de seguridad y el comportamiento en producción, incluido cómo afecta al rendimiento la interpretación de los objetivos de evaluación por parte de los modelos.
Más allá de g-mean²: métricas complementarias de monitorizabilidad(se abre en una ventana nueva) — Nuevas métricas para comparar la monitorizabilidad y estimar el riesgo residual en sistemas simulados donde los monitores rechazan las salidas del modelo.
Tarjeta del sistema de GPT‑6 Astra(se abre en una ventana nueva) — Evaluaciones detalladas de las capacidades, la seguridad, la alineación y la monitorizabilidad de Astra, junto con las salvaguardas y limitaciones de su despliegue.
Contener los modelos y mejorar las salvaguardas
Proteger nuestro entorno de entrenamiento de modelos de vanguardia — Cómo reforzamos el aislamiento, creamos entornos de investigación sin conexión y usamos nuestros modelos más potentes para probar los límites de contención.
Entrenar clasificadores de activaciones para la seguridad y la alineación(se abre en una ventana nueva) — Cómo los clasificadores usan las activaciones internas de los modelos para detectar conductas potencialmente dañinas e interrumpir respuestas o llamadas a herramientas.
Revisión automática de acciones de agentes sin supervisión humana síncrona(se abre en una ventana nueva) — Cómo un agente de revisión independiente evalúa las acciones que traspasan los límites del entorno aislado, permitiendo que los agentes de programación trabajen de forma autónoma mientras bloquea acciones potencialmente dañinas o no autorizadas.
GPT‑Red: impulsar la automejora para aumentar la robustez — Cómo entrenamos sistemas de red teaming automatizado mediante juego contra sí mismos para descubrir vulnerabilidades y mejorar la robustez de los modelos frente a inyecciones de prompts.
Control Room — Cómo seguimos las cargas de trabajo en nuestra infraestructura de investigación y detenemos rápidamente la generación de los modelos cuando los problemas de seguridad o protección exigen intervenir.
Respuesta a incidentes y divulgación
Cómo detectamos la desalineación de los modelos de vanguardia — Nuestro sistema de monitorización combina sondas de activación, revisión basada en modelos, investigación automatizada y respuesta humana para detectar e investigar comportamientos preocupantes.
El incidente de Hugging Face y el camino a seguir — Nuestros hallazgos sobre el incidente de Hugging Face y los cambios que impulsó en seguridad, monitorización y alineación.
Un agente usó DNS para acceder a un chatbot externo(se abre en una ventana nueva) — Cómo un modelo de investigación eludió las restricciones de internet gracias a un filtrado DNS insuficiente, cómo lo detectó la monitorización y qué controles se añadieron después.
Desarticular una campaña coordinada de destilación de modelos — Cómo investigamos y frustramos intentos de extraer razonamiento protegido de los modelos mediante medidas sobre las cuentas, controles técnicos y coordinación con colaboradores.
Nuestro marco para notificar la desalineación de los modelos — Nuestro proceso para seguir, investigar y divulgar comportamientos preocupantes de los modelos, incluidos casos cuyas causas o relevancia aún son inciertas.
Informes y avisos de desalineación(se abre en una ventana nueva) — Nuestra colección de incidentes y avisos divulgados que muestran cómo surge la desalineación y dónde funcionan o fallan las salvaguardas.
Avances en investigación y aplicaciones
Acelerar la investigación: una mirada al interior de OpenAI — Primeras pruebas de cómo los agentes de programación están cambiando la investigación en OpenAI, con un uso creciente, tareas cada vez más complejas y efectos en la experimentación.
Sobre el problema del milenio de Navier–Stokes — Una demostración matemática generada por un sistema interno de IA, acompañada de una formalización en Lean, que ilustra las capacidades de los despliegues de investigación a gran escala.
Daybreak — Nuestro programa de ciberseguridad proporciona a defensores verificados capacidades avanzadas de IA, herramientas de seguridad y apoyo para encontrar vulnerabilidades y reforzar las defensas.
Presentamos GPT‑Rosalind para la investigación en ciencias de la vida — Un modelo especializado en biología, descubrimiento de fármacos y medicina traslacional, disponible para organizaciones que cumplan los requisitos mediante un programa de acceso de confianza.






