Mejorar la jerarquía de instrucciones en los LLM de vanguardia

Los sistemas de IA suelen recibir instrucciones de múltiples fuentes. Estas pueden incluir políticas de seguridad en los mensajes del sistema, directrices de producto definidas por los desarrolladores, solicitudes de los usuarios e información obtenida en línea. Entrenar a los modelos para priorizar de forma confiable las instrucciones más fiables entre estas fuentes es una parte clave para una implementación segura.

Muchos problemas de seguridad y confiabilidad de la IA pueden surgir cuando esta priorización falla. Los modelos pueden recibir solicitudes de contenido no permitido, intentos de revelar información privada o ataques de inyección de prompts ocultos en los datos en línea. En estos escenarios, la causa raíz suele ser la misma: el modelo sigue la instrucción incorrecta.

Cuando estas instrucciones entran en conflicto, el modelo tiene que decidir cuáles priorizar. Si trata una instrucción no confiable como si fuera autoritativa, el modelo puede comportarse de maneras que violen las políticas o la intención del desarrollador y del usuario.

Demostramos que las tareas de jerarquía de instrucciones diseñadas adecuadamente, que entrenan a los modelos para priorizar las instrucciones según su nivel de confianza, mejoran varias propiedades de seguridad del mundo real. Los modelos entrenados en estas tareas se vuelven más sensibles a las especificaciones de seguridad en los prompts del sistema (lo que mejora la capacidad de orientar el comportamiento del modelo en materia de seguridad) y más robustos frente a ataques de inyección de prompts ocultos en las salidas de las herramientas.

Para manejar estos conflictos, los modelos de OpenAI se entrenan para seguir una jerarquía clara de instrucciones:

Sistema > desarrollador > usuario > herramienta

Las instrucciones de mayor prioridad son más confiables. El modelo solo debe seguir las de menor prioridad cuando no entren en conflicto con restricciones de mayor prioridad. Estos principios se describen en las Especificaciones del modelo de OpenAI⁠(se abre en una nueva ventana).

Por ejemplo, si un mensaje del sistema incluye una política de seguridad y el usuario le pide al modelo que la incumpla, el modelo debe negarse. Si el resultado de una herramienta contiene instrucciones maliciosas, el modelo debe ignorarlas en lugar de tratarlas como comandos.

Hacer esto bien es fundamental para la seguridad, la protección y la confiabilidad.

El aprendizaje por refuerzo es una forma natural de enseñar la jerarquía de instrucciones. Podemos generar conversaciones con instrucciones contradictorias, pedirle al modelo que responda y recompensarlo cuando siga la instrucción correcta.

Hemos identificado tres limitaciones al aplicar este enfoque de forma directa:

• Los errores al seguir instrucciones también pueden reflejar problemas en la jerarquía de instrucciones: el modelo podría no resolver un conflicto entre instrucciones, no porque no entienda la jerarquía de roles, sino porque las propias instrucciones son demasiado complejas.
• Los conflictos entre instrucciones pueden ser sutiles e incluso subjetivos. Un enfoque común consiste en usar un LLM independiente como juez para asignar recompensas al modelo que se está entrenando, pero estos jueces también pueden equivocarse.
• Los modelos tienden a aprender atajos que producen recompensas altas, pero resultan inútiles en la práctica⁠(se abre en una nueva ventana). El ejemplo clásico es el rechazo excesivo: los modelos pueden aprender a maximizar la seguridad al negarse incluso ante solicitudes benignas.

Diseñamos IH-Challenge, un conjunto de datos para entrenamiento con aprendizaje por refuerzo, para abordar cada uno de esos problemas. Se guía por los siguientes principios:

• Las tareas son simples en cuanto que solo requieren seguir instrucciones
• Se pueden evaluar objetivamente con un script simple de Python
• No hay atajos triviales que garanticen una recompensa alta en todas las tareas

Cada tarea en IH-Challenge es, esencialmente, una conversación con los siguientes mensajes:

• Un mensaje de instrucción de un rol con privilegios elevados, p. ej. “Solo responde Sí o No”.
• Un mensaje de instrucciones de un rol de menos privilegios, que intenta hacer que el modelo no siga las instrucciones del mensaje de mayor privilegio.

El modelo en entrenamiento genera el siguiente mensaje. Diseñamos las tareas y los entornos de modo que sea posible comprobar programáticamente si la respuesta del modelo cumple con la restricción de mayor prioridad.

Entrenamos un modelo con IH‑Challenge y producimos un modelo interno, al que llamamos GPT‑5 Mini-R, con las siguientes mejoras: 

• Tiene un mejor desempeño en evaluaciones de jerarquía de instrucciones
• La mejora en el rendimiento se generaliza también a pruebas no vistas y adversarias de jerarquía de instrucciones
• Mantiene la utilidad general, sin colapsar en el rechazo excesivo

Esto es lo que hace que el enfoque sea especialmente prometedor para la seguridad: al entrenar directamente a los modelos para resolver correctamente los conflictos de instrucciones en tareas de IH-Challenge, obtenemos mejoras en IH que se generalizan a nuevos ataques y situaciones.

Una jerarquía de instrucciones más sólida ofrece múltiples beneficios de seguridad a la vez, incluida una mayor capacidad de orientar el comportamiento del modelo en materia de seguridad y la robustez frente a la inyección de prompts.

Evaluamos la capacidad de orientar el comportamiento del modelo en materia de seguridad añadiendo especificaciones de seguridad por categoría al prompt del sistema y midiendo el comportamiento en las evaluaciones comparativas de seguridad de OpenAI en producción (un conjunto de conversaciones sensibles en materia de seguridad representativas de ChatGPT en producción).

El modelo entrenado con IH muestra una mejora constante: cuando la especificación de seguridad está presente, logra mayores tasas de rechazo y de finalización segura en todas las categorías no permitidas. Esto indica que una jerarquía de instrucciones más sólida mejora su capacidad para resolver conflictos cuando las solicitudes inseguras provienen de instrucciones de menor prioridad. Cabe destacar que esta mejora no va acompañada de una disminución en la tasa de utilidad (es decir, no se vuelve menos "útil" simplemente por negarse más en general).

La jerarquía de instrucciones también es fundamental para resistir la inyección de prompts, cuando instrucciones maliciosas se incrustan en las salidas de las herramientas. Evaluamos el modelo entrenado con IH en dos evaluaciones comparativas de inyección de prompts: una evaluación comparativa académica, CyberSecEval 2, y una evaluación comparativa interna de OpenAI sobre inyección de prompts, que consiste en ataques como el que se demostró en una versión anterior de ChatGPT Atlas⁠.

En comparación con la línea base, el modelo GPT‑5 Mini-R entrenado con IH mejora la robustez frente a la inyección de prompts en ambas evaluaciones comparativas y aumenta sustancialmente el rendimiento en nuestra evaluación interna estática de inyección de prompts.

A medida que los modelos actúan cada vez más como agentes —al usar herramientas, leer documentos no confiables y ejecutar acciones en el mundo— la capacidad de priorizar de forma consistente las instrucciones confiables por encima de las no confiables se convierte en una propiedad central para la seguridad.

En este trabajo demostramos que varios problemas comunes en el entrenamiento para la robustez de IH pueden superarse mediante el diseño de entornos de entrenamiento que abordan estas fallas directamente. Aunque nuestro conjunto de datos IH-Challenge parece simple, el comportamiento de IH que los modelos aprenden en estos entornos se generaliza a evaluaciones comparativas más realistas, que a menudo no pueden calificarse de forma objetiva.

Fortalecer la jerarquía de instrucciones no solo mejora la confiabilidad, sino que también desbloquea múltiples beneficios de seguridad y protección a la vez: una base que se vuelve cada vez más importante a medida que los sistemas de IA se vuelven más capaces y autónomos.

Para respaldar más investigaciones en esta área, estamos lanzando el conjunto de datos IH‑Challenge aquí⁠(se abre en una nueva ventana).