Mejorar la jerarquía de instrucciones en los LLM de vanguardia

Los sistemas de IA suelen recibir instrucciones de múltiples fuentes. Estas pueden incluir políticas de seguridad en los mensajes del sistema, directrices de producto definidas por los desarrolladores, solicitudes de los usuarios e información obtenida en línea. Entrenar a los modelos para que prioricen de forma fiable las instrucciones más fiables entre estas fuentes es una parte clave para una implementación segura.

Muchos problemas de seguridad y fiabilidad de la IA pueden surgir cuando esta priorización falla. Los modelos pueden recibir solicitudes de contenido no permitido, intentos de revelar información privada o ataques de inyección de prompts ocultos en los datos en línea. En estos casos, la causa raíz suele ser la misma: el modelo sigue la instrucción equivocada.

Cuando estas instrucciones entran en conflicto, el modelo tiene que decidir cuáles priorizar. Si trata una instrucción no fiable como si fuera autoritativa, puede comportarse de maneras que violen las políticas o la intención del desarrollador o del usuario.

Demostramos que las tareas de jerarquía de instrucciones bien diseñadas, que entrenan a los modelos para priorizar las instrucciones según su nivel de fiabilidad, mejoran varias propiedades de seguridad en situaciones del mundo real. Los modelos entrenados en estas tareas se vuelven más receptivos a las especificaciones de seguridad en los prompts del sistema (mejorando la capacidad de control en materia de seguridad) y más robustos frente a ataques de inyección de prompts incrustados en las salidas de las herramientas.

Para manejar estos conflictos, los modelos de OpenAI se entrenan para seguir una jerarquía clara de instrucciones:

Sistema > desarrollador > usuario > herramienta

Las instrucciones de mayor prioridad son más fiables. El modelo solo debe seguir las de menor prioridad cuando no entren en conflicto con restricciones de mayor prioridad. Estos principios se describen en las Especificaciones del modelo de OpenAI⁠(se abre en una ventana nueva).

Por ejemplo, si un mensaje del sistema incluye una política de seguridad y un usuario pide al modelo que la infrinja, el modelo debería negarse. Si la salida de una herramienta contiene instrucciones maliciosas, el modelo debería ignorarlas en lugar de tratarlas como comandos.

Hacerlo bien es fundamental para la seguridad, la protección y la fiabilidad.

El aprendizaje por refuerzo es una forma natural de enseñar la jerarquía de instrucciones. Podemos generar conversaciones con instrucciones contradictorias, pedirle al modelo que responda y recompensarlo cuando siga la instrucción correcta.

Hemos identificado tres limitaciones al aplicar este enfoque de forma directa:

• Los fallos al seguir instrucciones también pueden deberse a fallos en la jerarquía de instrucciones: el modelo podría no resolver un conflicto entre instrucciones no porque no entienda la jerarquía de roles, sino porque las propias instrucciones son demasiado complejas.
• Los conflictos entre instrucciones pueden ser sutiles e incluso subjetivos. Un enfoque común consiste en usar un LLM independiente como juez para asignar recompensas al modelo que se está entrenando, pero estos jueces también pueden equivocarse.
• Los modelos tienden a aprender atajos que producen recompensas altas, pero resultan inútiles en la práctica⁠(se abre en una ventana nueva). El ejemplo clásico es el rechazo excesivo: los modelos pueden aprender a maximizar la seguridad al negarse incluso ante solicitudes benignas.

Diseñamos IH-Challenge, un conjunto de datos para el entrenamiento con aprendizaje por refuerzo, para abordar cada uno de esos desafíos. Se rige por los siguientes principios:

• Las tareas son sencillas, consisten únicamente en seguir instrucciones
• Se pueden evaluar objetivamente con un script simple de Python
• No hay atajos triviales que garanticen una alta recompensa en todas las tareas

Cada tarea en IH-Challenge es esencialmente una conversación con los siguientes mensajes:

• Un mensaje de instrucción de un rol con privilegios elevados, p. ej., «Responde solo sí o no».
• Un mensaje de instrucciones de un rol de menos privilegios, que intenta hacer que el modelo no siga las instrucciones del mensaje de mayor privilegio.

El modelo en entrenamiento genera el siguiente mensaje. Diseñamos las tareas y los entornos de modo que pueda comprobarse programáticamente si la respuesta del modelo cumple la restricción de mayor prioridad.

Entrenamos un modelo con IH‑Challenge y producimos un modelo interno, al que llamamos GPT‑5 Mini-R, con las siguientes mejoras: 

• Tiene un mejor desempeño en evaluaciones de jerarquía de instrucciones
• La mejora en el rendimiento se generaliza también a pruebas no vistas y adversarias de jerarquía de instrucciones
• Mantiene la utilidad general, sin colapsar en el rechazo excesivo

Esto es lo que hace que el enfoque sea especialmente prometedor para la seguridad: al entrenar directamente a los modelos para resolver correctamente los conflictos de instrucciones en tareas de IH-Challenge, obtenemos mejoras en IH que se generalizan a nuevos ataques y situaciones.

Una jerarquía de instrucciones más sólida ofrece múltiples beneficios de seguridad a la vez, incluida una mayor capacidad de control en materia de seguridad y una mayor robustez frente a la inyección de prompts.

Evaluamos la capacidad de control en materia de seguridad al añadir especificaciones de seguridad por categoría al prompt del sistema y medir el comportamiento en las evaluaciones comparativas de seguridad de producción de OpenAI (un conjunto de conversaciones sensibles desde el punto de vista de la seguridad representativas de ChatGPT en producción).

El modelo entrenado con IH muestra una mejora constante: cuando la especificación de seguridad está presente, logra mayores tasas de rechazo y de finalización segura en todas las categorías no permitidas. Esto indica que una jerarquía de instrucciones más sólida mejora su capacidad para resolver conflictos cuando las solicitudes inseguras provienen de instrucciones de menor prioridad. Cabe destacar que esta mejora no va acompañada de una disminución en la tasa de utilidad (es decir, no se vuelve menos «útil» simplemente por negarse más en general).

La jerarquía de instrucciones también es fundamental para resistir la inyección de prompts, cuando instrucciones maliciosas se incrustan en las salidas de las herramientas. Evaluamos el modelo entrenado con IH en dos evaluaciones comparativas de inyección de prompts: una evaluación comparativa académica, CyberSecEval 2, y una evaluación comparativa interna de OpenAI sobre inyección de prompts, que incluye ataques como el que se demostró en una versión anterior de ChatGPT Atlas⁠.

En comparación con la línea base, el modelo GPT‑5 Mini-R entrenado con IH mejora la robustez frente a la inyección de prompts en ambas evaluaciones comparativas y aumenta sustancialmente el rendimiento en nuestra evaluación interna estática de inyección de prompts.

A medida que los modelos actúan cada vez más como agentes —al usar herramientas, leer documentos no confiables y ejecutar acciones en el mundo real—, la capacidad de priorizar de forma consistente las instrucciones fiables por encima de las no fiables se convierte en una propiedad central para la seguridad.

En este trabajo demostramos que varios problemas habituales en el entrenamiento para la robustez de IH pueden superarse mediante el diseño de entornos de entrenamiento que abordan directamente estas limitaciones. Aunque nuestro conjunto de datos IH-Challenge parece sencillo, el comportamiento de IH que los modelos aprenden en estos entornos se generaliza a evaluaciones comparativas más realistas, que a menudo no pueden evaluarse de forma objetiva.

Reforzar la jerarquía de instrucciones no solo mejora la fiabilidad, sino que desbloquea múltiples beneficios de seguridad y protección a la vez: una base que se vuelve cada vez más importante a medida que los sistemas de IA se vuelven más capaces y autónomos.

Para apoyar nuevas investigaciones en este campo, publicamos el conjunto de datos IH‑Challenge aquí⁠(se abre en una ventana nueva).