Los modelos de razonamiento tienen dificultades para controlar sus cadenas de pensamiento, y eso es bueno

A medida que los agentes de IA son capaces de llevar a cabo tareas cada vez más complejas y autónomas, mantener una supervisión fiable de su comportamiento se vuelve más importante. En línea con nuestro principio de despliegue iterativo, estudiamos cómo se comportan los sistemas en entornos reales y perfeccionamos de forma continua las salvaguardas a medida que avanzan las capacidades. Para apoyar esto, nuestro enfoque de seguridad⁠ utiliza una defensa en profundidad, con varias capas complementarias de protección como el entrenamiento en seguridad⁠, las pruebas de comportamiento⁠, la revisión de código con agentes⁠(se abre en una ventana nueva) y  la supervisión de la cadena de pensamiento (CoT)⁠. La supervisión de CoT analiza los pasos de razonamiento que los agentes generan mientras realizan tareas. Estos rastros de razonamiento pueden aportar señales valiosas tanto durante el entrenamiento como en el despliegue, ayudando a los sistemas de supervisión a identificar cuándo el comportamiento de un agente puede ser inseguro o inconsistente con los objetivos previstos por el usuario.

Hoy en día vemos que el razonamiento de los modelos suele ser interpretable y fácil de supervisar⁠. Sin embargo, en el futuro, esta capacidad de supervisión podría degradarse por diversos motivos⁠(se abre en una ventana nueva). Aquí nos centramos en una de esas vías: si los agentes llegan a ser capaces de remodelar u ocultar deliberadamente su razonamiento cuando saben que están siendo supervisados, las evaluaciones podrían sobrestimar el alineamiento o la seguridad de un sistema y los sistemas de supervisión podrían volverse menos fiables. 

En este trabajo estudiamos si los modelos de razonamiento actuales son capaces de controlar su cadena de pensamiento de formas que reduzcan la capacidad de supervisión. Entender esta capacidad es importante para garantizar que la supervisión de CoT siga siendo una salvaguarda sólida a medida que los sistemas de IA se vuelvan más capaces. Observamos que los modelos de razonamiento actuales tienen dificultades para controlar sus CoT, incluso cuando se les dice que están siendo supervisados. Aunque la controlabilidad es mayor en los modelos más grandes, disminuye cuando se les pide que razonen durante más tiempo y cuando se someten a entrenamiento posterior adicional. Nuestros resultados sugieren que, en la actualidad, es poco probable que la controlabilidad de CoT suponga un riesgo importante para la supervisión de CoT, aunque será importante seguir evaluándola a medida que los modelos avancen.

La cadena de pensamiento hace referencia a los pasos intermedios de razonamiento que genera un agente de IA mientras resuelve una tarea. Estos rastros de razonamiento pueden aportar señales de seguridad útiles, ayudando a los sistemas de supervisión a evaluar si el comportamiento de un agente es seguro o está alineado.

La controlabilidad de CoT es la capacidad de un modelo de razonamiento para controlar propiedades de su CoT de formas que reduzcan la capacidad de supervisión. Medir esta capacidad bajo todo el abanico de incentivos realistas para eludir la supervisión que podemos esperar en la práctica es un reto. En su lugar, utilizamos un indicador práctico: medimos la capacidad del modelo para seguir instrucciones del usuario sobre su CoT. Por ejemplo, comprobamos si un modelo puede seguir instrucciones que afectan a su razonamiento interno —como usar solo letras minúsculas, evitar ciertas palabras clave o añadir frases concretas— en lugar de limitarse a cambiar su salida visible.

Para estudiarlo, presentamos CoT-Control, un conjunto de evaluaciones de código abierto para medir la controlabilidad de CoT en modelos de razonamiento. CoT-Control incluye más de 13 000 tareas construidas a partir de conjuntos de referencia consolidados: GPQA, MMLU-Pro, HLE, BFCL y SWE-Bench Verified⁠. Cada tarea se crea combinando un problema de un conjunto de referencia con una instrucción de CoT, como evitar ciertas palabras clave relevantes para el problema en la CoT, usar solo letras minúsculas o añadir una palabra concreta al final de cada frase.

Ejecutamos evaluaciones en 13 modelos de razonamiento y observamos que todos tienen dificultades para controlar sus CoT de forma fiable. Medimos la controlabilidad como la fracción de rastros de razonamiento en los que el modelo cumple correctamente nuestras instrucciones de CoT. En los modelos de vanguardia, las puntuaciones de controlabilidad de CoT son bajas: van desde el 0,1 % y no superan el 15,4 % en ninguno de los modelos de vanguardia actuales que hemos probado. 

Esta incapacidad no se debe a que no entiendan la tarea: a menudo los modelos reconocen en su CoT que no están cumpliendo las instrucciones de CoT que se les han dado y, incluso después de darse cuenta, siguen sin cumplirlas. Este rendimiento sorprendentemente bajo es una buena noticia para la supervisión de CoT: sugiere que los modelos podrían carecer de forma similar de la capacidad de ofuscar su razonamiento para eludir nuestros sistemas de supervisión.

Aunque vemos que la controlabilidad aumenta con el tamaño del modelo, también observamos que disminuye rápidamente con la cantidad de entrenamiento posterior y de cómputo en tiempo de prueba. Si analizamos dos familias de modelos de pesos abiertos, los modelos más grandes controlan algo mejor sus cadenas de pensamiento, aunque este efecto se atenúa en los tamaños mayores. Pero cuando dejamos que los modelos «piensen» durante más tiempo, son menos capaces de controlar esas cadenas de pensamiento. Observamos una tendencia similar en el entrenamiento por refuerzo (RL) de OLMo-3-7B-RL-Zero-Math: su puntuación de controlabilidad cayó más de un factor diez a lo largo del entrenamiento.

La controlabilidad aumenta con la escala en modelos de pesos abiertos, pero se degrada con razonamientos más largos y más entrenamiento por RL.

Para simular incentivos realistas para eludir la supervisión, medimos la controlabilidad cuando se indica a los modelos que están siendo supervisados o evaluados. Esto aumenta la controlabilidad de forma ligera pero apreciable. También usamos optimización automática de prompts para encontrar prompts que generen una alta controlabilidad. Aunque el optimizador puede aumentar la controlabilidad en un conjunto de entrenamiento, estas mejoras se trasladan mal a nuevos tipos de instrucciones (como exigir que no haya espacios entre palabras).

Las tareas de CoT-Control son indicadores prácticos: una evaluación ideal de la controlabilidad de CoT implicaría comprobar si modelos que persiguen de forma natural objetivos desalineados pueden controlar su CoT para eludir la supervisión. En su lugar, estimamos la capacidad de los agentes para controlar sus CoT midiendo su capacidad para seguir instrucciones sobre su CoT. Además, los modelos pueden controlar mejor unas características de su CoT que otras, y CoT-Control podría estar sobrestimando o subestimando la controlabilidad al medir solo un conjunto limitado de tipos de controlabilidad.

La baja controlabilidad de CoT es una característica, no un fallo. La baja controlabilidad de los modelos de razonamiento actuales hace que la supervisión de CoT sea una salvaguarda más fiable. Al mismo tiempo, aún no entendemos por qué la controlabilidad de los modelos de razonamiento actuales es baja ni si esta propiedad se mantendrá a medida que los modelos se vuelvan más capaces. Por tanto, las evaluaciones de controlabilidad de CoT pueden verse como una evaluación «canario»: una señal de alerta temprana de si los modelos están mejorando a la hora de moldear u ocultar su razonamiento. 

Nuestros resultados sugieren que, en la actualidad, es poco probable que la controlabilidad de CoT suponga un riesgo importante para la supervisión de CoT. Sin embargo, una baja controlabilidad no basta por sí sola para garantizar una alta capacidad de supervisión, porque esta podría degradarse por otros mecanismos, como la presión de optimización directa sobre las CoT. 

Para ayudar a seguir estas dinámicas a lo largo del tiempo, vamos a empezar a informar sobre la controlabilidad de CoT junto con la capacidad de supervisión de CoT⁠ en las tarjetas del sistema de futuros modelos de vanguardia, empezando por GPT‑5.4 Thinking, sobre la base de nuestro compromiso continuo⁠ de no aplicar presión de optimización directamente sobre las CoT de los modelos de razonamiento de vanguardia.