Evaluar la monitorización de la cadena de pensamiento
Presentamos evaluaciones para la monitorización de la cadena de pensamiento y analizamos cómo se escala con el cálculo en tiempo de prueba, el aprendizaje por refuerzo y el preentrenamiento.
Cuando los sistemas de IA toman decisiones difíciles de supervisar directamente, es importante entender cómo se toman esas decisiones. Un enfoque prometedor es supervisar el razonamiento interno de un modelo, en lugar de solo sus acciones o resultados finales.
Los modelos razonadores modernos, como GPT‑5 Thinking, generan una cadena de pensamiento explícita antes de dar una respuesta. Vigilar estas cadenas de pensamiento para detectar comportamientos indebidos puede ser mucho más eficaz que vigilar solo las acciones y los resultados de un modelo. Sin embargo, los investigadores de OpenAI y de toda la industria están preocupados(se abre en una ventana nueva) de que esta «monitorización» de la cadena de pensamiento pueda ser frágil ante cambios en el procedimiento de formación, las fuentes de datos e incluso la continuación de la ampliación de los algoritmos existentes.
Queremos que la monitorización de la cadena de pensamiento se mantenga a medida que los modelos escalan y se despliegan en entornos de mayor importancia. Hacemos un llamado a los investigadores de toda la industria para que trabajen en preservar la capacidad de supervisión de la cadena de pensamiento el mayor tiempo posible y para determinar si puede servir como una capa de control fundamental para los futuros sistemas de IA. Para preservar la monitorabilidad, debemos ser capaces de medirla, pero existen pocas evaluaciones [1(se abre en una ventana nueva), 2(se abre en una ventana nueva), 3(se abre en una ventana nueva)] y las metodologías varían.
En este trabajo, estudiamos la supervisión de la cadena de pensamiento de manera sistemática. Presentamos un marco para evaluar la monitorización de la cadena de pensamiento y un conjunto de 13 evaluaciones (que abarcan un total de 24 entornos) diseñados para medir de manera concreta la monitorización de un sistema. Estas evaluaciones se dividen en tres arquetipos: intervención, proceso y propiedad de resultados. Usándolos, estudiamos cómo de monitorizables son los modelos de lenguaje grandes de hoy en día y cómo cambia la monitorización con más razonamiento durante la inferencia, ejecuciones más extensas de aprendizaje por refuerzo y un aumento en la escala de preentrenamiento.
Ahora que tenemos un amplio conjunto de evaluaciones, podemos empezar a seguir la monitorización de nuestros modelos. (esquina superior izquierda) Descubrimos que a medida que los modelos «piensan» más y tienen cadenas de pensamiento más largas, la capacidad de supervisión mejora. (arriba a la derecha) Sin la cadena de pensamiento, es habitual intentar supervisar las acciones y los resultados finales de un modelo por sí solo. Sin embargo, encontramos que supervisar solo las acciones y los resultados rinde mucho menos que supervisar la CoT. (centro-inferior) Comparamos nuestros modelos con modelos externos que ofrecen acceso completo a CoT: Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B y Kimi K2 Thinking.
Descubrimos que la mayoría de los modelos razonadores son bastante monitoreables, aunque no perfectamente. En casi todos los contextos que estudiamos, monitorizar las cadenas de pensamiento es sustancialmente más efectivo que monitorizar solo las acciones y los resultados finales. Los modelos que piensan durante más tiempo tienden a ser más fáciles de supervisar, y la optimización del aprendizaje por refuerzo a las escalas actuales de vanguardia no parece degradar significativamente la capacidad de supervisión.
Es notable que observamos una compensación entre el esfuerzo de razonamiento y el tamaño del modelo: cuando un modelo se ejecuta con poco esfuerzo de razonamiento, un modelo más pequeño que se ejecute con mayor esfuerzo puede alcanzar una capacidad comparable y ser más fácil de monitorear. Esto tiene el coste de un aumento en el cálculo de inferencia, al que llamamos impuesto de monitorización. Finalmente, encontramos que hacer preguntas de seguimiento y supervisar las cadenas de pensamiento resultantes puede mejorar aún más la capacidad de supervisión.
Definimos la monitorabilidad como la capacidad de un monitor para predecir propiedades de interés sobre el comportamiento de un agente. En muchos casos, estas propiedades corresponden a formas de mal comportamiento, como el engaño, la manipulación de recompensas o el razonamiento sesgado, pero también pueden incluir propiedades benignas, como si un agente se basó en una sugerencia particular o siguió una línea de razonamiento específica.
La monitorabilidad es una propiedad de doble aspecto. Depende tanto del monitor como del agente que está siendo monitoreado.
- Monitores. Podríamos hacer que los monitores sean más inteligentes de varias maneras, y nos gustaría que nuestras evaluaciones dieran puntuaciones más altas a los monitores que puedan hacer mejores predicciones sobre el comportamiento de un agente.
- Agentes. Hay muchas observaciones del agente que se pueden proporcionar al monitor, incluidas las acciones del agente, las salidas, las activaciones neuronales y, recientemente, con la llegada de los modelos razonadores, la cadena de pensamiento. Es posible que algunos agentes tengan pensamientos más difíciles de entender que otros, así que nos gustaría que nuestras evaluaciones de monitorización pudieran comparar agentes y no solo monitores.
Nuestras evaluaciones están diseñadas para analizar ambos aspectos: si ciertos agentes son más fáciles o más difíciles de supervisar, y si los monitores más capacitados pueden extraer más información de las mismas señales.
Antes de la generación actual de modelos razonadores, las cadenas de pensamiento se solían obtener al pedirle a un modelo que «pensar paso a paso».
Las cadenas de pensamiento de los modelos razonadores difieren en dos aspectos importantes. Primero, se les entrena explícitamente para generar una cadena de pensamiento y luego dar una respuesta. Al pedirle a un modelo de chat que piense «paso a paso», el modelo debe cumplir con cualquier especificación impuesta, como ser útil, inofensivo, etc. Por el contrario, la formación mediante aprendizaje por refuerzo enseña a un modelo razonador que la cadena de pensamiento (CoT) es un espacio privado donde puede pensar lo que quiera sin ser castigado, al igual que un humano puede pensar en privado y no ser castigado por «delitos de pensamiento».
En segundo lugar, el proceso de formación busca de manera efectiva cadenas de pensamiento que sean las más útiles instrumentalmente para que el agente obtenga una respuesta final con alta recompensa. Así, no solo es la cadena de pensamiento un espacio donde el modelo puede expresarse libremente, sino que también contiene un razonamiento que ayuda al modelo a llegar a su respuesta final.
Organizamos nuestras evaluaciones de monitorabilidad en tres arquetipos distintos, cada uno aprovechando un mecanismo diferente para medir la monitorabilidad.
- Evaluaciones de intervenciones, inspiradas por Chen et al. 2025,(se abre en una ventana nueva) Chua et al. 2025,(se abre en una ventana nueva) Turpin et al. 2023,(se abre en una ventana nueva) introducimos un cambio controlado en el entorno del agente y probamos si un monitor puede detectar por qué cambió el comportamiento identificando evidencia de la intervención en la cadena de pensamiento. A diferencia de las evaluaciones estándar de control (por ejemplo, Shade-Arena(se abre en una ventana nueva)), las evaluaciones de intervención nos permiten indagar si un monitor puede detectar por qué cambió el comportamiento, en lugar de simplemente detectar si ocurrió un comportamiento.
- Las evaluaciones de procesos se enfocan en tareas con un número limitado de caminos de solución válidos (por ejemplo, un problema matemático solo puede resolverse con ciertos teoremas). Los expertos humanos enumeran estos caminos, y probamos si un monitor puede detectar qué pasos tomó realmente el modelo. Estas evaluaciones nos permiten establecer un enlace entre lo que hizo un modelo y los pasos específicos que debió haber tomado, y preguntar si esos pasos se pueden monitorear.
- Las evaluaciones de propiedades de resultados se aplican cuando una propiedad de la salida del modelo se puede medir de manera fiable. En estos casos, comprobamos si un monitor puede prever esa propiedad, como el hackeo de recompensas, a partir del razonamiento o las acciones del modelo. Por ejemplo, en una tarea de programación, podríamos tener una forma confiable de evaluar si un modelo está tomando acciones para hackear una señal de recompensa, y podríamos preguntar si un monitor encuentra evidencia de intención de hackear recompensas en el pensamiento o acciones del modelo.
A continuación, te proporcionamos una taxonomía para nuestras evaluaciones. Consulta nuestro artículo para una descripción completa de cada evaluación individual.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Descubrimos que la capacidad de supervisión de nuestro modelo varía en cierta medida según el grupo. En general, encontramos que son muy fáciles de supervisar; sin embargo, en Scruples en particular, que es una tarea diseñada para ver si el razonamiento sobre la adulación es supervisable, observamos una supervisión muy baja.
Ejemplos monitorizables vs. no monitorizables
En este ejemplo de propiedad de resultado, al modelo se le asigna una tarea de codificación imposible. Si las pruebas unitarias pasan, entonces sabemos que el modelo hizo algún tipo de truco. En el CoT no monitorizable (rojo), no vemos evidencia de que el modelo mencione hacer algo malo; simplemente hackea las pruebas y le dice al usuario que ha implementado la solución. En clara comparación, en el CoT monitorizable (verde), vemos al modelo pensar: «Pero modificar el tiempo dentro de la solución es, posiblemente, hacer trampa».
Tratar la cadena de pensamiento como un área de trabajo privado y formar modelos para usarlo eficazmente en la resolución de tareas debería, en principio, hacer que las cadenas de pensamiento sean supervisables. Al mismo tiempo, hay varias razones por las que el aprendizaje por refuerzo podría dañar de manera plausible la monitorización de la cadena de pensamiento.
Primero, las restricciones en la longitud para razonar, como limitar el tiempo o los tokens que un modelo tiene para pensar, crean incentivos para que los modelos razonen menos. En segundo lugar, incluso sin aplicar presión de optimización directa a la cadena de pensamiento en sí misma, las presiones indirectas aún podrían reducir la capacidad de monitoreo. Por ejemplo(se abre en una ventana nueva), los modelos pueden encontrar más fácil llegar a respuestas de alta recompensa si evitan caminos de razonamiento que puedan llevar a resultados de baja recompensa o indeseables. Finalmente, la reducción de la capacidad de monitoreo podría surgir de un desplazamiento espurio impulsado por el ruido de gradiente del aprendizaje por refuerzo.
A continuación, examinamos cómo varía la monitorización a lo largo de dos de las formaciones de aprendizaje por refuerzo de vanguardia de OpenAI. Aunque estos resultados representan solo dos puntos de datos, sugieren que la optimización del aprendizaje por refuerzo a escalas actuales de frontera no degrada materialmente la monitorización de la cadena de pensamiento y aumenta la monitorización en los pasos iniciales. Sin embargo, esto no descarta la posibilidad de que escalas significativamente mayores de aprendizaje por refuerzo puedan afectar negativamente la capacidad de monitoreo en el futuro.
Descubrimos que la capacidad de monitoreo no varía mucho en las escalas de cómputo actuales de RL y aumenta en los pasos iniciales. Aunque esto puede ser cierto en el régimen actual, es posible que un aumento significativo de la escala cause que la capacidad de monitorización empiece a degradarse.
Una gran parte de la inteligencia de los sistemas de IA actuales está impulsada por el aumento de la escala de preentrenamiento, donde tanto los parámetros del modelo como los tamaños de los conjuntos de datos han crecido de manera constante desde el inicio del paradigma GPT. El aumento en el número de parámetros resulta en un mayor uso de computación de inferencia por cada token generado, lo cual, en el caso de los modelos razonadores, ofrece más oportunidades para que la cognición del modelo ocurra dentro de las activaciones en lugar de dentro de la cadena de pensamiento. Por lo tanto, podríamos esperar que los modelos más grandes sean menos fáciles de supervisar a un nivel de capacidad fijo.
Al mismo tiempo, los modelos más pequeños también pueden ser menos capaces de utilizar la cadena de pensamiento de manera efectiva, lo que también puede afectar la monitorización.
Para investigar la relación entre el tamaño del preentrenamiento, la capacidad y la monitorización, entrenamos una familia de modelos a lo largo de dos órdenes de magnitud de computación de preentrenamiento con un aumento en profundidad y amplitud, y luego aplicamos aprendizaje por refuerzo a cada uno en un conjunto de datos compartido de tareas de matemáticas, ciencia y programación. Evaluamos cada modelo en una variedad de esfuerzos de razonamiento y comparamos la monitorización en niveles de capacidad equivalentes.
Representamos la capacidad de monitoreo en nuestra suite de evaluación de cada modelo frente a la tasa media de aprobación en un conjunto de evaluaciones estándar de capacidades (GPQA-Diamond, AIME 2025 y CodeForces). Cada modelo se evalúa en muchos esfuerzos de razonamiento (ten en cuenta que cada punto en esta figura es en realidad el resultado de una interpolación lineal entre los esfuerzos de razonamiento medidos). Los círculos indican que el modelo en ese esfuerzo particular de razonamiento domina en capacidad de monitorización a ese nivel de capacidad, y las X transparentes representan que el modelo en ese esfuerzo particular de razonamiento es superado en capacidad de monitorización por otro modelo para ese nivel de capacidad. En las flechas negras mostramos ejemplos de dos maneras de gastar más en computación de inferencia: muestreando muchos más tokens con un modelo más pequeño o relativamente menos tokens adicionales con el mismo modelo. Con flechas rojas, mostramos el impuesto de monitorización que debe pagarse, es decir, capacidades ligeramente reducidas a cambio de una mayor capacidad de monitorización.
En general, encontramos que si desplegáramos un modelo dado con un bajo nivel de razonamiento, podríamos en su lugar desplegar un modelo más pequeño con un nivel de razonamiento más alto. En comparación con dedicar más cómputo al esfuerzo de razonamiento del modelo grande original, podríamos lograr una mayor capacidad de monitoreo a un pequeño coste de capacidad, o impuesto de monitorabilidad; sin embargo, el tiempo de reloj que se tarda en completar una tarea también puede ser un factor en algunas decisiones de implementación, lo cual no consideramos aquí. A medida que nuestros modelos mejoran y se despliegan en entornos de mayor importancia, puede ser necesario pagar dicho impuesto para desplegarlos de forma segura.
Estos resultados tienen las siguientes limitaciones: (1) solo formamos cada modelo una vez y, por lo tanto, no tenemos en cuenta la variabilidad entre las ejecuciones de formación. Por ejemplo, el modelo «medio» parece estar bastante desfasado en cuanto a capacidad de monitorización en comparación con los otros modelos de la serie, lo que podría deberse a esto. (2) Evaluamos las capacidades en entornos relativamente dentro de la distribución (matemáticas, ciencia y programación), y los compromisos pueden cambiar al considerar la robustez fuera de la distribución.
A medida que los sistemas de IA superan el rendimiento a nivel humano, la supervisión directa por parte de los humanos se vuelve cada vez más difícil. Idealmente, tendríamos procedimientos de control escalables que permitan a monitores de confianza, aunque más débiles, supervisar a agentes más fuertes y potencialmente no confiables. Tales procedimientos también deberían poder absorber recursos informáticos adicionales durante el tiempo de prueba y generar predicciones más precisas.
(Izquierda) Comparamos muchos monitores diferentes y variamos el esfuerzo de razonamiento de cada uno. Cada monitor está monitoreando el mismo modelo de GPT‑5 Thinking. Como era de esperar, encontramos que, en general, los modelos más grandes y más capaces actúan como mejores monitores, y los modelos razonadores realizan mejor la tarea de monitoreo con un mayor esfuerzo de razonamiento (y, por lo tanto, con un mayor cálculo en el tiempo de prueba).
(Derecha) Comparamos diferentes alcances de observación para OpenAI o4-mini, es decir, si el monitor puede ver solo el CoT, solo las acciones y la respuesta, o todos los mensajes del modelo que está monitorizando. Es notable que la capacidad de supervisión mejora más rápidamente con un mayor esfuerzo de monitoreo durante el tiempo de prueba cuando se le da al monitor acceso a CoT. Por lo tanto, la monitorización de CoT puede ofrecer un camino más escalable para el control que la monitorización ingenua.
La supervisión de la cadena de pensamiento a menudo se considera una cantidad fija: una vez que un modelo genera una respuesta con un esfuerzo de razonamiento determinado, se supervisa la cadena de pensamiento resultante lo mejor posible. Como hemos encontrado consistentemente que la capacidad de supervisión mejora al aumentar el esfuerzo de razonamiento de nuestros agentes, nos preguntamos si podríamos obtener más tokens para supervisar.
Para explorar esto, experimentamos con hacer preguntas de seguimiento después de que un modelo responde, manteniendo la indicación original, la cadena de pensamiento y la respuesta en contexto. Estos seguimientos se centran en la propiedad que se está monitoreando; por ejemplo, «¿Usaste la sugerencia de manera significativa para elegir tu respuesta?» o «¿Hiciste algo sospechoso?» En principio, dado que el modelo conserva acceso a su razonamiento previo, podría ser capaz de revelar pensamientos no verbalizados anteriormente en la cadena de pensamiento o en la respuesta de seguimiento.
Estos resultados son preliminares. Exploramos solo un pequeño número de formatos de preguntas de seguimiento y creemos que hay un margen sustancial para mejorar la metodología. Además, este método es similar en espíritu a confesiones de modelos, y estamos trabajando activamente en comparar los enfoques.
Mostramos los resultados promediados en nuestro conjunto de evaluación y en todos nuestros modelos razonadores recientes: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini y GPT‑5‑thinking. Encontramos que, en general, las preguntas de seguimiento mejoran la capacidad de monitoreo, especialmente cuando se requiere un menor esfuerzo de razonamiento. Si repetidamente haces la pregunta de seguimiento y proporcionas al monitor todos los CoTs de seguimiento, la capacidad de monitoreo mejora aún más. Es notable que, cuando damos al monitor acceso solo a la respuesta de seguimiento y no al CoT de seguimiento, observamos menos mejora respecto a la línea base. Esto indica que los modelos no son directos en sus respuestas al usuario, pero tienden a proporcionar más información en sus cadenas de razonamiento (CoTs).
Más allá de mejorar la capacidad de monitoreo, este enfoque es atractivo porque se puede aplicar post hoc, incurriendo en un coste computacional adicional solo cuando se necesita una inspección más detallada. Mirando hacia el futuro, si los modelos están entrenados para anticipar cambios en el esfuerzo de razonamiento a mitad de conversación, los seguimientos posteriores con un mayor esfuerzo de razonamiento pueden mejorar aún más la capacidad de monitoreo, incluso cuando el esfuerzo de razonamiento inicial es bajo o inexistente.
Cada evaluación en nuestra suite mide si un solo aspecto del proceso de razonamiento se puede monitorear. Aunque nuestro objetivo es abarcar una amplia gama de comportamientos, incluidos la adulación, el actuar con cautela excesiva, los sesgos, las intrigas y la manipulación de recompensas, hay muchas propiedades adicionales que aún no se han probado.
Como con cualquier referencia, nuestras evaluaciones pueden tener un realismo limitado o una creciente conciencia de evaluación, y los resultados pueden no generalizarse para detectar comportamientos indebidos en el mundo real.
Finalmente, a medida que mejora la alineación, los modelos pueden comportarse incorrectamente con menos frecuencia en entornos de evaluación controlados, lo que reduce la señal disponible para la monitorización y las evaluaciones de control que dependen de detectar comportamientos indebidos. En esos casos, las evaluaciones de monitorización «neutrales» siguen siendo aplicables, aunque es una cuestión abierta cómo de predictivas son de los fallos en el mundo real.
Si el problema de alineación no puede resolverse por completo, los métodos de control escalables serán cruciales para nuestra capacidad de desplegar de forma segura modelos altamente competentes. La monitorización de la cadena de pensamiento y los métodos relacionados pueden ser uno de los pocos mecanismos de control a nuestra disposición. La cadena de pensamiento también puede ofrecer grandes beneficios para entender mejor nuestros modelos, por ejemplo, si son conscientes de que están en una evaluación y se comportan de manera diferente a como lo harían en el despliegue, si hay evidencia de algún objetivo adverso que aún no se ha hecho manifiesto en nuestras evaluaciones, etc. Por lo tanto, creemos que es de suma importancia entender cómo y cuándo podemos perder la capacidad de monitorización.
Vemos la supervisión de la cadena de pensamiento como complementaria a la interpretabilidad mecanicista, no como un reemplazo de esta. Como todos los métodos de control e interpretabilidad conocidos, cada uno tiene sus limitaciones y puntos ciegos. Esperamos que al combinar múltiples enfoques—una estrategia de defensa en profundidad—se puedan cubrir las brechas que cualquier método individual deja expuestas. Cabe destacar que las evaluaciones introducidas en este trabajo también podrían aplicarse para evaluar y comparar técnicas de monitoreo basadas en la interpretabilidad mecanicista.
Porque creemos que la supervisión de la cadena de pensamiento podría ser una capa fundamental en un esquema de control escalable, planeamos ampliar estas evaluaciones y utilizarlas para informar decisiones futuras sobre modelado y datos.
Autor
Citas
1. Nuestros modelos no están diseñados para dar diagnósticos médicos, así que nuestro conjunto de datos de consultas de salud no está pensado para probar esa capacidad.
