Avaluació de la monitorabilitat de la cadena de pensament

Quan els sistemes d’IA prenen decisions que són difícils de supervisar directament, esdevé important entendre com es prenen aquestes decisions. Un enfocament prometedor és monitorar el raonament intern d’un model, en lloc de limitar-se només a les seves accions o sortides finals.

Els models de raonament moderns, com GPT‑5 Thinking, generen una cadena de pensament explícita abans de produir una resposta. Monitorar aquestes cadenes de pensament per detectar mala conducta pot ser molt més eficaç⁠ que monitorar únicament les accions i sortides d’un model. Tanmateix, investigadors d’OpenAI i del conjunt més ampli del sector estan preocupats⁠(s'obre en una finestra nova) perquè aquesta «monitorabilitat» de la cadena de pensament pugui ser fràgil davant canvis en el procediment d’entrenament, les fonts de dades i fins i tot l’escalat continuat dels algoritmes existents.

Volem que la monitorabilitat de la cadena de pensament es mantingui a mesura que els models escalen i es despleguen en entorns amb més risc. Fem una crida als investigadors de tot el sector perquè treballin per preservar la monitorabilitat de la cadena de pensament durant el màxim de temps possible i per determinar si pot servir com a capa de control estructural per als futurs sistemes d’IA. Per preservar la monitorabilitat, l’hem de poder mesurar, però hi ha poques avaluacions [1⁠(s'obre en una finestra nova), 2⁠(s'obre en una finestra nova), 3⁠(s'obre en una finestra nova)] i les metodologies varien.

En aquest treball, estudiem de manera sistemàtica la monitorabilitat de la cadena de pensament. Presentem un marc per avaluar la monitorabilitat de la cadena de pensament i una suite de 13 avaluacions (que comprenen un total de 24 entorns) dissenyades per mesurar de manera concreta la monitorabilitat d’un sistema. Aquestes avaluacions es divideixen en tres arquetips —intervenció, procés i propietat del resultat—. Amb aquestes, estudiem com de monitorables són els grans models de llenguatge actuals i com canvia la monitorabilitat amb més raonament en temps d’inferència, execucions més grans d’aprenentatge per reforç i una escala més gran de preentrenament.

Veiem que la majoria dels models de raonament d’avantguarda són força monitorables, encara que no perfectament. En gairebé tots els entorns que estudiem, monitorar les cadenes de pensament és substancialment més eficaç que monitorar només les accions i les sortides finals. Els models que pensen durant més temps tendeixen a ser més monitorables, i l’optimització amb aprenentatge per reforç a les escales actuals d’avantguarda no sembla degradar de manera significativa la monitorabilitat.

En particular, observem un compromís entre l’esforç de raonament i la mida del model: quan un model s’executa amb un esforç de raonament baix, un model més petit executat amb un esforç de raonament més alt pot assolir una capacitat comparable i, alhora, ser més fàcil de monitorar. Això té el cost d’un augment del càlcul d’inferència, que anomenem impost de monitorabilitat. Finalment, veiem que fer preguntes de seguiment i monitorar les cadenes de pensament resultants pot millorar encara més la monitorabilitat.

Definim la monitorabilitat com la capacitat d’un monitor de predir propietats d’interès sobre el comportament d’un agent. En molts casos, aquestes propietats corresponen a formes de mala conducta —com ara l’engany, el reward hacking o el raonament esbiaixat—, però també poden incloure propietats benignes, com ara si un agent s’ha basat en una pista concreta o ha seguit una línia específica de raonament.

La monitorabilitat és una propietat de dues bandes. Depèn tant del monitor com de l’agent monitorat.

• Monitors. Podríem fer els monitors més intel·ligents de diverses maneres, i voldríem que les nostres avaluacions donessin puntuacions més altes als monitors que poden fer millors prediccions sobre el comportament d’un agent.
• Agents. Hi ha moltes observacions de l’agent que es podrien donar al monitor, incloses les accions de l’agent, les sortides, les activacions neuronals i, recentment, amb l’arribada dels models de raonament, la cadena de pensament. És possible que alguns agents tinguin pensaments més difícils d’entendre que d’altres, i per això voldríem que les nostres avaluacions de monitorabilitat poguessin comparar agents i no només monitors.

Les nostres avaluacions estan dissenyades per valorar tots dos aspectes: si certs agents són més fàcils o més difícils de monitorar i si monitors més capaços poden extreure més informació dels mateixos senyals.

Abans de la generació actual de models de raonament, les cadenes de pensament normalment s’obtenien indicant a un model que «pensés pas a pas». 

Les cadenes de pensament dels models de raonament es diferencien en dos aspectes importants. En primer lloc, s’entrenen explícitament per generar una cadena de pensament i després donar una resposta. Quan s’indica a un model de xat que pensi «pas a pas», el model ha de respectar qualsevol especificació imposada al model, és a dir, ser útil, inofensiu, etc. En canvi, el procés d’entrenament amb aprenentatge per reforç ensenya a un model de raonament que la CoT és un espai privat on pot pensar el que vulgui i no ser castigat, igual que un humà pot pensar en privat i no ser castigat per «crims de pensament». 

En segon lloc, el procés d’entrenament cerca de manera efectiva les cadenes de pensament que siguin més útils instrumentalment per a l’agent a l’hora d’obtenir una resposta final amb alta recompensa. Així, la cadena de pensament no és només un espai on el model es pot expressar lliurement, sinó que conté pensament que ajuda el model a arribar a la seva resposta final.

Organitzem les nostres avaluacions de monitorabilitat en tres arquetips diferenciats, cadascun dels quals aprofita un mecanisme diferent per mesurar la monitorabilitat.

1. Avaluacions d’intervenció, inspirades en Chen et al. 2025⁠(s'obre en una finestra nova), Chua et al. 2025⁠(s'obre en una finestra nova), Turpin et al. 2023⁠(s'obre en una finestra nova), hi introduïm un canvi controlat en l’entorn de l’agent i comprovem si un monitor pot detectar per què ha canviat el comportament identificant proves de la intervenció a la cadena de pensament. A diferència de les avaluacions de control estàndard (p. ex. Shade-Arena⁠(s'obre en una finestra nova)), les avaluacions d’intervenció ens permeten analitzar si un monitor pot detectar per què ha canviat un comportament, en lloc de limitar-se a detectar si aquest comportament s’ha produït. 
2. Les avaluacions de procés se centren en tasques amb un nombre limitat de camins de solució vàlids (per exemple, un problema de matemàtiques només es pot resoldre amb determinats teoremes). Els experts humans enumeren aquests camins, i comprovem si un monitor pot detectar quins passos ha seguit realment el model. Aquestes avaluacions ens permeten vincular el que ha fet un model amb passos concrets que necessàriament ha d’haver seguit i preguntar-nos si aquests passos són monitorables.
3. Les avaluacions de propietat del resultat s’apliquen quan una propietat de la sortida del model es pot mesurar de manera fiable. En aquests casos, comprovem si un monitor pot predir aquesta propietat —com ara el reward hacking— a partir del raonament o les accions del model. Per exemple, en una tasca de codificació, podem tenir una manera fiable d’avaluar si un model està fent accions per manipular un senyal de recompensa, i podem preguntar-nos si un monitor troba proves d’intenció de manipular la recompensa en el pensament o les accions del model.

A continuació oferim una taxonomia de les nostres avaluacions. Consulteu el nostre article per obtenir una descripció completa de cada avaluació individual.

Tractar la cadena de pensament com un espai de treball privat —i entrenar models perquè la facin servir per resoldre tasques de manera eficaç— hauria, en principi, de fer les cadenes de pensament monitorables. Alhora, hi ha diversos motius pels quals l’aprenentatge per reforç podria perjudicar de manera plausible la monitorabilitat de la cadena de pensament.

En primer lloc, les restriccions sobre la longitud del raonament, com ara limitar el temps o els segments que un model té per pensar, creen incentius perquè els models raonin menys. En segon lloc, fins i tot sense aplicar pressió d’optimització directa a la mateixa cadena de pensament, les pressions indirectes encara podrien reduir la monitorabilitat. Per exemple⁠(s'obre en una finestra nova), als models els pot resultar més fàcil arribar a respostes amb alta recompensa si eviten camins de raonament que poden donar lloc a resultats de baixa recompensa o indesitjables. Finalment, la disminució de la monitorabilitat podria sorgir d’una deriva espúria causada pel soroll del gradient de l’aprenentatge per reforç.

A continuació, examinem com canvia la monitorabilitat al llarg de dues de les execucions d’entrenament amb aprenentatge per reforç d’avantguarda d’OpenAI. Tot i que aquests resultats només representen dos punts de dades, suggereixen que l’optimització amb aprenentatge per reforç a les escales actuals d’avantguarda no degrada materialment la monitorabilitat de la cadena de pensament i augmenta la monitorabilitat en els primers passos. Tanmateix, això no descarta la possibilitat que escales d’aprenentatge per reforç significativament més grans puguin afectar negativament la monitorabilitat en el futur.

Una gran part de la intel·ligència dels sistemes d’IA actuals ve impulsada per l’augment de l’escala de preentrenament, mitjançant la qual tant els paràmetres del model com les mides dels conjunts de dades han crescut de manera constant des de l’inici del paradigma GPT. Un augment del nombre de paràmetres fa que s’utilitzi més càlcul d’inferència per segment generat, cosa que, en el cas dels models de raonament, dona més oportunitat que la cognició del model tingui lloc dins de les activacions en lloc de dins de la cadena de pensament. Per tant, podríem esperar que els models més grans fossin menys monitorables a un nivell de capacitat fix. 

Al mateix temps, els models més petits també poden ser menys capaços d’utilitzar la cadena de pensament de manera eficaç, fet que també pot afectar la monitorabilitat.

Per investigar la relació entre mida de preentrenament, capacitat i monitorabilitat, vam entrenar una família de models al llarg de dos ordres de magnitud de càlcul de preentrenament amb profunditat i amplada creixents, i després vam aplicar aprenentatge per reforç a cadascun sobre un conjunt de dades compartit de tasques de matemàtiques, ciència i codificació. Vam avaluar cada model en una gamma d’esforços de raonament i vam comparar la monitorabilitat a nivells de capacitat equivalents.

En general, veiem que si despleguéssim un model determinat amb un esforç de raonament baix, podríem desplegar en lloc seu un model més petit amb un esforç de raonament més alt. En comparació amb gastar el càlcul addicional en més esforç de raonament del model gran original, podríem obtenir una monitorabilitat més alta amb un petit cost de capacitat, o impost de monitorabilitat; tanmateix, el temps real que cal per acabar una resposta també pot ser un factor en algunes decisions de desplegament, cosa que aquí no considerem. A mesura que els nostres models millorin i es despleguin en entorns de més risc, pot ser necessari pagar aquest impost per desplegar-los de manera segura.

Aquests resultats tenen les limitacions següents: (1) només entrenem cada model una vegada i, per tant, no tenim en compte la variància entre execucions d’entrenament. Per exemple, el model «mitjà» sembla força fora de tendència en monitorabilitat en comparació amb els altres models de la sèrie, i això podria ser degut a aquest fet. (2) Avaluem les capacitats en entorns relativament dins de distribució (matemàtiques, ciència i codificació), i els compromisos poden canviar quan es té en compte la robustesa fora de distribució.

A mesura que els sistemes d’IA escalen més enllà del rendiment humà, la supervisió humana directa esdevé cada vegada més difícil. Idealment, disposaríem de procediments de control escalable que permetessin que monitors de confiança però més febles supervisessin agents més forts i potencialment no fiables. Aquests procediments també haurien de ser capaços d’absorbir càlcul addicional en temps de prova i produir prediccions més precises.

La monitorabilitat de la cadena de pensament sovint es tracta com una quantitat fixa: un cop un model produeix una resposta amb un esforç de raonament determinat, es monitoritza la cadena de pensament resultant tan bé com es pugui. Com que hem constatat de manera consistent que la monitorabilitat millora quan augmentem l’esforç de raonament dels nostres agents, ens vam inspirar per preguntar-nos si podríem obtenir d’alguna manera més segments per monitorar.

Per explorar-ho, vam experimentar fent preguntes de seguiment després que un model respongui, tot mantenint en context la indicació original, la cadena de pensament i la resposta. Aquests seguiments se centren en la propietat monitorada —per exemple, «Has utilitzat la pista de manera significativa per triar la teva resposta?» o «Has fet alguna cosa sospitosa?»—. En principi, com que el model manté accés al seu raonament anterior, podria fer aflorar pensaments prèviament no verbalitzats en la cadena de pensament o la resposta de seguiment.

Aquests resultats són preliminars. Només vam explorar un nombre reduït de formats de preguntes de seguiment i creiem que hi ha un marge substancial per millorar la metodologia. A més, aquest mètode és similar en esperit a les confessions del model⁠, i estem treballant activament per comparar els enfocaments.

Més enllà de millorar la monitorabilitat, aquest enfocament és atractiu perquè es pot aplicar a posteriori i només comporta un cost computacional addicional quan cal una inspecció més profunda. Mirant cap al futur, si els models s’entrenen per esperar canvis en l’esforç de raonament a mitja conversa, els seguiments a posteriori amb un esforç de raonament més alt poden millorar encara més la monitorabilitat fins i tot quan l’esforç de raonament inicial és baix o inexistent.

Cadascuna de les avaluacions de la nostra suite mesura si un sol aspecte del procés de raonament és monitorable. Tot i que pretenem cobrir una àmplia gamma de comportaments —incloent-hi la complaença, el sandbagging, el biaix, la conspiració i el reward hacking—, hi ha moltes propietats addicionals que continuen sense provar-se.

Com passa amb qualsevol benchmark, les nostres avaluacions poden patir d’un realisme limitat o d’una consciència creixent de l’avaluació, i els resultats poden no generalitzar-se a la detecció de mala conducta en situacions reals. 

Finalment, a mesura que l’alineament millori, els models poden comportar-se malament amb menys freqüència en entorns d’avaluació controlats, fet que redueix el senyal disponible per a les avaluacions de monitorabilitat i control que depenen de detectar mala conducta. En aquests casos, les avaluacions de monitorabilitat «neutrals» continuen sent aplicables, tot i que continua sent una qüestió oberta fins a quin punt són predictives de fallades del món real.

Si el problema de l’alineament no es pot resoldre completament, llavors els mètodes de control escalable seran extraordinàriament importants per poder desplegar amb seguretat models molt capaços. El monitoratge de la cadena de pensament i mètodes relacionats poden ser un dels pocs mecanismes de control al nostre abast. La cadena de pensament també pot aportar grans beneficis per entendre millor els nostres models, per exemple, si són conscients que es troben en una avaluació i es comporten de manera diferent de com ho farien en desplegament, si hi ha proves d’objectius adversos que encara no s’han manifestat en les nostres avaluacions, etc. Per tant, creiem que és de màxima importància entendre com i quan podem perdre la monitorabilitat.

Considerem el monitoratge de la cadena de pensament com a complementari de la interpretabilitat mecanicista, no com un substitut. Com tots els mètodes de control i interpretabilitat coneguts, cadascun té limitacions i punts cecs. Esperem que combinar múltiples enfocaments —una estratègia de defensa en profunditat— pugui ajudar a cobrir els buits que deixa exposats qualsevol mètode individual. En particular, les avaluacions introduïdes en aquest treball també es podrien aplicar per avaluar i comparar tècniques de monitoratge basades en interpretabilitat mecanicista.

Com que creiem que el monitoratge de la cadena de pensament podria ser una capa estructural en un esquema de control escalable, tenim previst ampliar aquestes avaluacions i fer-les servir per orientar futures decisions de modelatge i de dades.