Redenerende modellen hebben moeite hun chain-of-thought te sturen, en dat is goed

Naarmate AI agents steeds complexere en autonomere taken kunnen uitvoeren, wordt het belangrijker om betrouwbaar toezicht op hun gedrag te houden. In lijn met ons principe van iteratieve uitrol bestuderen we hoe systemen zich in praktijksituaties gedragen en scherpen we onze waarborgen continu aan naarmate de mogelijkheden toenemen. Om dit te ondersteunen, maakt onze veiligheidsaanpak⁠ gebruik van defense-in-depth, met meerdere, elkaar aanvullende verdedigingslagen zoals veiligheidstraining⁠, gedragstesten⁠, agentic code review⁠(opent in een nieuw venster) en chain-of-thought (CoT)-monitoring⁠. CoT-monitoring analyseert de redeneringsstappen die agents genereren terwijl ze taken uitvoeren. Deze redeneringssporen kunnen tijdens zowel training als gebruik waardevolle signalen geven, waardoor monitoringsystemen kunnen herkennen wanneer het gedrag van een agent mogelijk onveilig is of niet overeenkomt met de bedoelde doelen van de gebruiker.

Vandaag de dag zien we dat de redenering van modellen over het algemeen goed te interpreteren en makkelijk te monitoren⁠ is. In de toekomst kan die monitorbaarheid echter om allerlei redenen⁠(opent in een nieuw venster) afnemen. Hier richten we ons op één zo’n pad: als agents in staat worden om hun redenering bewust te vervormen of te verhullen zodra ze weten dat ze worden gemonitord, kunnen evaluaties de alignment of veiligheid van een systeem overschatten en kunnen monitoringsystemen minder betrouwbaar worden.

In dit werk onderzoeken we of huidige reasoning modellen in staat zijn hun chain-of-thought zo te sturen dat de monitorbaarheid afneemt. Inzicht in deze vaardigheid is belangrijk om ervoor te zorgen dat CoT-monitoring een robuuste waarborg blijft naarmate AI-systemen krachtiger worden. We zien dat huidige reasoning modellen moeite hebben om hun CoTs te sturen, zelfs als ze te horen krijgen dat ze worden gemonitord. Hoewel de controleerbaarheid hoger is voor grotere modellen, neemt die af wanneer modellen wordt gevraagd langer te redeneren en wanneer ze extra post-training ondergaan. Onze resultaten suggereren dat CoT-controleerbaarheid momenteel waarschijnlijk geen groot risico vormt voor CoT-monitorbaarheid, al blijft doorlopende evaluatie belangrijk naarmate modellen zich verder ontwikkelen.

Chain-of-thought verwijst naar de tussenliggende redeneringsstappen die een AI agent genereert tijdens het oplossen van een taak. Deze redeneringssporen kunnen nuttige veiligheidssignalen geven, doordat monitoringsystemen ermee kunnen inschatten of het gedrag van een agent veilig is en in lijn met de bedoeling.

CoT-controleerbaarheid is het vermogen van een redenerend model om eigenschappen van zijn CoT zo te sturen dat de monitorbaarheid afneemt. Het is lastig om deze vaardigheid te meten onder het volledige scala aan realistische prikkels om monitoring te ontwijken die we in de praktijk kunnen verwachten. Daarom gebruiken we een praktische benadering: we meten het vermogen van het model om gebruikersinstructies over zijn CoT op te volgen. Zo testen we bijvoorbeeld of een model instructies kan volgen die zijn interne redenering beïnvloeden – zoals alleen kleine letters gebruiken, bepaalde trefwoorden vermijden of specifieke zinnen toevoegen – in plaats van alleen de zichtbare output te veranderen.

Om dit te onderzoeken introduceren we CoT-Control, een open-source evaluatiesuite om de CoT-controleerbaarheid van reasoning modellen te meten. CoT-Control bevat meer dan 13.000 taken die zijn opgebouwd uit gevestigde benchmarks: GPQA, MMLU-Pro, HLE, BFCL en SWE-Bench Verified⁠. Elke taak wordt gemaakt door een benchmarkprobleem te koppelen aan één CoT-instructie, zoals het vermijden van bepaalde voor het probleem relevante trefwoorden in de CoT, alleen kleine letters gebruiken of een opgegeven woord aan elke zin toevoegen.

We voeren evaluaties uit op dertien reasoning modellen en zien dat ze allemaal moeite hebben om hun CoTs betrouwbaar te sturen. We meten controleerbaarheid als het aandeel redeneringssporen waarin het model onze CoT-instructies succesvol opvolgt. Over frontier-modellen heen zijn de CoT-controleerbaarheidsscores laag: ze lopen vanaf 0,1% en komen bij geen enkel huidig frontier-model dat we hebben getest boven de 15,4% uit.

Dit onvermogen komt niet doordat de taak verkeerd wordt begrepen: modellen herkennen in hun CoT vaak dat ze de CoT-instructies die ze kregen niet naleven en blijven – zelfs nadat ze dat hebben ingezien – toch in gebreke. Deze verrassend lage prestaties zijn goed nieuws voor CoT-monitorbaarheid: het suggereert dat modellen mogelijk ook niet goed in staat zijn hun redenering te verhullen om onze monitors te ontwijken.

Hoewel we zien dat de controleerbaarheid toeneemt met de modelgrootte, vinden we ook dat die snel afneemt naarmate er meer post-training en testtijd-rekenkracht wordt gebruikt. Als we kijken naar twee families van open-weight-modellen, waren grotere modellen enigszins beter in het sturen van hun chain-of-thought, al vlakte dat effect bij grotere modellen af. Maar wanneer we modellen langer laten nadenken, worden ze juist minder goed in staat om die chains-of-thought te sturen. We zagen een vergelijkbare trend bij RL-training van OLMo-3-7B-RL-Zero-Math: de controleerbaarheidsscore daalde tijdens de training met meer dan een factor tien.

Controleerbaarheid neemt toe met schaal in open-weight-modellen, maar verslechtert bij langere redenering en meer RL-training.

Om realistische prikkels om monitoring te ontwijken te simuleren, meten we de controleerbaarheid wanneer modellen te horen krijgen dat ze worden gemonitord of geëvalueerd. Dit verhoogt de controleerbaarheid licht (maar merkbaar). We gebruiken ook geautomatiseerde prompt-optimalisatie om prompts te vinden die hoge controleerbaarheid oproepen. Hoewel de optimizer de controleerbaarheid op een trainingsset kan verhogen, slaan deze verbeteringen slecht over naar nieuwe instructietypen (zoals de eis dat er geen spaties tussen woorden mogen staan).

De taken in CoT-Control zijn praktische benaderingen: een ideale evaluatie van CoT-controleerbaarheid zou testen of modellen die uit zichzelf niet-uitgelijnde doelen nastreven hun CoT kunnen sturen om monitoring te ontwijken. In plaats daarvan schatten we het vermogen van agents om hun CoTs te sturen door te meten hoe goed ze instructies over hun CoT kunnen opvolgen. Bovendien kunnen modellen sommige kenmerken van hun CoT beter sturen dan andere, en CoT-Control kan de controleerbaarheid overschatten of onderschatten doordat het slechts een beperkt aantal typen controleerbaarheid meet.

Lage CoT-controleerbaarheid is een feature, geen bug. De lage controleerbaarheid van huidige reasoning modellen maakt CoT-monitoring betrouwbaarder als veiligheidsmaatregel. Tegelijkertijd begrijpen we nog niet waarom de controleerbaarheid van huidige reasoning modellen laag is – of deze eigenschap zal blijven bestaan naarmate modellen krachtiger worden. Daarom kun je CoT-controleerbaarheidsevaluaties zien als een canary eval: een vroegtijdig waarschuwingssignaal of modellen beter worden in het vormen of verbergen van hun redenering.

Onze resultaten suggereren dat CoT-controleerbaarheid momenteel waarschijnlijk geen groot risico vormt voor CoT-monitorbaarheid. Lage controleerbaarheid is echter op zichzelf niet voldoende om hoge monitorbaarheid te garanderen, omdat monitorbaarheid ook via andere mechanismen kan afnemen, zoals directe optimalisatiedruk op CoTs.

Om te helpen deze dynamiek in de tijd te volgen, gaan we CoT-controleerbaarheid voortaan rapporteren naast CoT-monitorbaarheid⁠ in systeemkaarten voor toekomstige frontier-modellen, te beginnen met GPT‑5.4 Thinking. Daarmee bouwen we voort op onze lopende toezegging⁠ om geen directe optimalisatiedruk toe te passen op de CoTs van frontier reasoning modellen.