Ræsonneringsmodeller har svært ved at kontrollere deres tankerækker, og det er godt

Efterhånden som AI-agenter bliver i stand til at udføre stadig mere komplekse og autonome opgaver, bliver det stadig vigtigere at opretholde pålidelig overvågning af deres adfærd. I overensstemmelse med vores princip om iterativ implementering undersøger vi, hvordan systemer opfører sig i den virkelige verden, og finjusterer løbende sikkerhedsforanstaltninger, efterhånden som kapaciteterne udvikler sig. For at understøtte dette bruger vores sikkerhedstilgang⁠ defense-in-depth med flere komplementære forsvarslag såsom sikkerhedstræning⁠, adfærdstest⁠, agentisk kodegennemgang⁠(åbner i et nyt vindue) og  overvågning af tankerække (CoT)⁠. CoT-overvågning analyserer de ræsonneringstrin, som agenter genererer, mens de udfører opgaver. Disse ræsonneringer kan give værdifulde signaler både under træning og i udrulning og hjælpe overvågningssystemer med at identificere, hvornår en agents adfærd kan være usikker eller inkonsistent med brugerens tilsigtede mål.

I dag finder vi, at modellers ræsonnering generelt er fortolkelig og let at overvåge⁠. Dog kan overvågeligheden i fremtiden bryde sammen af en række forskellige årsager⁠(åbner i et nyt vindue). Her fokuserer vi på én sådan vej: Hvis agenter bliver i stand til bevidst at omforme eller sløre deres ræsonnering, når de ved, at de bliver overvåget, kan evalueringer overvurdere et systems alignment eller sikkerhed, og overvågningssystemer kan blive mindre pålidelige. 

I dette arbejde undersøger vi, om nuværende ræsonneringsmodeller er i stand til at kontrollere deres tankerække på måder, der reducerer overvågeligheden. Det er vigtigt at forstå denne kapacitet for at sikre, at CoT-overvågning forbliver en robust sikkerhedsforanstaltning i takt med, at AI-systemer bliver mere kapable. Vi mener, at de nuværende ræsonneringsmodeller har svært ved at kontrollere deres tankekæder, selv når de får at vide, at de bliver overvåget. Selv om kontrollerbarheden er højere for større modeller, falder den, når modeller bliver bedt om at ræsonnere i længere tid, og når de gennemgår yderligere eftertræning. Vores resultater tyder på, at kontrollerbarhed af tankekæder (CoT) næppe i øjeblikket udgør en stor risiko for overvågeligheden af tankekæder (CoT), selv om fortsat evaluering vil være vigtig, efterhånden som modellerne udvikler sig.

Tankerække henviser til de mellemliggende ræsonneringstrin, som en AI-agent genererer, mens den løser en opgave. Disse ræsonneringsspor kan give nyttige sikkerhedssignaler og hjælpe overvågningssystemer med at vurdere, om en agents adfærd er sikker eller i overensstemmelse.

Kontrollerbarhed af tankerække (CoT) er en ræsonneringsmodels evne til at kontrollere egenskaber ved dens tankekæde på måder, der reducerer overvågeligheden. Det er udfordrende at måle denne kapabilitet under hele bredden af realistiske incitamenter til at undgå overvågningsmodeller, som vi kan forvente i praksis. I stedet bruger vi en praktisk proxy: vi måler modellens evne til at følge brugerens instruktioner om deres CoT. For eksempel tester vi, om en model kan følge instruktioner, der påvirker dens interne ræsonnering, såsom kun at bruge små bogstaver, undgå bestemte nøgleord eller tilføje specifikke udtryk i stedet for blot at ændre dens synlige output.

For at undersøge dette introducerer vi CoT-Control, som er en open source-evalueringssuite til at måle CoT-kontrollerbarhed for ræsonneringsmodeller. CoT-Control omfatter over 13.000 opgaver, der er bygget ud fra etablerede benchmarks:  GPQA, MMLU-Pro, HLE, BFCL og SWE-Bench-verificeret⁠. Hver opgave oprettes ved at parre et benchmarkproblem med én tankekæde-instruktion, såsom at undgå visse problemrelevante nøgleord i tankekæden, kun at bruge små bogstaver eller at tilføje et givet ord til hver sætning.

Vi kører evalueringer på 13 ræsonneringsmodeller og finder, at de alle har svært ved pålideligt at kontrollere deres CoT'er. Vi måler kontrollerbarhed som en brøkdel af ræsonneringsspor, hvor modellen med succes efterlever vores CoT-instruktioner. På tværs af banebrydende modeller er CoT-kontrollabilitetsscorer lave og ligger fra 0,1 % og overstiger ikke 15,4 % for nogen nuværende banebrydende model, vi testede. 

Denne manglende evne skyldes ikke en misforståelse af opgaven: modeller erkender ofte i deres CoT, at de ikke formår at efterleve de CoT-instruktioner, de har fået, og selv efter denne erkendelse fortsætter de stadig med at fejle. Denne overraskende lave performance er gode nyheder for CoT-overvågelighed: det tyder på, at modeller på samme måde kan mangle evnen til at sløre deres ræsonnering for at undgå vores monitorer.

Selvom vi kan se, at kontrollerbarheden øges med modelstørrelsen, finder vi også, at den hurtigt falder med mængden af beregning efter træning og ved testtid. På tværs af to familier af åbne vægtmodeller var større modeller noget bedre til at kontrollere deres tankerækker, selvom effekten aftog ved større størrelser. Men når vi lod modeller tænke i længere tid, blev de mindre i stand til at kontrollere de tankerækker. Vi så en lignende tendens for RL-træning af OLMo-3-7B-RL-Zero-Math. Dens kontrollerbarhedsscore faldt med mere end en faktor ti i løbet af træningen.

Kontrollerbarheden øges med skalaen i åbne vægtmodeller, men forringes med længere ræsonnering og mere RL-træning.

For at simulere realistiske incitamenter til at undgå overvågning måler vi kontrollerbarhed, når modeller får at vide, at de bliver overvåget eller evalueret. Dette øger let (men mærkbart) kontrollerbarheden. Vi bruger også automatiseret promptoptimering til at finde prompts, der giver høj kontrollerbarhed. Selvom optimeringsværktøjet kan øge kontrollerbarheden på et træningssæt, overføres disse gevinster dårligt til nye instruktionstyper (såsom at kræve ingen mellemrum mellem ord).

Opgaverne i CoT-Control er praktiske stedfortrædere: en ideel evaluering af CoT-kontrollerbarhed ville indebære at teste, om modeller, der naturligt forfølger fejljusterede mål, kan kontrollere deres CoT for at undgå overvågning. I stedet estimerer vi agenters evne til at kontrollere deres tankekæder ved at måle deres evne til at følge instruktioner om deres tankekæde. Desuden kan modeller kontrollere nogle funktioner i deres CoT bedre end andre, og CoT-Control kan over- eller undervurdere kontrollerbarheden ved kun at måle et snævert sæt af kontrollerbarhedstyper.

Lav CoT-kontrollerbarhed er en funktion, ikke en fejl. Nuværende ræsonneringsmodellers lave kontrollerbarhed gør CoT monitoring mere troværdig som en sikkerhedsforanstaltning. Samtidig forstår vi endnu ikke, hvorfor de nuværende ræsonneringsmodellers kontrollerbarhed er lav eller om denne egenskab vil vedvare, efterhånden som modeller bliver mere kapable. Derfor kan CoT-kontrollabilitetsevalueringer ses som en kanariefugle-evaluering: et tidligt advarselstegn på, om modeller bliver bedre til at forme eller skjule deres ræsonnering. 

Vores resultater tyder på, at CoT-kontrollerbarhed næppe i øjeblikket udgør en stor risiko for CoT-overvågelighed. Lav kontrollerbarhed er dog ikke tilstrækkeligt i sig selv til at garantere høj overvågelighed, fordi overvågeligheden stadig kan forringes af andre mekanismer såsom direkte optimeringspres på CoT'er. 

For at hjælpe med at spore disse dynamikker over tid vil vi begynde at rapportere CoT-kontrollérbarhed sammen med CoT-overvågelighed⁠ i systemkort for fremtidige banebrydende modeller, startende med GPT‑5.4 Tænkning, der bygger på vores løbende forpligtelse⁠ til ikke at anvende optimeringstryk direkte på CoT'er i banebrydende ræsonneringsmodeller.