Utvärdering av tankekedjans övervakningsbarhet

När AI-system gör beslut som är svåra att övervaka direkt, blir det viktigt att förstå hur dessa beslut görs. Ett lovande tillvägagångssätt är att övervaka en modells interna resonemang, snarare än bara dess åtgärder eller slutliga utdata.

Moderna resonemangsmodeller, såsom GPT‑5 Thinking, genererar en explicit tankekedja innan de ger ett svar. Att övervaka dessa tankekedjor för felaktigt beteende kan vara betydligt mer effektivt⁠ än att enbart övervaka en modells åtgärder och utdata. Men forskare på OpenAI och inom den bredare industrin oroar sig⁠(öppnas i ett nytt fönster) för att den här tankekedjans övervakningsbarhet kan vara känslig för förändringar i träningsprocedurer, datakällor och till och med fortsatt uppskalning av befintliga algoritmer.

Vi vill att tankekedjans övervakningsbarhet ska bestå när modellerna skalas upp och används i mer kritiska sammanhang. Vi uppmanar forskare inom hela industrin att arbeta för att bevara tankekedjans övervakningsbarhet så länge som möjligt och att avgöra om den kan fungera som ett bärande kontrollager för framtida AI-system. För att bevara övervakningsbarheten måste vi kunna mäta den, men få utvärderingar finns [1⁠(öppnas i ett nytt fönster), 2⁠(öppnas i ett nytt fönster), 3⁠(öppnas i ett nytt fönster)] och metodologierna varierar.

I detta arbete studerar vi systematiskt tankekedjans övervakningsbarhet. Vi introducerar ett ramverk för att utvärdera tankekedjans övervakningsbarhet och en uppsättning av 13 utvärderingar (som omfattar totalt 24 miljöer) utformade för att konkret mäta ett systems övervakningsbarhet. Dessa utvärderingar faller under tre arketyper – intervention, process och resultat-egenskap. Med hjälp av dem studerar vi hur övervakningsbara dagens stora språkmodeller är, och hur övervakningsbarheten förändras med mer resonemang vid inferenstid, större förstärkningsinlärningskörningar och ökad förträningsskala.

Vi finner att de flesta resonemangsmodeller är ganska övervakningsbara, men inte helt och hållet. I nästan alla sammanhang vi studerar är övervakning av tankekedjor avsevärt mer effektiv än att enbart övervaka åtgärder och utdata. Modeller som tänker längre tenderar att vara mer övervakningsbara, och optimering av förstärkningsinlärning på nuvarande banbrytande nivåer verkar inte meningsfullt försämra övervakningsbarheten.

Vi observerar en avvägning mellan resonemangsansträngning och modellstorlek: när en modell körs med låg resonemangsansträngning kan en mindre modell som körs med högre resonemangsansträngning uppnå jämförbar kapacitet samtidigt som den är lättare att övervaka. Detta kommer till priset av ökad beräkningskapacitet för inferens, vilket vi kallar för övervakningsskatt. Slutligen ser vi att ställa följdfrågor och övervaka de resulterande tankekedjorna kan ytterligare förbättra övervakningsbarheten.

Vi definierar övervakningsbarhet som förmågan hos en övervakare att förutsäga intressanta egenskaper om en agents beteende. I många fall motsvarar dessa egenskaper former av misskötsel – såsom bedrägeri, belöningshackning eller partiskt resonemang – men de kan också inkludera ofarliga egenskaper, såsom huruvida en agent förlitade sig på en viss ledtråd eller följde en specifik resonemangslinje.

Övervakningsbarhet är en tvåsidig egenskap. Det beror både på övervakaren och på agenten som övervakas.

• Övervakare. Vi skulle kunna göra övervakare smartare på olika sätt, och vi skulle vilja att våra utvärderingar ger högre poäng till övervakare som kan göra bättre förutsägelser om en agents beteende.
• Agenter. Det finns många observationer av agenten som kan ges till övervakaren, inklusive agentens åtgärder, utdata, neurala aktiveringar och nyligen, med framväxten av resonemangsmodeller, tankekedjan. Det är möjligt för vissa agenter att ha tankar som är svårare att förstå än andras, och därför vill vi att våra övervakningsutvärderingar ska kunna jämföra agenter och inte bara övervakare.

Våra utvärderingar är utformade för att bedöma båda sidor: om vissa agenter är lättare eller svårare att övervaka, och om mer kapabla övervakare kan hämta mer information från samma signaler.

Före den nuvarande generationen av resonemangsmodeller brukade tankekedjor vanligtvis framkallas genom att uppmana en modell att tänka steg för steg. 

Resonemangsmodellernas tankekedjor skiljer sig på två viktiga sätt. Först tränas de uttryckligen för att generera en tankekedja och sedan ge ett svar. När du uppmanar en chattmodell att tänka steg för steg måste modellen följa alla specifikationer som ställs på den, t.ex. att vara hjälpsam och ofarlig. Omvänt lär förstärkningsinlärningsprocessen en resonemangsmodell att CoT är ett privat utrymme där den kan tänka vad den vill och inte bli straffad, precis som en människa kan tänka privat och inte bli straffad för ”tankebrott”. 

För det andra söker träningsprocessen effektivt efter tankekedjor som är mest användbara för agenten att få ett slutgiltigt svar med hög belöning. Således är tankekedjan inte bara en plats där modellen kan uttrycka sig fritt, utan den innehåller också tänkande som hjälper modellen att nå sitt slutgiltiga svar.

Vi organiserar våra utvärderingar om övervakningsbarhet i tre distinkta arketyper, där varje arketyp utnyttjar en annan mekanism för att mäta övervakningsbarheten.

1. I interventionsutvärderingar, inspirerade av Chen et al. 2025⁠(öppnas i ett nytt fönster), Chua et al. 2025⁠(öppnas i ett nytt fönster), Turpin et al. 2023⁠(öppnas i ett nytt fönster), introducerar vi en kontrollerad förändring i agentens miljö och testar om en övervakare kan upptäcka varför beteendet förändrades genom att identifiera bevis på interventionen i tankekedjan. Till skillnad från standardkontrollutvärderingar (t.ex. Shade-Arena⁠(öppnas i ett nytt fönster)), gör interventionsutvärderingar det möjligt för oss att undersöka om en övervakare kan upptäcka varför beteendet förändrades, snarare än att bara upptäcka om ett beteende inträffade. 
2. Processutvärderingar fokuserar på uppgifter med ett begränsat antal giltiga lösningsvägar (till exempel kan ett matematikproblem endast lösas med vissa satser). Mänskliga experter listar dessa vägar, och vi testar om en övervakare kan upptäcka vilka steg modellen faktiskt tog. Dessa utvärderingar gör att vi kan skapa en länk mellan vad en modell gjorde och specifika steg som modellen måste ha tagit och fråga om dessa steg är övervakningsbara.
3. Utvärderingar av resultat-egenskaper tillämpas när en egenskap hos modellens utdata kan mätas på ett tillförlitligt sätt. I dessa fall testar vi om en övervakare kan förutsäga den egenskapen – som belöningshackning – från modellens resonemang eller åtgärder. Till exempel, i en kodningsuppgift kan vi ha ett sätt att pålitligt utvärdera om en modell vidtar åtgärder för att belöningsmanipulera, och vi kan fråga om en övervakare hittar bevis på avsikt att belöningsmanipulera i modellens tänkande eller handlingar.

Nedan ger vi en taxonomi för våra utvärderingar. Se vår artikel för en fullständig beskrivning av varje enskild utvärdering.

Att behandla tankekedjan som en privat arbetsyta och träna modeller att använda den för att lösa uppgifter effektivt bör i princip göra tankekedjor övervakbara. Samtidigt finns det flera anledningar till varför förstärkningsinlärning rimligen skulle kunna skada övervakningsbarheten hos tankekedjor.

Först och främst skapar begränsningar på resonemangets längd, såsom att begränsa tiden eller antalet tokens en modell har för att tänka, incitament för modeller att resonera mindre. För det andra, även utan att tillämpa direkt optimeringstryck på själva tankekedjan, kan indirekta tryck fortfarande minska möjligheten att övervaka. Till exempel⁠(öppnas i ett nytt fönster) kan modeller finna det lättare att komma på svar med hög belöning om de undviker resonemangsvägar som kan leda till låga belöningar eller oönskade resultat. Slutligen kan minskad övervakningsförmåga uppstå från avvikelser orsakade av brus i förstärkningsinlärning.

Nedan undersöker vi hur övervakbarheten förändras under två av OpenAI:s banbrytande träningskörningar för förstärkningsinlärning. Även om dessa resultat endast representerar två datapunkter, tyder de på att optimering av förstärkningsinlärning vid nuvarande gränsskalor inte försämrar tankekedjans övervakningsbarhet, och ökar övervakningen för tidiga steg. Detta utesluter dock inte möjligheten att betydligt större skalor av förstärkningsinlärning kan påverka möjligheten till övervakning negativt i framtiden.

En stor del av intelligensen hos nuvarande AI-system drivs av en ökad förträningsskala, där både modellparametrar och datamängder konsekvent har ökat sedan starten av GPT‑paradigmen. Ökade antalet parametrar resulterar i att mer beräkningskraft används per genererat token, vilket i resonemangsmodeller ger modellen större möjlighet att utföra kognition inom aktiveringar snarare än inom tankekedjan. Således kan vi förvänta oss att större modeller är mindre övervakningsbara vid en fast kapacitetsnivå. 

Samtidigt kan mindre modeller också vara mindre kapabla att använda tankekedjan effektivt – vilket också kan påverka övervakningsbarheten.

För att undersöka sambandet mellan förträningsstorlek, kapacitet och övervakningsbarhet, tränade vi en familj av modeller över två storleksordningar av förträningsberäkning med ökande djup och bredd, och tillämpade sedan förstärkningsinlärning på var och en på en gemensam datamängd av uppgifter inom matematik, naturvetenskap och kodning. Vi utvärderade varje modell över ett spektrum av resonemangsinsatser och jämförde övervakningsbarheten vid motsvarande kapacitetsnivåer.

Generellt sett finner vi att om vi skulle använda en viss modell med låg resonemangsinsats, skulle vi istället kunna använda en mindre modell med högre resonemangsinsats. Jämfört med att använda den extra beräkningskapaciteten för mer resonemang från den ursprungliga stora modellen, skulle vi kunna uppnå en högre övervakningsbarhet till en liten kapacitetskostnad, eller övervakningsbarhetsskatt , dock kan den tid det tar att slutföra en uppgift också vara en faktor i vissa implementeringsbeslut, vilket vi inte beaktar här. När våra modeller förbättras och används i sammanhang med högre insatser kan det bli nödvändigt att betala en sådan skatt för att lansera dem på ett säkert sätt.

Dessa resultat har följande begränsningar: (1) vi tränar varje modell endast en gång och tar därför inte hänsyn till variationer mellan träningskörningar. Till exempel verkar ”medium”-modellen gå emot resultaten i övervakningsbarhet jämfört med de andra modellerna i serien, vilket kan bero på detta. (2) Vi utvärderar förmågor i relativt normalfördelade inställningar (matematik, vetenskap och kodning), och avvägningarna kan förändras när man tar hänsyn till robusthet utanför normalfördelningen.

När AI-system skalar upp bortom mänsklig prestationsnivå blir direkt mänsklig övervakning allt svårare. Idealiskt sett skulle vi ha skalbara kontrollprocedurer som tillåter betrodda men svagare övervakare att övervaka starkare, potentiellt obetrodda agenter. Sådana procedurer bör också kunna hantera ytterligare testtidsberäkningar och ge mer exakta förutsägelser.

Övervakbarheten av tankekedjor behandlas ofta som en fast kvantitet: när en modell ger ett svar vid en viss resonemangsansträngning, övervakar man den resulterande tankekedjan så bra som möjligt. Eftersom vi konsekvent har funnit att övervakningsbarheten förbättras när vi ökar resonemangsansträngningen hos våra agenter, blev vi inspirerade att fråga om vi på något sätt kunde få fler tokens att övervaka.

För att utforska detta experimenterade vi med att ställa följdfrågor efter att en modell svarat, samtidigt som vi behåller den ursprungliga prompten, tankekedjan och svaret i kontext. Dessa uppföljningar fokuserar på den egenskap som övervakas – till exempel, ”Använde du ledtråden på ett meningsfullt sätt för att välja ditt svar?” eller ”Gjorde du något tvivelaktigt?”. I princip, eftersom modellen behåller tillgång till sitt tidigare resonemang, kan den kanske lyfta fram tidigare icke-verbaliserade tankar i den efterföljande tankekedjan eller svaret.

Dessa resultat är preliminära. Vi utforskade bara ett litet antal uppföljningsfrågeformat och tror att det finns betydande utrymme för förbättrad metodik. Dessutom liknar denna metod modellbekännelser⁠ i sin anda, och vi arbetar aktivt med att jämföra metoderna.

Förutom att förbättra övervakningsmöjligheterna är detta tillvägagångssätt tilltalande eftersom det kan tillämpas i efterhand och medför ytterligare beräkningskostnader endast när en djupare inspektion behövs. Om modeller tränas att förvänta sig förändringar i resonemangsansträngningen mitt i samtalet, kan uppföljningar efteråt vid högre resonemangsansträngning ytterligare förbättra övervakningsbarheten även när den initiala resonemangsansträngningen är låg eller obefintlig.

Varje utvärdering i vår svit mäter om en enskild aspekt av resonemangsprocessen kan övervakas. Även om vi strävar efter att täcka ett brett spektrum av beteenden – inklusive intrigerande beteenden, sandbagging, partiskhet, intriger och belöningshackning – finns det många ytterligare egenskaper som fortfarande är otestade.

Precis som med alla riktmärken kan våra utvärderingar lida av begränsad realism eller ökad medvetenhet om utvärderingen, och resultaten kanske inte kan generaliseras för att upptäcka missförhållanden i det vilda. 

Slutligen, när anpassningen förbättras, kan modeller missköta sig mindre ofta i kontrollerade utvärderingsmiljöer, vilket minskar signalen som är tillgänglig för övervakning och kontrollutvärderingar som förlitar sig på att upptäcka felaktigt beteende. I de fallen förblir ”neutrala” övervakningsevalueringar tillämpliga, även om det är en öppen fråga hur förutsägande de är för verkliga misslyckanden.

Om problemet med anpassning inte kan lösas helt, kommer skalbara kontrollmetoder att vara otroligt viktiga för vår förmåga att säkert distribuera högpresterande modeller. Övervakning av tankekedjor och relaterade metoder kan vara en av de få kontrollmekanismer vi har till vårt förfogande. Tankekedjor kan också ge stora fördelar i att förstå mer om våra modeller, t.ex. om de är medvetna om att de är i en utvärdering och beter sig annorlunda än de skulle göra vid implementering, om det finns bevis på några negativa mål som ännu inte har visats i våra utvärderingar. Därför tror vi att det är av största vikt att förstå hur och när vi kan förlora möjligheten till övervakningsbarhet.

Vi ser övervakning av tankekedjor som ett komplement till mekanistisk tolkbarhet, inte som en ersättning för det. Precis som alla kända kontroll- och tolkningsmetoder har var och en sina begränsningar och blinda fläckar. Vår förväntning är att genom att kombinera flera tillvägagångssätt – en djupgående försvarsstrategi – kan vi täcka de luckor som enskilda metoder lämnar exponerade. Det är värt att notera att de utvärderingar som introduceras i detta arbete också skulle kunna tillämpas för att bedöma och jämföra mekanistiska tolkningsbaserade övervakningstekniker.

Eftersom vi tror att övervakning av tankekedjan kan vara ett bärande lager i ett skalbart kontrollsystem, planerar vi att utöka dessa utvärderingar och använda dem för att vägleda framtida modell- och databeslut.