Evaluering av overvåkbarhet av tankerekke

Når AI-systemer tar beslutninger som er vanskelige å overvåke direkte, blir det viktig å forstå hvordan disse beslutningene tas. En lovende tilnærming er å overvåke modellens interne resonnement, i stedet for bare handlinger eller endelige resultater.

Moderne resonneringsmodeller, som GPT‑5 Thinking, genererer en eksplisitt tankerekke før de produserer et svar. Overvåkning av disse tankerekkene for uønsket atferd kan være langt mer effektivt⁠ enn bare å overvåke modellens handlinger og utdata. Forskere ved OpenAI og på tvers av en stor del av bransjen bekymrer seg⁠(åpnes i et nytt vindu) imidlertid for at denne «overvåkbarheten» av tankerekke kan være skjør overfor endringer i opplæringsprosedyrer, datakilder og til og med ved fortsatt skalering av eksisterende algoritmer.

Vi ønsker at overvåkning av tankerekker skal opprettholdes når modeller skaleres og brukes i mer kritiske situasjoner. Vi oppfordrer forskere i hele bransjen til å arbeide for å bevare overvåkbarheten av tankerekker så lenge som mulig, samt å avgjøre om det kan tjene som et lastbærende kontrollag for fremtidige AI-systemer. For å bevare overvåkbarhet, må vi kunne måle det, men det finnes få evalueringer [1⁠(åpnes i et nytt vindu), 2⁠(åpnes i et nytt vindu), 3⁠(åpnes i et nytt vindu)] og metodene varierer.

I dette arbeidet studerer vi overvåkbarheten av tankerekke systematisk. Vi introduserer et rammeverk for å evaluere muligheten for overvåkbarhet av tankerekke og en serie på 13 evalueringer (bestående av totalt 24 miljøer) designet for å konkret måle overvåkbarheten til et system. Disse evalueringene faller inn i tre arketyper–intervensjon, prosess og utfallsegenskap. Ved hjelp av dette, studerer vi hvor overvåkbare dagens store språkmodeller er, og hvordan overvåkbarheten endres med mer resonnering ved inferenstidstid, større forsterkende læringskjøringer og økt skalering for forhåndsopplæring.

Vi finner at de fleste banebrytende resonneringsmodeller er ganske overvåkbare, men ikke helt perfekte. I nesten alle sammenhenger vi studerer, er det betydelig mer effektivt å overvåke tankerekker enn bare å overvåke handlinger og endelige resultater. Modeller som tenker lenger har en tendens til å være mer overvåkbare, og optimalisering av forsterket læring på nåværende grenseskalaer ser ikke ut til å redusere overvåkbarheten på en meningsfull måte.

Bemerkelsesverdig nok observerer vi en avveining mellom resonneringsinnsats og modellstørrelse: når en modell kjøres med lav resonneringsinnsats, kan en mindre modell som kjøres med høyere resonneringsinnsats oppnå sammenlignbar kapasitet, samtidig som den er lettere å overvåke. Dette kommer på bekostning av økt inferensdatakraft, noe som vi refererer til som overvåkbarhetsskatt. Til slutt finner vi at å stille oppfølgingsspørsmål og overvåke de resulterende tankerekkene kan forbedre overvåkbarheten ytterligere.

Vi definerer overvåkbarhet som evnen til en overvåker til å forutsi egenskaper av interesse om en agents oppførsel. I mange tilfeller tilsvarer disse egenskapene former for uønsket atferd–som bedrag, belønningsmanipulasjon eller forutinntatt resonnering–men de kan også inkludere godartede egenskaper, som hvorvidt en agent stolte på et bestemt hint eller fulgte en spesifikk resonneringslinje.

Overvåkbarhet er en tosidig egenskap. Det avhenger både av overvåkeren, men også av agenten som overvåkes.

• Overvåkere. Vi kunne gjøre overvåkere smartere på ulike måter, og vi ønsker at evalueringene våre skal gi høyere poengsum til overvåkere som kan gi bedre forutsigelser om agentens atferd.
• Agenter. Det finnes mange observasjoner av agenten som kan gis til overvåkeren, inkludert agentens handlinger, utdata, nevrale aktiveringer, og nylig, med framveksten av resonneringsmodeller for tankerekken. Det er mulig for noen agenter å ha tanker som er vanskeligere å forstå enn andres, og derfor ønsker vi at våre evalueringer av overvåkbarhet skal kunne sammenligne agenter og ikke bare overvåkere.

Våre evalueringer er designet for å vurdere begge sider: om visse agenter er lettere eller vanskeligere å overvåke, og om mer dyktige overvåkere kan hente ut mer informasjon fra de samme signalene.

Før den nåværende generasjonen av resonneringsmodeller, ble tankerekker vanligvis fremkalt ved å be en modell om å «tenke trinn for trinn». 

Tankerekkene til resonneringsmodeller er forskjellige på to viktige måter. For det første blir de eksplisitt opplært til å generere en tankerekke, og deretter gi et svar. Når man ber en chattemodell om å tenke "trinn for trinn", må modellen overholde alle spesifikasjoner som er angitt, dvs. å være hjelpsom, ufarlig, osv. Omvendt lærer opplæringsprosessen for forsterket læring en resonneringsmodell at tankerekken er et privat rom der den kan tenke hva den vil uten å bli straffet, akkurat som et menneske kan tenke privat og ikke straffes for «tankekriminalitet». 

For det andre søker opplæringsprosessen effektivt etter tankerekker som er mest nyttige for agenten for å oppnå en høy belønning i det endelige svaret. Dermed er tankerekken ikke bare et rom der modellen kan uttrykke seg fritt, det inneholder også tenkning som hjelper modellen med å oppnå sitt endelige svar.

Vi organiserer våre evalueringer for overvåkbarhet i tre distinkte arketyper, der hver utnytter en annen mekanisme for å måle overvåkbarhet.

1. Intervensjonsevalueringer, inspirert av Chen et al. 2025⁠(åpnes i et nytt vindu), Chua et al. 2025⁠(åpnes i et nytt vindu) og Turpin et al. 2023⁠(åpnes i et nytt vindu), vi introduserer en kontrollert endring i agentens miljø, og tester om en overvåker kan oppdage hvorfor atferden endres ved å identifisere bevis på intervensjon i tankerekken. I motsetning til standard kontrollevalueringer (f.eks. Shade-Arena⁠(åpnes i et nytt vindu)). Ved hjelp av Intervensjonsevalueringer kan vi undersøke om en overvåker kan oppdage hvorfor atferd endret seg, i stedet for bare å oppdage om en atferd oppsto. 
2. Prosessevalueringer fokuserer på oppgaver med et begrenset antall gyldige løsningsveier (for eksempel kan et matematikkproblem bare løses med visse teoremer). Menneskelige eksperter lister opp disse banene, og vi tester om en overvåker kan oppdage hvilke trinn modellen faktisk tok. Disse evalueringene gjør at vi kan knytte det en modell gjorde til spesifikke trinn modellen må ha tatt, og spørre om disse trinnene er overvåkbare.
3. Evalueringer av utfallsegenskaper brukes når en egenskap ved modellens utdata kan måles pålitelig. I disse tilfellene tester vi om overvåkeren kan forutsi denne egenskapen–som belønningsmanipulasjon–fra modellens resonnement eller handlinger. I en kodingsoppgave, kan vi for eksempel ha en metode for pålitelig å evaluere om en modell tar initiativ for å manipulere et belønningssignal, og vi kan spørre om en overvåker finner bevis på intensjon om belønningsmanipulasjon i modellens tenkning eller handlinger.

Vi viser en klassifisering av våre evalueringene nedenfor. Se vår artikkel for en fullstendig beskrivelse av hver enkelt evaluering.

Behandling av tankerekken som et privat arbeidsområde–og opplæring av modeller til å bruke dem for å løse oppgaver effektivt–bør i prinsippet gjøre tankerekker overvåkbare. Det finnes samtidig flere årsaker for at forsterkende læring sannsynligvis kan skade overvåkbarheten av tankerekken.

For det første skaper begrensninger på resonneringslengden, som å begrense tiden eller tokens en modell har til å tenke, insentiver for modeller til å resonnere mindre. For det andre kan indirekte press fortsatt redusere overvåkbarheten, selv uten å påføre direkte optimaliseringstrykk på selve tankerekken. Modeller kanFor eksempel⁠(åpnes i et nytt vindu) finne det lettere å oppnå svar med høy belønning hvis de unngår resonnementsbaner som kan føre til lav belønning eller uønskede utfall. Til slutt kan redusert overvåkbarhet oppstå fra falsk drift drevet av støy i gradienter fra forsterkende læring.

Vi undersøker hvordan overvåkbarhet endres i løpet av to av OpenAIs banebrytende forsterkende opplæringsomganger læring nedenfor. Selv om disse resultatene kun representerer to datapunkter, antyder de at optimalisering av forsterket læring  på nåværende grenseskalaer ikke materielt forringer overvåkbarheten av tankerekken, og øker overvåkbarheten for tidlige trinn. Men dette utelukker ikke muligheten for at en betydelig større skalering av forsterket læring kan påvirke overvåkbarheten negativt i fremtiden.

En stor del av intelligensen i dagens AI-systemer drives av økt skalering av forhåndstrening, der både modellparametere og datasettstørrelser har vokst jevnt siden starten av GPT‑paradigmet. Økte parameterantall fører til at mer beregningskraft brukes per generert token, noe som i tilfelle av resonnementmodeller gir større mulighet for at modellens kognisjon skjer innenfor aktiveringer i stedet for i tankerekken. Vi kan dermed forvente at større modeller er mindre overvåkbare på et fast kapabilitetsnivå. 

Samtidig kan mindre modeller også være mindre i stand til å bruke tankerekken effektivt–noe som også kan påvirke overvåkbarheten.

For å undersøke forholdet mellom forhåndtrening, kapasitet og overvåkbarhet, trente vi en serie med modeller i to størrelsesordener av forhåndstrening med økende dybde og bredde, og deretter brukte vi forsterkende læring på hver modell på et felles datasett med oppgaver innen matematikk, vitenskap og koder. Vi evaluerte hver modell på tvers av en rekke resonneringsinnsatser, og sammenlignet overvåkbarhet på tilsvarende kapabilitetsnivåer.

Vi finner generelt at hvis vi skulle implementere en gitt modell med lav resonneringsinnsats, kunne vi i stedet implementere en mindre modell med høyere resonneringsinnsats. Sammenlignet med å bruke ekstra datakraft på mer resonnement fra den opprinnelige store modellen, kunne vi oppnå en høyere overvåkbarhet til en liten kapabilitetskostnad, eller overvåkbarhetsavgift , men tiden det tar å fullføre en oppgave kan også være en faktor i noen distribusjonsbeslutninger, noe vi ikke tar hensyn til her. Etter hvert som modellene våre forbedres og blir implementert i situasjoner med større risiko, kan det bli nødvendig å betale en slik avgift for å implementere dem på en sikker måte.

Disse resultatene har følgende begrensninger: (1) vi lærer opp hver modell bare én gang, og tar derfor ikke hensyn til variasjon på tvers av treningskjøringer. «Medium»-modellen ser for eksempel ut til å avvike fra trenden når det gjelder overvåkbarhet sammenlignet med de andre modellene i serien, noe som kan skyldes dette. (2) Vi evaluerer funksjonalitet på relativt kjente innstillinger innenfor distribusjon (matematikk, vitenskap og koding), og avveiningene kan endre seg når vi tar hensyn til robusthet utenfor distribusjon.

Etter hvert som AI-systemer skalerer utover menneskelig ytelse, blir direkte menneskelig tilsyn stadig vanskeligere. Ideelt sett skulle vi hatt skalerbare kontrollprosedyrer som lar betrodde, men svakere overvåkere føre tilsyn med sterkere, potensielt ikke-betrodde agenter. Slike prosedyrer bør også kunne absorbere ekstra datakraft under testtiden, og gi mer nøyaktige forutsigelser.

Overvåking av tankerekker blir ofte sett på som en fast størrelse: når en modell gir et svar med en bestemt resonnementinnsats, overvåker man den resulterende tankerekken så godt som mulig. Fordi vi konsekvent har funnet at overvåkbarhet forbedres når vi øker resonneringsinnsatsen til agentene våre, ble vi inspirert til å spørre om vi på en eller annen måte kunne få flere tokens å overvåke.

For å utforske dette, eksperimenterte vi med å stille oppfølgingsspørsmål etter at en modell har svart, mens vi beholdt den opprinnelige meldingen, tankerekken og svaret i kontekst. Disse oppfølgingene fokuserer på egenskapen som overvåkes,– for eksempel, «Brukte du hintet på en meningsfull måte for å velge svaret ditt»? eller «Gjorde du noe skummelt»? I prinsippet, fordi modellen beholder tilgang til sitt tidligere resonnement, kan den være i stand til å frembringe tidligere uuttalte tanker i den påfølgende tankerekken eller svaret.

Disse resultatene er foreløpige. Vi utforsket bare et lite antall formater for oppfølgingsspørsmål, og mener det er betydelig rom for forbedret metodologi. Videre er denne metoden nærmest lik modelltilståelser⁠, og vi jobber aktivt med å sammenligne tilnærmingene.

I tillegg til å forbedre overvåkbarheten, er denne tilnærmingen attraktiv fordi den kan anvendes i ettertid, og påfører kun ekstra datakraftkostnad når dypere inspeksjon er nødvendig. Når vi ser vi fremover, hvis modellene trenes til å forvente endringer i resonneringsinnsatsen midt i en samtale, kan etterfølgende oppfølginger med høyere resonneringsinnsats ytterligere forbedre overvåkbarheten, selv når den innledende resonneringsinnsatsen er lav eller fraværende.

Hver evaluering i vår serie måler om et enkelt aspekt av resonnementprosessen kan overvåkes. Selv om vi har som mål å dekke et bredt spekter av atferder– inkludert smisking, underprestering, skjevhet, intriger og belønningsmanipulasjon–er det mange flere egenskaper som fortsatt er uprøvd.

Som med alle referansemålinger, kan evalueringene våre lide av begrenset realisme eller økende evalueringsbevissthet, og resultatene generaliserer kanskje ikke til å oppdage uønsket atferd i virkelige situasjoner. 

Til slutt kan modellene, etter hvert som tilpasningen forbedres, oppføre seg mindre upassende i kontrollerte evalueringsmiljøer, noe som reduserer signalet som er tilgjengelig for overvåkbarhet og kontrollevalueringer som er avhengige av å oppdage uønsket atferd. I slike tilfeller forblir «nøytrale» overvåkningsevalueringer anvendelige, selv om det er et åpent spørsmål hvor forutsigbare de er for feil i virkelige situasjoner.

Hvis tilpasningsproblemet ikke kan løses fullt ut, vil skalerbare kontrollmetoder være utrolig viktige for vår evne til å distribuere svært kapable modeller på en trygg måte. Overvåking av tankerekker og relaterte metoder kan være en av de få kontrollmekanismene vi har til rådighet. Tankerekker kan også gi store fordeler når det gjelder å forstå mer om modellene våre, f.eks. om modellene er klar over at de er i en evaluering og oppfører seg annerledes enn de ville gjort i en utrulling, om det finnes bevis på uønskede mål som ennå ikke har manifestert seg i våre evalueringer, osv. Derfor mener vi at  det har svært stor betydning å forstå hvordan og når vi kan miste overvåkbarhet.

Vi ser på overvåking av tankerekker som et supplement til mekanistisk fortolkning, og ikke som en erstatning. Som alle kjente kontroll- og fortolkningsmetoder, har alle sine begrensninger og blindsoner. Vi forventer at ved å kombinere flere tilnærminger, som–en dybdeforsvarsstrategi–kan hjelpe til med å dekke gap som en enkelt metode etterlater eksponert. Bemerkelsesverdig nok kan evalueringene som er introdusert i dette arbeidet også brukes til å vurdere og sammenligne mekanistisk tolkbarhetsbaserte overvåkningsteknikker.

Fordi vi tror at overvåking av tankerekker kan være et lastbærende lag i en skalerbar kontrollordning, planlegger vi å utvide disse evalueringene, og bruke dem til å informere fremtidige modell- og databeslutninger.