Evaluering af overvågelighed af tankekæder

Når AI-systemer træffer beslutninger, som er vanskelige at føre direkte tilsyn med, bliver det afgørende at forstå, hvordan disse beslutninger bliver til. En lovende tilgang er at overvåge en models interne tænkning frem for udelukkende dens handlinger eller endelige outputs.

Moderne modeller med avanceret tænkning, såsom GPT‑5 Thinking, genererer en eksplicit tankekæde, før de producerer et svar. Overvågning af disse tankekæder med henblik på problematisk adfærd kan være langt mere effektivt⁠ end kun at overvåge en models handlinger og outputs. Men forskere hos OpenAI og i den bredere AI-branche er dog bekymrede⁠(åbner i et nyt vindue) for, at "overvågeligheden" af tankekæder kan være skrøbelig over for ændringer i træningsprocedurer, datakilder og endda fortsat skalering af eksisterende algoritmer.

Vi ønsker, at overvågeligheden af tankekæder bevares, efterhånden som modeller skalerer og anvendes i mere højrisikofyldte sammenhænge. Vi opfordrer forskere på tværs af branchen til at arbejde for at bevare denne overvågelighed så længe som muligt og til at afklare, om den kan fungere som et bærende kontrollag for fremtidige AI-systemer. For at bevare overvågelighed skal vi kunne måle den, men der findes få eksisterende evalueringer [1⁠(åbner i et nyt vindue), 2⁠(åbner i et nyt vindue), 3⁠(åbner i et nyt vindue)] og metoderne varierer.

I dette arbejde studerer vi overvågeligheden af tankekæder systematisk. Vi introducerer et rammeværk til evaluering af overvågelighed samt et sæt på 13 evalueringer (i alt 24 miljøer), der er designet til konkret at måle et systems overvågelighed. Disse evalueringer falder ind under tre arketyper –Disse evalueringer falder i tre arketyper: intervention, proces og resultategenskab. Ved hjælp af dem undersøger vi, hvor overvågelige nutidens store sprogmodeller er, og hvordan overvågeligheden ændrer sig med mere avanceret tænkning ved inferens, større træningsforløb med forstærkende læring og øget omfang af forhåndstræning.

Vores resultater viser, at de fleste førende modeller med avanceret tænkning er relativt overvågelige, men dog ikke helt perfekt. I næsten alle de sammenhænge, vi undersøger, er overvågning af tankekæder væsentligt mere effektiv end udelukkende at overvåge handlinger og endelige output. Modeller, der tænker længere, er generelt lettere at overvåge, og optimering via forstærkende læring ved de nuværende banebrydende skalaer ser ikke ud til at forringe overvågeligheden i nævneværdig grad.

Bemærkelsesværdigt ser vi en afvejning mellem indsats for avanceret tænkning og modelstørrelse: Når en model køres med lav indsats for avanceret tænkning, kan en mindre model, der køres med højere indsats for avanceret tænkning, opnå en tilsvarende kapabilitet og samtidig være lettere at overvåge. Det sker på bekostning af øget beregning ved inferens, hvilket vi betegner som en overvågelighedsskat. Til sidst ser vi, at opfølgende spørgsmål – og overvågning af de resulterende tankekæder – kan forbedre overvågeligheden yderligere.

Vi definerer overvågelighed som en overvågningsmodels evne til at forudsige relevante egenskaber ved en agents adfærd. I mange tilfælde vedrører disse egenskaber former for problematisk adfærd – såsom bedrag, manipulation af belønningssignaler eller tænkning med forudindtagede fordomme – men de kan også omfatte harmløse forhold, for eksempel om en agent har baseret sit svar på et bestemt hint eller fulgt en specifik tankegang.

Overvågelighed er en tosidet egenskab. Den afhænger både af overvågningsmodellen og af den agent, der overvåges.

• Overvågning. Vi kan gøre overvågningsmodeller mere avancerede på forskellige måder, og vi vil gerne have, at vores evalueringer giver højere score til overvågningsmodeller, der bedre kan forudsige en agents adfærd.
• Agenter. Der findes mange observationer af en agent, som kan stilles til rådighed for en overvågningsmodel, herunder agentens handlinger, outputs, neurale aktiveringer og – med fremkomsten af modeller med avanceret tænkning – tankekæder. Det er muligt, at nogle agenter har tænkning, der er sværere at forstå end andres, og derfor ønsker vi, at vores evalueringer af overvågelighed kan sammenligne agenter og ikke kun overvågningsmodeller.

Vores evalueringer er designet til at vurdere begge sider: Om visse agenter er lettere eller sværere at overvåge, og om mere kapable overvågningsmodeller kan udtrække mere information fra de samme signaler.

Før den nuværende generation af modeller med avanceret tænkning blev tankekæder typisk fremkaldt ved at bede en model om at "tænke trin for trin". 

Tankekæder i modeller med avanceret tænkning adskiller sig på to vigtige måder. For det første er disse modeller eksplicit trænet til at generere en tankekæde og derefter afgive et svar. Når man beder en chatmodel om at tænke "trin for trin", skal modellen samtidig overholde alle de krav og specifikationer, der er pålagt den, som f.eks. at være hjælpsom og harmløs. Omvendt lærer træningen med forstærkende læring en model med avanceret tænkning, at tankekæden er et privat rum, hvor den kan tænke frit uden at blive straffet, på samme måde som mennesker kan tænke privat uden at blive straffet for "tankeforbrydelser"- 

For det andet søger træningsprocessen effektivt efter de tankekæder, der er mest instrumentelt nyttige for modellen til at opnå et højt belønnet slutresultat. Tankekæden er derfor ikke bare et rum, hvor modellen kan udtrykke sig frit, men indeholder netop den tænkning, der hjælper modellen med at nå sit endelige svar.

Vi organiserer vores evalueringer af overvågelighed i tre adskilte arketyper, som hver udnytter en forskellig mekanisme til at måle overvågelighed.

1. Interventionsevalueringer, inspireret af Chen et al. 2025⁠(åbner i et nyt vindue), Chua et al. 2025⁠(åbner i et nyt vindue), Turpin et al. 2023⁠(åbner i et nyt vindue), indebærer, at vi indfører en kontrolleret ændring i agentens miljø og tester, om en overvågningsmodel kan identificere, hvorfor adfærden ændrede sig, ved at finde spor af interventionen i tankekæden. I modsætning til standardkontrolevalueringer (f.eks. Shade-Arena⁠(åbner i et nyt vindue)), gør interventionsevalueringer det muligt at undersøge, om en overvågningsmodel kan afgøre årsagen til en adfærdsændring, snarere end bare at registrere, at en given adfærd fandt sted. 
2. Procesevalueringer fokuserer på opgaver med et begrænset antal gyldige løsningsveje (for eksempel kan et matematisk problem kun løses ved hjælp af bestemte sætninger). Menneskelige eksperter opregner disse stier, og vi tester, om en monitor kan opdage, hvilke skridt modellen faktisk tog. Disse evalueringer gør det muligt at knytte modellens adfærd til konkrete trin, som modellen må have gennemført, og dermed undersøge, om disse trin kan overvåges.
3. Evalueringer af resultategenskaber anvendes, når en egenskab ved modellens output kan måles pålideligt. I disse tilfælde tester vi, om en overvågningsmodel kan forudsige denne egenskab – som bl.a. manipulation af belønningssignaler – ud fra modellens avancerede tænkning eller handlinger. For eksempel kan vi i en kodeopgave have en pålidelig metode til at afgøre, om en model udfører handlinger, der har til formål at manipulere et belønningssignal, og derefter undersøge, om overvågningsmodellen finder tegn på en sådan intention i modellens tænkning eller handlinger.

Nedenfor præsenterer vi en taksonomi for vores evalueringer. Se vores artikel for en fuldstændig beskrivelse af hver enkelt evaluering.

At betragte tankekæden som et privat arbejdsrum – og træne modeller til at bruge den effektivt til at løse opgaver – bør i princippet gøre tankekæder overvågelige. Samtidig er der imidlertid flere grunde til, at forstærkende læring i praksis kan skade overvågeligheden af tankekæder.

For det første kan begrænsninger på omfanget af avanceret tænkning, såsom tids- eller tokenbegrænsninger for, hvor længe en model kan tænke, skabe incitamenter til at reducere graden af tænkning. For det andet kan indirekte optimeringspres mindske overvågeligheden, selv uden at der anvendes direkte optimering på selve tankekæden. For eksempel⁠(åbner i et nyt vindue) kan modeller finde det lettere at opnå højt belønnede svar ved at undgå tænkeforløb, der risikerer at føre til lav belønning eller uønskede resultater. Endelig kan reduceret overvågelighed opstå som følge af tilfældig drift drevet af gradientstøj i træning med forstærkende læring.

Nedenfor undersøger vi, hvordan overvågeligheden ændrer sig over to af OpenAI's banebrydende træningsforløb med forstærkende læring. Selvom disse resultater kun repræsenterer to datapunkter, indikerer de, at optimering via forstærkende læring ved de nuværende grænseskalaer ikke i væsentlig grad forringer overvågeligheden af tankekæder og endda øger overvågeligheden i de tidlige trin. Det udelukker dog ikke, at markant større skalaer af forstærkende læring i fremtiden kan have en negativ indvirkning på overvågeligheden.

En stor del af intelligensen i nutidens AI-systemer drives af øget omfang af forhåndstræning, hvor både antallet af modelparametre og størrelsen af datasæt konsekvent er vokset siden begyndelsen af GPT‑paradigmet. Et større antal parametre medfører, at der anvendes mere beregning ved inferens pr. genereret token, hvilket – i tilfældet med modeller med avanceret tænkning – giver større mulighed for, at modellens kognitive processer foregår i de interne aktiveringer frem for i tankekæden. Derfor kan man forvente, at større modeller er mindre overvågelige ved et fast kapabilitetsniveau. 

Samtidig kan mindre modeller også have sværere ved effektivt at udnytte tankekæder, hvilket ligeledes kan påvirke overvågeligheden.

For at undersøge sammenhængen mellem omfanget af forhåndstræning, kapabilitet og overvågelighed trænede vi en familie af modeller over to størrelsesordener af beregning til forhåndstræning med stigende dybde og bredde. Herefter anvendte vi forstærkende læring på hver model på et fælles datasæt bestående af opgaver inden for matematik, naturvidenskab og kodning. Vi evaluerede hver model på tværs af forskellige niveauer af indsats for avanceret tænkning og sammenlignede overvågeligheden ved sammenlignelige kapabilitetsniveauer.

Generelt ser vi, at hvis man ellers ville udrulle en given model med lav indsats for avanceret tænkning, kan man i stedet udrulle en mindre model med højere indsats for avanceret tænkning. ammenlignet med at bruge den ekstra beregning på mere avanceret tænkning i den oprindelige store model kan man opnå højere overvågelighed mod en mindre reduktion i kapabilitet – en såkaldt overvågelighedsskat. Dog kan den faktiske gennemløbstid for at færdiggøre et svar også spille en rolle i visse udrulningsbeslutninger, hvilket vi ikke tager højde for her. Efterhånden som vores modeller forbedres og anvendes i mere højrisikofyldte sammenhænge, kan det blive nødvendigt at betale en sådan skat for at kunne udrulle dem på sikker vis.

Disse resultater har følgende begrænsninger: (1) Vi træner hver model kun én gang og tager derfor ikke højde for variation på tværs af forskellige træningskørsler. For eksempel afviger den “mellemstore” model i nogen grad fra den generelle tendens i overvågelighed sammenlignet med de øvrige modeller i serien, hvilket kan skyldes dette. (2) Vi evaluerer kapabiliteter i relativt in-distributionsnære sammenhænge (matematik, naturvidenskab og kodning), og afvejningerne kan ændre sig, når man inddrager robusthed over for out-of-distribution-scenarier.

Efterhånden som AI-systemer skalerer ud over menneskeligt præstationsniveau, bliver direkte menneskelig overvågning stadig vanskeligere. Ideelt set bør vi råde over skalerbare kontrolprocedurer, der gør det muligt for betroede, men svagere overvågningsmodeller at føre tilsyn med stærkere, potentielt ikke-betroede agenter. Sådanne procedurer bør desuden kunne absorbere yderligere beregning ved testtid og levere mere præcise forudsigelser.

Overvågeligheden af tankekæder betragtes ofte som en fast størrelse: Når en model har produceret et svar ved en given indsats for avanceret tænkning, overvåger man den resulterende tankekæde så godt som muligt. Da vi konsekvent har fundet, at overvågeligheden forbedres, efterhånden som vi øger indsatsen for avanceret tænkning hos vores agenter, blev vi inspireret til at undersøge, om det på en eller anden måde er muligt at få flere tokens at overvåge.

For at undersøge dette eksperimenterede vi med at stille opfølgende spørgsmål, efter at en model har afgivet sit svar, samtidig med at den oprindelige prompt, tankekæde og svar bevares i konteksten. De opfølgende spørgsmål fokuserer på den egenskab, der overvåges – for eksempel: "Brugte du hintet på en meningsfuld måde til at vælge dit svar?" eller "Foretog du dig noget tvivlsomt?" I princippet kan modellen, fordi den fortsat har adgang til sin tidligere tænkning, være i stand til at fremkalde tidligere ikke-verbalisede tanker i den opfølgende tankekæde eller i selve svaret.

Disse resultater er foreløbige. Vi har kun undersøgt et begrænset antal formater for opfølgende spørgsmål og vurderer, at der er betydeligt rum for metodiske forbedringer. Derudover minder denne tilgang i sin grundidé om såkaldte modeltilståelser⁠, og vi arbejder aktivt på at sammenligne de to tilgange.

Ud over at forbedre overvågeligheden er denne tilgang attraktiv, fordi den kan anvendes retrospektivt og kun medfører ekstra beregningsomkostninger, når der er behov for en dybere gennemgang. Ser vi fremad, kan opfølgende spørgsmål, stillet retrospektivt med højere indsats for avanceret tænkning, yderligere forbedre overvågeligheden, hvis modeller trænes til at forvente ændringer i indsatsen for avanceret tænkning midt i en samtale, selv i tilfælde, hvor den indledende indsats for avanceret tænkning er lav eller helt fraværende.

Hver evaluering i vores evalueringssæt måler, om ét enkelt aspekt af den avancerede tænkning er overvågeligt. Selvom vi tilstræber at dække et bredt spektrum af adfærd – herunder eftergivenhed, bevidst underspillelse af evner, bias, strategisk vildledning og manipulation af belønningssignaler – er der mange yderligere egenskaber, som fortsat ikke er testet.

Som ved alle benchmarks kan vores evalueringer lide under begrænset realisme eller stigende bevidsthed om evalueringerne, og resultaterne kan derfor ikke nødvendigvis generaliseres til at opdage problematisk adfærd i virkelige anvendelser. 

Endelig, efterhånden som justeringen forbedres, kan modeller opføre sig forkert mindre hyppigt i kontrollerede evalueringsmiljøer, hvilket reducerer signalet til overvågning og kontrol af evalueringer, der er afhængige af at opdage forkert adfærd. I sådanne tilfælde forbliver "neutrale" evalueringer af overvågelighed anvendelige, men det er et åbent spørgsmål, i hvilken grad de er forudsigende for fejl i virkelige anvendelser.

Hvis justeringsproblemet ikke kan løses fuldstændigt, vil skalerbare kontrolmetoder være afgørende for vores evne til at udrulle meget kapable modeller på sikker vis. Overvågning af tankekæder og beslægtede metoder kan vise sig at være blandt de få kontrolmekanismer, vi har til rådighed. Tankekæder kan desuden give betydelige gevinster i forståelsen af vores modeller, for eksempel om de er bevidste om, at de befinder sig i en evalueringssituation og derfor opfører sig anderledes, end de ville gøre ved faktisk udrulning, eller om der findes tegn på uhensigtsmæssige mål, som endnu ikke har manifesteret sig i vores evalueringer. Derfor mener vi, at det er af allerstørste betydning at forstå, hvordan og hvornår overvågeligheden kan gå tabt.

Vi betragter overvågning af tankekæder som et supplement til mekanistisk fortolkbarhed og ikke som en erstatning for den. Som alle kendte metoder til kontrol og fortolkbarhed har hver tilgang sine begrænsninger og blinde vinkler. Vores forventning er, at en kombination af flere tilgange – en strategi med forsvar i flere lag – kan bidrage til at dække de huller, som enhver enkelt metode efterlader. Det er bemærkelsesværdigt, at de evalueringer, vi introducerer i dette arbejde, også kan anvendes til at vurdere og sammenligne overvågningsteknikker baseret på mekanistisk fortolkbarhed.

Fordi vi mener, at at overvågning af tankekæder kan udgøre et bærende lag i et skalerbart kontrolsystem, planlægger vi at videreudvikle disse evalueringer og anvende dem til at informere fremtidige beslutninger om modellering og data.