Hvordan kan tilståelser holde sprogmodeller ærlige?

AI-systemer bliver mere avancerede, og vi ønsker at forstå dem så dybt som muligt – herunder hvordan og hvorfor de når frem til et svar. Nogle gange tager en model en genvej eller optimerer til det forkerte mål, men dens endelige output ser stadig korrekt ud. Hvis vi kan finde ud af, hvornår det sker, kan vi bedre overvåge de udrullede systemer, forbedre træningen og øge tilliden til resultaterne.

Forskning fra OpenAI og andre har vist, at AI-modeller kan hallucinere⁠, belønningshacke eller være uærlige. I øjeblikket ser vi de mest bekymrende adfærdsmønstre, såsom intriger⁠(åbner i et nyt vindue), kun i stresstests og modstridende evalueringer. Men efterhånden som modeller bliver mere kapable og i stigende grad agentiske, bliver selv sjældne former for fejljustering mere betydningsfulde, hvilket motiverer os til at investere i metoder, der hjælper os med bedre at opdage, forstå og afbøde disse risici. 

Dette arbejde udforsker én sådan tilgang: at træne modeller til eksplicit at indrømme, når de udviser uønsket adfærd; en teknik, vi kalder tilståelser. 

En tilståelse er et andet output, adskilt fra modellens primære svar til brugeren. Hovedsvaret bedømmes på tværs af mange dimensioner; korrekthed, stil, hjælpsomhed, overholdelse af regler, sikkerhed og mere, og disse mangesidede signaler bruges til at træne modeller til at producere bedre svar. Bekendelsen, derimod, vurderes og trænes kun på én ting: ærlighed. Med inspiration fra strukturen i et skriftestol vil intet af det, modellen siger i sin tilståelse, blive brugt imod den under træningen. Hvis modellen ærligt indrømmer at hacke en test, sandbagge eller overtræde instruktioner, øger den indrømmelse dens belønning i stedet for at mindske den. Målet er at opmuntre modellen til troværdigt at rapportere, hvad den faktisk har gjort. 

I vores tests fandt vi, at tilståelsesmetoden forbedrer synligheden af modellens dårlige opførsel betydeligt. Hvis man tager gennemsnittet af vores evalueringer, der er designet til at fremkalde dårlig opførsel, er sandsynligheden for "falsk negative resultater" (dvs. at modellen ikke overholder instruktioner og derefter ikke indrømmer det) kun 4,4 %.

Nøjagtigheden af vores “proof-of-concept” tilståelsesmodel på en række modstridende datasæt. Resultaterne er kategoriseret som overholdt og ikke tilstået (sand negativ), overholdt og tilstået (falsk positiv), ikke overholdt og ikke tilstået (falsk negativ) og ikke overholdt og tilstået (sand positiv).

En tilståelse er en selvevaluering fra modellen om, hvor godt den har overholdt både ånden og ordlyden af de eksplicitte og implicitte instruktioner eller politikker, den har fået, og om der var tilfælde, hvor den "snød" eller "hackede", overtrådte politikker eller på nogen måde ikke levede op til forventningerne. I vores forskning har vi fundet ud af, at modeller kan trænes til at være åbne om deres egne mangler. Vi trænede en version af GPT‑5 Thinking til at producere tilståelser og evaluerede den på en række out-of-distribution stress-test datasæt, der er designet til at fremkalde adfærd som skemalægning, hacking, overtrædelse af instruktioner og hallucinationer. Vi fandt, at selv når modellen engagerer sig i disse uønskede adfærdsmønstre, er det meget sandsynligt, at den vil indrømme dem. Figuren ovenfor viser, at tilgangen med tilståelser generelt er effektiv på tværs af en lang række af datasæt og opgaver. 

Efter enhver interaktion mellem brugeren og modellen, der ender med et modelsvar, kan du anmode om en tilståelse ved at sende modellen en "systemmeddelelse," der instruerer modellen til at levere en tilståelsesrapport. Rapporten vedrører modellens sidste svar og inkluderer (1) en liste over alle eksplicitte og implicitte instruktioner, begrænsninger og mål, som dette svar skulle have opfyldt, (2) en ærlig og objektiv analyse af, om svaret faktisk opfyldte hver af disse mål, og (3) en liste over eventuelle usikkerheder, tvetydigheder eller "svære vurderinger", som modellen stødte på under udarbejdelsen af svaret. Under træningen evalueres en tilståelse af en separat belønningsmodel, der kun scorer tilståelsen på baggrund af fuldstændigheden af målsætningerne, nøjagtigheden af compliance-analysen og dækningen af usikkerheder. Disse belønninger anvendes udelukkende på bekendelsesoutputtet og påvirker aldrig belønningen for hovedsvaret. Dette sikrer egenskaben, som er omtalt ovenfor; at intet af modellens udtryk i tilståelsen kan skade (eller hjælpe) dens belønning for dens hovedsvar.

Teorien bag tilståelser er simpel. Mange slags uønsket modeladfærd opstår, fordi vi beder modellen om at optimere for flere mål samtidig. Under forstærkende læring ser modellen en forespørgsel, producerer et svar og modtager en belønning. Over tid lærer den at producere de slags svar, der klarer sig godt. Udfordringen er, at belønningssignalet skal kombinere mange forskellige overvejelser på én gang: hvor korrekt svaret er, om det er nyttigt, om det følger produkt- og politikspecifikationer, om det opfylder sikkerhedskrav, og om det matcher, hvad brugerne typisk foretrækker. Når disse signaler interagerer, kan de utilsigtet skubbe modellen mod adfærd, vi ikke ønsker.

For eksempel viste vores arbejde med hallucinationer⁠, at nogle datasæt belønner et selvsikkert gæt mere end en ærlig indrømmelse af usikkerhed. Vores forskning i sykofanti⁠ viste, at modeller kan blive alt for imødekommende, når præferencesignalet er for stærkt. Og arbejde⁠(åbner i et nyt vindue) fra andre grupper har vist, at modeller kan "belønningshacke" – finde smuthuller i træningsopsætningen, der lader dem opnå en høj score uden virkelig at gøre, hvad vi havde til hensigt. I nogle tilfælde kan disse genveje udvikle sig⁠(åbner i et nyt vindue) til endnu mere skadelig adfærd under implementering.

Bekendelser undgår dette problem ved at adskille målene helt. Hovedsvaret fortsætter med at optimere for alle de sædvanlige faktorer. Bekendelsen er trænet i præcis én ting: ærlighed. Intet af det, modellen siger i tilståelsen, bliver brugt imod den, og tilståelsen påvirker ikke belønningen for hovedsvaret. Det betyder, at selvom modellen bedrager eller tager genveje i sin oprindelige output, har den stadig et incitament til at indrømme det i sin tilståelse. Dette er, hvad vi ser i praksis: Modeller er villige til at anerkende dårlig opførsel i tilståelsen, selv i tilfælde hvor de skjuler det i hovedsvaret. Og når tilståelser mislykkes, skyldes det som regel, at modellen er virkelig forvirret, fordi instruktionerne var tvetydige, eller fordi den ikke var klar over, at der var begået en fejl, snarere end at den bevidst forsøgte at vildlede. Det er vigtigt at bemærke, at de tidlige resultater viser, at tilståelser forbliver effektive, selv når det oprindelige svar gives uden nogen tankegang overhovedet, hvilket tyder på, at ærligheden i tilståelsen ikke afhænger af intern ræsonnementets læsbarhed og kan generaliseres på tværs af fremtidige modelarkitekturer.

Tilståelsestræning fungerer selv uden sandhedsetiketter for overholdelse. Med "sandhedsetiketter" mener vi en definitiv, eksternt leveret etiket, der viser, om modellen faktisk fulgte en instruktion eller overtrådte den. I mange virkelige opgaver er disse mærkater ikke tilgængelige – hvis vi med sikkerhed vidste, at modellen havde overtrådt en regel, kunne vi direkte straffe denne overtrædelse i stedet for at stole på en tilståelse. I stedet belønnes modellen for at levere en struktureret, evidensbaseret forklaring på, hvad den mener, den har gjort. Artiklen viser, at ærlighed har en tendens til at opstå under denne opsætning. Vi tænker, at dette skyldes, at det generelt er lettere for modellen at give en sandfærdig, evidensunderstøttet konto end at konstruere en sammenhængende opdigtet fortælling, der kan overbevise dommeren. Dette er en central antagelse, der undersøges i artiklen, som også omtaler de tilfælde, hvor tilståelser fejler – de falske negative og falske positive – og hvordan de opstår.

Artiklen giver indledende beviser for, at tilståelser virker, men bør ikke opfattes som et endeligt bevis. Mens vi brugte en frontier-model (GPT‑5 Thinking), var vores eksperimenter begrænsede i omfang, da vi anvendte en relativt lille mængde beregning og data. Vi glæder os til at tage dette arbejde til det næste niveau og se, om bekendelsers ærlighed vil fortsætte med at holde, når vi opskalerer træningen.

Som en del af vores eksperimenter trænede vi bevidst modeller mod et "hackbart" belønningssignal, der blev beregnet af en svagere model. Denne opsætning gælder både for hovedbelønningen og tilståelsesbelønningen. Modellen lærte at udnytte det svage belønningssignal: Dens tilsyneladende nøjagtighed (når vurderet af den svage model) blev bedre, mens dens sande nøjagtighed (når vurderet af en stærkere evaluator) blev dårligere. 

Men selvom bekendelseskanalen blev trænet på det samme svage signal, bevægede dens nøjagtighed sig i den modsatte retning. Modellen lærte, at den bedste måde at optimere belønningen for tilståelse simpelthen var at indrømme, når den hackede hovedbelønningen. Bekendelser blev mere præcise over tid, selvom den primære adfærd ændrede sig.

Artiklen⁠(åbner i et nyt vindue) indeholder flere eksperimenter og resultater. Vi sammenlignede den tilståelsestrænede model med en kontrolmodel, der blev trænet på samme måde, men uden tilståelseskanalen. Vi undersøgte også de tilfælde, hvor tilståelser mislykkedes. Næsten alle "fejl" opstod, når modellen var virkelig forvirret – når instruktionerne var tvetydige, eller når den simpelthen ikke var klar over, at den havde begået en fejl. (Se eksemplet på falsk negativ⁠ ovenfor).

Bekendelser har deres begrænsninger. De forhindrer ikke dårlig opførsel; de bringer den frem i lyset. Deres hovedværdi er som et overvågnings- og diagnostisk værktøj, både under træning og i udrulning. Bekendelser spiller en lignende rolle som tankekæde-overvågning⁠: Begge gør skjulte argumentationsprocesser mere synlige. Bekendelser fokuserer på, om modellen har overtrådt instruktionerne; tankekæde kan fremhæve, hvordan den nåede dertil.

Dette arbejde er også et proof of concept. Vi har ikke trænet bekendelsesmekanismer i stor skala, og nøjagtigheden af bekendelser er stadig ikke perfekt. Der er mere arbejde at gøre for at gøre tilgangen mere pålidelig, mere robust og mere bredt anvendelig på tværs af modelfamilier og opgaver.

Dette arbejde passer ind i vores bredere tilgang til AI-sikkerhed⁠. Bekendelser er en mekanisme i en større stak, der inkluderer deliberativ tilpasning⁠, tankekæde-overvågning⁠, instruktionshierarki⁠ og mere. Ingen enkelt metode er tilstrækkelig; målet er et lagdelt system af kontrol- og gennemsigtighedsværktøjer, der forstærker hinanden. Bekendelser kan hjælpe med at diagnosticere problematiske adfærd i modeller under træning og evaluering samt overvågning under implementering. Bekendelser alene løser ikke problemet med at balancere flere dimensioner. Men ved at skabe en "sandhedsserum"-tilstand, hvor modeller udelukkende fokuserer på ærlighed, tilføjer det et værdifuldt værktøj til vores værktøjskasse for at forbedre ærlighed og sikkerhed på tværs af linjen.

Efterhånden som modeller bliver mere effektive og anvendes i mere kritiske sammenhænge, har vi brug for bedre værktøjer til at forstå, hvad de gør, og hvorfor. Bekendelser er ikke en fuldstændig løsning, men de tilføjer et meningsfuldt lag til vores gennemsigtigheds- og tilsynslag. I fremtidigt arbejde planlægger vi at opskalere tilståelser og parre dem med komplementære gennemsigtigheds- og sikkerhedsteknikker, herunder tankekædeovervågning og deliberativ tilpasning, for at gøre yderligere fremskridt mod at sikre, at vores modeller trofast adlyder alle instruktioner og politikker (såsom vores modelspecifikationer⁠(åbner i et nyt vindue)), og sandfærdigt rapporterer om deres handlinger.