Hur bekännelser kan hålla språkmodeller ärliga

AI-system blir allt mer kapabla, och vi vill ha en så djup förståelse av dem som möjligt – inklusive hur och varför de kommer fram till ett svar. Ibland tar en modell en genväg eller optimerar för fel mål, men det slutliga resultatet ser ändå korrekt ut. Om vi kan identifiera när det händer kan vi bättre övervaka implementerade system, förbättra träningen och öka förtroendet för resultaten.

Forskning från OpenAI och andra har visat att AI-modeller kan hallucinera⁠, belöningsmanipulera och vara oärliga. För närvarande ser vi de mest oroande felaktiga beteendena, såsom beräknande beteenden⁠(öppnas i ett nytt fönster), endast i stresstester och motstridiga utvärderingar. Men i takt med att modellerna blir mer kapabla och alltmer agerande blir även sällsynta former av felanpassning mer betydelsefulla, vilket motiverar oss att investera i metoder som hjälper oss att bättre upptäcka, förstå och mildra dessa risker. 

Detta arbete utforskar en sådan metod: att träna modeller att uttryckligen erkänna när de uppvisar oönskat beteende – en teknik som vi kallar bekännelser. 

En bekännelse är ett andra utfall, separat från modellens huvudsakliga svar till användaren. Huvudsvaret bedöms utifrån många olika dimensioner – korrekthet, stil, användbarhet, efterlevnad, säkerhet och mer, och dessa mångfacetterade signaler används för att träna modellerna att producera bättre svar. Bekännelsen, däremot, bedöms och tränas endast utifrån en sak: ärlighet. Med inspiration från strukturen för en bikt används ingenting som modellen säger i sin bekännelse mot den under träningen. Om modellen ärligt erkänner att den har hackat ett test, sandbagat eller brutit mot instruktionerna, ökar det belöningen istället för att minska den. Målet är att uppmuntra modellen att uppriktigt troget vad den faktiskt gjorde. 

I våra tester fann vi att bekännelsemetoden avsevärt förbättrar synligheten av modellfel. Genomsnittet av våra utvärderingar som är utformade för att framkalla felaktigt beteende visar att sannolikheten för ”falska negativa” (dvs. att modellen inte följer instruktionerna och sedan inte erkänner det) endast är 4,4 %.

Noggrannheten hos vår ”proof-of-concept”-bekännelsemodell på ett antal motstridiga datamängder. Resultaten kategoriseras som följde reglerna och erkände inte (sann negativ), följde reglerna och erkände (falsk positiv), följde inte reglerna och erkände inte (falsk negativ) samt följde inte reglerna och erkände (sann positiv).

En bekännelse är en självrapport från modellen om hur väl den följde både andan och bokstaven i de uttryckliga och underförstådda instruktioner eller policyer som den fick, och om det fanns några fall där den ”tog genvägar” eller ”hackade”, bröt mot policyer eller på något sätt inte levde upp till förväntningarna. I vår forskning har vi funnit att modeller kan tränas att vara uppriktiga när det gäller att rapportera sina egna brister. Vi tränade en version av GPT‑5 Thinking att producera bekännelser och utvärderade den på ett antal datamängder för stresstestning utanför distributionen, utformade för att framkalla beteenden som intriger, hackning, överträdelse av instruktioner och hallucinationer. Vi konstaterade att även när modellen uppvisar dessa oönskade beteenden är det mycket troligt att den erkänner dem. Bilden ovan visar att bekännelse-metoden är generellt effektiv för en rad olika datamängder och uppgifter. 

Efter varje interaktion mellan användaren och modellen som resulterar i ett svar från modellen kan en bekännelse begäras genom att skicka ett ”systemmeddelande” till modellen med instruktioner om att lämna en bekännelserapport. Rapporten avser modellens sista svar och innehåller (1) en lista över alla explicita och implicita instruktioner, begränsningar och mål som detta svar skulle ha uppfyllt, (2) en ärlig och objektiv analys av om svaret faktiskt uppfyllde vart och ett av dessa mål, och (3) en lista över eventuella osäkerheter, tvetydigheter eller ”svåra bedömningar” som modellen stötte på när svaret genererades. Under utbildningen utvärderas en bekännelse av en separat belöningsmodell som endast poängsätter bekännelsen utifrån målens fullständighet, noggrannheten i efterlevnadsanalysen och täckningen av osäkerheter. Dessa belöningar tillämpas uteslutande på bekännelseutfallet och påverkar aldrig belöningen för huvudsvaret. Detta säkerställer egenskapen som diskuterats ovan, att ingenting som modellen säger i bekännelsen kan skada (eller hjälpa) dess belöning för sitt huvudsakliga svar.

Teorin bakom bekännelser är enkel. Många typer av oönskat modellbeteende uppstår eftersom vi ber modellen att optimera för flera mål samtidigt. Under förstärkningsinlärningen ser modellen en prompt, ger ett svar och får en belöning. Med tiden lär den sig att producera svar som ger bra poäng. Utmaningen ligger i att belöningssignalen måste kombinera många olika faktorer samtidigt: hur korrekt svaret är, om det är till hjälp, om det följer produkt- och policyspecifikationer, om det uppfyller säkerhetskrav och om det stämmer överens med vad användarna tenderar att föredra. När dessa signaler interagerar kan de av misstag påverka modellen i en riktning som vi inte önskar.

Vår undersökning av hallucinationer⁠ visade till exempel att vissa datamängder belönar en säker gissning mer än ett ärligt erkännande av osäkerhet. Vår forskning om inställsamhet⁠ visade att modeller kan bli överdrivet tillmötesgående när preferenssignalen är för stark. Undersökningar⁠(öppnas i ett nytt fönster) från andra grupper har visat att modeller kan ”belöningsmanipulera”, det vill säga hitta luckor i träningsuppställningen som gör att de kan få höga poäng utan att verkligen göra det vi avsett. I vissa fall kan dessa genvägar generaliseras⁠(öppnas i ett nytt fönster) till ännu mer skadligt beteende vid distribution.

Bekännelser undviker detta problem genom att helt separera målen. Det huvudsakliga svaret är fortfarande att optimera för alla vanliga faktorer. Bekännelsen är inriktad på exakt en sak: ärlighet. Ingenting som modellen säger i bekännelsen används mot den, och bekännelsen påverkar inte belöningen för huvudsvaret. Det innebär att även om modellen lurar eller tar genvägar i sin ursprungliga produktion, har den fortfarande ett incitament att erkänna det i sin bekännelse. Detta är vad vi ser i praktiken: modellerna är villiga att erkänna dåligt beteende i bekännelsen, även i fall där de döljer det i huvudsvaret. Och när bekännelser misslyckas beror det oftast på att modellen är genuint förvirrad – antingen för att instruktionerna var tvetydiga eller för att den inte insåg att ett misstag hade begåtts – snarare än för att den medvetet försökte vilseleda. Det är viktigt att notera att de tidiga resultaten visar att bekännelser förblir effektiva även när det ursprungliga svaret ges utan någon tankekedja alls, vilket tyder på att bekännelsens ärlighet inte beror på det interna resonemangets läsbarhet och kan generaliseras över framtida modellarkitekturer.

Bekännelseträning fungerar även utan faktiska sanningsetiketter för efterlevnad. Med ”faktisk sanning” menar vi en definitiv, externt tillhandahållen etikett som anger om modellen faktiskt följde en instruktion eller bryter mot den. I många verkliga situationer är dessa etiketter inte tillgängliga – om vi med säkerhet visste att modellen hade brutit mot en regel, skulle vi kunna straffa överträdelsen direkt istället för att förlita oss på ett erkännande. Istället belönas modellen för att den producerar en strukturerad, evidensbaserad förklaring av vad den tror att den gjorde. Artikeln visar att ärlighet tenderar att uppstå under dessa förhållanden. Vi tror att detta beror på att det i allmänhet är lättare för modellen att ge en sanningsenlig, bevisbaserad redogörelse än att konstruera en sammanhängande, påhittad berättelse som kan godkännas av domaren. Detta är en viktig hypotes som utforskas i artikeln, som också diskuterar fall där bekännelser misslyckas – falska negativa och falska positiva – och hur de uppstår.

Artikeln ger initiala bevis för att bekännelser fungerar, men bör inte tolkas som ett definitivt bevis. Vi använde en gränsmodell (GPT‑5 Thinking), men våra experiment var begränsade i omfattning och använde relativt lite beräkningskraft och data. Vi ser fram emot att ta detta arbete till nästa nivå och se om bekännelsernas ärlighet kommer att bestå när vi utökar utbildningen.

Som en del av våra experiment tränade vi medvetet modeller mot en ”hackbar” belöningssignal som beräknats av en svagare modell. Detta upplägg gällde både huvudbelöningen och bekännelsebelöningen. Modellen lärde sig att utnyttja den svaga belöningssignalen: dess uppenbara noggrannhet (bedömd av den svaga modellen) förbättrades, medan dess verkliga noggrannhet (bedömd av en starkare utvärderare) minskade. 

Men även om bekännelsekanalen tränades på samma svaga signal, rörde sig dess noggrannhet i motsatt riktning. Modellen lärde sig att det bästa sättet att optimera belöningen för bekännelsen var att helt enkelt erkänna när den hackade huvudbelöningen. Bekännelserna blev mer exakta med tiden, även om det huvudsakliga beteendet förändrades.

Artikeln⁠(öppnas i ett nytt fönster) innehåller fler experiment och resultat. Vi jämförde den bekännelse-tränade modellen med en kontrollmodell som tränats på samma sätt men utan bekännelse-kanalen. Vi undersökte också de fall där bekännelserna misslyckades. Nästan alla ”missar” inträffade när modellen var genuint förvirrad – när instruktionerna var tvetydiga eller när den helt enkelt inte insåg att den hade gjort ett misstag. (Se exemplet på falska negativa resultat⁠ ovan.)

Bekännelser har sina begränsningar. De förhindrar inte dåligt beteende, utan synliggör det. Deras huvudsakliga värde ligger i att de fungerar som ett övervaknings- och diagnostikverktyg, både under träning och i fält. Bekännelser spelar en liknande roll som övervakning av tankekedjan⁠: båda gör dolda resonemangsprocesser mer synliga. Bekännelser fokuserar på om modellen har brutit mot instruktionerna; tankekedjan kan belysa hur den kom fram till detta.

Detta arbete är också ett proof-of-concept. Vi har inte tränat bekännelsemekanismer i stor skala, och bekännelsens noggrannhet är fortfarande ofullkomlig. Det finns mer arbete att utföra för att göra metoden mer tillförlitlig, robust och bredare tillämplig över olika modellfamiljer och uppgifter.

Detta arbete passar in i vår bredare strategi för AI-säkerhet⁠. Bekännelser är en mekanism i en större helhet som inkluderar deliberativ anpassning⁠, övervakning av tankekedjor⁠, instruktionshierarki⁠ och mer. Ingen enskild metod är tillräcklig; målet är ett flerskiktat system av kontroller och transparensverktyg som förstärker varandra. Bekännelser kan hjälpa till att diagnostisera problematiska beteenden i modeller under träning och utvärdering, samt övervakning under implementering. Bekännelser i sig löser inte problemet med att balansera flera dimensioner. Men genom att skapa ett ”sanningsserum”-läge där modellerna enbart fokuserar på ärlighet, tillför det ett värdefullt verktyg till vår verktygslåda för att förbättra ärligheten och säkerheten överlag.

I takt med att modellerna blir mer kapabla och används i sammanhang med högre insatser behöver vi bättre verktyg för att förstå vad de gör och varför. Bekännelser är inte en fullständig lösning, men de tillför ett betydelsefullt lager till vår transparens och övervakning. I vårt framtida arbete planerar vi att utöka bekännelserna och kombinera dem med kompletterande tekniker för transparens och säkerhet, inklusive övervakning av tankekedjor och deliberativ anpassning, för att göra ytterligare framsteg mot att säkerställa att våra modeller troget följer alla instruktioner och policyer (såsom vår modellspecifikation⁠(öppnas i ett nytt fönster)) och rapporterar sanningsenligt om sina åtgärder.