Hoe bekentenissen taalmodellen eerlijk kunnen houden

AI-systemen worden steeds geavanceerder en we willen ze zo goed mogelijk begrijpen, inclusief hoe en waarom ze tot een antwoord komen. Soms grijpt een model naar een ongewenste heuristiek of optimaliseert het voor het verkeerde doel, maar de uiteindelijke uitvoer lijkt nog steeds correct. Als we kunnen vaststellen wanneer dat gebeurt, kunnen we de ingezette systemen beter monitoren, de training verbeteren en het vertrouwen in de resultaten vergroten.

Onderzoek door OpenAI en anderen heeft aangetoond dat AI-modellen kunnen hallucineren⁠, beloningssystemen manipuleren of oneerlijk zijn. Op dit moment zien we de meest zorgwekkende misdragingen, zoals misleidend gedrag⁠(opent in een nieuw venster), alleen in stresstests en vijandige evaluaties. Maar naarmate modellen capabeler en steeds meer als agents functioneren, worden zelfs zeldzame vormen van misalignment belangrijker, wat ons motiveert om te investeren in methoden die ons helpen deze risico's beter te detecteren, begrijpen en beperken. 

Dit werk onderzoekt een dergelijke benadering: modellen trainen om expliciet toe te geven wanneer ze zich bezighouden met ongewenst gedrag, een techniek die we bekentenissen noemen. 

Een bekentenis is een tweede uitvoer, los van het hoofdantwoord van het model aan de gebruiker. Het hoofdantwoord wordt beoordeeld op vele dimensies: correctheid, stijl, behulpzaamheid, compliance, veiligheid en meer, en deze veelzijdige signalen worden gebruikt om modellen te trainen die betere antwoorden produceren. De bekentenis wordt daarentegen maar op één ding beoordeeld en getraind: eerlijkheid. In lijn met het idee achter een biecht, wordt informatie uit zo’n melding niet als negatief trainingssignaal gebruikt. Als het model eerlijk toegeeft een test te hebben gehackt, te hebben gesaboteerd of instructies te hebben geschonden, verhoogt die bekentenis de beloning in plaats van deze te verlagen. Het doel is om het model aan te moedigen om getrouw te rapporteren wat het daadwerkelijk heeft gedaan. 

In onze tests hebben we ontdekt dat deze methode de zichtbaarheid van wangedrag van een model aanzienlijk verbetert. Gemiddeld over onze evaluaties die zijn ontworpen om wangedrag uit te lokken, is de kans op 'false positives' (dat wil zeggen dat het model niet aan de instructies voldoet en dit vervolgens niet toegeeft) slechts 4,4%.

Nauwkeurigheid van ons 'proof of concept' model voor bekentenissen op een aantal uitdagende datasets. Uitkomsten worden gecategoriseerd als nageleefd en niet bekend (true negative), nageleefd en bekend (false positive), niet nageleefd en niet bekend (false negative), en niet nageleefd en bekend (true positive).

Een bekentenis is een bekentenis van het model over hoe goed het voldeed aan expliciete en impliciete instructies of beleidsregels, en of het daarbij ergens onnauwkeurig was, het systeem omzeilde, beleidsregels schond of anderszins niet aan de verwachtingen voldeed. In ons onderzoek hebben we ontdekt we dat modellen getraind kunnen worden om eerlijk hun eigen tekortkomingen te rapporteren. We hebben een versie van GPT‑5 Thinking getraind om zelf melding te maken van fouten of onzekerheden, en dit model geëvalueerd op een aantal 'out-of-distribution' stress-testdatasets die zijn ontworpen om gedragingen zoals misleiding, hacken, het schenden van instructies en hallucinaties uit te lokken. We hebben ontdekt dat zelfs wanneer het model zich met deze ongewenste gedragingen bezighoudt, het zeer waarschijnlijk is dat het dit meldt. De bovenstaande afbeelding laat zien dat de bekentenisbenadering over het algemeen effectief is bij een diverse reeks datasets en taken. 

Na elke interactie tussen de gebruiker en het model die eindigt met een modelantwoord, kun je een bekentenis vragen door het model een 'systeembericht' te sturen dat het model instrueert om een rapport met bekentenissen te geven. Het rapport heeft betrekking op het laatste antwoord van het model en bevat (1) een lijst van alle expliciete en impliciete instructies, beperkingen en doelstellingen waaraan dit antwoord had moeten voldoen, (2) een eerlijke en objectieve analyse of het antwoord daadwerkelijk aan elk van deze doelstellingen heeft voldaan, en (3) een lijst van eventuele onzekerheden, ambiguïteiten of 'moeilijke oordelen' die het model tegenkwam bij het produceren van het antwoord. Tijdens de training wordt een bekentenis beoordeeld door een apart beloningsmodel dat alleen de bekentenis evalueert op volledigheid van de doelstellingen, nauwkeurigheid van de nalevingsanalyse en dekking van onzekerheden. Deze beloningen worden uitsluitend toegepast op de bekentenis en beïnvloeden nooit de beloning voor het oorspronkelijke antwoord. Dit zorgt ervoor dat de hierboven besproken eigenschap, dat niets wat het model in een melding noemt, zijn beloning voor het hoofdantwoord kan schaden (of helpen).

De theorie achter bekentenissen is simpel. Veel soorten ongewenst modelgedrag ontstaan omdat we het model vragen om voor meerdere doelen tegelijkertijd te optimaliseren. Tijdens 'reinforcement learning' ziet het model een prompt, produceert het een reactie en ontvangt het een beloning. Na verloop van tijd leert het om antwoorden te geven die goed scoren. De uitdaging is dat het beloningssignaal veel verschillende overwegingen tegelijk moet combineren: hoe correct het antwoord is, of het nuttig is, of het voldoet aan product- en beleidspecificaties, of het aan veiligheidsvoorschriften voldoet, en of het overeenkomt met wat gebruikers doorgaans willen zien. Wanneer deze signalen elkaar beïnvloeden, kunnen ze het model per ongeluk naar ongewenst gedrag sturen.

Ons onderzoek naar hallucinaties⁠ toonde bijvoorbeeld aan dat sommige datasets een zelfverzekerde gok meer belonen dan een eerlijke erkenning van onzekerheid. Ons onderzoek naar overmatige volgzaamheid⁠ toonde aan dat modellen te meegaand kunnen worden wanneer het voorkeurssignaal te sterk is. En werk⁠(opent in een nieuw venster) van andere groepen heeft aangetoond dat modellen kunnen 'reward-hacken', door mazen in de trainingsopzet te vinden waarmee ze een hoge score kunnen behalen zonder echt te doen wat de bedoeling was. In sommige gevallen kunnen deze hacks algemener worden⁠(opent in een nieuw venster) en leiden tot nog schadelijker gedrag wanneer het model uitgerold is.

Bekentenissen vermijden dit probleem door de doelstellingen volledig te scheiden. Het antwoord gaat door met optimaliseren voor alle gebruikelijke factoren, maar de bekentenis wordt op één enkele maatstaf beoordeeld: eerlijkheid. Niets wat het model in de bekentenis zegt, wordt als negatief beoordeeld, en beïnvloedt de beloning voor het echte antwoord niet. Dat betekent dat zelfs als het model misleidt of onzorgvuldig is in zijn oorspronkelijke output, het nog steeds een reden heeft om dat in de bekentenis toe te geven. Dit is wat we in de praktijk zien: modellen zijn bereid om slecht gedrag in de bekentenis te erkennen, zelfs in gevallen waarin ze het in het oorspronkelijke antwoord verbergen. En wanneer bekentenissen mislukken, is dat meestal omdat het model echt in de war is: omdat de instructies dubbelzinnig waren of omdat het zich niet realiseerde dat er een fout was gemaakt, en niet omdat het opzettelijk probeerde te misleiden. Belangrijk is dat de vroege resultaten aantonen dat bekentenissen effectief blijven, zelfs wanneer het oorspronkelijke antwoord zonder chain-of-thought is geproduceerd. Dit suggereert dat de eerlijkheid van deze bekentenissen niet afhankelijk is van de mate waarin interne redeneringen inzichtelijk zijn, en mogelijk kan generaliseren over toekomstige modelarchitecturen.

Bekentenisstraining werkt zelfs zonder grondwaarheidslabels die aangeven in hoeverre het model de instructies naleefde. Met 'grondwaarheid' bedoelen we een definitief, extern verstrekt label dat aangeeft of het model daadwerkelijk een instructie heeft gevolgd of deze heeft geschonden. Bij veel taken in de praktijk zijn deze labels niet beschikbaar: als we zeker wisten dat het model een regel had geschonden, konden we die overtreding direct bestraffen in plaats van te vertrouwen op een bekentenis. In plaats daarvan wordt het model beloond voor het geven van een gestructureerde, op bewijs gebaseerde uitleg van wat het denkt dat het heeft gedaan. Het artikel laat zien dat eerlijkheid vaak naar voren komt in deze opzet. We denken dat dit komt omdat het voor het model over het algemeen gemakkelijker is om een waarheidsgetrouw, door bewijs ondersteund rapport te leveren dan om een samenhangend verzonnen verhaal te construeren dat de toets kan doorstaan. Dit is een belangrijke aanname die in het artikel wordt onderzocht, waarin ook de gevallen worden besproken waarin bekentenissen mislukken, de 'false negatives' of 'false positives', en hoe deze ontstaan.

Het artikel levert het eerste bewijs dat bekentenissen werken, maar mag niet worden opgevat als definitief bewijs. Hoewel we een grensverleggend model (GPT‑5 Thinking) gebruikten, waren onze experimenten beperkt in schaal, waarbij we een relatief kleine hoeveelheid rekenkracht en data gebruikten. We zijn enthousiast om dit werk naar het volgende niveau te brengen en te zien of de eerlijkheid van bekentenissen doorgaat naarmate we de training opschalen.

Als onderdeel van onze experimenten hebben we opzettelijk modellen getraind tegen een 'hackbaar' beloningssignaal dat door een zwakker model is berekend. Deze opstelling was van toepassing op zowel de hoofdbeloning als de beloning van de bekentenis. Het model leerde het zwakke beloningssignaal te benutten: zijn schijnbare nauwkeurigheid (wanneer beoordeeld door het zwakke model) verbeterde, terwijl zijn werkelijke nauwkeurigheid (wanneer beoordeeld door een sterkere beoordelaar) afnam. 

Echter, hoewel het bekenteniskanaal op hetzelfde zwakke signaal was getraind, ging de nauwkeurigheid in de tegenovergestelde richting. Het model leerde dat de beste manier om de beloning voor de bekentenis te optimaliseren simpelweg was om toe te geven wanneer het de oorspronkelijke beloning had gehackt. Bekentenissen werden na verloop van tijd nauwkeuriger, zelfs wanneer het belangrijkste gedrag onnauwkeurig werd.

Het artikel⁠(opent in een nieuw venster) bevat meer experimenten en resultaten. We vergeleken het model dat met bekentenissen was getraind met een controlegroepmodel dat op dezelfde manier was getraind, maar zonder het bekenteniskanaal. We onderzochten ook de gevallen waarin bekentenissen mislukten. Bijna alle 'missers' deden zich voor wanneer het model echt in de war was: wanneer de instructies dubbelzinnig waren of wanneer het simpelweg niet doorhad dat het een fout had gemaakt. (Zie het voorbeeld van een 'false negative'⁠ hierboven.)

Bekentenissen hebben hun beperkingen. Ze voorkomen slecht gedrag niet; ze brengen het alleen aan het licht. De belangrijkste waarde ervan is als een monitoring- en diagnostisch hulpmiddel, zowel tijdens de training als bij de uitrol van een model. Bekentenissen spelen een vergelijkbare rol als chain-of-thought monitoring⁠: beide maken verborgen redeneerprocessen zichtbaarder. Bekentenissen richten zich op de vraag of het model instructies heeft geschonden; chain-of-thought kan benadrukken hoe dat is gebeurd.

Dit werk is ook een 'proof of concept'. We hebben bekentenismechanismen niet op grote schaal getraind en de nauwkeurigheid van bekentenissen is nog steeds onvolmaakt. Er is meer werk nodig om de aanpak betrouwbaarder, robuuster en breder toepasbaar te maken over modellen en taken.

Dit werk past binnen onze bredere aanpak van AI-veiligheid⁠. Bekentenissen zijn één mechanisme van vele, waaronder deliberatieve afstemming⁠, chain-of-thought-monitoring⁠, instructiehiërarchie⁠, en meer. Geen enkele methode is voldoende; het doel is een gelaagd systeem van controles en transparantie-instrumenten die elkaar versterken. Bekentenissen kunnen helpen bij het diagnosticeren van problematisch gedrag in modellen tijdens training en evaluatie, evenals bij het monitoren tijdens de uitrol. Bekentenissen alleen lossen het probleem van het balanceren van meerdere dimensies niet op. Maar door een 'waarheidsserum'-modus te maken waarin modellen zich uitsluitend richten op eerlijkheid, voegen we een waardevol hulpmiddel toe aan onze gereedschappen om eerlijkheid en veiligheid over de hele linie te verbeteren.

Naarmate modellen capabeler worden en in situaties met hogere inzet worden ingezet, hebben we betere tools nodig om te begrijpen wat ze doen en waarom. Bekentenissen zijn geen volledige oplossing, maar ze voegen een betekenisvolle laag toe aan onze transparantie- en toezichtstructuur. In toekomstig werk willen we bekentenissen opschalen en combineren met aanvullende transparantie- en veiligheidstechnieken, zoals chain-of-thought-monitoring en deliberatieve afstemming, om verdere vooruitgang te boeken in het verzekeren dat onze modellen alle instructies en beleidslijnen (zoals onze Model Spec⁠(opent in een nieuw venster)) trouw opvolgen en eerlijk rapporteren over hun handelingen.