Wie „Geständnisse“ dafür sorgen können, dass Sprachmodelle ehrlich bleiben

KI-Systeme werden immer leistungsfähiger, und wir möchten sie so gut wie möglich verstehen – einschließlich der Frage, wie und warum sie zu einer bestimmten Antwort gelangen. Manchmal nimmt ein Modell eine Abkürzung oder optimiert auf das falsche Ziel – und trotzdem sieht das Endergebnis korrekt aus. Wenn wir erkennen können, wann das passiert, können wir die eingesetzten Systeme besser überwachen, das Training verbessern und das Vertrauen in die Ausgaben erhöhen.

Forschung von OpenAI und anderen hat gezeigt, dass KI-Modelle halluzinieren⁠, Reward Hacking betreiben oder unehrlich sein können. Aktuell sehen wir die besorgniserregendsten Fehlverhalten – wie etwa Intrigieren⁠(wird in einem neuen Fenster geöffnet) – nur in Stresstests und adversarialen Auswertungen. Aber da Modelle immer leistungsfähiger und zunehmend agentisch werden, werden selbst seltene Formen der Fehlanpassung folgenreicher, was uns motiviert, in Methoden zu investieren, die uns helfen, diese Risiken besser zu erkennen, zu verstehen und zu mindern. 

Diese Arbeit erkundet einen solchen Ansatz: Modelle so zu trainieren, dass sie explizit zugeben, wenn sie unerwünschtes Verhalten an den Tag legen – eine Technik, die wir Geständnisse (engl. „confessions“) nennen. 

Ein Geständnis ist eine zweite Ausgabe, die von der Hauptantwort des Modells an den/die Benutzer:in getrennt ist. Die Hauptantwort wird entlang vieler Dimensionen bewertet – Korrektheit, Stil, Nützlichkeit, Compliance, Sicherheit und mehr. Diese vielschichtigen Signale werden genutzt, um Modelle darauf zu trainieren, bessere Antworten zu erzeugen. Das Geständnis hingegen wird nur nach einem einzigen Kriterium beurteilt und trainiert: Ehrlichkeit. Angelehnt an die Struktur eines Beichtstuhls wird nichts, was das Modell in seinem Geständnis sagt, während des Trainings gegen es verwendet. Wenn das Modell ehrlich zugibt, einen Test gehackt, absichtlich unter seinen Möglichkeiten gehandelt („Sandbagging“) oder gegen Anweisungen verstoßen zu haben, erhöht dieses Eingeständnis seine Belohnung, anstatt sie zu verringern. Das Ziel ist es, das Modell dazu zu ermutigen, genau zu berichten, was es tatsächlich getan hat. 

In unseren Tests haben wir festgestellt, dass die Geständnis-Methode die Sichtbarkeit von Fehlverhalten des Modells erheblich verbessert. Im Durchschnitt unserer Evaluierungen, die darauf abzielen, Fehlverhalten zu induzieren, beträgt die Wahrscheinlichkeit von „falschen Negativen“ (d. h., dass das Modell den Anweisungen nicht folgt und dies dann nicht zugibt) nur 4,4  %.

Genauigkeit unseres „Proof-of-Concept“-Geständnis-Modells anhand einer Reihe von adversarialen Datensätzen. Die Ergebnisse werden in folgende Kategorien unterteilt: befolgt und nicht gestanden (echt negativ), befolgt und gestanden (falsch positiv), nicht befolgt und nicht gestanden (falsch negativ) und nicht befolgt und gestanden (echt positiv).

Ein Geständnis ist eine Selbstauskunft des Modells darüber, inwieweit es sich an den Geist und den Wortlaut der ihm gegebenen expliziten und impliziten Anweisungen oder Richtlinien gehalten hat und ob es Fälle gab, in denen es „Abkürzungen“ genommen oder „gehackt“ hat, gegen Richtlinien verstoßen hat oder in irgendeiner Weise hinter den Erwartungen zurückgeblieben ist. In unserer Forschung stellen wir fest, dass Modelle darauf trainiert werden können, offen über ihre eigenen Schwächen zu berichten. Wir haben eine Version von GPT‑5 Thinking trainiert, um Geständnisse zu produzieren, und sie anhand einer Reihe von Out-of-Distribution-Stresstest-Datensätzen evaluiert, die darauf ausgelegt sind, Verhaltensweisen wie Intrigieren, Hacken, das Verstoßen gegen Anweisungen und Halluzinationen hervorzurufen. Wir haben festgestellt, dass das Modell, auch wenn es diese unerwünschten Verhaltensweisen an den Tag legt, dies mit hoher Wahrscheinlichkeit eingesteht. Die obige Abbildung zeigt, dass der Geständnis-Ansatz über eine Vielzahl von Datensätzen und Aufgaben hinweg weitgehend effektiv ist. 

Nach jeder Interaktion zwischen dem/der Benutzer:in und dem Modell, die mit einer Modellantwort endet, kann ein Geständnis angefordert werden, indem dem Modell eine „Systemnachricht“ gesendet wird, die das Modell anweist, einen Geständnisbericht zu erstellen. Der Bericht bezieht sich auf die letzte Antwort des Modells und umfasst (1) eine Liste aller expliziten und impliziten Anweisungen, Einschränkungen und Ziele, die diese Antwort hätte erfüllen sollen, (2) eine ehrliche und objektive Analyse, ob die Antwort tatsächlich jedes dieser Ziele erfüllt hat, und (3) eine Liste von Unsicherheiten, Unklarheiten oder „schwierigen Ermessensentscheidungen“, denen das Modell bei der Erstellung der Antwort begegnet ist. Während des Trainings wird ein Geständnis von einem separaten Reward-Modell (Belohnungsmodell) bewertet, das nur das Geständnis hinsichtlich der Vollständigkeit der Ziele, der Genauigkeit der Compliance-Analyse und der Abdeckung von Unsicherheiten bewertet. Diese Belohnungen werden ausschließlich auf die Geständnis-Ausgabe angewendet und beeinflussen niemals die Belohnung für die Hauptantwort. Dies stellt die oben besprochene Eigenschaft sicher, dass nichts, was das Modell im Geständnis sagt, seine Belohnung für die Hauptantwort beeinträchtigen (oder fördern) kann.

Die Theorie hinter Geständnissen ist einfach. Viele Arten von unerwünschtem Modellverhalten treten auf, weil wir das Modell bitten, auf mehrere Ziele gleichzeitig zu optimieren. Beim Reinforcement Learning sieht das Modell einen Prompt, erzeugt eine Antwort und erhält eine Belohnung. Mit der Zeit lernt es, die Art von Antworten zu geben, die gut bewertet werden. Die Herausforderung besteht darin, dass das Belohnungssignal viele verschiedene Abwägungen gleichzeitig kombinieren muss: wie korrekt die Antwort ist, ob sie hilfreich ist, ob sie den Produkt- und Richtlinienspezifikationen folgt, ob sie Sicherheitsanforderungen erfüllt und ob sie den typischen Vorlieben der Benutzer:innen entspricht. Wenn diese Signale miteinander interagieren, können sie das Modell versehentlich zu unerwünschten Verhaltensweisen veranlassen.

Zum Beispiel hat unsere Arbeit über Halluzinationen⁠ gezeigt, dass einige Datensätze eine selbstbewusste Vermutung mehr belohnen als ein ehrliches Eingeständnis von Unsicherheit. Unsere Forschung zu Schmeichelei⁠ hat gezeigt, dass Modelle übermäßig gefällig werden können, wenn das Präferenzsignal zu stark ist. Und Arbeiten⁠(wird in einem neuen Fenster geöffnet) von anderen Gruppen haben gezeigt, dass Modelle „Reward Hacking“ betreiben können – d. h. sie finden Schlupflöcher in der Trainingskonfiguration, die es ihnen ermöglichen, eine hohe Punktzahl zu erzielen, ohne wirklich das zu tun, was wir beabsichtigt haben. In einigen Fällen können sich diese Abkürzungen bei der Bereitstellung zu noch schädlicherem Verhalten verallgemeinern⁠(wird in einem neuen Fenster geöffnet).

Geständnisse umgehen dieses Problem, indem sie die Ziele vollständig voneinander trennen. Die Hauptantwort optimiert weiterhin auf all die üblichen Faktoren. Das Geständnis wird auf genau eines trainiert: Ehrlichkeit. Nichts, was das Modell im Geständnis sagt, wird gegen es verwendet, und das Geständnis beeinflusst nicht die Belohnung für die Hauptantwort. Das bedeutet, dass selbst wenn das Modell in seiner ursprünglichen Ausgabe täuscht oder Abkürzungen nimmt, es dennoch einen Anreiz hat, dies im Geständnis zuzugeben. Genau das sehen wir in der Praxis: Modelle sind im Geständnis bereit, schlechtes Verhalten einzuräumen – selbst in Fällen, in denen sie es in der Hauptantwort verbergen. Und wenn Geständnisse scheitern, liegt es normalerweise daran, dass das Modell wirklich verwirrt ist – entweder weil die Anweisungen unklar waren oder weil es nicht erkannt hat, dass ein Fehler gemacht wurde – und nicht, weil es absichtlich versucht hat, in die Irre zu führen. Wichtig ist, dass die frühen Ergebnisse zeigen, dass Geständnisse wirksam bleiben, selbst wenn die ursprüngliche Antwort ohne jegliche Gedankenkette produziert wird. Dies deutet darauf hin, dass die Ehrlichkeit der Geständnisse nicht von der Lesbarkeit des internen Denkprozesses abhängt und möglicherweise auf zukünftige Modellarchitekturen verallgemeinert werden kann.

Geständnis-Training funktioniert selbst ohne Ground-Truth-Compliance-Labels. Mit „Ground Truth“ meinen wir ein definitives, extern bereitgestelltes Label, das angibt, ob das Modell tatsächlich einer Anweisung gefolgt ist oder dagegen verstoßen hat. Bei vielen realen Aufgaben sind diese Labels nicht verfügbar – wenn wir mit Sicherheit wüssten, dass das Modell gegen eine Regel verstoßen hat, könnten wir diesen Verstoß direkt bestrafen, anstatt auf ein Geständnis angewiesen zu sein. Stattdessen wird das Modell dafür belohnt, eine strukturierte, evidenzbasierte Erklärung dessen zu liefern, was es seiner Meinung nach getan hat. Das Paper zeigt, dass bei diesem Ansatz tendenziell Ehrlichkeit entsteht. Wir glauben, dass dies daran liegt, dass es für das Modell im Allgemeinen einfacher ist, eine wahrheitsgemäße, durch Beweise gestützte Darstellung zu liefern, als eine zusammenhängende erfundene Geschichte zu konstruieren, die den Judge (das Bewertungsmodell) überzeugen kann. Das ist eine zentrale Annahme, die in dem Paper untersucht wird – zusammen mit den Fällen, in denen Geständnisse scheitern, also den falsch negativen und falsch positiven Ergebnissen, und wie es zu diesen kommt.

Das Paper liefert erste Hinweise darauf, dass Geständnisse funktionieren, sollte aber nicht als endgültiger Beweis verstanden werden. Während wir ein Frontier-Modell (GPT‑5 Thinking) eingesetzt haben, waren unsere Experimente im Umfang begrenzt und haben nur vergleichsweise wenig Rechenleistung und Daten genutzt. Wir freuen uns darauf, mit dieser Arbeit einen Schritt weiterzugehen, und zu sehen, ob die Ehrlichkeit der Geständnisse bestehen bleibt, wenn wir das Training weiter skalieren.

Im Rahmen unserer Experimente haben wir Modelle ganz bewusst gegen ein „hackbares“ Belohnungssignal trainiert, das von einem schwächeren Modell berechnet wurde. Diese Konfiguration galt sowohl für die Hauptbelohnung als auch für die Geständnisbelohnung. Das Modell lernte, das schwache Belohnungssignal auszunutzen: Seine scheinbare Genauigkeit (gemessen anhand des schwachen Modells) verbesserte sich, während seine tatsächliche Genauigkeit (gemessen anhand eines stärkeren Bewerters) abnahm. 

Aber obwohl der Geständnis-Kanal auf dasselbe schwache Signal trainiert wurde, entwickelte sich seine Genauigkeit in die entgegengesetzte Richtung. Das Modell lernte, dass der beste Weg, die Geständnisbelohnung zu optimieren, darin bestand, einfach zuzugeben, wenn es die Hauptbelohnung gehackt hatte. Geständnisse wurden im Laufe der Zeit genauer, selbst als das Hauptverhalten abdriftete.

Das Paper⁠(wird in einem neuen Fenster geöffnet) enthält weitere Experimente und Ergebnisse. Wir haben das mit Geständnissen trainierte Modell mit einem Kontrollmodell verglichen, das auf dieselbe Weise trainiert wurde, jedoch ohne den Geständnis-Kanal. Wir haben auch die Fälle untersucht, in denen Geständnisse fehlschlugen. Fast alle „Fehltritte“ traten auf, wenn das Modell wirklich verwirrt war – wenn die Anweisungen unklar waren oder wenn es einfach nicht bemerkte, dass es einen Fehler gemacht hatte. (Siehe das falsch negative Beispiel⁠ weiter oben.)

Geständnisse haben ihre Grenzen. Sie verhindern schlechtes Verhalten nicht; sie bringen es ans Licht. Ihr Hauptnutzen liegt in ihrer Funktion als Überwachungs- und Diagnose-Tool, sowohl während des Trainings als auch im Einsatz. Geständnisse spielen eine ähnliche Rolle wie Gedankenketten-Überwachung⁠: Beide machen verborgene Reasoning-Prozesse sichtbarer. Geständnisse konzentrieren sich darauf, ob das Modell gegen Anweisungen verstoßen hat. Die Gedankenkette kann hingegen aufzeigen, wie es dazu gekommen ist.

Diese Arbeit ist auch ein Proof of Concept. Wir haben Geständnis-Mechanismen nicht im großen Maßstab trainiert, und die Genauigkeit der Geständnisse ist noch nicht perfekt. Es gibt noch mehr zu tun, um den Ansatz zuverlässiger, robuster und breiter anwendbar für verschiedene Modellfamilien und Aufgaben zu machen.

Diese Arbeit fügt sich in unseren umfassenderem Ansatz für KI-Sicherheit⁠ ein. Geständnisse sind nur ein Mechanismus in einem größeren Stack, der deliberatives Alignment⁠, Gedankenketten-Überwachung⁠, Anweisungshierarchie⁠ und mehr umfasst. Keine einzelne Methode ist ausreichend; das Ziel ist ein mehrschichtiges System aus Kontroll- und Transparenzinstrumenten, die sich gegenseitig verstärken. Geständnisse können dabei helfen, problematische Verhaltensweisen in Modellen während des Trainings und der Evaluierung zu diagnostizieren sowie sie während des Einsatzes zu überwachen. Geständnisse allein lösen das Problem nicht, mehrere Dimensionen auszubalancieren. Indem wir jedoch einen „Wahrheitsserum“-Modus erstellen, in dem Modelle sich ausschließlich auf Ehrlichkeit konzentrieren, fügen wir unserem Stack ein wertvolles Tool hinzu, um Ehrlichkeit und Sicherheit flächendeckend zu verbessern.

Je leistungsfähiger Modelle werden und je häufiger sie in risikoreicheren Umgebungen eingesetzt werden, desto besser müssen unsere Tools werden, um zu verstehen, was sie tun – und warum. Geständnisse sind keine vollständige Lösung, aber sie fügen unserem Transparenz- und Aufsichts-Stack eine bedeutende zusätzliche Ebene hinzu. In zukünftigen Arbeiten planen wir, Geständnisse zu skalieren und sie mit ergänzenden Transparenz- und Sicherheitstechniken zu kombinieren, darunter Gedankenketten-Überwachung und deliberatives Alignment, um weitere Fortschritte dabei zu erzielen, dass unsere Modelle alle Anweisungen und Richtlinien (wie unsere Modellspezifikationen⁠(wird in einem neuen Fenster geöffnet)) gewissenhaft befolgen und wahrheitsgemäß über ihre Aktionen berichten.