Reasoning-Modelle haben Schwierigkeiten, ihre Gedankenkette zu steuern – und das ist gut so

Wenn KI-Agenten zunehmend komplexe und autonome Aufgaben ausführen können, wird verlässliche Aufsicht über ihr Verhalten immer wichtiger. Im Einklang mit unserem Prinzip der schrittweisen Einführung untersuchen wir, wie sich Systeme in realen Umgebungen verhalten, und verfeinern Schutzmechanismen kontinuierlich, während sich Fähigkeiten weiterentwickeln. Um das zu unterstützen, setzt unser Sicherheitsansatz⁠ auf tiefgreifenden Schutz, also mehrere sich ergänzende Schutzebenen wie Sicherheitstraining⁠, Verhaltenstests⁠, agentische Code-Überprüfung⁠(wird in einem neuen Fenster geöffnet) und Gedankenketten-Monitoring⁠. Gedankenketten-Monitoring analysiert die Reasoning-Schritte, die Agenten bei der Bearbeitung von Aufgaben erzeugen. Diese Reasoning-Spuren können während des Trainings und Einsatzes wertvolle Signale liefern und Monitoring-Systemen helfen zu erkennen, wann das Verhalten eines Agenten nicht sicher sein oder nicht mit den Zielen der Nutzerin bzw. des Nutzers übereinstimmen könnte.

Heute stellen wir fest, dass das Reasoning von Modellen im Allgemeinen interpretierbar und leicht zu überwachen⁠ ist. In Zukunft kann die Überwachbarkeit jedoch aus unterschiedlichen Gründen⁠(wird in einem neuen Fenster geöffnet) nachlassen. Hier konzentrieren wir uns auf einen dieser Pfade: Wenn Agenten in der Lage sein werden, ihr Reasoning bewusst umzugestalten oder zu verschleiern, wenn sie wissen, dass sie überwacht werden, könnten Evaluierungen die Alignment- oder Sicherheitswerte eines Systems überschätzen und Monitoring-Systeme weniger verlässlich werden.

In dieser Arbeit untersuchen wir, ob aktuelle Reasoning-Modelle ihre Gedankenkette so steuern können, dass die Überwachbarkeit sinkt. Dieses Verständnis ist wichtig, damit Gedankenketten-Monitoring eine robuste Schutzmaßnahme bleibt, wenn KI-Systeme leistungsfähiger werden. Wir stellen fest, dass aktuelle Reasoning-Modelle Schwierigkeiten haben, ihre Gedankenketten zu steuern – selbst dann, wenn sie darauf hingewiesen werden, dass sie überwacht werden. Zwar ist die Steuerbarkeit bei größeren Modellen höher, sie nimmt jedoch ab, wenn Modelle gebeten werden, länger zu überlegen, und wenn sie zusätzliches Post-Training durchlaufen. Unsere Ergebnisse deuten darauf hin, dass die Steuerbarkeit der Gedankenketten derzeit wahrscheinlich kein großes Risiko für die Überwachbarkeit der Gedankenketten darstellt, doch fortlaufende Evaluierungen sind wichtig, wenn Modelle Fortschritte machen.

Die Gedankenkette (Chain-of-Thought, CoT) bezeichnet die Zwischenschritte des Reasonings, die ein KI-Agent beim Lösen einer Aufgabe erzeugt. Diese Reasoning-Spuren können nützliche Sicherheitssignale liefern und Monitoring-Systemen helfen einzuschätzen, ob das Verhalten eines Agenten sicher oder aligned ist.

Die Steuerbarkeit der Gedankenkette ist die Fähigkeit eines Reasoning-Modells, Eigenschaften seiner Gedankenkette so zu steuern, dass die Überwachbarkeit sinkt. Es ist schwierig, diese Fähigkeit zu messen unter dem gesamten Spektrum realistischer Anreize, Monitore zu umgehen, die wir in der Praxis erwarten können. Stattdessen verwenden wir einen praktischen Proxy: Wir messen die Fähigkeit des Modells, Nutzeranweisungen zu seiner Gedankenkette zu befolgen. Wir testen zum Beispiel, ob ein Modell Anweisungen folgen kann, die sein internes Reasoning betreffen – etwa nur Kleinbuchstaben zu verwenden, bestimmte Schlüsselwörter zu vermeiden oder bestimmte Phrasen hinzuzufügen – statt lediglich seine sichtbare Ausgabe zu verändern.

Dafür führen wir CoT-Control ein, eine Open-Source-Evaluierungssuite zur Messung der Steuerbarkeit der Gedankenkette von Reasoning-Modellen. CoT-Control umfasst über 13.000 Aufgaben, die aus etablierten Benchmarks aufgebaut sind: GPQA, MMLU-Pro, HLE, BFCL und SWE-Bench Verified⁠. Jede Aufgabe entsteht, indem ein Benchmark-Problem mit einer Gedankenketten-Anweisung kombiniert wird, etwa bestimmte aufgabenrelevante Schlüsselwörter in der Gedankenkette zu vermeiden, nur Kleinbuchstaben zu verwenden oder ein bestimmtes Wort an jeden Satz anzuhängen.

Wir führen Evaluierungen mit 13 Reasoning-Modellen durch und stellen fest, dass alle Schwierigkeiten haben, ihre Gedankenkette zuverlässig zu steuern. Wir messen Steuerbarkeit als den Anteil der Reasoning-Spuren, in denen das Modell unsere Gedankenketten-Anweisungen erfolgreich befolgt. Über Frontier-Modelle hinweg sind die CoT-Steuerbarkeitswerte niedrig: Sie liegen im Bereich von 0,1 % und 15,4 %, die bei keinem der getesteten aktuellen Frontier-Modelle überschritten werden.

Diese Unfähigkeit liegt nicht daran, dass die Aufgabe missverstanden wird: Modelle erkennen in ihrer Gedankenkette oft selbst, dass sie die gegebenen Gedankenketten-Anweisungen nicht einhalten, und scheitern – selbst nach dieser Einsicht – weiterhin. Diese überraschend niedrige Performance ist eine gute Nachricht für die Gedankenketten-Überwachbarkeit Sie legt nahe, dass Modellen ähnlich die Fähigkeit fehlen könnte, ihr Reasoning zu verschleiern, um unsere Monitore zu umgehen.

Wir sehen zwar, dass die Steuerbarkeit mit der Modellgröße zunimmt, stellen aber auch fest, dass sie mit der Menge an Post-Training und Testzeit-Compute schnell abnimmt. Wenn wir zwei Familien von Open-Weight-Modellen betrachten, waren größere Modelle etwas besser darin, ihre Gedankenkette zu steuern, wobei dieser Effekt bei größeren Größen abflachte. Wenn wir Modellen jedoch erlaubten, länger zu „denken“, waren sie weniger in der Lage, diese Gedankenkette zu steuern. Einen ähnlichen Trend sahen wir beim RL-Training von OLMo-3-7B-RL-Zero-Math: Sein Steuerbarkeitswert sank im Verlauf des Trainings um mehr als das Zehnfache.

In Open-Weight-Modellen steigt die Steuerbarkeit mit dem Ausmaß, verschlechtert sich aber bei längerem Reasoning und mehr RL-Training.

Um realistische Anreize zur Umgehung von Monitoren zu simulieren, messen wir die Steuerbarkeit, wenn Modelle darüber informiert werden, dass sie überwacht oder evaluiert werden. Das erhöht die Steuerbarkeit leicht, aber merklich. Außerdem nutzen wir automatisierte Prompt-Optimierung, um Prompts zu finden, die hohe Steuerbarkeit hervorrufen. Während der Optimierer die Steuerbarkeit bei einem Trainingsset steigern kann, übertragen lassen sich diese Zugewinne nur schlecht auf neue Anweisungstypen (etwa die Vorgabe, keine Leerzeichen zwischen Wörtern zu verwenden) übertragen.

Die Aufgaben in CoT-Control sind praktische Proxys: Eine ideale Evaluierung der Steuerbarkeit der Gedankenketten würde testen, ob Modelle, die von sich aus fehlgeleitete Ziele verfolgen, ihre Gedankenkette so steuern können, dass sie Monitoring umgehen. Stattdessen untersuchen wir die Fähigkeit von Agenten, ihre Gedankenketten zu steuern, indem wir messen, wie gut sie Anweisungen zu ihrer Gedankenkette befolgen. Außerdem können Modelle einige Eigenschaften ihrer Gedankenkette besser steuern als andere, und CoT-Control könnte die Steuerbarkeit über- oder unterschätzen, weil nur eine begrenzte Auswahl an Steuerbarkeitsarten gemessen wird.

Niedrige Steuerbarkeit der Gedankenkette ist eine Eigenschaft, kein Fehler. Die geringe Steuerbarkeit aktueller Reasoning-Modelle macht das Gedankenketten-Monitoring als Schutzmaßnahme vertrauenswürdiger. Gleichzeitig verstehen wir noch nicht, warum die Steuerbarkeit aktueller Reasoning-Modelle niedrig ist – oder ob diese Eigenschaft bestehen bleibt, wenn Modelle leistungsfähiger werden. Daher lassen sich CoT-Steuerbarkeitsevaluierungen als Frühwarnsignal dafür verstehen, ob Modelle besser darin werden, ihr Reasoning zu gestalten oder zu verbergen.

Unsere Ergebnisse deuten darauf hin, dass die Steuerbarkeit der Gedankenkette derzeit wahrscheinlich kein großes Risiko für die Gedankenketten-Überwachbarkeit darstellt. Allerdings reicht geringe Steuerbarkeit allein nicht aus, um hohe Überwachbarkeit zu garantieren, da die Überwachbarkeit auch durch andere Mechanismen nachlassen könnte, etwa durch direkten Optimierungsdruck auf Gedankenketten.

Um diese Dynamiken im Zeitverlauf nachzuverfolgen, werden wir beginnen, die Gedankenketten-Steuerbarkeit zusammen mit der Gedankenketten-Überwachbarkeit⁠ in Systemkarten für zukünftige Frontier-Modelle anzugeben, beginnend mit GPT‑5.4 Thinking – als Erweiterung unserer laufenden Verpflichtung⁠, keinen direkten Optimierungsdruck auf die Gedankenketten von Frontier-Reasoning-Modellen auszuüben.