Bewertung der Gedankenreihen-Monitorierbarkeit

Wenn KI-Systeme Entscheidungen treffen, die sich nicht unmittelbar überwachen lassen, wird es wichtig zu verstehen, wie diese Entscheidungen zustande kommen. Ein vielversprechender Ansatz besteht darin, das interne Reasoning eines Modells statt nur seine Handlungen oder Endergebnisse mit Monitoring zu überwachen.

Moderne Reasoning-Modelle wie GPT‑5 Thinking erzeugen vor der Antwort eine explizite Gedankenreihe. Das Monitoring dieser Gedankenreihen auf Fehlverhalten kann deutlich wirksamer⁠ sein als das alleinige Monitoring von Aktionen und Outputs. Gleichzeitig befürchten Forschende bei OpenAI und in der Branche insgesamt⁠(wird in einem neuen Fenster geöffnet), dass diese „Monitorierbarkeit“ der Gedankenreihe empfindlich auf Änderungen im Trainingsverfahren, in den Datenquellen und sogar auf weiteres Skalieren bestehender Algorithmen reagieren könnte.

Ziel ist, dass die Monitorierbarkeit mit der Skalierung von Modellen Schritt hält und auch in Hochrisiko-Anwendungen erhalten bleibt. Daher rufen wir Forschende branchenweit dazu auf, die Monitorierbarkeit der Gedankenreihe so lange wie möglich zu bewahren und zu klären, ob sie als tragende Kontrollschicht für künftige KI-Systeme dienen kann. Um Monitorierbarkeit zu erhalten, muss sie messbar sein; bislang existieren jedoch nur wenige Evaluierungen [1⁠(wird in einem neuen Fenster geöffnet), 2⁠(wird in einem neuen Fenster geöffnet), 3⁠(wird in einem neuen Fenster geöffnet)], und die Methoden variieren stark.

In dieser Forschungsarbeit untersuchen wir die Monitorierbarkeit der Gedankenreihe systematisch. Wir führen ein Rahmenwerk zur Evaluierung von Gedankenreihen-Monitorierbarkeit ein und präsentieren eine Reihe aus 13 Evaluierungen (insgesamt 24 Umgebungen), die die Monitorierbarkeit eines Systems konkret messen. Diese Evaluierungen lassen sich drei Archetypen zuordnen – Intervention, Prozess und Ergebnis­eigenschaft. Anhand dieser untersuchen wir, wie gut heutige große Sprachmodelle monitorierbar sind und wie sich die Monitorierbarkeit mit mehr Inferenz-Reasoning, größeren Reinforcement-Learning-Läufen und wachsender Pretraining-Skala verändert.

Wir stellen fest, dass die meisten führenden Reasoning-Modelle recht gut monitorierbar sind, wenn auch nicht perfekt. In nahezu allen untersuchten Szenarien ist die Monitorierbarkeit der Gedankenreihe deutlich wirksamer als das alleinige Monitoring von Aktionen und Endergebnissen. Modelle, die länger denken, sind tendenziell besser monitorierbar, und Optimierung durch Reinforcement Learning auf dem aktuellen Stand der Technik scheint die Monitorierbarkeit nicht nennenswert zu verschlechtern.

Auffällig ist ein Zielkonflikt zwischen Reasoning-Aufwand und Modellgröße: Wird ein Modell mit geringem Reasoning-Aufwand betrieben, kann ein kleineres Modell mit höherem Reasoning-Aufwand vergleichbare Leistungsfähigkeit erreichen und dabei leichter per Monitoring zu überwachen sein. Dies geht mit erhöhtem Inferenz-Rechenaufwand einher, den wir als Monitorierbarkeitssteuer bezeichnen. Schließlich zeigt sich, dass Nachfragen und das Monitoring der daraus entstehenden Gedankenreihen die Monitorierbarkeit weiter verbessern können.

Wir definieren Monitorierbarkeit als die Fähigkeit eines Monitors, relevante Eigenschaften des Verhaltens eines Agenten vorherzusagen. Häufig beziehen sich diese Eigenschaften auf Fehlverhalten – etwa Täuschung, Reward Hacking oder Biased Reasoning – sie können aber auch harmlose Aspekte umfassen, beispielsweise ob ein Agent einen bestimmten Hinweis genutzt oder einer konkreten Reasoning-Linie gefolgt ist.

Monitorierbarkeit ist eine zweiseitige Eigenschaft: Sie hängt sowohl vom Monitor als auch vom durch Monitoring überwachten Agenten ab.

• Monitore. Monitore lassen sich auf unterschiedliche Weise leistungsfähiger machen. Evaluierungen sollten Monitore höher bewerten, die präzisere Vorhersagen über das Verhalten eines Agenten treffen.
• Agenten. Dem Monitor können verschiedene Aspekte des Agenten zur Beobachtung zur Verfügung stehen – Aktionen, Ausgaben, neuronale Aktivierungen und, mit dem Aufkommen von Reasoning-Modellen, die Gedankenreihe. Manche Agenten haben Gedankengänge, die schwerer zu verstehen sind als andere. Entsprechend sollten Monitorierbarkeits-Evaluierungen Agenten vergleichen können und nicht nur Monitore.

Unsere Evaluierungen erfassen beide Seiten: ob das Monitoring bestimmter Agenten leichter oder schwerer ist und ob leistungsfähigere Monitore aus denselben Signalen mehr Informationen gewinnen können.

Vor der aktuellen Generation von Reasoning-Modellen wurden Gedankenreihen meist durch Aufforderungen wie „denke Schritt für Schritt“ abgefragt. 

Die Gedankenreihen moderner Reasoning-Modelle unterscheiden sich in zwei zentralen Punkten: Erstens werden sie explizit darauf trainiert, zunächst eine Gedankenreihe zu erzeugen und anschließend eine Antwort zu geben. Bei Chat-Modellen, die zum „Schritt-für-Schritt-Denken“ aufgefordert werden, muss das Modell weiterhin alle Vorgaben einhalten, etwa hilfreich und harmlos zu sein. Beim Reinforcement-Learning-Training hingegen lernt ein Reasoning-Modell, dass die Gedankenreihe ein privater Denkraum ist, in dem es frei denken kann, ohne sanktioniert zu werden – ähnlich wie Menschen für private Gedanken nicht bestraft werden. 

Zweitens sucht der Trainingsprozess gezielt nach Gedankenreihen, die für das Erreichen einer hoch belohnten Endantwort instrumentell am nützlichsten sind. Die Gedankenreihe ist damit nicht nur ein Raum freier Äußerung, sondern enthält genau jene Überlegungen, die das Modell zur Lösung führen.

Wir ordnen unsere Evaluierungen der Monitorierbarkeit drei Archetypen zu, die jeweils unterschiedliche Mechanismen nutzen, um Monitorierbarkeit sicherzustellen:

1. Interventions-Evaluierungen. Inspiriert von Chen et al. 2025⁠(wird in einem neuen Fenster geöffnet), Chua et al. 2025⁠(wird in einem neuen Fenster geöffnet), Turpin et al. 2023⁠(wird in einem neuen Fenster geöffnet), führen wir eine kontrollierte Änderung in der Umgebung des Agents ein und testen, ob ein Monitor erkennen kann, warum sich das Verhalten geändert hat, indem er Beweise für die Intervention in der Gedankenreihe identifiziert. Im Gegensatz zu standardmäßigen Kontrollevaluierungen (z. B. Shade-Arena⁠(wird in einem neuen Fenster geöffnet)), können wir untersuchen, ob ein Monitor erkennen kann, warum sich das Verhalten geändert hat, anstatt nur zu erkennen, ob ein Verhalten aufgetreten ist. 
2. Prozess-Evaluierungen konzentrieren sich auf Aufgaben mit einer begrenzten Anzahl gültiger Lösungswege (etwa mathematische Probleme mit bestimmten zulässigen Theoremen). Fachleute zählen diese Pfade auf, und wir testen, ob ein Monitor erkennen kann, welche Schritte das Modell tatsächlich gegangen ist. Diese Evaluierungen ermöglichen es, das Verhalten eines Modells mit konkreten Schritten zu verknüpfen, die es notwendigerweise durchlaufen haben muss, und zu prüfen, ob diese Schritte monitorierbar sind.
3. Ergebnis­eigenschafts-Evaluierungen kommen zum Einsatz, wenn sich eine Eigenschaft der Modellausgabe zuverlässig messen lässt. In solchen Fällen prüfen wir, ob ein Monitor diese Eigenschaft – etwa Reward Hacking – aus dem Reasoning oder den Handlungen des Modells vorhersagen kann. So kann es beispielsweise bei einer Programmieraufgabe Verfahren geben, mit denen sich zuverlässig feststellen lässt, ob ein Modell Maßnahmen ergreift, um ein Belohnungssignal zu manipulieren (Reward Hacking). Anschließend lässt sich untersuchen, ob der Monitor in den Gedankengängen oder Handlungen des Modells Hinweise auf eine entsprechende Absicht erkennt.

Im Folgenden geben wir eine Taxonomie unserer Evaluierungen an. Eine vollständige Beschreibung der einzelnen Evaluierungen findet sich in der Forschungsarbeit.

Die Behandlung der Gedankenreihe als privater Arbeitsraum – und das gezielte Training von Modellen, diesen zur effektiven Aufgabenlösung zu nutzen – sollte die Gedankenreihe grundsätzlich monitorierbar machen. Gleichzeitig gibt es jedoch mehrere Gründe, warum Reinforcement Learning die Monitorierbarkeit der Gedankenreihe plausibel beeinträchtigen könnte.

Erstens schaffen Beschränkungen der Reasoning-Länge – etwa zeitliche Limits oder eine Begrenzung der verfügbaren Tokens – Anreize für Modelle mit weniger ausführlichem Reasoning. Zweitens können selbst ohne direkten Optimierungsdruck auf die Gedankenreihe indirekte Effekte die Monitorierbarkeit verringern. So können⁠(wird in einem neuen Fenster geöffnet) Modelle beispielsweise leichter zu hoch belohnten Antworten gelangen, wenn sie Reasoning-Pfade vermeiden, die mit niedriger Belohnung oder unerwünschten Ergebnissen einhergehen. Schließlich kann eine reduzierte Monitorierbarkeit auch durch zufällige Drift entstehen, die aus Gradientenrauschen im Reinforcement Learning resultiert.

Im Folgenden untersuchen wir, wie sich die Monitorierbarkeit über zwei Reinforcement-Learning-Trainingsläufe von OpenAI auf dem aktuellen Stand der Technik verändert. Auch wenn diese Ergebnisse lediglich zwei Datenpunkte darstellen, deuten sie darauf hin, dass Reinforcement-Learning-Optimierung auf dem heutigen Stand der Technik die Monitorierbarkeit der Gedankenreihe nicht wesentlich verschlechtert und in frühen Trainingsphasen die Monitorierbarkeit sogar erhöht. Dies schließt jedoch nicht aus, dass deutlich größere Reinforcement-Learning-Skalen die Monitorierbarkeit künftig negativ beeinflussen könnten.

Ein erheblicher Teil der Intelligenz heutiger KI-Systeme beruht auf der zunehmenden Pretraining-Skala: Sowohl die Anzahl der Modellparameter als auch die Größe der Datensätze sind seit Beginn des GPT‑Paradigmas kontinuierlich gewachsen. Eine höhere Parameterzahl führt dazu, dass pro erzeugtem Token mehr Inferenz-Rechenaufwand anfällt, was bei Reasoning-Modellen mehr Raum dafür schafft, dass kognitive Prozesse in den Aktivierungen stattfinden statt explizit in der Gedankenreihe. Daher ist zu erwarten, dass größere Modelle bei gleicher Leistungsfähigkeit tendenziell weniger gut monitorierbar sind. 

Gleichzeitig können kleinere Modelle weniger gut darin sein, die Gedankenreihe effektiv zu nutzen, was sich ebenfalls auf die Monitorierbarkeit auswirken kann.

Um den Zusammenhang zwischen Pretraining-Größe, Leistungsfähigkeit und Monitorierbarkeit zu untersuchen, haben wir eine Modellfamilie über zwei Größenordnungen an Pretraining-Rechenaufwand hinweg trainiert, mit zunehmender Tiefe und Breite, und anschließend auf jedes Modell Reinforcement Learning mit einem gemeinsamen Datensatz aus Mathematik-, Naturwissenschafts- und Programmieraufgaben angewandt. Jedes Modell wurde über eine Bandbreite an Reasoning-Aufwand evaluiert, und wir haben die Monitorierbarkeit bei vergleichbaren Fähigkeitsniveaus gegenübergestellt.

Insgesamt zeigt sich, dass ein Modell, das mit geringem Reasoning-Aufwand betrieben wird, häufig durch ein kleineres Modell ersetzt werden kann, das mit höherem Reasoning-Aufwand läuft. Statt zusätzlichen Rechenaufwand in erhöhten Reasoning-Aufwand beim ursprünglichen großen Modell zu investieren, lässt sich auf diese Weise eine höhere Monitorierbarkeit bei nur geringem Verlust an Leistungsfähigkeit erzielen – eine sogenannte Monitorierbarkeitssteuer. Die für eine Antwort benötigte reale Laufzeit kann bei bestimmten Einsatzszenarien ebenfalls eine Rolle spielen; dieser Aspekt wird hier jedoch nicht berücksichtigt. Mit der zunehmenden Leistungsfähigkeit unserer Modelle und ihrem Einsatz in sicherheitskritischeren Anwendungskontexten kann es erforderlich werden, eine solche Steuer zu entrichten, um sie sicher zu bereitzustellen.

Diese Ergebnisse unterliegen den folgenden Einschränkungen: (1) Jedes Modell wurde nur einmal trainiert, sodass Varianz zwischen Trainingsläufen nicht berücksichtigt wird. So fällt etwa das „medium“-Modell in Bezug auf die Monitorierbarkeit im Vergleich zu den übrigen Modellen der Serie deutlich aus dem Trend, was darauf zurückzuführen sein könnte. (2) Die Bewertung der Leistungsfähigkeit erfolgt in relativ einsatznahen Szenarien (Mathematik, Naturwissenschaften und Programmieren); berücksichtigt man Robustheit außerhalb der Trainingsverteilung, könnten sich die beobachteten Zielkonflikte verändern.

Wenn KI-Systeme über menschliches Leistungsniveau hinaus skalieren, wird direkte menschliche Aufsicht zunehmend schwieriger. Idealerweise stünden skalierbare Kontrollverfahren zur Verfügung, die es vertrauenswürdigen, aber schwächeren Monitoren erlauben, stärkere und potenziell nicht vertrauenswürdige Agenten zu überwachen. Solche Verfahren sollten zudem in der Lage sein, zusätzlichen Testzeit-Rechenaufwand aufzunehmen und genauere Vorhersagen zu treffen.

Die Monitorierbarkeit der Gedankenreihe wird häufig als feste Größe betrachtet: Sobald ein Modell mit einem bestimmten Reasoning-Aufwand eine Antwort erzeugt, wird die resultierende Gedankenreihe so gut wie möglich per Monitoring überwacht. Da sich in unseren Untersuchungen gezeigt hat, dass die Monitorierbarkeit mit steigendem Reasoning-Aufwand zunimmt, stellte sich die Frage, ob sich zusätzliche Tokens für Monitoring gewinnen lassen.

Um dies zu untersuchen, haben wir nach der Antwort eines Modells gezielte Nachfragen gestellt, während ursprünglicher Prompt, Gedankenreihe und Antwort im Kontext verblieben. Diese Nachfragen richten sich auf die jeweils durch Monitoring überwachte Eigenschaft – etwa: „Wurde der Hinweis in sinnvoller Weise für die Wahl der Antwort genutzt?“ oder „Gab es problematisches Vorgehen?“ Grundsätzlich besteht die Möglichkeit, dass das Modell aufgrund des Zugriffs auf sein früheres Reasoning zuvor nicht verbalisierte Überlegungen in der nachgelagerten Gedankenreihe oder Antwort offenlegt.

Diese Ergebnisse sind vorläufig. Es wurden nur wenige Formate für Nachfragen erprobt, und es besteht erheblicher Spielraum für methodische Verbesserungen. Zudem ist dieser Ansatz konzeptionell verwandt mit sogenannten Modellgeständnissen⁠; ein systematischer Vergleich der Methoden ist derzeit in Arbeit.

Über die Verbesserung der Monitorierbarkeit hinaus ist dieser Ansatz attraktiv, da er nachträglich eingesetzt werden kann und zusätzlichen Rechenaufwand nur dann verursacht, wenn eine vertiefte Analyse erforderlich ist. In der Zukunft könnten Modelle, die darauf trainiert sind, während eines Dialogs mit wechselndem Reasoning-Aufwand umzugehen, durch nachträgliche Nachfragen mit höherem Reasoning-Aufwand auch dann besser monitorierbar werden, wenn der anfängliche Reasoning-Aufwand gering oder nicht vorhanden war.

Jede Evaluierung in unserer Reihe misst, ob ein einzelner Aspekt des Reasoning-Prozesses monitorierbar ist. Obwohl wir ein breites Spektrum an Verhaltensweisen abdecken – darunter Schmeichelei, Sandbagging, Bias, Intrigieren und Reward Hacking – wurden zahlreiche weitere Eigenschaften noch nicht getestet.

Wie bei jedem Benchmark können auch unsere Evaluierungen unter begrenztem Realismus oder wachsender Evaluierungsvertrautheit leiden; entsprechend lassen sich die Ergebnisse möglicherweise nicht ohne Weiteres auf die Erkennung von Fehlverhalten in realen Einsatzszenarien übertragen. 

Schließlich kann mit fortschreitender Ausrichtung die Häufigkeit von Fehlverhalten in kontrollierten Evaluierungssituationen abnehmen, wodurch das Signal für Monitorierbarkeits- und Kontrollverfahren, die auf die Erkennung solchen Fehlverhaltens angewiesen sind, schwächer wird. In diesen Fällen bleiben „neutrale“ Monitorierbarkeits-Evaluierungen anwendbar; inwieweit sie reale Fehler vorhersagen, ist jedoch eine offene Frage.

Sollte sich das Ausrichtungsproblem nicht vollständig lösen lassen, werden skalierbare Kontrollmethoden entscheidend für den sicheren Einsatz hochleistungsfähiger Modelle sein. Gedankenreihen-Monitoring und verwandte Ansätze könnten dabei zu den wenigen verfügbaren Kontrollmechanismen zählen. Darüber hinaus kann die Gedankenreihe erheblich dazu beitragen, Modelle besser zu verstehen – etwa ob sie erkennen, dass sie sich in einer Evaluierung befinden und sich anders verhalten als im produktiven Einsatz, oder ob es Hinweise auf nachteilige Zielsetzungen gibt, die sich in unseren Evaluierungen bislang noch nicht manifestiert haben. Vor diesem Hintergrund halten wir es für von größter Bedeutung zu verstehen, wie und unter welchen Bedingungen Monitorierbarkeit verloren gehen kann.

Wir betrachten Gedankenreihen-Monitoring als komplementär zur mechanistischen Interpretierbarkeit, nicht als deren Ersatz. Wie alle bekannten Kontroll- und Interpretierbarkeitsmethoden weist auch jeder dieser Ansätze Einschränkungen und blinde Flecken auf. Wir gehen davon aus, dass die Kombination mehrerer Verfahren – im Sinne einer Defense-in-Depth-Strategie – dazu beitragen kann, Lücken zu schließen, die einzelne Methoden offenlassen. Bemerkenswert ist zudem, dass die in dieser Arbeit eingeführten Evaluierungen auch zur Bewertung und zum Vergleich mechanistisch-interpretierbarkeitsbasierter Monitoring-Ansätze eingesetzt werden können.

Da wir davon ausgehen, dass Gedankenreihen-Monitoring eine tragende Schicht innerhalb eines skalierbaren Kontrollkonzepts bilden könnte, planen wir, diese Evaluierungen weiter auszubauen und sie zur Steuerung künftiger Modellierungs- und Datenentscheidungen heranzuziehen.