Wie zwei Einstellungen unsere Punktzahl im ARC-AGI-3-Benchmark verdreifachten
Ein beschleunigtes Video zeigt GPT‑5.6 Sol beim Lösen von Rätseln im ARC-AGI-3-Benchmark: links mit dem offiziellen Harness, rechts mit unserem Responses-API-Harness, der Reasoning beibehält und Compaction aktiviert. In der Bestenliste für dieses Spiel(wird in einem neuen Fenster geöffnet) löst kein Frontier-Modell eine Stufe nach der ersten. Mit unserem Harness löst GPT‑5.6 Sol alle sechs.
Als wir erstmals die niedrigen Punktzahlen von GPT‑5.6 Sol im Benchmark ARC-AGI-3(wird in einem neuen Fenster geöffnet) sahen, waren wir irritiert.
GPT‑5.6 Sol hat seit Langem ungelöste mathematische Probleme wie die Cycle-Double-Cover-Vermutung(wird in einem neuen Fenster geöffnet) gelöst und Spiele wie Pokémon FireRed bezwungen. Doch bei ARC-AGI-3, einem Benchmark mit 2D-Rätselspielen, erzielte GPT‑5.6 Sol nur 7,8 %. GPT‑5.5 konnte die Spiele kaum spielen und kam auf magere 0,4 %.
Waren 2D-Rätselspiele für unsere Modelle ungewöhnlich schwierig? Oder steckte etwas anderes dahinter?
Benchmarks messen KI-Modelle selten isoliert. Sie erfassen auch weniger sichtbare Entscheidungen zu API-Einstellungen, Harness-Design und Prompting. Bei ARC-AGI-3 stellten wir fest: Zwei API-Einstellungen, die wir in ChatGPT und Codex verwenden, verdreifachten die Punktzahl im öffentlichen Aufgabensatz und reduzierten die Zahl der Ausgabetokens auf ein Sechstel. Es handelte sich um beibehaltenes Reasoning und Compaction (Kontextverdichtung).
Mit dem offiziellen Harness erzielte GPT‑5.6 Sol im öffentlichen ARC-AGI-3-Datensatz 13,3 %. Mit gespeichertem Reasoning und Compaction (Kontextverdichtung) waren es 38,3 %. Die Punktzahlen messen die Relative Human Action Efficiency (RHAE(wird in einem neuen Fenster geöffnet)), eine Kennzahl, die die Leistung des Modells mit einem menschlichen Referenzwert vergleicht. Anhand offizieller Spielprotokolle(wird in einem neuen Fenster geöffnet) schätzen wir die durchschnittliche Punktzahl der Testpersonen auf 48 %. Die Modelle wissen nicht, wie sie bewertet werden, und sehen ihre Punktzahl während des Spiels nicht. Aktionen liefern lediglich eine Textdarstellung des jeweiligen Bildes und die aktuelle Stufe zurück.
ARC-AGI-3 ist ein Benchmark, der misst, wie gut KI-Agenten lernen und schlussfolgern. Die Agenten erkunden unbekannte 2D-Spiele und erschließen deren Funktionsweise ohne ausdrückliche Anleitung. Unter arcprize.org/tasks(wird in einem neuen Fenster geöffnet) kannst du 25 Demospiele spielen.
ARC-AGI-3 verwendet bewusst einen allgemeinen Harness ohne Tools oder besondere Funktionen. ARC ging davon aus, dass ein einfacher Harness Schwächen von Modellen deutlicher macht und fairere Modellvergleiche ermöglicht. Kommerzielle Entwicklerteams optimieren Harnesses dagegen für die Funktionen und Eigenheiten des jeweiligen Modells.
Bei Spielen hat GPT‑5.6 Sol Pokémon FireRed mit einem reinen Vision-Harness bezwungen (gestreamt von GPT_Plays_Pokemon(wird in einem neuen Fenster geöffnet)), Slay the Spire über die Computernutzung von Codex gemeistert (gestreamt von EpochAI(wird in einem neuen Fenster geöffnet)) und die ersten Stufen von Baba Is You gelöst (geteilt von Piotr Migdał & Piotr Grabowski(wird in einem neuen Fenster geöffnet)). Was war bei ARC-AGI-3 so anders?
Ethan Mollick zeigt(wird in einem neuen Fenster geöffnet), wie GPT‑5.6 Sol in Codex eine zufällige tägliche Herausforderung in Slay the Spire 2 bewältigt. Das Spiel erschien erst nach dem Wissensstichtag von GPT‑5.6 Sol.
Angeregt durch ARCs Analyse der Schwächen von GPT‑5.5(wird in einem neuen Fenster geöffnet) untersuchten wir einige Versuche von GPT‑5.6 Sol. Wie ARC gewannen auch wir den Eindruck, dass das Modell nicht besonders clever vorging. Es grübelte lange über jede Aktion nach und kam nur schwer voran.
Bei genauerer Betrachtung stellten wir jedoch fest, dass ein Großteil der Verwirrung nicht am Modell selbst lag, sondern an den Einstellungen des Harnesses.
Zunächst bemerkten wir, dass nach jeder Spielaktion das gesamte private Reasoning verworfen wurde. Dadurch musste GPT‑5.6 Sol das Spiel bei jeder Aktion neu erschließen, ohne sich an frühere Überlegungen erinnern zu können. Das Modell sah weiterhin eine Aufzeichnung früherer Züge und kurze begleitende Notizen, nicht aber die Pläne, Erkenntnisse oder Gedanken, die dazu geführt hatten.
Außerdem verwendete der Harness ein gleitendes Kürzungsfenster. Mit zunehmendem Verlauf wurden ältere Aktionen dadurch unsichtbar. GPT‑5.6 Sol konnte sich also weder an frühere Überlegungen noch an frühere Aktionen erinnern.
Diese beiden Eigenschaften des Harnesses, das Verwerfen des Reasoning und die gleitende Kürzung, erklärten gemeinsam, warum GPT‑5.6 Sol im Laufe der Zeit kaum dazulernte.
Unsere Modelle werden darauf trainiert, vor der Ausgabe von Antworten oder Tool-Aufrufen mit privaten Reasoning-Nachrichten zu arbeiten. Diese privaten Denknachrichten bleiben als Teil des Gesprächsverlaufs erhalten. Wird ein Gespräch zu lang, fassen wir es zusammen und setzen es fort.
So werden unsere Modelle trainiert und auch in ChatGPT und Codex eingesetzt. Um unsere Produktionsumgebung besser abzubilden, implementierten wir den ARC-AGI-3-Harness mit unserer Responses API(wird in einem neuen Fenster geöffnet). Unsere API vereinfacht die Verwaltung des Kontexts: Bei GPT‑5.6 genügt es, die ID der vorherigen Antwort zu übergeben. Dadurch bleibt das Reasoning über Tool-Aufrufe und Gesprächsrunden hinweg automatisch erhalten.
Als das Reasoning erhalten blieb, bemerkten wir zwei große Veränderungen. Erstens dachte GPT‑5.6 Sol vor jeder Aktion kürzer nach, da es das Spiel nicht mehr in jeder Runde von Grund auf neu interpretieren musste. Zweitens lernte GPT‑5.6 Sol im Laufe der Zeit deutlich besser und verfolgte schlüssige Strategien, wenn es sich an frühere Überlegungen erinnern konnte.
Die nächste Verbesserung erzielten wir, indem wir die gleitende Kürzung durch Compaction(wird in einem neuen Fenster geöffnet) ersetzten, eine weitere Einstellung der Responses API.
Der ARC-AGI-3-Harness begegnet Kontextgrenzen mit gleitender Kürzung. Überschreitet der Gesprächskontext 175.000 Zeichen, werden die ältesten Nachrichten verworfen.
Die gleitende Kürzung hat zwei Nachteile. Erstens verliert das Modell frühere Beobachtungen und Aktionen. Zweitens arbeitet es während eines Großteils der Aufgaben mit einem stärker gefüllten Kontextfenster, was die Leistung leicht beeinträchtigen kann.
Nachdem wir Compaction für ARC-AGI-3 aktiviert hatten, konnte GPT‑5.6 Sol das Wissen über die einzelnen Spiele über längere Durchläufe hinweg besser bewahren. So erzielte es mit weniger Ausgabetokens eine höhere Punktzahl.
Die folgende Animation veranschaulicht die Wirkung von beibehaltenem Reasoning und aktivierter Compaction. Sie zeigt, wie GPT‑5.6 Sol mit den jeweiligen Harnesses eine Reihe von ARC-AGI-3-Rätseln innerhalb seines Kontextfensters von 175.000 Tokens löst.
Die beiden mittleren Spalten zeigen, wie die Harnesses das Kontextfenster des Modells unterschiedlich nutzen. Weil sich GPT‑5.6 Sol besser an frühere Schritte erinnert, denkt es vor jeder Aktion kürzer nach und kommt deutlich schneller voran. Hinweis: Unsere Implementierung begrenzt den Kontext auf 175.000 Tokens statt auf 175.000 Zeichen. Das Ergebnis ist jedoch sehr ähnlich, da der Großteil des Textes aus Aktionsrastern besteht, die unser Tokenizer im Verhältnis 1:1 tokenisiert.
Beibehaltenes Reasoning und Compaction ermöglichen GPT‑5.6 Sol (max) gemeinsam eine etwa dreimal so hohe Punktzahl bei sechsmal weniger Ausgabetokens.
Diese Experimente sollen daran erinnern, dass Evaluationen Modelle selten isoliert messen. Sie erfassen zugleich eine Reihe weniger sichtbarer Entscheidungen zu API-Einstellungen, Harness-Design und Prompting. Es ist nicht das erste Mal, dass uns niedrige Punktzahlen in einem öffentlichen Benchmark überraschen und wir anschließend feststellen, dass das Evaluationssystem einen allgemeinen Harness verwendet, der Reasoning-Nachrichten verwirft.
Wenn du APIs entwickelst und die Leistung maximieren möchtest, empfehlen wir dieselben Einstellungen, die wir in unseren eigenen Produkten einsetzen:
- Verwende unsere Responses API statt der veralteten Chat Completions API
- Behalte das Reasoning bei
- Verwende Compaction
Wenn du Modelle vergleichst, empfehlen wir Evaluationen mit den oben genannten Einstellungen. Sie entsprechen der realen Nutzung in ChatGPT und Codex am besten.
Wir danken ARC für die langjährige kreative Arbeit an der Evaluation von AGI und für die Analyse, die uns zu dieser genaueren Untersuchung angeregt hat.
Wenn du dich selbst mit Frontier-Modellen messen möchtest, probiere die öffentlichen Spiele unter arcprize.org/tasks(wird in einem neuen Fenster geöffnet) aus.
