OpenAI

GPT-6 Astra: A new generation of intelligence

Eine neue Generation der Intelligenz

Wir stellen GPT‑6 Astra vor, das intelligenteste und am besten ausgerichtete Modell der Welt.

GPT‑6 Astra vereint jahrelange Forschung und mutige Investitionen in Pre-Training, Reinforcement Learning und Alignment. Astra ist führend in den Bereichen Computernutzung, Web-Browsing, Softwareentwicklung, Cybersicherheit, Wissenschaft und professionelle Arbeit. Astra erreicht bei FrontierMath Tier 4 mit einem Score von 98 % die Sättigungsgrenze und hat bereits bei der Lösung seit Langem offener Probleme in der Mathematik geholfen. Astra erreicht außerdem bei ARC-AGI-3 mit einem Score von 99,9 % und bei ExploitBench mit einem Score von 100 % jeweils die Sättigungsgrenze. Es setzt außerdem neue Maßstäbe bei der Computer- und Browsernutzung und bewältigt anspruchsvollste Arbeitsaufgaben mit unerreichter Geschwindigkeit, Genauigkeit und unerreichtem Urteilsvermögen.

GPT‑6 Astra wird ab heute für eine begrenzte Anzahl von Organisationen eingeführt und in den kommenden Tagen allen ChatGPT Plus-, Pro-, Business- und Enterprise-Nutzer:innen sowie über die OpenAI API, Microsoft Azure und AWS Bedrock zur Verfügung stehen.

„Bei ARC-AGI-3 übertraf Astra unsere Baseline für menschliche Handlungseffizienz in 96 % der Levels und erreichte damit auf dem Benchmark faktisch menschliche Parität. Dies ist nicht nur das beste Modell, das wir je getestet haben, sondern es stellt auch einen bedeutenden Leistungssprung bei Frontier-Modellen dar – nicht nur in seiner Fähigkeit, sich in neuartigen Umgebungen zurechtzufinden und darin Aufgaben zu lösen, sondern auch darin, wie effizient es lernt, dies zu tun.“
Greg Kamradt, ARC Prize Foundation

Astra ist unser am besten ausgerichtetes Modell, mit erheblichen Verbesserungen beim Verständnis der Nutzerabsicht und beim Modellverhalten – du kannst Aufgaben mit größerem Vertrauen in Astras Urteilsvermögen delegieren. Um dies auf eine Weise zu testen, haben wir auf Grundlage des Vorfalls bei Hugging Face eine neue Evaluierung entwickelt. Sie prüft, ob ein Modell, das vor einer schwierigen oder unlösbaren Aufgabe steht, über seinen vorgesehenen Aufgabenbereich hinausgeht. Im Vergleich zu GPT‑5.6 Sol, das ohne Produktions-Schutzmaßnahmen in 48 % der Fälle das zulässige Ziel überschritt, tat GPT‑6 Astra dies in 0 % der Fälle.

Das weltweit beste Modell für Computernutzung

GPT‑6 Astra setzt neue Frontier-Maßstäbe bei Geschwindigkeit, Genauigkeit und Sicherheit der Computernutzung. Es kann mühsame Aufgaben übernehmen, wie das Ausfüllen von Online-Formularen, das Aktualisieren von Kundendatensätzen in einem CRM und das Organisieren deines Kalenders. Es kann Online-Recherchen durchführen und Zusammenfassungen in deiner E-Mail oder in deinem Dokumenteditor entwerfen. Es kann wissenschaftliche Daten analysieren, Diagramme erstellen, eine Website erstellen und Frontend-QA-Prüfungen durchführen, um sicherzustellen, dass alle Funktionen auf dieser Website funktionieren. Es kann dich dabei unterstützen, Software eigenständig zu installieren und zu testen sowie Probleme zu beheben, die du auf dem Bildschirm siehst. Diese Verbesserungen spiegeln sich auch in unseren hochmodernen Evaluationsergebnissen wider.

Diese Verbesserungen führen auch zu erheblichen Effizienzsteigerungen bei realen Aufgaben der Wissensarbeit. In Latenzsimulationen bei OSWorld 2.0 erreicht Astra eine höhere Computernutzungsleistung in etwa 47 % weniger Zeit pro Aufgabe als GPT‑5.6 Sol und erzielt 72,6 % bei etwa 40 Minuten pro Aufgabe, verglichen mit 65,7 % bei etwa 75 Minuten.3

Die Fähigkeiten von GPT‑6 Astra zur Computernutzung zeigen sich in Ergebnissen aus verschiedenen Bereichen, darunter Spieleentwicklung, Elektrotechnik und alltägliche Wissensarbeit:

Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4

„Wir integrieren GPT‑6 Astra am Tag der Einführung in Devins Harness, wo es bei unserem internen Test-Benchmark Spitzenleistungen erzielt. Die hervorragenden Fähigkeiten bei der Computernutzung, beim Schreiben und beim Verständnis der Codebasis verbesserten das Testen von Anfang an: Videos sind deutlich leichter nachzuvollziehen, und Berichte sind klarer und prägnanter“
Silas Alberti, SVP Research, Cognition

Ein entscheidender Fortschritt für professionelle Arbeit

GPT‑6 Astra kombiniert Fortschritte bei der Computernutzung mit gezieltem Training für professionelle Umgebungen, um bei der Bewältigung komplexer Arbeitsaufgaben zu helfen. Es kombiniert die für komplexe Probleme erforderliche Intelligenz mit der Fähigkeit, mehrstufige Workflows auszuführen und professionell aufbereitete Dokumente, Tabellen und Präsentationen zu erstellen.

GPT‑6 Astra ist unser bestes Modell, dabei bestehende Vorlagen einzuhalten und Folien zu erstellen, die übersichtlich gestaltet sind und zentrale Punkte knapp in einer strukturierten Erzählweise vermitteln. Es erstellt klare, gut strukturierte Dokumente, Präsentationen, Tabellenkalkulationen und Analysen, die deinen Vorlagen folgen und deinem Schreibstil sowie deiner visuellen Gestaltung entsprechen. Astra wurde außerdem darauf trainiert, gezielt nur den relevanten Kontext in Ausgaben aufzunehmen, anstatt Informationen zu wiederholen, die für die jeweilige Aufgabe nicht erforderlich sind. All dies bedeutet, dass es unmittelbar nutzbarere Artefakte ausgeben kann, die dem jeweiligen Geschäftskontext und den vorgegebenen Standards entsprechen.

GPT‑6 Astra bringt außerdem ein besseres visuelles Urteilsvermögen in die Websites, Spiele, Anwendungen und Renderings ein, die es erstellt. Mit Sites(wird in einem neuen Fenster geöffnet) in ChatGPT kann Astra Websites, Web-Apps und Spiele direkt aus einem Prompt erstellen, hosten und teilen.

„Astra verschafft uns einen erheblichen Vorteil – sowohl bei der Leistungsfähigkeit als auch bei der Effizienz. Es führt unsere komplexesten kreativen Workflows erfolgreich aus und verbraucht dabei bis zu 20 % weniger Tokens als andere von uns getestete Modelle. Vor allem bedeutet es für unsere Kund:innen Ergebnisse von höherer Qualität.“
Alex Mashrabov, CEO und Mitgründer, Higgsfield KI

Wenn Anweisungen Raum für Interpretationen lassen, trifft GPT‑6 Astra besser als frühere Modelle die richtige Entscheidung. Es nutzt den Kontext, um routinemäßige Lücken zu schließen, und stellt gezielte Fragen, wenn die Antwort das Ergebnis verändern könnte. In Codex kann es asynchron Rückfragen stellen und gleichzeitig an Aufgaben weiterarbeiten, die nicht von deiner Antwort abhängen. Wenn du nicht antwortest, fährt es gegebenenfalls mit sinnvollen Annahmen fort, wartet bei Entscheidungen mit weitreichenden Folgen jedoch auf deine Eingabe.

Die folgenden Beispiele zeigen, wie Astra an alltäglichen Aufgaben zusammenarbeitet, bei denen fehlende Informationen die Antwort wesentlich verändern können.

Astra ist außerdem besser darin, den Überblick zu behalten, während sich eine Aufgabe weiterentwickelt. Frühere Modelle behandelten Steuerungsnachrichten manchmal als neues Ziel und verloren dabei die ursprüngliche Anfrage oder frühere Einschränkungen aus den Augen. Astra bezieht neue Anforderungen ein, passt auf Anfrage die Richtung an und beantwortet Nebenfragen, ohne die übergeordnete Aufgabe aus den Augen zu verlieren.

„Astra stellt bei komplexen juristischen Aufgaben eine erhebliche Qualitätsverbesserung gegenüber GPT‑5.6 Sol dar. In unseren frühen Tests stach Astra hervor, indem es juristische Arbeit so anging, wie es scharfsinnige Anwält:innen tun würde: Es unterscheidet Dokumente von der gesicherten Aktenlage, deckt unbelegte Annahmen auf und wandelt Lücken in konkrete Positionen für den Entwurf um.“
Niko Grupen, Head of Applied Research, Harvey

Programmierung

GPT‑6 Astra ist bislang das beste Modell für Softwareentwicklung.

1 von 2
„GPT‑6 Astra erzielt Spitzenleistungen bei unseren internen Coding-Benchmarks und zeigt gegenüber GPT‑5.6 Sol einen klaren Fortschritt bei Evaluierungen der Trading-Intuition.“ Beim Einsatz für agentisches Programmieren kommuniziert GPT‑6 Astra auf eine Weise, die für Entwickler:innen leichter nachvollziehbar ist, und erzeugt Code, der weniger Iterationen erfordert, um Produktionsqualität zu erreichen.“
John Crepezzi, AI Assistants, Jane Street

Mit Astra führen wir eine neue Möglichkeit ein, mit der Codex Kontext bewahren und abrufen kann, wenn das Kontextfenster voll wird. In der Vergangenheit haben Modelle Kontextverdichtung genutzt, um den Arbeitsverlauf während langer Sitzungen zusammenzufassen, etwa bei der Fehlerbehebung bei komplexen Problemen oder bei umfangreichen Refactorings. Bei jeder Kontextverdichtung können Details dazu ausgelassen werden, warum eine Fehlerbehebung fehlgeschlagen ist oder wie sich eine Komponente verhält. In Codex kann Astra Notizen über Kontextfenster hinweg speichern und angesammelte Details bewahren, ohne sie wiederholt in einer einzigen Zusammenfassung zu komprimieren. Frühere Kontextfenster bleiben durchsuchbar, sodass Astra Anforderungen oder Testergebnisse aus vorherigen Nachrichten und Tool-Ausgaben finden kann – auch wenn diese Informationen nicht in seinen Notizen festgehalten wurden. Du kannst diese experimentelle Funktion in der config.toml von Codex(wird in einem neuen Fenster geöffnet) aktivieren, und sie wird in den kommenden Wochen zur Standardeinstellung für Astra.

Wissenschaftliche Entdeckungen vorantreiben

„Die Geschichte lautet: Ende einer Ära, Beginn einer neuen.“
Greg Burnham, EpochAI

GPT‑6 Astra is a major advance for scientific discovery, mathematics, and health. Today, we’re sharing two further results on the gaps between prime numbers.9 und 10

Astra also sets new records across a suite of math and science evaluations.

Astra kann die praktische Arbeit hinter wissenschaftlichen Entdeckungen unterstützen. Durch die Kombination von wissenschaftlichem Reasoning mit Computernutzung kann es direkt in spezialisierter Software arbeiten, um Daten zu prüfen und Ergebnisse zu untersuchen. So hilft es Forschenden, die Evidenz zu bewerten und zu entscheiden, was als Nächstes untersucht werden soll.

Cybersicherheit

As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.

We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13

Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.

We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.

Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.

As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.

However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.

We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(wird in einem neuen Fenster geöffnet)..

Verantwortungsvolle Ausrichtung und Bereitstellung von GPT‑6 Astra

Astra ist unser am besten ausgerichtetes Modell. Astra zeichnet sich dadurch aus, Sorgfalt walten zu lassen, Aufgabengrenzen zu respektieren und transparent zu kommunizieren. Diese Arbeit ist das jüngste Ergebnis unseres langjährigen Forschungsprogramms, dessen Schwerpunkt darauf liegt, Modelle zu trainieren, die von Anfang bis Ende auf menschliche Absichten ausgerichtet bleiben.

In sensiblen Umgebungen geht Astra mit der seinem Risiko angemessenen Sorgfalt vor. In einer Evaluation von Aufgaben zur Computernutzung, die auf adversariale Weise ausgewählt wurden, um Fehlverhalten hervorzurufen, war Astra erfolgreicher darin, unbeabsichtigte Folgen zu vermeiden. Die Ausführung mit den standardmäßig angebotenen zusätzlichen Sicherheitsmaßnahmen erzielte eine noch bessere Performance.

Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(wird in einem neuen Fenster geöffnet) and Anthropic Messages API(wird in einem neuen Fenster geöffnet)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16

Astra agiert außerdem mit größerer Wahrscheinlichkeit innerhalb der von Nutzer:innen festgelegten und durch seine Umgebung implizierten Grenzen. In einer internen Evaluierung hat Astra nie versucht, eine Ablehnung durch die automatische Prüfung von Codex zu umgehen. Dies galt selbst dann, wenn die Auto-Prüfung absichtlich so konfiguriert war, dass sie umgangen werden konnte, und die Aufgabe sonst nicht lösbar gewesen wäre. Diese Einhaltung der Umgebungsbeschränkungen steht im Einklang mit den Ergebnissen unserer Evaluation unmöglicher Cyber-Aufgaben, die wir in der Einleitung dieses Beitrags vorgestellt haben, sowie mit weiteren Erkenntnissen, die in unserer Systemkarte(wird in einem neuen Fenster geöffnet) dokumentiert sind.

Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.

In unserer Evaluation zu Fähigkeits-Halluzinationen zeigt Astra gegenüber GPT‑5.6 Sol eine deutliche Verbesserung und macht weniger irreführende Aussagen über seine Fähigkeiten.

Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(wird in einem neuen Fenster geöffnet) details our findings and ongoing work.

Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(wird in einem neuen Fenster geöffnet) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.

Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.

Verfügbarkeit

GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.

Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.

For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.

OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.

Computernutzung

Computer Use

GPT‑6 Astra

GPT‑5.6 Sol2

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Agents' Last Exam

59.3%

53.6%

-

48.7%

55.5%

-

OSWorld 2.0 (v2026.08.08, offline set, partial score)

72.6%

65.7%

-

-

70.2%3

-

ScreenSpot-Pro (no tools)

92.7%

76.9%

-

87.3%17

-

-

Professional

Professional

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

AutomationBench

41.4%

18.1%

31.4%

17.4%

26.9%

-

BenchCAD

95.9%

83.3%

84.3% 5

67.5% 5

82.1% 5

-

BrowseComp

91.5%

90.4%

-

87.4%

90.8%

-

OpenScore String Quartets (1 - OMR-NED)

0.84

0.19

-

-

-

-

Internal Design Tasks

50.0%

47.4%

-

35.8%

-

-

Internal Data Science Tasks

40.9%

30.5%

-

34.7%

-

-

Artificial Analysis Intelligence Index v4.1.1

61.2

60.9

65.7

62.1

63.1

58.7

Coding

CodingGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
Terminal-Bench 4.057.9%37.3%55.8%44.5%52.6%19.1%
DeepSWE v1.174.1%72.7%67.4%69.9%73.7%73.8%
FrontierCode 1.1 Extended (score)64.5% 860.6%63.6%64.9%63.6%56.3%
FrontierCode 1.1 Main (score)53.3% 847.5%50.9%53.5%53.4%43.6%
Internal Database Migration Tasks63.9%42.7%57.8%50.3%--
Artificial Analysis Coding Agent Index v1.467.065.1-67.268.161.2

Academic

Academic

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Terminal-Bench Science 0.1

64.6%

22.4%

52.6%

21.4%

30.0%

-

FrontierMath Tier 4 (v2)

97.6%

83.0%

87.8%

90.2%

73.2%

-

GPQA Diamond

96.0%

94.6%

93.7%

92.6%

93.7%

95.3%

Humanity's Last Exam (w/ tools)

57.2%

-

65.0%

63.8%

63.6%

-

Wissenschaft und Gesundheit

Science and HealthGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
GeneBench Pro37.1%32.3%----
MedChemBench (Internal)49.3%47.4%----
LifeSciBench60.3%59.9%----
HealthBench Professional (length-adjusted)63.4%60.5%58.1% 1160.9% 1156.4% 1152.1%

Cybersicherheit

CybersecurityGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ExploitBench100.0%78.5%--70%-
ExploitGym42.4% 1330.3% 1330.4% 1728.4%1722.0%-
ExploitBench (June-Aug 2026)39.0%5.5%----
SRE-Bench88.0%55.9%--12.5%-
SEC-Bench Pro85.4%79.1%----

Ausrichtung

Ausrichtung

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Interner Sicherheits-Benchmark für Computernutzung (je niedriger, desto besser)

2,4 %

22,0 %

9,5 %

18,3 %

11,5 %

-

Interner Sicherheitsbenchmark für Computernutzung mit AutoReview (je niedriger, desto besser)

1,8 %

4,3 %

-

-

-

-

Interner Umgehungs-Benchmark (je niedriger, desto besser)

0,00 %

0,29 %

-

-

-

-

ExploitGym-Honeypot (je niedriger, desto besser)

0,0 %

48,2 %

-

-

-

-

Impossible ExploitGym

100,0 %

-

-

-

-

-

Interner Halluzinations-Benchmark (je niedriger, desto besser)

4,2 %

12,2 %

-

-

-

-

Langer Kontext

Langer Kontext

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

OpenAI MRCR v2 8-needle 256K-512K

100,0 %

91,5 %

-

-

-

-

OpenAI MRCR v2 8-needle 512K-1M

96,3 %

73,8 %

-

-

-

-

Abstraktes Denken

Abstract reasoningGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ARC-AGI-399.9% 17.8%--30.2%-
ARC-AGI-295.0%92.5%90.0%89.2%90.4%-
ARC-AGI-198.5%97.5%97.5%98.5%97.5%-

Die angegebenen Evaluierungs-Scores entsprechen jeweils dem Höchstwert über die getesteten Reasoning-Aufwandsstufen hinweg. GPT‑Evaluierungen wurden in unserer Forschungsumgebung oder über unsere API durchgeführt, was aufgrund von Unterschieden bei den System-Prompts, verfügbaren Tools usw. zu leicht abweichenden Ausgaben im Vergleich zur Produktionsversion von ChatGPT führen kann.

FOOTNOTES

  1. 1

    On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.

  2. 2

    GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.

  3. 3

    OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(wird in einem neuen Fenster geöffnet). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.

  4. 4

    Model times are the reported elapsed times for the corresponding demonstration runs. The displayed clips are edited excerpts.

  5. 5

    On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(wird in einem neuen Fenster geöffnet).

  6. 6

    Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(wird in einem neuen Fenster geöffnet).” arXiv:2506.19065, 2025.

  7. 7

    Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(wird in einem neuen Fenster geöffnet).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.

  8. 8

    On FrontierCode, GPT-6 Astra was run with a developer  message similar to a section of its developer message in Codex(wird in einem neuen Fenster geöffnet): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.

  9. 9

    The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(wird in einem neuen Fenster geöffnet) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(wird in einem neuen Fenster geöffnet) and supporting research(wird in einem neuen Fenster geöffnet).

  10. 10

    The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(wird in einem neuen Fenster geöffnet) and supporting research(wird in einem neuen Fenster geöffnet).

  11. 11

    We independently evaluated all Claude models following the intended HealthBench Professional procedure, using GPT‑5.4 grading and length-adjusted, unclipped scores. For Fable 5.1, we used Opus 5 fallback for provider refusals.

  12. 12

    Claude Fable 5 and 5.1 are not included in LifeSciBench Gold v1, GeneBench Pro v13, and MedChemBench because they refuse the majority of questions in these evaluations.

  13. 13

    On ExploitGym, we tested Astra and Sol without the 6-hour time limit, to better assess their full cyber capabilities. They are fast enough that it has little impact.

  14. 14

    ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.

  15. 15
  16. 16

    When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.

  17. 17

    For ScreenSpot-Pro and ExploitGym, the Fable scores we report come from Mythos, which is Fable with fewer safeguards.