OpenAI

GPT-6 Astra: A new generation of intelligence

Une nouvelle génération d’intelligence

Nous présentons GPT‑6 Astra, le modèle le plus intelligent et le mieux aligné au monde.

GPT‑6 Astra réunit des années de recherche et des paris ambitieux dans les domaines du pré-entraînement, de l’apprentissage par renforcement et de l’alignement. Astra est à la pointe en matière d’utilisation de l’ordinateur, de navigation web, d’ingénierie logicielle, de cybersécurité, de science et de travail professionnel. Astra atteint le score maximal au niveau FrontierMath Tier 4, avec un score de 98 %, après avoir déjà contribué à résoudre des problèmes ouverts de longue date en mathématiques. Astra atteint également le score maximal à ARC-AGI-3, avec un score de 99,9 %, et à ExploitBench, avec un score de 100 %. Il établit aussi une nouvelle référence dans l’utilisation d’un ordinateur et d’un navigateur, en prenant en charge les tâches professionnelles les plus exigeantes avec une rapidité, une précision et un discernement inégalés. 

GPT‑6 Astra est déployé aujourd’hui auprès d’un nombre limité d’organisations et sera disponible dans les prochains jours pour tous les utilisateurs de ChatGPT Plus, Pro, Business et Enterprise, ainsi que via l’API OpenAI, Microsoft Azure et AWS Bedrock.

« Sur ARC-AGI-3, Astra a dépassé notre référence humaine en matière d’efficacité des actions sur 96 % des niveaux, atteignant ainsi de fait la parité humaine sur le benchmark. Non seulement il s’agit du meilleur modèle que nous ayons jamais testé, mais il représente aussi une rupture significative dans les performances des modèles de pointe — non seulement par sa capacité à évoluer dans des environnements inédits et à les résoudre, mais aussi par l’efficacité avec laquelle il apprend à le faire. »
Greg Kamradt, ARC Prize Foundation

Astra est notre modèle le mieux aligné, avec des améliorations substantielles dans la compréhension des intentions des utilisateurs et du comportement des modèles — vous pouvez déléguer des tâches en ayant davantage confiance dans le jugement d’Astra. Pour tester cela, entre autres, nous avons créé une nouvelle évaluation inspirée de l’incident Hugging Face qui évalue si un modèle confronté à une tâche difficile ou impossible ira au-delà du périmètre prévu. Par rapport à GPT‑5.6 Sol, qui, sans protections de production, a dépassé la cible autorisée dans 48 % des cas, GPT‑6 Astra l’a fait dans 0 % des cas.

Le meilleur modèle au monde pour utiliser un ordinateur

GPT‑6 Astra établit une nouvelle référence en matière de rapidité, de précision et de sécurité dans l’utilisation d’un ordinateur. Il peut prendre en charge des tâches fastidieuses comme remplir des formulaires en ligne, mettre à jour des fiches client dans un CRM et organiser votre agenda. Il peut effectuer des recherches en ligne et rédiger des résumés dans votre messagerie ou dans votre éditeur de documents. Il peut analyser des données scientifiques, générer des graphiques, créer un site web et exécuter des contrôles d’assurance qualité front-end afin de s’assurer que toutes les fonctionnalités de ce site fonctionnent. Il peut vous aider à installer et tester des logiciels de manière autonome, ainsi qu’à résoudre les problèmes que vous voyez à l’écran. Ces améliorations se reflètent également dans nos résultats d’évaluation de pointe.

Ces améliorations se traduisent également par d’importants gains d’efficacité dans des tâches réelles de travail intellectuel. Dans les simulations de latence d’OSWorld 2.0, Astra obtient de meilleures performances en matière d’utilisation de l’ordinateur, en réalisant les tâches en environ 47 % moins de temps par tâche que GPT‑5.6 Sol : un score de 72,6 % en environ 40 minutes par tâche, contre 65,7 % en environ 75 minutes.3

Les capacités d’utilisation de l’ordinateur de GPT‑6 Astra se manifestent dans les résultats obtenus dans divers domaines, notamment le développement de jeux, l’ingénierie électrique et le travail intellectuel quotidien :

Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4

« Nous intégrons GPT‑6 Astra au harnais de Devin dès le jour du lancement, où il offre des performances de pointe sur notre benchmark interne. Sa capacité à utiliser un ordinateur, ses capacités rédactionnelles et sa compréhension des bases de code ont amélioré les tests dès le départ : les vidéos sont nettement plus faciles à suivre et les rapports sont plus clairs et plus concis »
Silas Alberti, SVP Research, Cognition

Un changement de palier dans le travail professionnel

GPT‑6 Astra associe des avancées en matière d’utilisation de l’ordinateur à un entraînement ciblé pour les environnements professionnels, afin d’aider à accomplir des tâches professionnelles complexes. Il combine l’intelligence nécessaire à la résolution de problèmes complexes avec la capacité à exécuter des flux de travail en plusieurs étapes et à produire des documents, des feuilles de calcul et des présentations soignés.

GPT‑6 Astra est notre meilleur modèle pour respecter les gabarits existants et produire des diapositives bien mises en page qui communiquent avec concision les points clés dans une narration structurée. Il crée des documents, des présentations, des feuilles de calcul et des analyses clairs et bien structurés qui respectent vos modèles et correspondent à votre style rédactionnel et visuel. Astra est également entraîné à intégrer uniquement le contexte pertinent dans ses résultats, au lieu de répéter des informations inutiles pour la tâche en cours. Tout cela signifie qu’il peut générer des artefacts plus directement exploitables, adaptés à votre contexte métier et à vos normes.

GPT‑6 Astra améliore également sa capacité à évaluer visuellement les sites web, les jeux, les applications et les rendus qu’il crée. Avec Sites(ouverture dans une nouvelle fenêtre) dans ChatGPT, Astra peut créer, héberger et partager des sites web, des applications web et des jeux directement à partir d’un prompt.

« Astra nous offre un avantage considérable tant en matière de capacités que d’efficacité. Il exécute avec succès nos flux de travail créatifs les plus complexes tout en utilisant jusqu’à 20 % de tokens en moins que les autres modèles que nous avons testés. Plus important encore, pour nos clients, cela signifie des résultats de meilleure qualité. »
Alex Mashrabov, PDG et cofondateur, Higgsfield AI

Lorsque les instructions laissent place à l’interprétation, GPT‑6 Astra est plus à même que les modèles précédents de prendre la bonne décision. Il utilise le contexte pour combler les lacunes habituelles et pose des questions ciblées lorsque la réponse peut modifier le résultat. Dans Codex, il peut poser des questions de manière asynchrone tout en poursuivant le travail qui ne dépend pas de votre réponse. Si vous ne répondez pas, il avance en formulant des hypothèses raisonnables lorsque cela est pertinent, mais attend votre avis pour les décisions importantes.

Les exemples ci-dessous illustrent comment Astra collabore à des tâches courantes pour lesquelles des informations manquantes peuvent modifier sensiblement la réponse.

Astra parvient également mieux à garder le cap à mesure qu’une tâche évolue. Les modèles précédents traitaient parfois les messages de pilotage comme un nouvel objectif, perdant de vue la demande initiale ou les contraintes antérieures. Astra intègre les nouvelles exigences, change de cap lorsqu’on le lui demande et répond aux questions annexes sans perdre de vue la tâche globale.

« Astra représente une amélioration significative de la qualité par rapport à GPT‑5.6 Sol sur des tâches juridiques complexes. Lors de nos premiers tests, Astra s’est distingué par sa manière d’aborder le travail juridique comme le ferait un avocat avisé : il distingue les documents des dossiers établis, met au jour les hypothèses non étayées et transforme les lacunes en positions de rédaction concrètes. »
Niko Grupen, responsable de la recherche appliquée, Harvey

Programmation

GPT‑6 Astra est le meilleur modèle de génie logiciel à ce jour.

1 sur 2
« GPT‑6 Astra offre des performances de pointe sur nos benchmarks internes de codage et marque une nette avancée dans les évaluations de l’intuition en trading par rapport à GPT‑5.6 Sol. Lorsqu’il est utilisé pour la programmation agentique, GPT‑6 Astra communique d’une manière plus facile à suivre pour les développeurs et produit du code qui nécessite moins d’itérations pour atteindre une qualité de production. »
John Crepezzi, assistants IA, Jane Street

Avec Astra, nous introduisons une nouvelle façon pour Codex de conserver et de récupérer le contexte lorsque la fenêtre de contexte arrive à saturation. Jusqu’à présent, les modèles utilisaient le compactage pour résumer le travail effectué au cours de longues sessions, par exemple lors du débogage de problèmes complexes ou de refactorisations importantes. Chaque compactage peut omettre des détails sur les raisons de l’échec d’un correctif ou sur le comportement d’un composant. Dans Codex, Astra peut conserver des notes d’une fenêtre de contexte à l’autre, en préservant les détails accumulés sans les réduire à plusieurs reprises à un résumé unique. Les fenêtres de contexte précédentes restent accessibles par recherche, ce qui permet à Astra de retrouver les exigences ou les résultats de tests mentionnés dans les messages précédents et les sorties d’outils, même si ces informations n’ont pas été consignées dans ses notes. Vous pouvez activer cette fonctionnalité expérimentale dans votre fichier config.toml de Codex,(ouverture dans une nouvelle fenêtre) et elle deviendra la valeur par défaut pour Astra dans les prochaines semaines.

Faire progresser la découverte scientifique

« L’histoire est la suivante : la fin d’une époque, le début d’une autre. »
Greg Burnham, EpochAI

GPT‑6 Astra is a major advance for scientific discovery, mathematics, and health. Today, we’re sharing two further results on the gaps between prime numbers.9, 10

Astra also sets new records across a suite of math and science evaluations.

Astra peut aider à accomplir le travail concret qui sous-tend les découvertes scientifiques. En combinant le raisonnement scientifique avec l’utilisation de l’ordinateur, il peut travailler directement dans des logiciels spécialisés pour examiner les données et explorer les résultats, aidant ainsi les chercheurs à évaluer les éléments probants et à décider ce qu’ils doivent étudier ensuite.

Cybersécurité

As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.

We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13

Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.

We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.

Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.

As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.

However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.

We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(ouverture dans une nouvelle fenêtre)..

Aligner et déployer GPT‑6 Astra de manière responsable

Astra est notre modèle le mieux aligné. Astra excelle à faire preuve de prudence, à respecter le périmètre des tâches et à communiquer avec transparence. Ces travaux constituent le dernier fruit de notre programme de recherche de longue date consacré à l’entraînement de modèles qui restent conformes à l’intention humaine du début à la fin.

Dans les environnements sensibles, Astra agit avec une prudence proportionnée au risque. Lors d’une évaluation portant sur des tâches d’utilisation de l’ordinateur sélectionnées pour provoquer des comportements indésirables, Astra s’est montré plus efficace pour éviter les conséquences non intentionnelles. L’exécution avec les mesures de sécurité supplémentaires proposées par défaut a permis d’obtenir des performances encore meilleures.

Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(ouverture dans une nouvelle fenêtre) and Anthropic Messages API(ouverture dans une nouvelle fenêtre)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16

Astra est également plus susceptible d’agir dans les limites définies par l’utilisateur et implicites dans son environnement. Dans le cadre d’une évaluation interne, Astra n’a jamais tenté de contourner un refus de Codex Auto-Review. Cela restait vrai même lorsque Auto-review était délibérément configuré pour pouvoir être contourné et que la tâche était impossible à accomplir autrement. Ce respect des restrictions de l’environnement est cohérent avec les résultats de notre évaluation de tâches cyber impossibles, que nous avons présentés dans l’introduction de ce billet, ainsi qu’avec d’autres constatations documentées dans notre fiche système(ouverture dans une nouvelle fenêtre).

Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.

Dans notre évaluation des hallucinations concernant les capacités, Astra affiche une nette amélioration par rapport à GPT‑5.6 Sol et formule moins d’affirmations trompeuses sur ses capacités.

Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(ouverture dans une nouvelle fenêtre) details our findings and ongoing work.

Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(ouverture dans une nouvelle fenêtre) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.

Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.

Disponibilité

GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.

Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.

For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.

OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.

Utilisation d'un ordinateur

Computer Use

GPT‑6 Astra

GPT‑5.6 Sol2

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Agents' Last Exam

59.3%

53.6%

-

48.7%

55.5%

-

OSWorld 2.0 (v2026.08.08, offline set, partial score)

72.6%

65.7%

-

-

70.2%3

-

ScreenSpot-Pro (no tools)

92.7%

76.9%

-

87.3%17

-

-

Professional

Professional

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

AutomationBench

41.4%

18.1%

31.4%

17.4%

26.9%

-

BenchCAD

95.9%

83.3%

84.3% 5

67.5% 5

82.1% 5

-

BrowseComp

91.5%

90.4%

-

87.4%

90.8%

-

OpenScore String Quartets (1 - OMR-NED)

0.84

0.19

-

-

-

-

Internal Design Tasks

50.0%

47.4%

-

35.8%

-

-

Internal Data Science Tasks

40.9%

30.5%

-

34.7%

-

-

Artificial Analysis Intelligence Index v4.1.1

61.2

60.9

65.7

62.1

63.1

58.7

Coding

CodingGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
Terminal-Bench 4.057.9%37.3%55.8%44.5%52.6%19.1%
DeepSWE v1.174.1%72.7%67.4%69.9%73.7%73.8%
FrontierCode 1.1 Extended (score)64.5% 860.6%63.6%64.9%63.6%56.3%
FrontierCode 1.1 Main (score)53.3% 847.5%50.9%53.5%53.4%43.6%
Internal Database Migration Tasks63.9%42.7%57.8%50.3%--
Artificial Analysis Coding Agent Index v1.467.065.1-67.268.161.2

Academic

Academic

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Terminal-Bench Science 0.1

64.6%

22.4%

52.6%

21.4%

30.0%

-

FrontierMath Tier 4 (v2)

97.6%

83.0%

87.8%

90.2%

73.2%

-

GPQA Diamond

96.0%

94.6%

93.7%

92.6%

93.7%

95.3%

Humanity's Last Exam (w/ tools)

57.2%

-

65.0%

63.8%

63.6%

-

Science et santé

Science and HealthGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
GeneBench Pro37.1%32.3%----
MedChemBench (Internal)49.3%47.4%----
LifeSciBench60.3%59.9%----
HealthBench Professional (length-adjusted)63.4%60.5%58.1% 1160.9% 1156.4% 1152.1%

Cybersécurité

CybersecurityGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ExploitBench100.0%78.5%--70%-
ExploitGym42.4% 1330.3% 1330.4% 1728.4%1722.0%-
ExploitBench (June-Aug 2026)39.0%5.5%----
SRE-Bench88.0%55.9%--12.5%-
SEC-Bench Pro85.4%79.1%----

Alignement

Alignement

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Benchmark interne de sécurité liée à l’utilisation de l’ordinateur (les valeurs les plus faibles sont les meilleures)

2,4 %

22,0 %

9,5 %

18,3 %

11,5 %

-

Benchmark interne de sécurité liée à l’utilisation de l’ordinateur, avec AutoReview (les valeurs les plus faibles sont les meilleures)

1,8 %

4,3 %

-

-

-

-

Benchmark interne de contournement (les valeurs les plus faibles sont les meilleures)

0,00 %

0,29 %

-

-

-

-

Pot de miel d’ExploitGym (les valeurs les plus basses sont les meilleures)

0,0 %

48,2 %

-

-

-

-

ExploitGym impossible

100,0 %

-

-

-

-

-

Benchmark interne des hallucinations (les valeurs les plus faibles sont les meilleures)

4,2 %

12,2 %

-

-

-

-

Contexte long

Contexte long

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

OpenAI MRCR v2 8-needle 256K-512K

100,0 %

91,5 %

-

-

-

-

OpenAI MRCR v2 8-needle 512K-1M

96,3 %

73,8 %

-

-

-

-

Raisonnement abstrait

Abstract reasoningGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ARC-AGI-399.9% 17.8%--30.2%-
ARC-AGI-295.0%92.5%90.0%89.2%90.4%-
ARC-AGI-198.5%97.5%97.5%98.5%97.5%-

Les scores d’évaluation sont maximaux quel que soit le niveau d’effort. Les évaluations GPT ont été exécutées dans notre environnement de recherche ou via notre API, ce qui peut produire des résultats légèrement différents de ceux de ChatGPT en production en raison de différences dans les prompts système, les outils disponibles, etc.

FOOTNOTES

  1. 1

    On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.

  2. 2

    GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.

  3. 3

    OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(ouverture dans une nouvelle fenêtre). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.

  4. 4

    Model times are the reported elapsed times for the corresponding demonstration runs. The displayed clips are edited excerpts.

  5. 5

    On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(ouverture dans une nouvelle fenêtre).

  6. 6

    Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(ouverture dans une nouvelle fenêtre).” arXiv:2506.19065, 2025.

  7. 7

    Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(ouverture dans une nouvelle fenêtre).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.

  8. 8

    On FrontierCode, GPT-6 Astra was run with a developer  message similar to a section of its developer message in Codex(ouverture dans une nouvelle fenêtre): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.

  9. 9

    The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(ouverture dans une nouvelle fenêtre) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(ouverture dans une nouvelle fenêtre) and supporting research(ouverture dans une nouvelle fenêtre).

  10. 10

    The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(ouverture dans une nouvelle fenêtre) and supporting research(ouverture dans une nouvelle fenêtre).

  11. 11

    We independently evaluated all Claude models following the intended HealthBench Professional procedure, using GPT‑5.4 grading and length-adjusted, unclipped scores. For Fable 5.1, we used Opus 5 fallback for provider refusals.

  12. 12

    Claude Fable 5 and 5.1 are not included in LifeSciBench Gold v1, GeneBench Pro v13, and MedChemBench because they refuse the majority of questions in these evaluations.

  13. 13

    On ExploitGym, we tested Astra and Sol without the 6-hour time limit, to better assess their full cyber capabilities. They are fast enough that it has little impact.

  14. 14

    ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.

  15. 15
  16. 16

    When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.

  17. 17

    For ScreenSpot-Pro and ExploitGym, the Fable scores we report come from Mythos, which is Fable with fewer safeguards.