GPT-6 Astra: A new generation of intelligence
Une nouvelle génération d’intelligence
Mise à jour du 22 septembre 2026 : nous élargissons notre gamme GPT‑6 avec GPT‑6 Sol et GPT‑6 Luna. En savoir plus.
Nous présentons GPT‑6 Astra, le modèle le plus intelligent et le mieux aligné au monde.
GPT‑6 Astra réunit des années de recherche et des paris ambitieux dans les domaines du pré-entraînement, de l’apprentissage par renforcement et de l’alignement. Astra est à la pointe en matière d’utilisation de l’ordinateur, de navigation web, d’ingénierie logicielle, de cybersécurité, de science et de travail professionnel. Astra atteint le score maximal au niveau FrontierMath Tier 4, avec un score de 98 %, après avoir déjà contribué à résoudre des problèmes ouverts de longue date en mathématiques. Astra atteint également le score maximal à ARC-AGI-3, avec un score de 99,9 %, et à ExploitBench, avec un score de 100 %. Il établit aussi une nouvelle référence dans l’utilisation d’un ordinateur et d’un navigateur, en prenant en charge les tâches professionnelles les plus exigeantes avec une rapidité, une précision et un discernement inégalés.
GPT‑6 Astra est déployé aujourd’hui auprès d’un nombre limité d’organisations et sera disponible dans les prochains jours pour tous les utilisateurs de ChatGPT Plus, Pro, Business et Enterprise, ainsi que via l’API OpenAI, Microsoft Azure et AWS Bedrock.
Astra est notre modèle le mieux aligné, avec des améliorations substantielles dans la compréhension des intentions des utilisateurs et du comportement des modèles — vous pouvez déléguer des tâches en ayant davantage confiance dans le jugement d’Astra. Pour tester cela, entre autres, nous avons créé une nouvelle évaluation inspirée de l’incident Hugging Face qui évalue si un modèle confronté à une tâche difficile ou impossible ira au-delà du périmètre prévu. Par rapport à GPT‑5.6 Sol, qui, sans protections de production, a dépassé la cible autorisée dans 48 % des cas, GPT‑6 Astra l’a fait dans 0 % des cas.
Le meilleur modèle au monde pour utiliser un ordinateur
GPT‑6 Astra établit une nouvelle référence en matière de rapidité, de précision et de sécurité dans l’utilisation d’un ordinateur. Il peut se charger de tâches fastidieuses comme remplir des formulaires en ligne, mettre à jour des dossiers clients dans un CRM et organiser votre agenda. Il peut effectuer des recherches en ligne et rédiger des résumés dans votre messagerie ou dans votre éditeur de documents. Il peut analyser des données scientifiques, générer des graphiques, créer un site Web et effectuer des des contrôles d’assurance qualité front-end afin de s’assurer que toutes les fonctionnalités de ce site fonctionnent. Il peut vous aider à installer et à tester des logiciels de manière autonome, ainsi qu’à résoudre les problèmes que vous voyez à l’écran. Ces améliorations se reflètent également dans nos résultats d’évaluation de pointe.
Ces améliorations se traduisent également par d’importants gains d’efficacité dans des tâches réelles de travail intellectuel. Dans les simulations de latence d’OSWorld 2.0, Astra obtient de meilleures performances en matière d’utilisation de l’ordinateur, en réalisant les tâches en environ 47 % moins de temps par tâche que GPT‑5.6 Sol : un score de 72,6 % en environ 40 minutes par tâche, contre 65,7 % en environ 75 minutes.3
Les capacités de GPT‑6 Astra à utiliser un ordinateur se manifestent dans les résultats obtenus dans divers domaines, notamment le développement de jeux vidéo, le génie électrique et le travail intellectuel quotidien :
Parallèlement à Astra, nous mettons également à jour le harnais Codex afin d’améliorer considérablement la vitesse d’utilisation de l’ordinateur. Associée à l’efficacité d’Astra, cette mise à jour permet de réaliser les tâches 1,9 fois plus rapidement qu’avec l’expérience actuelle de GPT‑5.6 Sol, selon le banc d’essai Mind2Web. Les améliorations apportées à la vitesse du modèle signifient qu’il peut prendre en charge pour vous de nombreuses tâches chronophages du quotidien, plus vite que vous ne pourriez le faire.4
Un changement majeur dans le travail professionnel
GPT‑6 Astra associe des avancées en matière d’utilisation de l’ordinateur à un entraînement ciblé pour les environnements professionnels, afin d’aider à accomplir des tâches professionnelles complexes. Il combine l’intelligence nécessaire pour résoudre des problèmes complexes avec la capacité à exécuter des flux de travail en plusieurs étapes et à produire des documents, des feuilles de calcul et des présentations soignés.
GPT‑6 Astra est notre meilleur modèle pour respecter les gabarits existants et produire des diapositives bien mises en page qui communiquent avec concision les points clés dans une narration structurée. Il crée des documents, des présentations, des feuilles de calcul et des analyses clairs et bien structurés qui respectent vos modèles et correspondent à votre style rédactionnel et visuel. Astra est également entraîné à intégrer uniquement le contexte pertinent dans ses résultats, au lieu de répéter des informations inutiles pour la tâche en cours. Tout cela signifie qu’il peut générer des artefacts plus directement exploitables, adaptés à votre contexte d’affaires et à vos normes.
GPT‑6 Astra améliore également sa capacité à évaluer visuellement les sites web, les jeux, les applications et les rendus qu’il crée. Avec Sites(s'ouvre dans une nouvelle fenêtre) dans ChatGPT, Astra peut créer, héberger et partager des sites web, des applications web et des jeux directement à partir d’une invite.
Lorsque les instructions laissent place à l’interprétation, GPT‑6 Astra est plus à même que les modèles précédents de prendre la bonne décision. Il utilise le contexte pour combler les lacunes habituelles et pose des questions ciblées lorsque la réponse peut modifier le résultat. Dans Codex, il peut poser des questions de manière asynchrone tout en poursuivant le travail qui ne dépend pas de votre réponse. Si vous ne répondez pas, il avance en formulant des hypothèses raisonnables lorsque cela est pertinent, mais attend votre avis pour les décisions importantes.
Les exemples ci-dessous illustrent comment Astra collabore à des tâches courantes pour lesquelles des informations manquantes peuvent modifier sensiblement la réponse.
Astra parvient également mieux à garder le cap à mesure qu’une tâche évolue. Les modèles précédents traitaient parfois les messages de pilotage comme un nouvel objectif, au point de perdre le fil de la demande initiale ou des contraintes antérieures. Astra intègre de nouvelles exigences, change d’orientation à la demande et répond aux questions connexes sans perdre de vue la tâche globale.
Codage
GPT‑6 Astra est le meilleur modèle de génie logiciel à ce jour.
« GPT‑6 Astra offre des performances de pointe dans nos bancs d’essai internes de programmation et marque une nette avancée dans les évaluations de l’intuition en trading par rapport à GPT‑5.6 Sol. Lorsqu’il est utilisé pour la programmation agentique, GPT‑6 Astra communique d’une manière plus facile à suivre pour les développeurs et produit du code qui nécessite moins d’itérations pour atteindre une qualité de production. »
« Nous avons testé Astra avec des niveaux d’effort faible, moyen et élevé sur l’une de nos évaluations de première génération, et il a largement surpassé GPT 5.6 Sol. Un effort plus élevé permet d’obtenir davantage d’itérations sur une nouvelle version, une vérification plus poussée au moyen de tests dans le navigateur, et une préférence pour l’exécution de code plutôt que pour apply-patch. Comprendre comment un modèle répartit ses efforts nous permet d’offrir à des millions de créateurs un parcours plus rapide et plus fiable, de l’idée à l’application fonctionnelle. »
Avec Astra, nous introduisons une nouvelle façon pour Codex de conserver et de récupérer le contexte lorsque la fenêtre de contexte arrive à saturation. Jusqu’à présent, les modèles utilisaient le compactage pour résumer le travail effectué au cours de longues sessions, par exemple lors du débogage de problèmes complexes ou de refactorisations importantes. Chaque compactage peut omettre des détails sur les raisons de l’échec d’un correctif ou sur le comportement d’un composant. Dans Codex, Astra peut conserver des notes d’une fenêtre de contexte à l’autre, en préservant les détails accumulés sans les réduire à plusieurs reprises à un résumé unique. Les fenêtres de contexte précédentes restent accessibles par recherche, ce qui permet à Astra de retrouver les exigences ou les résultats de tests mentionnés dans les messages précédents et les sorties d’outils, même si ces informations n’ont pas été consignées dans ses notes. Vous pouvez activer cette fonctionnalité expérimentale dans votre fichier config.toml de Codex,(s'ouvre dans une nouvelle fenêtre) et elle deviendra la valeur par défaut pour Astra dans les prochaines semaines.
Faire progresser la découverte scientifique
GPT‑6 Astra représente une avancée majeure pour la découverte scientifique, les mathématiques et la santé. Aujourd’hui, nous présentons deux nouveaux résultats sur les écarts entre les nombres premiers.9, 10
Astra établit également de nouveaux records dans une série d’évaluations en mathématiques et en sciences.
Astra peut aider à accomplir le travail concret qui sous-tend les découvertes scientifiques. En combinant le raisonnement scientifique avec l’utilisation de l’ordinateur, il peut travailler directement dans des logiciels spécialisés pour examiner les données et explorer les résultats, aidant ainsi les chercheurs à évaluer les éléments probants et à décider quoi étudier ensuite.
Cybersécurité
Comme nous en avons discuté dans notre mise à jour de sécurité, Astra représente un bond considérable en matière de capacités cybernétiques et atteint le seuil critique en cybersécurité selon notre cadre de préparation. Sa capacité à identifier et à développer des exploits zero-day peut aider les défenseurs à trouver et à corriger les vulnérabilités, mais elle crée également un besoin de mesures de protection plus robustes. Pour comprendre jusqu’où s’étendent ces capacités, nous avons soumis Astra à des évaluations menées par des experts internes et des experts tiers.
Nous avons d’abord testé le modèle sans mesures de protection en production sur ExploitBench et ExploitGym, qui évaluent si les modèles peuvent transformer des vulnérabilités logicielles connues en exploits fonctionnels. Sur ExploitBench, Astra a obtenu un score parfait de 100 %, contre 78,5 % pour GPT‑5.6 Sol, notre précédent modèle de pointe doté de capacités en cybersécurité. Sur ExploitGym, Astra a atteint un taux de réussite de 42,4 %, contre 30,3 % pour GPT‑5.6 Sol, tout en utilisant nettement moins de tokens de sortie.13
Compte tenu des préoccupations selon lesquelles l’exposition à des vulnérabilités logicielles historiques aurait pu affecter les résultats des bancs d’essai, nous avons également évalué Astra sur deux nouveaux bancs d’essai. Tout d’abord, nous avons conçu une évaluation interne « ExploitBench (de juin à août 2026) » afin de tester le développement d’exploits à partir des vulnérabilités des trois mois précédents.14 Astra a atteint des taux d’exécution de code arbitraire nettement plus élevés que GPT‑5.6 Sol sur cet ensemble de données tout en utilisant beaucoup moins de tokens de sortie. Au cours de l’évaluation, Astra a même découvert et exploité deux vulnérabilités de type zero-day jusque-là inconnues. Nous divulguons ces deux vulnérabilités à leurs mainteneurs.
Nous avons également testé Astra sur SRE-Bench15, un banc d’essai qui évalue si les modèles peuvent faire de la rétro-ingénierie de logiciels binaires afin d’en comprendre la logique fondamentale sans avoir accès au code source brut. Astra a résolu 88,0 % des tâches en une seule tentative et 99,2 % en quatre tentatives ou moins, comparativement à 55,9 % et 68,7 % pour GPT‑5.6 Sol, respectivement.
Au-delà des bancs d’essai, des évaluations menées par des experts ont montré qu’Astra, lorsqu’il était exécuté sans garde-fous de production, pouvait exploiter des vulnérabilités jusqu’alors inconnues pour obtenir une exécution de code arbitraire dans des navigateurs durcis et créer des exploits d’élévation de privilèges pour des systèmes d’exploitation durcis.
Comme nous l’avons évoqué dans The Defender’s Window, les capacités de cybersécurité de pointe peuvent aider les défenseurs à trouver plus rapidement les faiblesses, mais elles rendent également ces faiblesses plus faciles à exploiter, ce qui rend l’adaptation des défenseurs d’autant plus urgente. Avec la version d’Astra lancée aujourd’hui, les défenseurs peuvent l’utiliser pour effectuer des tâches telles que la revue de code sécurisée et l’application de correctifs.
Cependant, Astra refusera d’exécuter des tâches de cybersécurité plus avancées, telles que la création d’exploits de preuve de concept pour des vulnérabilités. Grâce à OpenAI Daybreak, nous prévoyons d’élargir l’accès et de déployer des mesures de protection moins restrictives au cours des prochaines semaines. Cela permettra davantage de flux de travail de sécurité défensive, notamment la validation des vulnérabilités et des exploits de preuve de concept, l’analyse de logiciels malveillants et l’ingénierie de détection.
Nous avons également renforcé nos protections contre d’éventuelles utilisations abusives dans le domaine de la cybersécurité, en nous appuyant sur notre ensemble de mesures de protection pour GPT‑5.6 Sol. Elles comprennent une robustesse accrue des modèles afin de mieux résister à d’éventuels jailbreak et davantage de contexte pour nos systèmes de surveillance. Nous avons continué de mener des tests internes et externes rigoureux, notamment des évaluations automatisées avec nos attaquants internes de l’équipe rouge. Pour en savoir plus sur nos mesures de protection et nos tests en matière de cybersécurité, consultez l’aperçu de la sécurité et la fiche système(s'ouvre dans une nouvelle fenêtre) d’Astra..
Aligner et déployer GPT‑6 Astra de façon responsable
Astra est notre modèle le mieux aligné. Astra excelle à faire preuve de prudence, à respecter le périmètre des tâches et à communiquer avec transparence. Ces travaux constituent le dernier fruit de notre programme de recherche de longue date consacré à l’entraînement de modèles qui restent conformes à l’intention humaine du début à la fin.
Dans les environnements sensibles, Astra agit avec une prudence proportionnée au risque. Lors d’une évaluation portant sur des tâches d’utilisation de l’ordinateur sélectionnées pour provoquer des comportements indésirables, Astra s’est montré plus efficace pour éviter les conséquences non intentionnelles. L’exécution avec les mesures de sécurité supplémentaires proposées par défaut a permis d’obtenir des performances encore meilleures.
Astra entraîne moins de résultats non alignés que tout autre modèle de pointe testé. Pour une comparaison équitable, nous avons utilisé un harnais générique pour agent capable d’utiliser un ordinateur (basé sur les outils natifs d’utilisation d’un ordinateur disponibles à la fois dans l’ OpenAI Responses API(s'ouvre dans une nouvelle fenêtre) et dans Anthropic Messages API(s'ouvre dans une nouvelle fenêtre)), sans les protections supplémentaires normalement déployées auprès des utilisateurs de Codex et de ChatGPT Work (revue automatique, politique de confirmation).
Astra est également plus susceptible d’agir dans les limites définies par l’utilisateur et implicites dans son environnement. Dans le cadre d’une évaluation interne, Astra n’a jamais tenté de contourner un refus de Codex Auto-Review. Cela restait vrai même lorsque Auto-review était délibérément configuré pour pouvoir être contourné et que la tâche était impossible à accomplir autrement. Ce respect des restrictions de l’environnement est cohérent avec les résultats de notre évaluation de tâches cyber impossibles, que nous avons présentés dans l’introduction de ce billet, ainsi qu’avec d’autres constatations documentées dans notre fiche système(s'ouvre dans une nouvelle fenêtre).
Astra établit également de nouvelles références en matière de communication transparente avec les utilisateurs. Lors d’une évaluation, Astra est trois fois moins susceptible que GPT‑5.6 Sol de faire des déclarations inexactes concernant ses capacités et ses possibilités d’utilisation.
Dans notre évaluation des hallucinations liées aux capacités, Astra affiche une nette amélioration par rapport à GPT‑5.6 Sol et formule moins d’affirmations trompeuses sur ses capacités.
Nos évaluations ont révélé que le raisonnement écrit d’Astra était plus difficile à surveiller que celui de GPT‑5.6 Sol, d’après des tests qui lui demandaient explicitement de contourner la surveillance. Nous attribuons cela à la meilleure maîtrise par Astra du raisonnement écrit sur les tâches plus simples, ainsi qu’à sa capacité à résoudre les problèmes en moins d’étapes écrites. Astra semble toujours avoir du mal à masquer le raisonnement nécessaire aux tâches complexes, mais nous prenons cette baisse au sérieux. L’amélioration de l’observabilité reste une priorité de recherche, et la fiche système(s'ouvre dans une nouvelle fenêtre) associée détaille nos conclusions et nos travaux en cours.
L’entraînement à l’alignement est au cœur de notre approche du déploiement. Comme couche de défense supplémentaire, nous intégrons également des mesures de protection à nos systèmes, comme Codex Auto-review(s'ouvre dans une nouvelle fenêtre), et surveillons le raisonnement et les actions des agents afin de mieux détecter et contenir les comportements dangereux. Comme indiqué dans notre mise à jour sur la sécurité, nous déployons également en production une surveillance du désalignement pour les modèles de la classe Astra afin de mieux comprendre les cas de désalignement et d’aider à en contenir les manifestations les plus graves. Ces mesures de protection sont semblables à celles que nous utilisons pour surveiller nos déploiements internes et reposent sur un système de classificateurs qui vérifient le raisonnement et les actions du modèle afin de détecter les comportements non autorisés et d’arrêter automatiquement toute activité potentiellement non autorisée.
Compte tenu du renforcement significatif des capacités d’Astra en matière de cybersécurité, nous prenons des précautions particulières afin de garantir la sûreté et la sécurité de ce déploiement. Des contrôles de sécurité supplémentaires peuvent parfois ralentir, interrompre temporairement ou arrêter des activités légitimes, y compris les activités de cybersécurité défensive. Si une tâche est suspendue dans ChatGPT ou Codex, il se peut que vous soyez invité à examiner l’action avant de continuer. Dans l’API, la tâche s’arrêtera. Ces vérifications peuvent parfois interrompre des activités légitimes, et nous continuons à faire évoluer ce système afin de réduire les interruptions inutiles. La surveillance des désalignements ne peut pas remplacer l’alignement : notre objectif est de créer des modèles qui restent de façon fiable dans leur périmètre autorisé, afin que ces protections n’aient pas besoin d’intervenir.
Disponibilité
GPT‑6 Astra est déployé aujourd’hui auprès d’un nombre limité d’organisations et sera disponible dans les prochains jours pour tous les utilisateurs de ChatGPT Plus, Pro, Business et Enterprise, ainsi que via l’API OpenAI, Microsoft Azure et AWS Bedrock. L’utilisation d’Astra est incluse dans les quotas existants des abonnements; les utilisateurs et les entreprises pourront également acheter des crédits pour une utilisation supplémentaire. Les utilisateurs des offres Pro, Business et Enterprise auront également accès à GPT‑6 Astra Pro. Les administrateurs Enterprise peuvent activer Astra pour leur espace de travail; l’accès est désactivé par défaut au lancement.
Astra prend en charge la politique de non-conservation des données pour les clients API éligibles et, comme nous l’avons indiqué le mois dernier, nous testons Private Safety Processing afin de renforcer la surveillance de la sécurité tout en préservant la confidentialité des clients.
Pour les développeurs, GPT‑6 Astra sera disponible via l’API OpenAI sous le nom de gpt-6-astra et via Microsoft Azure et Amazon Bedrock.
La tarification standard de l’API OpenAI est de 10 $ par million de tokens d’entrée et de 50 $ par million de tokens de sortie. Des tarifs distincts s’appliquent aux opérations de lecture et d’écriture du cache. Le mode rapide est offert pour GPT‑6 Astra dans l’API et offre une vitesse jusqu’à 2 fois supérieure à celle du traitement standard, au double du prix standard.
Utilisation d’un ordinateur
Professionnel
Professionnel | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
AutomationBench | 41,4 % | 18,1 % | 31,4 % | 17,4 % | 26,9 % | - |
BenchCAD | 95,9 % | 83,3 % | 84,3 % 5 | 67,5 % 5 | 82,1 % 5 | - |
BrowseComp | 91,5 % | 90,4 % | - | 87,4 % | 90,8 % | - |
OpenScore String Quartets (1 - OMR-NED) | 0,84 | 0,19 | - | - | - | - |
Tâches de conception internes | 50 % | 47,4 % | - | 35,8 % | - | - |
Tâches internes de science des données | 40,9 % | 30,5 % | - | 34,7 % | - | - |
Indice d’intelligence artificielle d’Artificial Analysis v4.1.1 | 61,2 | 60,9 | 65,7 | 62,1 | 63,1 | 58,7 |
Codage
| Codage | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| Terminal-Bench 4.0 | 57,9 % | 37,3 % | 55,8 % | 44,5 % | 52,6 % | 19,1 % |
| DeepSWE v1.1 | 74,1 % | 72.7% | 67,4 % | 69,9 % | 73,7 % | 73,8 % |
| FrontierCode 1.1 Extended (score) | 64,5 % 8 | 60,6 % | 63,6 % | 64,9 % | 63,6 % | 56,3 % |
| FrontierCode 1.1 Main (score) | 53,3 % 8 | 47,5 % | 50,9 % | 53,5 % | 53,4 % | 43,6 % |
| Tâches de migration de la base de données interne | 63,9 % | 42,7 % | 57,8 % | 50,3 % | - | - |
| Indice des agents de programmation d’Artificial Analysis v1.4 | 67,0 | 65,1 | - | 67,2 | 68,1 | 61,2 |
Académique
Académique | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Terminal-Bench Science 0.1 | 64,6 % | 22,4 % | 52,6 % | 21,4 % | 30,0 % | - |
FrontierMath niveau 4 (v2) | 97,6 % | 83,0 % | 87,8 % | 90,2 % | 73,2 % | - |
GPQA Diamond | 96,0 % | 94,60% | 93,7 % | 92,6 % | 93,7 % | 95,3 % |
Humanity’s Last Exam (avec outils) | 57,2 % | - | 65,0 % | 63,8 % | 63,6 % | - |
Science et santé
Alignement
Alignement | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Banc d’essai interne de sécurité liée à l’utilisation de l’ordinateur (les valeurs les plus faibles sont les meilleures) | 2,4 % | 22 % | 9,5 % | 18,3 % | 11,5 % | - |
Banc d’essai interne de sécurité liée à l’utilisation de l’ordinateur, avec AutoReview (les valeurs les plus faibles sont les meilleures) | 1,8 % | 4,3 % | - | - | - | - |
Banc d’essai interne de contournement (les valeurs les plus basses sont les meilleures) | 0,00 % | 0,29 % | - | - | - | - |
Pot de miel d’ExploitGym (les valeurs les plus faibles sont les meilleures) | 0,0 % | 48,2 % | - | - | - | - |
ExploitGym impossible | 100,0 % | - | - | - | - | - |
Banc d’essai interne sur les hallucinations (les valeurs les plus faibles sont les meilleures) | 4,2 % | 12,2 % | - | - | - | - |
Contexte long
Contexte long | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
OpenAI MRCR v2 8-needle 256K-512K | 100,0 % | 91,5 % | - | - | - | - |
OpenAI MRCR v2 8-needle 512K-1M | 96,3 % | 73,8 % | - | - | - | - |
Raisonnement abstrait
| Raisonnement abstrait | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| ARC-AGI-3 | 99,9 % 1 | 7,8 % | - | - | 30,2 % | - |
| ARC-AGI-2 | 95,0 % | 92,5 % | 90,0 % | 89,2 % | 90,4 % | - |
| ARC-AGI-1 | 98,5 % | 97,5 % | 97,5 % | 98,5 % | 97,5 % | - |
Les scores d’évaluation sont maximaux quel que soit le niveau d’effort. Les évaluations GPT ont été exécutées dans notre environnement de recherche ou via notre API, ce qui peut produire des résultats légèrement différents de ceux de ChatGPT en production en raison de différences dans les invites système, les outils disponibles, etc.
NOTES DE BAS DE PAGE
- 1
GPT-6 Astra a été exécuté avec notre harnais Responses API, qui modifie deux paramètres afin de mieux refléter les performances en conditions réelles. Ces modifications ne ciblent pas spécifiquement ARC-AGI-3.
- 2
GPT-5.6 Sol désigne la version disponible dans notre API, ChatGPT Codex et ChatGPT Work. La version disponible dans ChatGPT Chat est légèrement différente.
- 3
OSWorld V2-Offline est un sous-ensemble de l’OSWorld V2 d’origine qui fonctionne sans accès à Internet. Les performances du modèle Claude sur OSWorld-V2 Offline ont été reproduites par les auteurs sur le classement officiel(s'ouvre dans une nouvelle fenêtre). Sur OSWorld 2.0, les scores de Claude utilisent les paramètres officiels, et non les tâches modifiées et la notation modifiée de la fiche système Fable 5.1.
- 4
- 5
Sur BenchCAD, les scores de Claude reflètent trois modifications apportées à l’évaluation, détaillées dans la fiche système Fable 5.1(s'ouvre dans une nouvelle fenêtre).
- 6
Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon et Noah A. Smith. « LEGATO : Large-scale End-to-end Generalizable Approach to Typeset OMR(s'ouvre dans une nouvelle fenêtre) ». arXiv:2506.19065, 2025.
- 7
Mark R. H. Gotham, Maureen Redbond, Bruno Bower et Peter Jonas. « The OpenScore String Quartet Corpus(s'ouvre dans une nouvelle fenêtre). » Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.
- 8
Sur FrontierCode, GPT-6 Astra a été exécuté avec un message développeur semblable à une section de son message développeur dans Codex(s'ouvre dans une nouvelle fenêtre) : « Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code. » L'invite n’a pas été optimisée pour l’évaluation.
- 9
Le premier porte sur l’écart minimal entre deux nombres premiers, aussi loin que l’on avance sur la droite numérique. Pendant plus de dix ans, le meilleur résultat connu était le suivant : il existe une infinité de paires de nombres premiers dont l’écart ne dépasse pas 246. Julia Stadlmann(s'ouvre dans une nouvelle fenêtre) a récemment amélioré cette borne, la portant à 240. Astra a contribué à établir une borne plus stricte de 186, montrant qu’il existe une infinité de paires à une distance au plus égale à cette valeur réduite. Petits écarts entre nombres premiers : preuve(s'ouvre dans une nouvelle fenêtre) et recherches à l’appui(s'ouvre dans une nouvelle fenêtre).
- 10
Le second concerne des écarts inhabituellement grands entre nombres premiers. Astra a amélioré un terme dans une borne sur ces écarts, qui était resté inchangé pendant plus de 80 ans. Nous partageons les preuves, ainsi que la chaîne de pensée abrégée et les éléments de vérification pour les deux résultats. Grands écarts entre nombres premiers : preuve(s'ouvre dans une nouvelle fenêtre) et recherches à l’appui(s'ouvre dans une nouvelle fenêtre).
- 11
Nous avons évalué indépendamment tous les modèles Claude selon la procédure prévue pour HealthBench Professional, en utilisant une notation effectuée par GPT‑5.4 et des scores non écrêtés, ajustés en fonction de la longueur. Pour Fable 5.1, nous avons utilisé Opus 5 comme solution de repli en cas de refus du fournisseur.
- 12
- 13
- 14
ExploitBench (de juin à août 2026) contient 20 vulnérabilités V8 de gravité élevée réparties sur 13 versions stables de Chrome. Le banc d’essai évalue si les agents peuvent parvenir à une exécution de code arbitraire dans V8 et les versions officielles de Chrome pour Linux en exploitant chacune des vulnérabilités spécifiées. Certaines vulnérabilités incluses peuvent ne pas permettre l’exécution de code arbitraire compte tenu des contraintes de l’évaluation; Il est donc possible qu’un taux de réussite de 100 % ne puisse être atteint. Remarque : le score de 5,5 % obtenu par GPT-5.6 Sol est attribuable à la limite de 300 tours du banc d’essai, une limite qui ne s’applique pas aux clients qui utilisent max dans des conditions réelles. Avec des paramètres similaires, le modèle a obtenu un score de 11,5 % lorsqu’il était soumis à moins de limites.
- 15
Jeremy Spence et al. « The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark(s'ouvre dans une nouvelle fenêtre). » arXiv:2608.11469v1, 2026.
- 16
Lorsque nous effectuons des tests sur différents modèles tiers, nous utilisons un protocole de recherche plus simple. Codex dispose d’une configuration de production plus complexe, ce qui peut entraîner des taux d’erreur différents du modèle brut. Les mesures de protection côté fournisseur et les implémentations des outils informatiques restent différentes. Les utilisateurs ne sont pas exposés au scénario sans confirmation dans Codex, car il s’agit d’une configuration de recherche interne.
- 17
