OpenAI

GPT-6 Astra: A new generation of intelligence

Ойлау деңгейі жаңа буыны

Біз әлемдегі ең зияткер және мақсатқа ең жақсы сәйкестендірілген GPT‑6 Astra моделін таныстырамыз.

GPT‑6 Astra алдын ала оқыту, күшейту арқылы оқыту және сәйкестендіру бағыттарындағы көпжылдық зерттеулер мен батыл бастамаларды біріктіреді. Astra компьютерді пайдалану, интернетті шолу, бағдарламалық жасақтама инженериясы, киберқауіпсіздік, ғылым және кәсіби жұмыс салаларында ең озық деңгейде. Astra математикадағы ұзақ уақыттан бері шешілмей келе жатқан ашық мәселелерді шешуге бұған дейін-ақ көмектесіп үлгеріп, FrontierMath Tier 4 деңгейін 98% нәтижемен шегіне жеткізді. Astra ARC-AGI-3 бенчмаркінде 99,9% ұпаймен, ал ExploitBench бенчмаркінде 100% ұпаймен де шекті нәтижеге жетті. Ол сондай-ақ компьютер мен браузерді пайдалану саласында жаңа озық деңгей орнатып, ең талапшыл кәсіби жұмыстарды теңдессіз жылдамдықпен, дәлдікпен және пайыммен орындайды. 

GPT‑6 Astra бүгін ұйымдардың шектеулі тобына кезең-кезеңімен қолжетімді бола бастайды және алдағы күндері барлық ChatGPT Plus, Pro, Business және Enterprise пайдаланушыларына, сондай-ақ OpenAI API, Microsoft Azure және AWS Bedrock арқылы қолжетімді болады.

«ARC-AGI-3 бағалауында Astra деңгейлердің 96%-ында адам әрекетінің тиімділігі бойынша базалық көрсеткішімізден асып, іс жүзінде бенчмаркте адам деңгейіне жетті. Бұл біз сынаған ең үздік модель ғана емес, сонымен бірге озық модельдер өнімділігіндегі елеулі сапалық өзгерісті білдіреді — ол жаңа орталарды бағдарлап, шешу қабілетінде ғана емес, мұны қаншалықты тиімді үйренетінінде де көрінеді».
Грег Камрадт, ARC Prize Foundation

Astra — пайдаланушы ниеті мен модель мінез-құлқын түсінуде елеулі жақсартулары бар, ең үйлесімді моделіміз; Astra-ның пайымына көбірек сенім артып, тапсырмаларды тапсыра аласыз. Мұны сынаудың бір тәсілі ретінде Hugging Face оқиғасына сүйене отырып, қиын немесе орындалмайтын тапсырмаға тап болған модельдің көзделген аясынан шығып кететін-кетпейтінін бағалайтын жаңа сынақ әзірледік. Өндірістік қорғаныс шаралары жоқ кезде рұқсат етілген мақсаттан 48% жағдайда асып кеткен GPT‑5.6 Sol-мен салыстырғанда, GPT‑6 Astra мұны 0% жағдайда жасады.

Компьютерді пайдалануға арналған әлемдегі ең үздік модель

GPT‑6 Astra компьютерді пайдалану жылдамдығы, дәлдігі мен қауіпсіздігі саласында жаңа озық деңгейге жол ашады. Ол онлайн формаларды толтыру, CRM жүйесіндегі тұтынушы жазбаларын жаңарту және күнтізбеңізді реттеу сияқты жалықтыратын тапсырмаларды орындай алады. Ол онлайн зерттеу жүргізіп, электрондық поштаңызда немесе құжат редакторыңызда қысқаша қорытындылардың жобасын дайындай алады. Ол ғылыми деректерді талдай алады, графиктер жасай алады, веб-сайт құра алады және сол сайттағы барлық мүмкіндіктердің жұмыс істейтініне көз жеткізу үшін фронтенд сапасын тексере алады. Ол сізге бағдарламалық жасақтаманы өздігінен орнатып, сынауға және экранда көріп тұрған мәселелерді анықтап, жоюға көмектесе алады. Бұл жақсартулар біздің ең озық бағалау нәтижелерімізде де көрініс тапқан.

Бұл жақсартулар да нақты, білімге негізделген жұмыс тапсырмаларында тиімділіктің айтарлықтай артуына әкеледі. OSWorld 2.0 жүйесіндегі кідіріс симуляцияларында Astra әр тапсырмаға GPT‑5.6-ға қарағанда шамамен 47% аз уақыт жұмсап, компьютерді пайдалану өнімділігінің жоғарырақ деңгейіне қол жеткізеді Sol әр тапсырмаға шамамен 40 минут жұмсап, 72,6% нәтиже көрсетті; салыстыру үшін, шамамен 75 минутта бұл көрсеткіш 65,7% болды.3

GPT‑6 Astra-ның компьютерді пайдалану мүмкіндіктерін ойын әзірлеу, электротехника және күнделікті білімге негізделген жұмыс сияқты әртүрлі салалардағы нәтижелерден көруге болады:

Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4

«Біз GPT‑6 Astra моделін іске қосылған күні Devin-нің тапсырма ортасына біріктіреміз, онда ол ішкі тестілеу бенчмаркімізде ең озық деңгейдегі өнімділік көрсетеді. Оның компьютерді тамаша пайдалануы, жазу қабілеті және код базасын түсінуі тестілеуді бірден жақсартты: бейнелерді түсіну айтарлықтай жеңілдеді, ал есептер анығырақ әрі ықшамырақ болды»
Сайлас Альберти, Cognition компаниясының зерттеу жөніндегі аға вице-президенті

Кәсіби жұмыстағы сапалы серпіліс

GPT‑6 Astra күрделі жұмыс тапсырмаларын шешуге көмектесу үшін компьютерді пайдаланудағы жетістіктерді кәсіби орталарға арналған мақсатты оқытумен ұштастырады. Ол күрделі мәселелерге қажетті ойлау деңгейін көпсатылы жұмыс процестерін орындау және сапалы құжаттар, электрондық кестелер мен презентациялар әзірлеу қабілетімен біріктіреді.

GPT‑6 Astra — бар үлгілерді сақтауға және құрылымды баяндау арқылы негізгі ойларды ықшам жеткізетін, макеті жақсы жасалған слайдтар әзірлеуге арналған ең үздік модель. Ол сіздің үлгілеріңізге сай келетін және жазу мәнеріңіз бен визуалды стиліңізге сәйкес келетін анық, жақсы құрылымдалған құжаттар, презентациялар, электрондық кестелер және талдаулар жасайды. Astra сондай-ақ нәтижелерге тек маңызды контекстті ғана енгізуге арнайы үйретілген, осылайша ағымдағы тапсырмаға қажетсіз ақпаратты қайталамайды. Мұның бәрі оның бизнес контекстіңіз бен стандарттарыңызға сәйкес келетін, бірден қолдануға анағұрлым дайын артефактілерді шығара алатынын білдіреді.

GPT‑6 Astra веб-сайттарды, ойындарды, қолданбаларды және рендерлерді жасауда көрнекі пайымдау қабілетін де күшейтеді. ChatGPT ішіндегі Сайттар(жаңа терезеде ашылады) арқылы Astra веб-сайттарды, веб-қолданбаларды және ойындарды көмексөз арқылы тікелей жасап, хостингке орналастырып, бөлісе алады.

«Astra бізге мүмкіндіктер мен тиімділік тұрғысынан айтарлықтай артықшылық береді. Ол біз сынақтан өткізген басқа модельдерге қарағанда токендерді 20%-ға дейін аз пайдалана отырып, ең күрделі шығармашылық жұмыс процестерімізді сәтті орындайды. Ең маңыздысы, бұл тұтынушыларымыз үшін жоғары сапалы нәтиже дегенді білдіреді».
Алекс Машрабов, Higgsfield AI бас директоры және тең құрылтайшысы

Нұсқаулар әртүрлі түсіндіруге мүмкіндік бергенде, GPT‑6 Astra дұрыс шешім қабылдауда алдыңғы модельдерден жақсырақ. Ол контексті пайдаланып, әдеттегі олқылықтардың орнын толтырады және жауап нәтижені өзгертуі мүмкін болған кезде нақты сұрақтар қояды. Codex-те ол жауабыңызға тәуелді емес жұмысты жалғастыра отырып, сұрақтарды асинхронды түрде қоя алады. Жауап бермесеңіз, орынды болған жағдайда негізді болжамдарға сүйеніп жұмысты жалғастырады, бірақ маңызды шешімдерде сіздің жауабыңызды күтеді.

Төмендегі мысалдар жетіспейтін ақпарат жауапты елеулі түрде өзгерте алатын күнделікті тапсырмаларда Astra-ның қалай бірлесіп жұмыс істейтінін көрсетеді.

Astra тапсырма өзгеріп отырған сайын бағдарын сақтауда да жақсырақ. Бұрынғы модельдер кейде бағыттаушы хабарларды жаңа мақсат ретінде қабылдап, бастапқы сұрауды немесе алдыңғы шектеулерді естен шығаратын. Astra жаңа талаптарды ескереді, сұралғанда бағытын өзгертеді және жалпы тапсырманы назардан тыс қалдырмай, қосымша сұрақтарға жауап береді.

«Astra күрделі құқықтық тапсырмаларда GPT‑5.6 Sol-мен салыстырғанда сапаны едәуір жақсартады. Алғашқы сынақтарымызда Astra заңгерлік жұмысқа пайымды заңгер сияқты қарайтынымен ерекшеленді: ол құжаттарды қалыптасқан жазбалардан ажыратады, дәлелденбеген болжамдарды анықтайды және олқылықтарды құжат жобалау бойынша нақты ұстанымдарға айналдырады».
Нико Групен, Harvey компаниясының қолданбалы зерттеулер бөлімінің басшысы

Кодтау

GPT‑6 Astra — бүгінгі күнге дейін бағдарламалық жасақтама инженериясына арналған ең үздік модель.

2 ішінен 1
«GPT‑6 Astra ішкі бағдарламалау бенчмарктерімізде озық деңгейдегі өнімділік көрсетіп, GPT‑5.6 Sol-пен салыстырғанда трейдинг интуициясын бағалауда айқын ілгерілеуді көрсетеді. Агенттік бағдарламалау үшін қолданылғанда, GPT‑6 Astra әзірлеушілерге түсінуге оңайырақ түрде байланысып, өндірістік сапаға жету үшін азырақ итерацияны қажет ететін код жасайды».
Джон Крепецци, ЖИ ассистенттері, Jane Street

Astra көмегімен мәнмәтін терезесі толған кезде Codex-тің мәнмәтінді сақтап, қайта алуына арналған жаңа тәсілді ұсынып отырмыз. Бұрын модельдер күрделі мәселелерді жөндеу немесе ауқымды қайта құрулармен жұмыс істеу сияқты ұзақ сеанстар кезінде жұмысты қорытындылау үшін ықшамдауды қолданатын. Әрбір ықшамдау түзетудің неліктен сәтсіз болғаны немесе компоненттің қалай жұмыс істейтіні туралы кейбір мәліметтерді қамтымай қалуы мүмкін. Codex-те Astra жазбаларды мәнмәтін терезелері арасында сақтай алады, осылайша жинақталған мәліметтерді қайта-қайта бір ғана қорытындыға ықшамдамай сақтайды. Бұрынғы мәнмәтін терезелері іздеуге қолжетімді болып қалады, сондықтан Astra талаптарды немесе тест нәтижелерін алдыңғы хабарламалар мен құралдардың нәтижелерінен таба алады, тіпті бұл ақпарат оның жазбаларында қамтылмаса да. Бұл эксперименттік функцияны Codex config.toml,(жаңа терезеде ашылады) файлында қоса аласыз, ал ол алдағы апталарда Astra үшін әдепкі болады.

Ғылыми жаңалықтарды ілгерілету

«Әңгіме мынада: бір дәуірдің соңы, екіншісінің басы».
Грег Бернхэм, EpochAI

GPT‑6 Astra is a major advance for scientific discovery, mathematics, and health. Today, we’re sharing two further results on the gaps between prime numbers.9 және 10

Astra also sets new records across a suite of math and science evaluations.

Astra ғылыми жаңалық ашу жолындағы практикалық жұмысқа көмектесе алады. Ғылыми ой қорытуды компьютерді пайдаланумен ұштастыра отырып, ол деректерді тексеру және нәтижелерді зерттеу үшін арнайы бағдарламалық жасақтамада тікелей жұмыс істей алады, бұл зерттеушілерге дәлелдерді бағалауға және келесіде нені зерттеу керегін шешуге көмектеседі.

Киберқауіпсіздік

As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.

We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13

Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.

We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.

Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.

As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.

However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.

We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(жаңа терезеде ашылады)..

GPT‑6 Astra-ны жауапкершілікпен үйлестіру және орналастыру

Astra — мақсатқа ең сай модель. Astra мұқият әрекет етуімен, тапсырма шекараларын сақтауымен және ашық қарым-қатынас жасауымен ерекшеленеді. Бұл жұмыс — модельдерді басынан аяғына дейін адам ниетіне сай болып қалатындай етіп үйретуге бағытталған, ұзақ уақыт бойы жүргізіліп келе жатқан зерттеу бағдарламамыздың соңғы нәтижесі.

Сезімтал орталарда Astra тәуекел деңгейіне сай сақтықпен әрекет етеді. Теріс әрекетке итермелейтіндей етіп әдейі іріктелген компьютерді пайдалану тапсырмаларын бағалау барысында Astra көзделмеген салдарларды болдырмауда анағұрлым табысты болды. Әдепкі бойынша ұсынылатын қосымша қауіпсіздік шараларымен іске қосылғанда, өнімділік одан да жоғары болды.

Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(жаңа терезеде ашылады) and Anthropic Messages API(жаңа терезеде ашылады)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16

Сондай-ақ Astra пайдаланушы белгілеген және оның ортасы меңзейтін шектер аясында жұмыс істеуге бейім. Ішкі бағалауда Astra Codex Auto-Review бас тартуын айналып өтуге ешқашан әрекет жасаған жоқ. Бұл Auto-review әдейі айналып өтуге болатындай етіп бапталған және әйтпесе тапсырманы орындау мүмкін болмаған жағдайда да өз күшінде қалды. Орта шектеулерін бұлай құрметтеу осы жазбаның кіріспесінде бөліскен орындалуы мүмкін емес кибертапсырма бағалауымыздың нәтижелерімен және жүйе картасында(жаңа терезеде ашылады) құжатталған басқа тұжырымдармен сәйкес келеді.

Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.

Мүмкіндіктерге қатысты галлюцинацияны бағалауымызда Astra GPT‑5.6 Sol-пен салыстырғанда айтарлықтай жақсарып, өз мүмкіндіктері туралы адастыруы мүмкін мәлімдемелерді азырақ жасайды.

Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(жаңа терезеде ашылады) details our findings and ongoing work.

Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(жаңа терезеде ашылады) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.

Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.

Қолжетімділік

GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.

Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.

For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.

OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.

Компьютерді пайдалану

Computer Use

GPT‑6 Astra

GPT‑5.6 Sol2

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Agents' Last Exam

59.3%

53.6%

-

48.7%

55.5%

-

OSWorld 2.0 (v2026.08.08, offline set, partial score)

72.6%

65.7%

-

-

70.2%3

-

ScreenSpot-Pro (no tools)

92.7%

76.9%

-

87.3%17

-

-

Professional

Professional

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

AutomationBench

41.4%

18.1%

31.4%

17.4%

26.9%

-

BenchCAD

95.9%

83.3%

84.3% 5

67.5% 5

82.1% 5

-

BrowseComp

91.5%

90.4%

-

87.4%

90.8%

-

OpenScore String Quartets (1 - OMR-NED)

0.84

0.19

-

-

-

-

Internal Design Tasks

50.0%

47.4%

-

35.8%

-

-

Internal Data Science Tasks

40.9%

30.5%

-

34.7%

-

-

Artificial Analysis Intelligence Index v4.1.1

61.2

60.9

65.7

62.1

63.1

58.7

Coding

CodingGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
Terminal-Bench 4.057.9%37.3%55.8%44.5%52.6%19.1%
DeepSWE v1.174.1%72.7%67.4%69.9%73.7%73.8%
FrontierCode 1.1 Extended (score)64.5% 860.6%63.6%64.9%63.6%56.3%
FrontierCode 1.1 Main (score)53.3% 847.5%50.9%53.5%53.4%43.6%
Internal Database Migration Tasks63.9%42.7%57.8%50.3%--
Artificial Analysis Coding Agent Index v1.467.065.1-67.268.161.2

Academic

Academic

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Terminal-Bench Science 0.1

64.6%

22.4%

52.6%

21.4%

30.0%

-

FrontierMath Tier 4 (v2)

97.6%

83.0%

87.8%

90.2%

73.2%

-

GPQA Diamond

96.0%

94.6%

93.7%

92.6%

93.7%

95.3%

Humanity's Last Exam (w/ tools)

57.2%

-

65.0%

63.8%

63.6%

-

Ғылым және денсаулық

Science and HealthGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
GeneBench Pro37.1%32.3%----
MedChemBench (Internal)49.3%47.4%----
LifeSciBench60.3%59.9%----
HealthBench Professional (length-adjusted)63.4%60.5%58.1% 1160.9% 1156.4% 1152.1%

Киберқауіпсіздік

CybersecurityGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ExploitBench100.0%78.5%--70%-
ExploitGym42.4% 1330.3% 1330.4% 1728.4%1722.0%-
ExploitBench (June-Aug 2026)39.0%5.5%----
SRE-Bench88.0%55.9%--12.5%-
SEC-Bench Pro85.4%79.1%----

Сәйкестік

Сәйкестік

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Компьютерді ішкі пайдалану қауіпсіздігінің эталондық көрсеткіші (төмен болғаны жақсы)

2,4%

22,0%

9,5%

18,3%

11,5%

-

Компьютерді пайдалану қауіпсіздігінің ішкі бенчмаркі, AutoReview көмегімен (төмен болғаны жақсы)

1,8%

4,3%

-

-

-

-

Айналып өтудің ішкі бенчмаркі (төмен болғаны жақсы)

0,00%

0,29%

-

-

-

-

ExploitGym ханипоты (төмен болғаны жақсы)

0,0%

48,2%

-

-

-

-

Impossible ExploitGym

100,0%

-

-

-

-

-

Ішкі галлюцинация бенчмаркі (төмен болғаны жақсы)

4,2%

12,2%

-

-

-

-

Ұзақ контекст

Ұзақ контекст

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

OpenAI MRCR v2 8-needle 256 мың–512 мың

100,0%

91,5%

-

-

-

-

OpenAI MRCR v2 8-needle 512 мың–1 млн

96,3%

73,8%

-

-

-

-

Абстрактілі ой қорыту

Abstract reasoningGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ARC-AGI-399.9% 17.8%--30.2%-
ARC-AGI-295.0%92.5%90.0%89.2%90.4%-
ARC-AGI-198.5%97.5%97.5%98.5%97.5%-

Бағалау ұпайлары кез келген күш салу деңгейінде ең жоғары болып табылады. GPT бағалаулары зерттеу ортамызда немесе API арқылы жүргізілді, сондықтан жүйелік көмексөздердегі, қолжетімді құралдардағы және т.б. айырмашылықтарға байланысты олардың нәтижелері өндірістегі ChatGPT нәтижелерінен сәл өзгеше болуы мүмкін.

FOOTNOTES

  1. 1

    On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.

  2. 2

    GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.

  3. 3

    OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(жаңа терезеде ашылады). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.

  4. 4

    Model times are the reported elapsed times for the corresponding demonstration runs. The displayed clips are edited excerpts.

  5. 5

    On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(жаңа терезеде ашылады).

  6. 6

    Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(жаңа терезеде ашылады).” arXiv:2506.19065, 2025.

  7. 7

    Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(жаңа терезеде ашылады).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.

  8. 8

    On FrontierCode, GPT-6 Astra was run with a developer  message similar to a section of its developer message in Codex(жаңа терезеде ашылады): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.

  9. 9

    The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(жаңа терезеде ашылады) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(жаңа терезеде ашылады) and supporting research(жаңа терезеде ашылады).

  10. 10

    The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(жаңа терезеде ашылады) and supporting research(жаңа терезеде ашылады).

  11. 11

    We independently evaluated all Claude models following the intended HealthBench Professional procedure, using GPT‑5.4 grading and length-adjusted, unclipped scores. For Fable 5.1, we used Opus 5 fallback for provider refusals.

  12. 12

    Claude Fable 5 and 5.1 are not included in LifeSciBench Gold v1, GeneBench Pro v13, and MedChemBench because they refuse the majority of questions in these evaluations.

  13. 13

    On ExploitGym, we tested Astra and Sol without the 6-hour time limit, to better assess their full cyber capabilities. They are fast enough that it has little impact.

  14. 14

    ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.

  15. 15
  16. 16

    When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.

  17. 17

    For ScreenSpot-Pro and ExploitGym, the Fable scores we report come from Mythos, which is Fable with fewer safeguards.