OpenAI

GPT-6 Astra: A new generation of intelligence

Оюун ухааны шинэ үе

Бид дэлхийн хамгийн ухаалаг бөгөөд нийцтэй загвар болох GPT‑6 Astra-г танилцуулж байна.

GPT‑6 Astra нь урьдчилсан сургалт, бататгах сургалт, нийцүүлэлтийн чиглэлд олон жилийн судалгаа болон томоохон бооцоог нэгтгэдэг. Astra нь компьютер ашиглах, хөтөч ашиглах, програм хангамжийн инженерчлэл, кибер аюулгүй байдал, шинжлэх ухаан болон мэргэжлийн ажлын хувьд орчин үеийн шилдэг түвшинд хүрсэн. Astra нь FrontierMath Tier 4-д 98%-ийн оноогоор дээд түвшинд хүрч, математикийн удаан хугацаанд нээлттэй байсан асуудлуудыг шийдвэрлэхэд аль хэдийн тусалсан. Astra мөн ARC-AGI-3 дээр 99.9%-ийн оноо авч, ExploitBench дээр 100%-ийн оноо авсан. Мөн компьютер болон хөтчийн хэрэглээнд шинэ хил хязгаар тогтоож, хамгийн шаардлага өндөртэй мэргэжлийн ажлыг хосгүй хурд, нарийвчлал, дүгнэлт гаргах чадвараар гүйцэтгэдэг. 

GPT‑6 Astra нь өнөөдрөөс эхлэн хязгаарлагдмал тооны байгууллагад нэвтэрч эхлэх бөгөөд ойрын өдрүүдэд ChatGPT Plus, Pro, Business, Enterprise-ийн бүх хэрэглэгчид, мөн OpenAI API, Microsoft Azure болон AWS Bedrock-оор дамжуулан ашиглах боломжтой болно.

"ARC-AGI-3 дээр Astra нь түвшнүүдийн 96%-д хүний үйлдлийн үр ашгийн суурь түвшнээс давж, уг жишиг шалгуур дээр хүний түвшинд бодитоор хүрсэн. Энэ нь бидний туршиж үзсэн хамгийн сайн загвар төдийгүй, шинэ орчинд чиг баримжаа олж, шийдвэрлэх чадвараараа ч, үүнийг хэр үр ашигтай сурдгаараа ч хил хязгаарын загварын гүйцэтгэлд утга учиртай ахиц гарсныг илэрхийлж байна."
Грег Камрадт, ARC Prize Foundation

Astra бол хэрэглэгчийн зорилго болон загварын зан төлөвийг ойлгох талд мэдэгдэхүйц сайжирсан, хамгийн сайн нийцүүлэлттэй загвар маань юм. Та Astra-гийн дүгнэлтэд илүү итгэлтэйгээр даалгавар өгч болно. Үүнийг шалгах нэг арга болгон бид Hugging Face-ийн ослоос сургамж авсан шинэ үнэлгээ боловсруулсан бөгөөд хэцүү эсвэл боломжгүй даалгавартай тулгарсан загвар нь зориулалтын хүрээнээсээ хэтрэх эсэхийг үнэлдэг. Үйлдвэрлэлийн хамгаалалтын арга хэмжээгүй үед зөвшөөрөгдсөн зорилтот хүрээнээс тохиолдлын 48%-д хэтэрсэн GPT‑5.6 Sol-той харьцуулахад GPT‑6 Astra тохиолдлын 0%-д ингэж үйлдсэн.

Компьютер ашиглах дэлхийн шилдэг загвар

GPT‑6 Astra нь компьютер ашиглах хурд, нарийвчлал, аюулгүй байдлын шинэ хил хязгаарыг нээж байна. Энэ нь онлайн маягт бөглөх, CRM дэх харилцагчийн бүртгэлийг шинэчлэх, таны календарийг зохион байгуулах зэрэг уйтгартай ажлуудыг гүйцэтгэж чадна. Энэ нь онлайн судалгаа хийж, таны имэйл эсвэл баримт бичгийн засагчид хураангуйн ноорог бэлтгэж чадна. Энэ нь шинжлэх ухааны өгөгдөлд дүн шинжилгээ хийж, график үүсгэн, вэбсайт бүтээж, тухайн сайтын бүх функц ажиллаж буйг баталгаажуулахын тулд фронтендийн QA шалгалт хийж чадна. Энэ нь танд программ хангамжийг бие даан суулгаж, турших, мөн дэлгэц дээр харж буй асуудлуудыг оношлон шийдвэрлэхэд тусална. Эдгээр сайжруулалт нь манай хамгийн сүүлийн үеийн үнэлгээний үр дүнд мөн тусгагдаж байна.

Эдгээр сайжруулалт нь бодит мэдлэгт суурилсан ажлын даалгавруудын үр ашгийг мөн мэдэгдэхүйц нэмэгдүүлдэг. OSWorld 2.0 дээрх хариу өгөх хугацааны симуляцид Astra нь GPT‑5.6-аас даалгавар бүрийг ойролцоогоор 47%-иар бага хугацаанд гүйцэтгэж, компьютер ашиглахдаа илүү өндөр гүйцэтгэл үзүүлдэг Sol нь даалгавар тутамд ойролцоогоор 40 минутад 72.6% оноо авсан нь ойролцоогоор 75 минутад 65.7% оноо авсантай харьцуулахад.3

GPT‑6 Astra-гийн компьютер ашиглах чадвар нь тоглоом хөгжүүлэлт, цахилгааны инженерчлэл, өдөр тутмын мэдлэгт суурилсан ажил зэрэг олон салбарын үр дүнгээс харагдана:

Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4

“Бид GPT‑6 Astra-г нээлтийн өдөр Devin-ийн хамгаалалтад нэгтгэж байна. Тэнд энэ нь манай дотоод туршилтын жишиг үнэлгээнд тэргүүлэх түвшний гүйцэтгэл үзүүлдэг. Компьютер ашиглах, бичих, кодын санг ойлгох өндөр чадавх нь шууд ашиглаж эхэлмэгц туршилтыг сайжруулсан: видеог дагахад илт хялбар болж, тайлангууд илүү ойлгомжтой, товч болсон”
Сайлас Альберти, Судалгаа хариуцсан Ахлах дэд ерөнхийлөгч, Cognition

Мэргэжлийн ажил дахь үсрэнгүй ахиц

GPT‑6 Astra нь компьютер ашиглах дэвшлийг мэргэжлийн орчинд чиглэсэн сургалттай хослуулж, нарийн төвөгтэй ажлын даалгавруудыг шийдвэрлэхэд тусалдаг. Энэ нь нарийн төвөгтэй асуудалд шаардлагатай оюун ухааныг олон үе шаттай ажлын урсгалыг хэрэгжүүлэх, боловсронгуй баримт бичиг, хүснэгт, танилцуулга бэлтгэх чадвартай хослуулдаг.

GPT‑6 Astra нь одоо байгаа загваруудыг дагаж мөрдөх, сайн зохион байгуулалттай, бүтэцтэй өгүүлэмжээр гол санааг товч тодорхой дамжуулсан слайд бүтээхэд зориулсан манай хамгийн сайн загвар юм. Энэ нь таны загваруудыг дагаж, бичгийн болон визуал хэв маягт тань нийцсэн ойлгомжтой, сайн бүтэцтэй баримт бичиг, танилцуулга, хүснэгт, шинжилгээ бүтээдэг. Түүнчлэн Astra нь тухайн ажилд шаардлагагүй мэдээллийг давтахаас илүүтэйгээр зөвхөн чухал агуулгыг гаралтдаа тусгайлан оруулахаар сургагдсан. Энэ бүхэн нь таны бизнесийн нөхцөл байдал, стандартад нийцсэн, шууд ашиглахад илүү бэлэн ажлын материал гаргах боломжтой гэсэн үг юм.

GPT‑6 Astra нь бүтээдэг вэбсайт, тоглоом, аппликейшн, дүрслэлүүддээ илүү хүчтэй харааны дүгнэлт гаргах чадварыг авчирдаг. ChatGPT дахь Sites(шинэ цонхонд нээгдэнэ) -ийн тусламжтайгаар Astra нь командаас шууд вэбсайт, вэб апп болон тоглоом үүсгэж, хост хийж, хуваалцах боломжтой.

"Astra нь чадавх болон үр ашгийн аль алинд нь бидэнд мэдэгдэхүйц давуу тал олгодог. Бидний туршсан бусад загваруудаас 20% хүртэл цөөн токен ашиглахын зэрэгцээ хамгийн нарийн төвөгтэй бүтээлч ажлын урсгалуудыг маань амжилттай гүйцэтгэдэг. Хамгийн чухал нь энэ нь манай үйлчлүүлэгчдэд илүү өндөр чанартай үр дүн гэсэн үг юм."
Алекс Машрабов, Гүйцэтгэх захирал бөгөөд Хамтран үүсгэн байгуулагч, Higgsfield AI

Заавар нь тайлбарлах боломж үлдээсэн үед GPT‑6 Astra зөв шийдвэр гаргахдаа өмнөх загваруудаас илүү сайн. Энэ нь ердийн дутуу мэдээллийг нөхөхдөө контекстийг ашиглаж, хариулт нь үр дүнг өөрчилж болзошгүй үед чиглэсэн асуулт асууна. Codex-д таны хариултаас хамаарахгүй ажлыг үргэлжлүүлэн хийхийн зэрэгцээ асинхроноор асуулт асууж чадна. Хэрэв та хариу өгөхгүй бол тохиромжтой үед үндэслэлтэй таамаглалаар үргэлжлүүлнэ, харин үр дагавартай шийдвэрүүдийн талаар таны оролтыг хүлээнэ.

Доорх жишээнүүд нь Astra дутуу мэдээлэл хариултад мэдэгдэхүйц нөлөөлж болох өдөр тутмын даалгаврууд дээр хэрхэн хамтран ажилладгийг харуулж байна.

Astra нь даалгавар хувьсан өөрчлөгдөх үед чиг баримжаагаа хадгалахдаа мөн илүү сайн. Өмнөх загварууд заримдаа чиглүүлэх зурвасуудыг шинэ зорилго гэж үзэж, анхны хүсэлт эсвэл өмнөх хязгаарлалтуудыг умартдаг байсан. Astra нь шинэ шаардлагуудыг нэгтгэж, хүсэлт гаргавал чиглэлээ өөрчилж, өргөн хүрээтэй даалгаврыг орхигдуулахгүйгээр хажуугийн асуултуудад хариулдаг.

"Astra нь нарийн төвөгтэй хууль зүйн ажлуудын хүрээнд GPT‑5.6 Sol-оос чанарын хувьд мэдэгдэхүйц сайжирсан. "Эрт үеийн туршилтаар Astra нь хэрсүү хуульчийн адил хууль зүйн ажилд ханддагаараа онцгойрсон: баримт бичгийг баталгаажсан бүртгэлээс ялгаж, үндэслэлгүй таамаглалыг ил гарган, дутууг тодорхой төсөл боловсруулах байр суурь болгон хувиргадаг."
Нико Групен, Хэрэглээний судалгааны дарга, Harvey

Код бичих

GPT‑6 Astra нь програм хангамжийн инженерчлэлд зориулсан өнөөг хүртэлх хамгийн шилдэг загвар юм.

1 -н 2
"GPT‑6 Astra нь манай дотоод кодчиллын жишиг үнэлгээнүүдэд хамгийн дэвшилтэт гүйцэтгэл үзүүлж, GPT‑5.6 Sol-той харьцуулахад арилжааны зөн совингийн үнэлгээнд тодорхой ахиц харуулж байна. Агент шинжтэй кодчилолд ашиглах үед GPT‑6 Astra нь хөгжүүлэгчдэд дагахад илүү хялбар байдлаар харилцаж, үйлдвэрлэлийн түвшний чанарт хүрэхэд цөөн давталт шаарддаг код гаргадаг.”
Жон Крепеззи, AI туслахууд, Jane Street

Astra-ийн тусламжтайгаар контекстийн цонх дүүрэх үед Codex контекстийг хадгалж, сэргээх шинэ аргыг танилцуулж байна. Өмнө нь загварууд нарийн төвөгтэй асуудлуудыг дибаг хийх эсвэл томоохон дахин зохион байгуулалт хийх зэрэг урт холболтын үеэр ажлыг хураангуйлахын тулд шахалтыг ашигладаг байсан. Шахалт бүр нь засвар яагаад бүтэлгүйтсэн эсвэл бүрэлдэхүүн хэсэг хэрхэн ажилладгийн талаарх дэлгэрэнгүйг орхигдуулж болзошгүй. Codex-д Astra нь хуримтлагдсан дэлгэрэнгүй мэдээллийг нэг хураангуй болгон дахин дахин шахахгүйгээр контекстийн цонх дамнан тэмдэглэл хадгалж чадна. Өмнөх контекстийн цонхнууд хайлт хийх боломжтой хэвээр байдаг тул Astra өмнөх мессежүүд болон хэрэгслийн гаралтаас шаардлага эсвэл туршилтын үр дүнг, тэр мэдээлэл тэмдэглэлд нь тусгагдаагүй байсан ч, олох боломжтой. Та энэ туршилтын функцийг Codex config.toml файлдаа идэвхжүүлж болно,(шинэ цонхонд нээгдэнэ) мөн энэ нь ирэх долоо хоногуудад Astra-д анхдагч тохиргоо болно.

Шинжлэх ухааны нээлтийг урагшлуулах

"Энэ түүх бол: нэг эрин үеийн төгсгөл, нөгөөгийн эхлэл."
Грег Бёрнхэм, EpochAI

GPT‑6 Astra is a major advance for scientific discovery, mathematics, and health. Today, we’re sharing two further results on the gaps between prime numbers.9, 10

Astra also sets new records across a suite of math and science evaluations.

Astra нь шинжлэх ухааны нээлтийн цаадах практик ажилд тусалж чадна. Шинжлэх ухааны сэтгэн бодох чадварыг компьютер ашиглахтай хослуулснаар өгөгдлийг шалгаж, үр дүнг судлахын тулд тусгай программ хангамж дээр шууд ажиллаж, судлаачдад нотолгоог үнэлж, дараа нь юуг судлахаа шийдэхэд нь тусалж чадна.

Кибер аюулгүй байдал

As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.

We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13

Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.

We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.

Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.

As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.

However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.

We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(шинэ цонхонд нээгдэнэ)..

GPT‑6 Astra-г хариуцлагатайгаар уялдуулж, нэвтрүүлэх

Astra бол манай хамгийн сайн нийцүүлэлттэй загвар юм. Astra нь нямбай ажиллах, даалгаврын хязгаарыг хүндэтгэх, ил тод харилцах тал дээр онцгой сайн. Энэхүү ажил нь эхнээс нь дуустал хүний зорилготой нийцсэн хэвээр байх загваруудыг сургахад чиглэсэн, удаан хугацаанд хэрэгжиж буй манай судалгааны хөтөлбөрийн хамгийн сүүлийн үр дүн юм.

Эмзэг орчинд Astra нь эрсдэлтэй нь дүйцэхүйц болгоомжтой ажилладаг. Зүй бус үйлдэл гаргуулахаар өрсөлдөгчийн байдлаар сонгосон компьютер ашиглах даалгавруудын үнэлгээнд Astra нь санаандгүй үр дагавраас зайлсхийхдээ илүү амжилттай байсан. Анхдагчаар санал болгодог нэмэлт аюулгүй байдлын арга хэмжээнүүдийг ашиглан ажиллуулахад гүйцэтгэл нь бүр ч илүү сайжирсан.

Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(шинэ цонхонд нээгдэнэ) and Anthropic Messages API(шинэ цонхонд нээгдэнэ)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16

Astra нь мөн хэрэглэгчийн тогтоосон бөгөөд орчноос нь илэрхий болох хязгаарын хүрээнд ажиллах магадлал өндөртэй. Дотоод үнэлгээгээр Astra Codex Автомат шалгалтын татгалзлыг хэзээ ч тойрч гарахыг оролдоогүй. Автомат шалгалтыг зориудаар тойрч болохоор тохируулсан бөгөөд өөрөөр даалгаврыг гүйцэтгэх боломжгүй байсан ч энэ нь хэвээр байв. Орчны хязгаарлалтыг ийнхүү хүндэтгэж буй нь энэ нийтлэлийн оршил хэсэгт хуваалцсан боломжгүй кибер даалгаврын үнэлгээний үр дүн болон манай системийн карт(шинэ цонхонд нээгдэнэ)-д баримтжуулсан бусад дүгнэлттэй нийцэж байна.

Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.

Чадавхийн талаарх хий үзэгдлийн үнэлгээнд Astra нь GPT‑5.6 Sol-той харьцуулахад мэдэгдэхүйц сайжирч, өөрийн чадавхийн талаар төөрөгдүүлсэн мэдэгдэл цөөн гаргаж байна.

Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(шинэ цонхонд нээгдэнэ) details our findings and ongoing work.

Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(шинэ цонхонд нээгдэнэ) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.

Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.

Бэлэн байдал

GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.

Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.

For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.

OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.

Компьютер ашиглалт

Computer Use

GPT‑6 Astra

GPT‑5.6 Sol2

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Agents' Last Exam

59.3%

53.6%

-

48.7%

55.5%

-

OSWorld 2.0 (v2026.08.08, offline set, partial score)

72.6%

65.7%

-

-

70.2%3

-

ScreenSpot-Pro (no tools)

92.7%

76.9%

-

87.3%17

-

-

Professional

Professional

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

AutomationBench

41.4%

18.1%

31.4%

17.4%

26.9%

-

BenchCAD

95.9%

83.3%

84.3% 5

67.5% 5

82.1% 5

-

BrowseComp

91.5%

90.4%

-

87.4%

90.8%

-

OpenScore String Quartets (1 - OMR-NED)

0.84

0.19

-

-

-

-

Internal Design Tasks

50.0%

47.4%

-

35.8%

-

-

Internal Data Science Tasks

40.9%

30.5%

-

34.7%

-

-

Artificial Analysis Intelligence Index v4.1.1

61.2

60.9

65.7

62.1

63.1

58.7

Coding

CodingGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
Terminal-Bench 4.057.9%37.3%55.8%44.5%52.6%19.1%
DeepSWE v1.174.1%72.7%67.4%69.9%73.7%73.8%
FrontierCode 1.1 Extended (score)64.5% 860.6%63.6%64.9%63.6%56.3%
FrontierCode 1.1 Main (score)53.3% 847.5%50.9%53.5%53.4%43.6%
Internal Database Migration Tasks63.9%42.7%57.8%50.3%--
Artificial Analysis Coding Agent Index v1.467.065.1-67.268.161.2

Academic

Academic

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Terminal-Bench Science 0.1

64.6%

22.4%

52.6%

21.4%

30.0%

-

FrontierMath Tier 4 (v2)

97.6%

83.0%

87.8%

90.2%

73.2%

-

GPQA Diamond

96.0%

94.6%

93.7%

92.6%

93.7%

95.3%

Humanity's Last Exam (w/ tools)

57.2%

-

65.0%

63.8%

63.6%

-

Шинжлэх ухаан ба эрүүл мэнд

Science and HealthGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
GeneBench Pro37.1%32.3%----
MedChemBench (Internal)49.3%47.4%----
LifeSciBench60.3%59.9%----
HealthBench Professional (length-adjusted)63.4%60.5%58.1% 1160.9% 1156.4% 1152.1%

Кибер аюулгүй байдал

CybersecurityGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ExploitBench100.0%78.5%--70%-
ExploitGym42.4% 1330.3% 1330.4% 1728.4%1722.0%-
ExploitBench (June-Aug 2026)39.0%5.5%----
SRE-Bench88.0%55.9%--12.5%-
SEC-Bench Pro85.4%79.1%----

Тохируулга

Тохируулга

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

Дотоод компьютер ашиглалтын аюулгүй байдлын жишиг үзүүлэлт (бага байх тусам сайн)

2.4%

22.0%

9.5%

18.3%

11.5%

-

Автомат шалгалт бүхий дотоод компьютер ашиглалтын аюулгүй байдлын жишиг үзүүлэлт (бага байх тусам сайн)

1.8%

4.3%

-

-

-

-

Дотоод тойрч гарах жишиг үзүүлэлт (бага байх тусам сайн)

0.00%

0.29%

-

-

-

-

ExploitGym өгөөш систем (бага байх тусмаа сайн)

0.0%

48.2%

-

-

-

-

Боломжгүй ExploitGym

100.0%

-

-

-

-

-

Дотоод хийсвэрлэлтийн жишиг үзүүлэлт (бага байх тусам сайн)

4.2%

12.2%

-

-

-

-

Урт контекст

Урт контекст

GPT‑6 Astra

GPT‑5.6 Sol

Claude Fable 5.1

Claude Fable 5

Claude Opus 5

Gemini 3.8 Flash

OpenAI MRCR v2 8-needle 256K-512K

100.0%

91.5%

-

-

-

-

OpenAI MRCR v2 8-needle 512K-1M

96.3%

73.8%

-

-

-

-

Хийсвэр сэтгэн бодох

Abstract reasoningGPT‑6 AstraGPT‑5.6 SolClaude Fable 5.1Claude Fable 5Claude Opus 5Gemini 3.8 Flash
ARC-AGI-399.9% 17.8%--30.2%-
ARC-AGI-295.0%92.5%90.0%89.2%90.4%-
ARC-AGI-198.5%97.5%97.5%98.5%97.5%-

Үнэлгээний оноо нь ямар ч хүчин чармайлтын түвшинд хамгийн өндөр байна. GPT үнэлгээг манай судалгааны орчинд эсвэл API-аар дамжуулан ажиллуулсан бөгөөд системийн команд, ашиглах боломжтой хэрэгсэл зэрэг ялгаанаас шалтгаалан үйлдвэрлэлийн ChatGPT‑ээс ялимгүй өөр гаралт өгч болзошгүй.

FOOTNOTES

  1. 1

    On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.

  2. 2

    GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.

  3. 3

    OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(шинэ цонхонд нээгдэнэ). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.

  4. 4

    Model times are the reported elapsed times for the corresponding demonstration runs. The displayed clips are edited excerpts.

  5. 5

    On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(шинэ цонхонд нээгдэнэ).

  6. 6

    Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(шинэ цонхонд нээгдэнэ).” arXiv:2506.19065, 2025.

  7. 7

    Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(шинэ цонхонд нээгдэнэ).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.

  8. 8

    On FrontierCode, GPT-6 Astra was run with a developer  message similar to a section of its developer message in Codex(шинэ цонхонд нээгдэнэ): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.

  9. 9

    The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(шинэ цонхонд нээгдэнэ) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(шинэ цонхонд нээгдэнэ) and supporting research(шинэ цонхонд нээгдэнэ).

  10. 10

    The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(шинэ цонхонд нээгдэнэ) and supporting research(шинэ цонхонд нээгдэнэ).

  11. 11

    We independently evaluated all Claude models following the intended HealthBench Professional procedure, using GPT‑5.4 grading and length-adjusted, unclipped scores. For Fable 5.1, we used Opus 5 fallback for provider refusals.

  12. 12

    Claude Fable 5 and 5.1 are not included in LifeSciBench Gold v1, GeneBench Pro v13, and MedChemBench because they refuse the majority of questions in these evaluations.

  13. 13

    On ExploitGym, we tested Astra and Sol without the 6-hour time limit, to better assess their full cyber capabilities. They are fast enough that it has little impact.

  14. 14

    ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.

  15. 15
  16. 16

    When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.

  17. 17

    For ScreenSpot-Pro and ExploitGym, the Fable scores we report come from Mythos, which is Fable with fewer safeguards.