Az intelligencia új generációja
Bemutatjuk a GPT‑6 Astrát, a világ legintelligensebb és leginkább összehangolt modelljét.
A GPT‑6 Astra az előtanítás, a megerősítéses tanulás és az összehangolás terén végzett többéves kutatást és jelentős vállalásokat egyesíti. Az Astra a számítógép-használat, a böngészés, a szoftverfejlesztés, a kiberbiztonság, a tudomány és a professzionális munka terén a legkorszerűbb. Az Astra 98%-os pontszámmal telíti a FrontierMath 4. szintjét, miután már korábban is segített régóta fennálló nyitott problémák megoldásában a matematika területén. Az Astra emellett 99,9%-os eredménnyel telíti az ARC-AGI-3-at, az ExploitBenchet pedig 100%-os eredménnyel. Emellett új élvonalbeli mércét állít fel a számítógép- és böngészőhasználat terén, páratlan gyorsasággal, pontossággal és ítélőképességgel kezeli a legigényesebb professzionális munkát is.
A GPT‑6 Astra bevezetése ma kezdődik, egyelőre szervezetek szűk körében, a következő napokban pedig valamennyi ChatGPT Plus-, Pro-, Business- és Enterprise-felhasználó számára elérhetővé válik, valamint az OpenAI API-n, a Microsoft Azure-on és az AWS Bedrockon keresztül is használható lesz.
Az Astra a legjobban összehangolt modellünk, amely jelentősen fejlődött a felhasználói szándék és a modell viselkedésének megértésében – így nagyobb bizalommal delegálhatsz a számára feladatokat, az Astra ítélőképességében bízva. Ennek tesztelésére többek között a Hugging Face-incidens tanulságai alapján új értékelést dolgoztunk ki, amely azt vizsgálja, hogy egy nehéz vagy lehetetlen feladattal szembesülő modell túllép-e a számára kijelölt hatókörön. Míg az éles védelmi intézkedések nélkül működő GPT‑5.6 Sol az esetek 48%-ában túllépte az engedélyezett célértéket, a GPT‑6 Astra az esetek 0%-ában tette ezt.
A világ legjobb számítógép-használati modellje
A GPT‑6 Astra új élvonalat jelent a számítógép-használat sebességében, pontosságában és biztonságában. Olyan unalmas feladatokat is elvégezhet, mint az online űrlapok kitöltése, az ügyféladatok frissítése a CRM-ben és a naptár rendszerezése. Képes online kutatást végezni, és összefoglalókat megfogalmazni a levelezőprogramodban vagy a dokumentumszerkesztődben. Képes tudományos adatokat elemezni, grafikonokat generálni, webhelyet létrehozni, valamint frontend QA-ellenőrzéseket futtatni annak biztosítására, hogy az adott webhely összes funkciója működjön. Önállóan segíthet szoftverek telepítésében és tesztelésében, valamint a képernyőn látható problémák elhárításában. Ezek a fejlesztések a legkorszerűbb értékelési eredményeinkben is megmutatkoznak.
Ezek a fejlesztések a valós tudásalapú munkafeladatok terén is jelentős hatékonyságnövekedést eredményeznek. Az OSWorld 2.0 késleltetési szimulációiban az Astra feladatonként mintegy 47%-kal rövidebb idő alatt magasabb számítógép-használati teljesítményt ér el, mint a GPT‑5.6 Sol, amely 72,6%-ot ért el feladatonként nagyjából 40 perc alatt, szemben a hozzávetőleg 75 perc alatt elért 65,7%-kal.3
A GPT‑6 Astra számítógép-használati képességei különböző területeken – többek között a játékfejlesztésben, az elektrotechnikában és a mindennapi tudásalapú munkában – is megmutatkoznak:
Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4
Ugrásszerű változás a szakmai munkában
A GPT‑6 Astra a számítógép-használat terén elért fejlesztéseket a professzionális környezetekre szabott képzéssel ötvözi, hogy segítsen megbirkózni az összetett munkafeladatokkal. Az összetett problémákhoz szükséges intelligenciát ötvözi a többlépéses munkafolyamatok végrehajtásának, valamint a kifinomult dokumentumok, táblázatok és prezentációk készítésének képességével.
A GPT‑6 Astra a legjobb modellünk a meglévő sablonok követésére és a jól elrendezett diák létrehozására, amelyek tömören és strukturált narratívával közvetítik a kulcsfontosságú pontokat. Világos, jól strukturált dokumentumokat, prezentációkat, táblázatokat és elemzéseket készít, amelyek követik a sablonjaidat, és illeszkednek az írásbeli és vizuális stílusodhoz. Az Astrát kifejezetten arra is betanították, hogy csak a releváns kontextust emelje be a kimenetekbe, ahelyett hogy az aktuális feladathoz szükségtelen információkat ismételne meg. Mindez azt jelenti, hogy közvetlenebbül felhasználható eredménytermékeket tud előállítani, amelyek illeszkednek az üzleti környezetedhez és szabványaidhoz.
A GPT‑6 Astra fejlettebb vizuális ítélőképességet is biztosít az általa létrehozott webhelyekhez, játékokhoz, alkalmazásokhoz és renderelésekhez. A ChatGPT Webhelyek(új ablakban nyílik meg) funkciójával az Astra közvetlenül egy utasításból hozhat létre, hosztolhat és oszthat meg webhelyeket, webalkalmazásokat és játékokat.
Amikor az utasítások értelmezési lehetőségeket hagynak, a GPT‑6 Astra jobban teljesít a korábbi modelleknél a helyes döntés meghozatalában. A kontextus alapján pótolja a rutinszerű hiányosságokat, és célzott kérdéseket tesz fel, ha a válasz megváltoztathatja a végeredményt. A Codexben aszinkron módon tehet fel kérdéseket, miközben tovább dolgozik azokon a feladatokon, amelyek nem függnek a válaszodtól. Ha nem válaszolsz, ahol indokolt, észszerű feltételezésekkel halad tovább, de a jelentős következményekkel járó döntéseknél megvárja a visszajelzésedet.
Az alábbi példák azt mutatják be, hogyan működik együtt az Astra a mindennapi feladatok során, ahol a hiányzó információk lényegesen megváltoztathatják a választ.
Az Astra emellett jobban összpontosít a célra, ahogy a feladat alakul. A korábbi modellek olykor új célként kezelték az irányító üzeneteket, és szem elől tévesztették az eredeti kérést vagy a korábbi megkötéseket. Az Astra beépíti az új követelményeket, kérésre irányt vált, és megválaszolja a mellékkérdéseket anélkül, hogy szem elől tévesztené a tágabb feladatot.
Kódolás
A GPT‑6 Astra az eddigi legjobb modell a szoftverfejlesztési feladatokhoz.
„A GPT‑6 Astra a legjobb eredményt nyújtja a belső kódolási méréseinken, és a kereskedési érzékre vonatkozó értékeléseken egyértelmű előrelépést mutat a GPT‑5.6 Solhoz képest. Ügynökalapú programozásra használva a GPT‑6 Astra a fejlesztők számára könnyebben követhető módon kommunikál, és olyan kódot készít, amelynek kevesebb iterációra van szüksége ahhoz, hogy éles környezetben használható minőséget érjen el.”
„Az Astra modellt alacsony, közepes és Erős erőfeszítési szinten teszteltük az egyik első generációs értékelésünkön, és jelentősen felülmúlta a GPT 5.6 Sol modellt.” A magasabb erőfeszítési szint egy friss buildben több iterációt, a böngészőteszteléssel több ellenőrzést, valamint az apply-patch helyett előnyben részesített kódfuttatást tesz lehetővé. Annak megértésével, hogy miként használja fel egy modell az erőfeszítéseit, gyorsabb, megbízhatóbb utat biztosíthatunk milliónyi fejlesztő számára az ötlettől a működő alkalmazásig.
Az Astrával új módszert vezetünk be arra, hogy a Codex megőrizze és visszakeresse a kontextust, amikor a kontextusablak megtelik. A modellek korábban kontextusmegőrzést használtak a munka összefoglalására hosszú munkamenetek során, például összetett problémák hibakeresésekor vagy nagy átalakítások elvégzésekor. Minden tömörítés kihagyhat részleteket arról, hogy miért hiúsult meg egy javítás, vagy hogyan viselkedik egy komponens. A Codexben az Astra több kontextuális ablakban is tárolhat jegyzeteket, megőrizve a felhalmozott részleteket anélkül, hogy azokat ismételten egyetlen összefoglalóba tömörítené. A korábbi kontextuális ablakok továbbra is kereshetők, így az Astra a korábbi üzenetekből és eszközkimenetekből származó követelményeket vagy teszteredményeket is megtalálhatja – még akkor is, ha ezek az információk nem szerepeltek a jegyzetekben. Ezt a kísérleti funkciót a Codex config.toml(új ablakban nyílik meg) fájljában engedélyezheted, és a következő hetekben ez lesz az Astra alapértelmezett beállítása.
A tudományos felfedezés előmozdítása
Az Astra segíthet a tudományos felfedezések mögött álló gyakorlati munkában. A tudományos érvelést a számítógép-használattal ötvözve közvetlenül dolgozhat speciális szoftverekben az adatok vizsgálata és az eredmények feltárása érdekében, segítve a kutatókat a bizonyítékok értékelésében és annak eldöntésében, mit vizsgáljanak meg legközelebb.
Kiberbiztonság
As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.
We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13
Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.
We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.
Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.
As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.
However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.
We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(új ablakban nyílik meg)..
A GPT‑6 Astra felelősségteljes összehangolása és bevezetése
Az Astra a legjobban összehangolt modellünk. Az Astra kiemelkedően jól teljesít abban, hogy körültekintően jár el, tiszteletben tartja a feladat kereteit, és átláthatóan kommunikál. Ez a munka hosszú távú kutatási programunk legújabb eredménye, amely olyan modellek betanítására összpontosít, amelyek az elejétől a végéig összhangban maradnak az emberi szándékkal.
Érzékeny környezetben az Astra a kockázattal arányos gondossággal jár el. A helytelen viselkedés kiváltására ellenségesen kiválasztott számítógép-használati feladatok értékelése során az Astra sikeresebbnek bizonyult a nem kívánt következmények elkerülésében. Az alapértelmezés szerint felkínált kiegészítő biztonsági intézkedésekkel való futtatás még jobb teljesítményt eredményezett.
Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(új ablakban nyílik meg) and Anthropic Messages API(új ablakban nyílik meg)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16
Az Astra emellett nagyobb valószínűséggel működik a felhasználó által meghatározott és a környezete által sugallt határokon belül. Egy belső értékelésben az Astra egyszer sem próbálta megkerülni a Codex automatikus felülvizsgálatának elutasító döntését. Ez még akkor is igaz volt, amikor az automatikus felülvizsgálatot szándékosan úgy állították be, hogy megkerülhető legyen, és a feladatot másképp lehetetlen volt elvégezni. A környezeti korlátozások ilyen tiszteletben tartása összhangban van a bejegyzés bevezetőjében megosztott, megoldhatatlan kiberbiztonsági feladatokat vizsgáló értékelésünk eredményeivel, valamint a rendszerkártyánkban(új ablakban nyílik meg) dokumentált egyéb megállapításokkal.
Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.
A képességekkel kapcsolatos hallucinációkat vizsgáló értékelésünkben az Astra jelentős javulást mutat a GPT‑5.6 Solhoz képest, és kevesebb félrevezető állítást tesz a saját képességeiről.
Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(új ablakban nyílik meg) details our findings and ongoing work.
Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(új ablakban nyílik meg) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.
Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.
Elérhetőség
GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.
Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.
For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.
OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.
Professional
Professional | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
AutomationBench | 41.4% | 18.1% | 31.4% | 17.4% | 26.9% | - |
BenchCAD | 95.9% | 83.3% | 84.3% 5 | 67.5% 5 | 82.1% 5 | - |
BrowseComp | 91.5% | 90.4% | - | 87.4% | 90.8% | - |
OpenScore String Quartets (1 - OMR-NED) | 0.84 | 0.19 | - | - | - | - |
Internal Design Tasks | 50.0% | 47.4% | - | 35.8% | - | - |
Internal Data Science Tasks | 40.9% | 30.5% | - | 34.7% | - | - |
Artificial Analysis Intelligence Index v4.1.1 | 61.2 | 60.9 | 65.7 | 62.1 | 63.1 | 58.7 |
Coding
| Coding | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
| Terminal-Bench 4.0 | 57.9% | 37.3% | 55.8% | 44.5% | 52.6% | 19.1% |
| DeepSWE v1.1 | 74.1% | 72.7% | 67.4% | 69.9% | 73.7% | 73.8% |
| FrontierCode 1.1 Extended (score) | 64.5% 8 | 60.6% | 63.6% | 64.9% | 63.6% | 56.3% |
| FrontierCode 1.1 Main (score) | 53.3% 8 | 47.5% | 50.9% | 53.5% | 53.4% | 43.6% |
| Internal Database Migration Tasks | 63.9% | 42.7% | 57.8% | 50.3% | - | - |
| Artificial Analysis Coding Agent Index v1.4 | 67.0 | 65.1 | - | 67.2 | 68.1 | 61.2 |
Academic
Academic | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Terminal-Bench Science 0.1 | 64.6% | 22.4% | 52.6% | 21.4% | 30.0% | - |
FrontierMath Tier 4 (v2) | 97.6% | 83.0% | 87.8% | 90.2% | 73.2% | - |
GPQA Diamond | 96.0% | 94.6% | 93.7% | 92.6% | 93.7% | 95.3% |
Humanity's Last Exam (w/ tools) | 57.2% | - | 65.0% | 63.8% | 63.6% | - |
Igazítás
Igazítás | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Belső számítógép-használati biztonsági referenciaérték (minél alacsonyabb, annál jobb) | 2,4% | 22,0% | 9,5% | 18,3% | 11,5% | - |
Belső számítógép-használati biztonsági referenciaérték, automatikus felülvizsgálattal (minél alacsonyabb, annál jobb) | 1,8% | 4,3% | - | - | - | - |
Belső megkerülési referenciaérték (minél alacsonyabb, annál jobb) | 0,00% | 0,29% | - | - | - | - |
ExploitGym honeypot (minél alacsonyabb, annál jobb) | 0,0% | 48,2% | - | - | - | - |
Impossible ExploitGym | 100,0% | - | - | - | - | - |
Belső hallucinációs referenciaérték (minél alacsonyabb, annál jobb) | 4,2% | 12,2% | - | - | - | - |
Hosszú kontextus
Hosszú kontextus | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
OpenAI MRCR v2 8-needle 256K-512K | 100,0% | 91,5% | - | - | - | - |
OpenAI MRCR v2 8-needle 512K-1M | 96,3% | 73,8% | - | - | - | - |
Absztrakt indoklás
| Abstract reasoning | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
| ARC-AGI-3 | 99.9% 1 | 7.8% | - | - | 30.2% | - |
| ARC-AGI-2 | 95.0% | 92.5% | 90.0% | 89.2% | 90.4% | - |
| ARC-AGI-1 | 98.5% | 97.5% | 97.5% | 98.5% | 97.5% | - |
Az értékelési pontszámok bármilyen erőfeszítés mellett maximálisak. A GPT‑kiértékeléseket kutatási környezetünkben vagy az API-nkon keresztül futtattunk, ami a rendszerutasítások, a rendelkezésre álló eszközök stb. eltérései miatt bizonyos esetekben kissé eltérő kimenetet eredményezhet a ChatGPT éles verziójához képest.
FOOTNOTES
- 1
On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.
- 2
GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.
- 3
OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(új ablakban nyílik meg). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.
- 4
- 5
On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(új ablakban nyílik meg).
- 6
Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(új ablakban nyílik meg).” arXiv:2506.19065, 2025.
- 7
Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(új ablakban nyílik meg).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.
- 8
On FrontierCode, GPT-6 Astra was run with a developer message similar to a section of its developer message in Codex(új ablakban nyílik meg): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.
- 9
The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(új ablakban nyílik meg) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(új ablakban nyílik meg) and supporting research(új ablakban nyílik meg).
- 10
The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(új ablakban nyílik meg) and supporting research(új ablakban nyílik meg).
- 11
- 12
- 13
- 14
ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.
- 15
Jeremy Spence et al. “The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark(új ablakban nyílik meg).” arXiv:2608.11469v1, 2026.
- 16
When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.
- 17
