Nowa generacja sztucznej inteligencji
Przedstawiamy GPT‑6 Astra, najinteligentniejszy i najlepiej dostosowany model na świecie.
Model GPT‑6 Astra to zwieńczenie wielu lat badań i odważnych inwestycji w szkolenie wstępne, uczenie przez wzmacnianie i dostosowań. Astra oferuje najnowocześniejsze możliwości w zakresie korzystania z komputera, przeglądania internetu, inżynierii oprogramowania, cyberbezpieczeństwa, nauki i pracy zawodowej. Astra osiąga nasycenie w FrontierMath Tier 4 z wynikiem 98% i pomaga rozwiązywać istniejące od dawna problemy matematyczne. Astra osiąga poziom nasycenia w ARC-AGI 3 z wynikiem 99,9% oraz w ExploitBench z wynikiem 100%. Oferuje również nową jakość w korzystaniu z komputerów i przeglądarek, radząc sobie z najbardziej wymagającą pracą zawodową z niezrównaną szybkością, dokładnością i trafnością oceny.
GPT‑6 Astra jest od dziś stopniowo udostępniany ograniczonej grupie organizacji, a w ciągu najbliższych dni będzie dostępny dla wszystkich użytkowników planów ChatGPT Plus, Pro, Business i Enterprise, a także za pośrednictwem interfejsu API OpenAI, Microsoft Azure i AWS Bedrock.
Astra to nasz najlepiej dostrojony model, ze znacznymi ulepszeniami w rozumieniu intencji użytkowników i zachowania modelu, co pozwala użytkownikom z większym zaufaniem delegować zadania do modelu. Jako jeden ze sposobów testowania tych działań opracowaliśmy nową ocenę opartą na wnioskach z incydentu z Hugging Face, która sprawdza, czy model stojący przed trudnym lub niemożliwym do wykonania zadaniem wyjdzie poza zamierzony zakres działania. W porównaniu z GPT‑5.6 Sol, który w 48% przypadków wykroczył poza zatwierdzony cel, GPT‑6 Astra zrobił to w 0% przypadków.
Najlepszy na świecie model do obsługi komputera
Model GPT‑6 Astra wyznacza nowy poziom jakości pod względem szybkości, dokładności i bezpieczeństwa korzystania z komputera. Może przejąć żmudne zadania, takie jak wypełnianie formularzy online, aktualizowanie danych klientów w systemie CRM i organizowanie kalendarza. Może wyszukiwać informacje online i tworzyć wersje robocze podsumowań w wiadomości e-mail lub w edytorze dokumentów. Może analizować dane naukowe, generować wykresy, tworzyć witryny internetowe i uruchamiać testy QA frontendu, aby upewnić się, że wszystkie funkcje tej witryny działają. Może pomóc instalować i testować oprogramowanie oraz diagnozować i rozwiązywać problemy wyświetlane na ekranie. Te ulepszenia znajdują również odzwierciedlenie w naszych najnowocześniejszych wynikach ewaluacji.
Te ulepszenia skutkują również znacznym wzrostem wydajności w rzeczywistych zadaniach wymagających pracy opartej na wiedzy. W symulacjach opóźnień w OSWorld 2.0 model Astra osiąga wyższą wydajność obsługi komputera i o około 47% szybciej wykonuje zadania niż GPT‑5.6 Sol, osiągając wynik 72,6% przy około 40 minutach na zadanie, w porównaniu z wynikiem 65,7% przy około 75 minutach.3
Możliwości GPT‑6 Astra w zakresie korzystania z komputera widać w wynikach z różnych dziedzin, w tym w obszarze tworzenia gier, inżynierii elektrycznej i codziennej pracy opartej na wiedzy:
Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4
Znaczne usprawnienie realizacji zadań zawodowych
Model GPT‑6 Astra obejmuje postępy w korzystaniu z komputera z ukierunkowanym szkoleniem z myślą o profesjonalnych środowiskach, aby pomóc w realizacji złożonych zadań zawodowych. Łączy on poziom inteligencji wymagany do rozwiązywania złożonych problemów ze zdolnością do realizowania wieloetapowych przepływów pracy oraz tworzenia dopracowanych dokumentów, arkuszy kalkulacyjnych i prezentacji.
GPT‑6 Astra to nasz najlepszy model do realizacji zadań zgodnie z istniejącymi szablonami i tworzenia dobrze rozplanowanych slajdów, które zwięźle przekazują kluczowe informacje w uporządkowanej formie. Tworzy przejrzyste, dobrze zaplanowane dokumenty, prezentacje, arkusze kalkulacyjne i analizy, które są zgodne z Twoimi szablonami oraz odpowiadają Twojemu stylowi pisania i stylowi wizualnemu. Model Astra został również wytrenowany tak, aby w generowanych wynikach uwzględniać wyłącznie istotny kontekst, zamiast powtarzać informacje niepotrzebne do wykonania bieżącego zadania. Oznacza to, że może on generować pliki, które wymagają mniej poprawek i odpowiadają kontekstowi biznesowemu oraz standardom Twojej organizacji.
GPT‑6 Astra zapewnia również lepszą ocenę wizualną tworzonych stron internetowych, gier, aplikacji i renderowanych modeli. Dzięki funkcji Witryn(otwiera nowe okno) w ChatGPT Astra można tworzyć, hostować i udostępniać strony internetowe, aplikacje internetowe i gry bezpośrednio za pomocą polecenia.
Gdy instrukcje pozostawiają pole do interpretacji, GPT‑6 Astra lepiej niż wcześniejsze modele podejmuje właściwe decyzje. Wykorzystuje kontekst, aby uzupełniać typowe braki informacyjne, i zadaje precyzyjne pytania, gdy odpowiedź może wpłynąć na wynik. W Codex może zadawać pytania asynchronicznie, kontynuując zadania, które nie są zależne od odpowiedzi użytkownika. Jeśli użytkownik nie odpowie, w odpowiednich sytuacjach model przyjmuje rozsądne założenia, ale czeka na wskazówki użytkownika dotyczące decyzji mających istotne konsekwencje.
Poniższe przykłady pokazują to zachowanie modelu Astra w codziennych zadaniach, w których brakujące informacje mogą istotnie zmienić odpowiedź.
Model Astra lepiej radzi sobie także ze utrzymywaniem skupienia na zadaniu w miarę jego rozwiązywania. Wcześniejsze modele czasami traktowały komunikaty sterujące jako nowy cel i przestawały realizować pierwotne żądanie lub dostosowywać się do wcześniejszych ograniczeń. Model Astra uwzględnia nowe wymagania, zmienia kierunek działania na żądanie i odpowiada na pytania poboczne, nadal realizując zadanie nadrzędne.
Kodowanie
GPT‑6 Astra to najlepszy jak dotąd model do inżynierii oprogramowania.
„GPT‑6 Astra osiąga wydajność na najwyższym poziomie w naszych wewnętrznych testach porównawczych programowania i wykazuje wyraźny postęp w ocenach intuicji giełdowej w porównaniu z GPT‑5.6 Sol. Gdy jest używany do kodowania agentowego, GPT‑6 Astra komunikuje się w sposób łatwiejszy do zrozumienia dla programistów i generuje kod, który wymaga mniej iteracji, aby osiągnąć jakość produkcyjną.”
„Przetestowaliśmy model Astra przy niskim, średnim i wysokim nakładzie pracy w jednym z naszych testów ewaluacyjnych pierwszej generacji i wyniki modelu znacznie przewyższyły wyniki GPT‑5.6 Sol. Większy nakład pracy zapewnia więcej iteracji przy nowej kompilacji, dokładniejszą weryfikację poprzez testowanie w przeglądarce oraz skupienie się raczej na uruchamianiu kodu niż na stosowaniu poprawek. Zrozumienie, jak model wykorzystuje swój wysiłek, pozwala nam zapewnić milionom twórców szybszą i bardziej niezawodną drogę od pomysłu do działającej aplikacji”.
Wraz z modelem Astra wprowadzamy nową metodę zachowywania i odzyskiwania kontekst w Codex, gdy okno kontekstu się zapełni. Poprzednie modele wykorzystywały kompaktowanie do podsumowywania pracy podczas długich sesji, na przykład przy debugowaniu złożonych problemów lub realizacji dużych refaktoryzacji. Każde kompaktowanie może pominąć szczegóły dotyczące przyczyn awarii poprawki lub sposobu działania komponentu. W Codex model Astra może przechowywać notatki między oknami kontekstu, zachowując zgromadzone szczegóły bez wielokrotnego kompresowania ich do jednego podsumowania. Wcześniejsze okna kontekstu można nadal przeszukiwać, więc Astra potrafi znaleźć wymagania lub wyniki testów z poprzednich wiadomości i danych wyjściowych narzędzi, nawet jeśli te informacje nie zostały uwzględnione w przekazanych notatkach. Tę eksperymentalną funkcję można włączyć w pliku config.toml Codex,(otwiera nowe okno) a w najbliższych tygodniach będzie ona ustawieniem domyślnym w modelu Astra.
Rozwój odkryć naukowych
Model Astra może pomóc w praktycznej pracy związanej z odkryciami naukowymi. Łącząc rozumowanie naukowe z obsługą komputera, może działać bezpośrednio w specjalistycznym oprogramowaniu, aby analizować dane i badać wyniki, pomagając naukowcom oceniać dowody i decydować, co zbadać w następnej kolejności.
Cyberbezpieczeństwo
As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.
We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13
Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.
We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.
Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.
As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.
However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.
We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(otwiera nowe okno)..
Odpowiedzialne dostosowywanie i wdrażanie GPT‑6 Astra
Astra to nasz najlepiej dostosowany model. Wyróżnia się starannością, poszanowaniem granic zadań i przejrzystą komunikacją. Jest on najnowszym wynikiem działań naszego wieloletniego programu badawczego, który koncentruje się na trenowaniu modeli kompleksowo realizujących zadania użytkowników zgodnie z ich założeniami.
W środowiskach wrażliwych Astra działa z ostrożnością proporcjonalną do poziomu ryzyka. W ocenie zadań związanych z korzystaniem z komputera, dobranych adwersarialnie w celu wywołania niewłaściwego zachowania, model Astra skuteczniej unikał niezamierzonych konsekwencji. Uruchomienie z dodatkowymi środkami bezpieczeństwa oferowanymi domyślnie zapewniło jeszcze wyższą wydajność.
Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(otwiera nowe okno) and Anthropic Messages API(otwiera nowe okno)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16
Model Astra jest również bardziej skłonny działać w granicach wyznaczonych przez użytkownika i wynikających z jego środowiska. W wewnętrznej ocenie model Astra nigdy nie próbował obejść odmowy automatycznej weryfikacji Codex. Dotyczyło to również sytuacji, gdy funkcję auto. weryfikacji celowo skonfigurowano tak, aby można było ją obejść, a wykonanie zadania w inny sposób było niemożliwe. To poszanowanie ograniczeń środowiska jest zgodne z wynikami naszej oceny niemożliwych do realizacji zadań cybernetycznych, którymi podzieliliśmy się we wprowadzeniu do tego wpisu, oraz innymi ustaleniami udokumentowanymi w naszej karcie systemu(otwiera nowe okno).
Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.
W naszej ocenie halucynacji dotyczących możliwości model Astra wykazuje znaczną poprawę w porównaniu z GPT‑5.6 Sol, formułując mniej mylących twierdzeń na temat swoich możliwości.
Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(otwiera nowe okno) details our findings and ongoing work.
Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(otwiera nowe okno) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.
Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.
Dostępność
GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.
Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.
For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.
OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.
Professional
Professional | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
AutomationBench | 41.4% | 18.1% | 31.4% | 17.4% | 26.9% | - |
BenchCAD | 95.9% | 83.3% | 84.3% 5 | 67.5% 5 | 82.1% 5 | - |
BrowseComp | 91.5% | 90.4% | - | 87.4% | 90.8% | - |
OpenScore String Quartets (1 - OMR-NED) | 0.84 | 0.19 | - | - | - | - |
Internal Design Tasks | 50.0% | 47.4% | - | 35.8% | - | - |
Internal Data Science Tasks | 40.9% | 30.5% | - | 34.7% | - | - |
Artificial Analysis Intelligence Index v4.1.1 | 61.2 | 60.9 | 65.7 | 62.1 | 63.1 | 58.7 |
Coding
| Coding | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
| Terminal-Bench 4.0 | 57.9% | 37.3% | 55.8% | 44.5% | 52.6% | 19.1% |
| DeepSWE v1.1 | 74.1% | 72.7% | 67.4% | 69.9% | 73.7% | 73.8% |
| FrontierCode 1.1 Extended (score) | 64.5% 8 | 60.6% | 63.6% | 64.9% | 63.6% | 56.3% |
| FrontierCode 1.1 Main (score) | 53.3% 8 | 47.5% | 50.9% | 53.5% | 53.4% | 43.6% |
| Internal Database Migration Tasks | 63.9% | 42.7% | 57.8% | 50.3% | - | - |
| Artificial Analysis Coding Agent Index v1.4 | 67.0 | 65.1 | - | 67.2 | 68.1 | 61.2 |
Academic
Academic | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Terminal-Bench Science 0.1 | 64.6% | 22.4% | 52.6% | 21.4% | 30.0% | - |
FrontierMath Tier 4 (v2) | 97.6% | 83.0% | 87.8% | 90.2% | 73.2% | - |
GPQA Diamond | 96.0% | 94.6% | 93.7% | 92.6% | 93.7% | 95.3% |
Humanity's Last Exam (w/ tools) | 57.2% | - | 65.0% | 63.8% | 63.6% | - |
Zgodność
Zgodność | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Wewnętrzny benchmark bezpieczeństwa korzystania z komputera (im niższa wartość, tym lepiej) | 2,4% | 22,0% | 9,5% | 18,3% | 11,5% | - |
Wewnętrzny benchmark bezpieczeństwa korzystania z komputera, z auto. weryfikacji (im niższy wynik, tym lepiej) | 1,8% | 4,3% | - | - | - | - |
Wewnętrzny benchmark obchodzenia zabezpieczeń (im niższa wartość, tym lepiej) | 0,00% | 0,29% | - | - | - | - |
Honeypot ExploitGym (im niższa wartość, tym lepiej) | 0,0% | 48,2% | - | - | - | - |
ExploitGym niemożliwy do wykonania | 100,0% | - | - | - | - | - |
Wewnętrzny test halucynacji (im niższa wartość, tym lepiej) | 4,2% | 12,2% | - | - | - | - |
Długi kontekst
Długi kontekst | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
OpenAI MRCR v2 8-needle 256K-512K | 100,0% | 91,5% | - | - | - | - |
OpenAI MRCR v2 8-needle 512K-1M | 96,3% | 73,8% | - | - | - | - |
Myślenie abstrakcyjne
| Abstract reasoning | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
| ARC-AGI-3 | 99.9% 1 | 7.8% | - | - | 30.2% | - |
| ARC-AGI-2 | 95.0% | 92.5% | 90.0% | 89.2% | 90.4% | - |
| ARC-AGI-1 | 98.5% | 97.5% | 97.5% | 98.5% | 97.5% | - |
Wyniki ewaluacji osiągają maksimum przy każdym poziomie wysiłku. Oceny przeprowadzono w naszym środowisku badawczym lub za pośrednictwem naszego API, co może dawać nieco inne wyniki niż wersja produkcyjna ChatGPT ze względu na różnice w poleceniach systemowych, dostępnych narzędziach itp.
FOOTNOTES
- 1
On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.
- 2
GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.
- 3
OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(otwiera nowe okno). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.
- 4
- 5
On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(otwiera nowe okno).
- 6
Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(otwiera nowe okno).” arXiv:2506.19065, 2025.
- 7
Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(otwiera nowe okno).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.
- 8
On FrontierCode, GPT-6 Astra was run with a developer message similar to a section of its developer message in Codex(otwiera nowe okno): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.
- 9
The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(otwiera nowe okno) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(otwiera nowe okno) and supporting research(otwiera nowe okno).
- 10
The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(otwiera nowe okno) and supporting research(otwiera nowe okno).
- 11
- 12
- 13
- 14
ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.
- 15
Jeremy Spence et al. “The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark(otwiera nowe okno).” arXiv:2608.11469v1, 2026.
- 16
When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.
- 17
