ขีดความสามารถอัจฉริยะยุคใหม่
เราขอเปิดตัว GPT‑6 Astra โมเดลที่ฉลาดที่สุดในโลกและได้รับการปรับให้ทำงานสอดคล้องกับเจตนาของผู้ใช้มากที่สุด
GPT‑6 Astra เป็นผลจากการผสานงานวิจัยที่สั่งสมมาหลายปีเข้ากับการลงทุนครั้งสำคัญในด้านการฝึกล่วงหน้า การเรียนรู้แบบเสริมกำลัง และการปรับโมเดลให้สอดคล้องกับเป้าหมาย Astra มีความสามารถล้ำสมัยที่สุดในด้านการใช้งานคอมพิวเตอร์ การท่องเว็บ วิศวกรรมซอฟต์แวร์ ความมั่นคงปลอดภัยทางไซเบอร์ วิทยาศาสตร์ และงานระดับมืออาชีพ Astra ทำคะแนนจนแตะเพดานของ FrontierMath Tier 4 ด้วยคะแนน 98% โดยก่อนหน้านี้ได้ช่วย แก้ปัญหาเปิดที่ค้างคามานาน ในสาขาคณิตศาสตร์มาแล้ว Astra ยังทำคะแนนบน ARC-AGI-3 ได้ 99.9% และทำคะแนนบน ExploitBench ได้เต็ม 100% นอกจากนี้ ยังยกระดับขีดความสามารถด้านการใช้คอมพิวเตอร์และเบราว์เซอร์ไปอีกขั้น โดยรับมือกับงานระดับมืออาชีพที่ซับซ้อนที่สุดได้ด้วยความรวดเร็ว ความแม่นยำ และวิจารณญาณที่เหนือชั้น
GPT‑6 Astra เริ่มทยอยเปิดให้ใช้งานแล้ววันนี้สำหรับองค์กรจำนวนจำกัด และจะเปิดให้ผู้ใช้ ChatGPT Plus, Pro, Business และ Enterprise ทุกคนใช้งานได้ภายในไม่กี่วันข้างหน้า รวมถึงผ่าน OpenAI API, Microsoft Azure และ AWS Bedrock
Astra เป็นโมเดลที่สอดคล้องกับเจตนาของผู้ใช้มากที่สุดของเรา โดยพัฒนาขึ้นอย่างมากทั้งด้านการทำความเข้าใจเจตนาของผู้ใช้และพฤติกรรมของโมเดล ทำให้คุณมอบหมายงานได้อย่างมั่นใจในวิจารณญาณของ Astra มากขึ้น วิธีหนึ่งที่เราใช้ทดสอบเรื่องนี้คือการสร้างการประเมินใหม่โดยอิงจากเหตุการณ์ Hugging Face เพื่อดูว่าเมื่อโมเดลต้องเผชิญกับงานที่ยากหรือเป็นไปไม่ได้ โมเดลจะทำเกินขอบเขตที่กำหนดไว้หรือไม่ เมื่อไม่มีมาตรการป้องกันสำหรับการใช้งานจริง GPT‑5.6 Sol ดำเนินการนอกเหนือจากเป้าหมายที่ได้รับอนุญาตใน 48% ของกรณี ส่วน GPT‑6 Astra ไม่พบกรณีเช่นนี้เลย (0%)
โมเดลการใช้คอมพิวเตอร์ที่ดีที่สุดในโลก
GPT‑6 Astra เปิดพรมแดนใหม่ด้านความเร็ว ความแม่นยำ และความปลอดภัยในการใช้งานคอมพิวเตอร์ โมเดลสามารถจัดการงานที่น่าเบื่อและใช้เวลามากได้ เช่น กรอกแบบฟอร์มออนไลน์ อัปเดตข้อมูลลูกค้าในระบบ CRM และจัดระเบียบปฏิทินของคุณ โมเดลสามารถค้นหาข้อมูลทางออนไลน์ แล้วร่างบทสรุปไว้ในอีเมลหรือโปรแกรมแก้ไขเอกสารของคุณได้ โมเดลสามารถวิเคราะห์ข้อมูลทางวิทยาศาสตร์ สร้างกราฟ สร้างเว็บไซต์ และตรวจสอบ QA ของฟรอนต์เอนด์เพื่อให้แน่ใจว่าฟีเจอร์ทั้งหมดบนเว็บไซต์ทำงานได้อย่างถูกต้อง โมเดลสามารถติดตั้งและทดสอบซอฟต์แวร์ให้คุณได้ด้วยตนเอง พร้อมช่วยวิเคราะห์และแก้ไขปัญหาที่คุณเห็นบนหน้าจอ การพัฒนาเหล่านี้ยังสะท้อนให้เห็นในผลการประเมินระดับแนวหน้าของเราด้วย
การปรับปรุงเหล่านี้ยังส่งผลให้งานจริงที่ต้องอาศัยความรู้มีประสิทธิภาพเพิ่มขึ้นอย่างมาก ในการจำลองเวลาแฝงบน OSWorld 2.0 Astra มีประสิทธิภาพในการใช้งานคอมพิวเตอร์สูงกว่า GPT‑5.6 โดยใช้เวลาต่องานน้อยลงประมาณ 47% Sol ทำคะแนนได้ 72.6% โดยใช้เวลาประมาณ 40 นาทีต่องาน เทียบกับ 65.7% โดยใช้เวลาประมาณ 75 นาทีต่องาน3
ความสามารถด้านการใช้งานคอมพิวเตอร์ของ GPT‑6 Astra แสดงให้เห็นผ่านผลลัพธ์ในหลากหลายสาขา รวมถึงการพัฒนาเกม วิศวกรรมไฟฟ้า และงานด้านความรู้ในชีวิตประจำวัน:
Alongside Astra, we are also updating the Codex harness to significantly improve the speed of computer use. Combined with Astra’s efficiency, this translates to a 1.9x faster task completion compared to the current GPT‑5.6 Sol experience, on the Mind2Web benchmark. The model’s improvements on speed mean it can take on many time-consuming life tasks for you, faster than you can.4
การเปลี่ยนแปลงแบบก้าวกระโดดในงานวิชาชีพ
GPT‑6 Astra ได้รับการพัฒนาให้ใช้คอมพิวเตอร์ได้เก่งขึ้น พร้อมผ่านการฝึกที่ออกแบบมาโดยเฉพาะสำหรับการทำงานระดับมืออาชีพ จึงช่วยจัดการงานที่ซับซ้อนได้อย่างมีประสิทธิภาพ Astra ไม่เพียงรับมือกับปัญหาที่ซับซ้อนได้ แต่ยังทำงานที่มีหลายขั้นตอนต่อเนื่องกันจนเสร็จ และสร้างเอกสาร สเปรดชีต รวมถึงงานนำเสนอที่มีคุณภาพพร้อมใช้งาน
GPT‑6 Astra เป็นโมเดลที่ดีที่สุดของเราในการทำตามเทมเพลตที่มีอยู่ และสร้างสไลด์ที่จัดวางองค์ประกอบได้ดี ถ่ายทอดประเด็นสำคัญอย่างกระชับ พร้อมลำดับเนื้อหาที่เป็นระบบ ระบบจะสร้างเอกสาร งานนำเสนอ สเปรดชีต และบทวิเคราะห์ที่ชัดเจนและมีโครงสร้างดี โดยเป็นไปตามเทมเพลตของคุณและสอดคล้องกับสไตล์การเขียนและรูปแบบภาพของคุณ Astra ยังได้รับการฝึกให้เลือกเฉพาะบริบทที่สำคัญต่อผลลัพธ์ แทนที่จะนำข้อมูลที่ไม่จำเป็นต่องานตรงหน้ามากล่าวซ้ำ ทั้งหมดนี้ทำให้โมเดลสามารถสร้างผลงานที่พร้อมนำไปใช้ได้ทันทีมากขึ้น และสอดคล้องกับบริบทและมาตรฐานของธุรกิจคุณ
GPT‑6 Astra ยังมีความสามารถในการตัดสินด้านภาพที่ดีขึ้นสำหรับเว็บไซต์ เกม แอปพลิเคชัน และภาพเรนเดอร์ที่โมเดลสร้างขึ้น Sites(เปิดในหน้าต่างใหม่) ใน ChatGPT ช่วยให้ Astra สร้าง โฮสต์ และแชร์เว็บไซต์ เว็บแอป และเกมได้โดยตรงจากพรอมต์
เมื่อคำสั่งมีความคลุมเครือและสามารถตีความได้หลายทาง GPT‑6 Astra สามารถตัดสินใจเลือกแนวทางที่ถูกต้องได้ดีกว่าโมเดลรุ่นก่อน โมเดลใช้ข้อมูลจากบริบทเพื่อจัดการกับรายละเอียดทั่วไปที่ขาดหายไป และจะถามเฉพาะคำถามที่จำเป็นเมื่อคำตอบอาจมีผลต่อผลลัพธ์ ใน Codex โมเดลสามารถถามคำถามโดยไม่ต้องรอคำตอบ พร้อมเดินหน้าทำส่วนที่ไม่ต้องรอคำตอบจากคุณได้ หากคุณไม่ตอบ โมเดลจะดำเนินงานต่อโดยตั้งสมมติฐานที่สมเหตุสมผลในกรณีที่เหมาะสม แต่จะรอคำตอบจากคุณเมื่อต้องตัดสินใจในเรื่องสำคัญ
ตัวอย่างด้านล่างแสดงให้เห็นว่า Astra ทำงานร่วมกับคุณในงานทั่วไปอย่างไร เมื่อข้อมูลที่ขาดหายไปอาจทำให้คำตอบเปลี่ยนไปอย่างมาก
Astra ยังติดตามบริบทและสถานะของงานได้ดียิ่งขึ้น แม้รายละเอียดหรือเป้าหมายจะเปลี่ยนไประหว่างทาง โมเดลรุ่นก่อนบางครั้งมองข้อความที่ใช้ปรับทิศทางเป็นเป้าหมายใหม่ จนหลุดจากคำขอเดิมหรือข้อจำกัดก่อนหน้า Astra ปรับการทำงานตามข้อกำหนดใหม่หรือเปลี่ยนแนวทางตามที่ผู้ใช้ขอได้ และแม้จะแวะตอบคำถามอื่นระหว่างทาง ก็ยังติดตามงานหลักต่อได้โดยไม่หลุดประเด็น
การเขียนโค้ด
GPT‑6 Astra เป็นโมเดลที่ดีที่สุดสำหรับวิศวกรรมซอฟต์แวร์จนถึงปัจจุบัน
“GPT‑6 Astra ทำผลงานได้ในระดับแนวหน้าจากเกณฑ์การประเมินด้านการเขียนโค้ดภายในของเรา และเมื่อเทียบกับ GPT‑5.6 Sol ก็พัฒนาขึ้นอย่างชัดเจนในการประเมินความเข้าใจและวิจารณญาณด้านการเทรด เมื่อนำ GPT‑6 Astra มาใช้เป็นเอเจนต์ช่วยเขียนโค้ด นักพัฒนาจะติดตามและเข้าใจการสื่อสารของโมเดลได้ง่ายขึ้น อีกทั้งยังใช้เวลาแก้ไขและปรับโค้ดซ้ำน้อยลงกว่าจะได้คุณภาพพร้อมใช้งานจริง”
“เราทดสอบ Astra ที่ระดับความพยายามต่ำ ปลานกลาง และสูง ในการประเมินรุ่นแรก ๆ รายการหนึ่งของเรา และพบว่ามันทำผลงานได้เหนือกว่า GPT 5.6 Sol อย่างมาก ระดับความพยายามที่สูงขึ้นช่วยให้ทำซ้ำบนบิลด์ใหม่ได้มากขึ้น ตรวจสอบยืนยันผ่านการทดสอบในเบราว์เซอร์ได้มากขึ้น และเน้นการรันโค้ดมากกว่าการใช้ apply-patch การทำความเข้าใจว่าโมเดลใช้ความพยายามอย่างไรช่วยให้เรามอบเส้นทางที่เร็วขึ้นและเชื่อถือได้มากขึ้นจากไอเดียสู่แอปที่ใช้งานได้จริงแก่ผู้สร้างหลายล้านคน”
Astra มาพร้อมวิธีใหม่ที่ช่วยให้ Codex สามารถเก็บและเรียกคืนบริบทเมื่อหน้าต่างบริบทเต็ม ในอดีต โมเดลใช้การย่อบริบทเพื่อสรุปงานระหว่างเซสชันที่ยาวนาน เช่น เมื่อแก้ไขปัญหาที่ซับซ้อนหรือปรับโครงสร้างโค้ดขนาดใหญ่ การย่อบริบทแต่ละครั้งอาจละรายละเอียดเกี่ยวกับสาเหตุที่การแก้ไขไม่สำเร็จหรือวิธีที่คอมโพเนนต์ทำงาน ใน Codex นั้น Astra สามารถเก็บบันทึกข้ามหน้าต่างบริบทได้ โดยรักษารายละเอียดที่สะสมไว้โดยไม่ต้องบีบอัดซ้ำๆ ให้เป็นสรุปเดียว Astra ยังคงค้นหาข้อมูลในหน้าต่างบริบทก่อนหน้าได้ จึงสามารถย้อนกลับไปค้นหาข้อกำหนดหรือผลการทดสอบจากข้อความและผลลัพธ์ของเครื่องมือก่อนหน้านี้ แม้ว่าข้อมูลนั้นจะไม่ได้บันทึกไว้ในโน้ตของ Astra ก็ตาม คุณสามารถเปิดใช้ฟีเจอร์ทดลองนี้ได้ใน config.toml ของ Codex(เปิดในหน้าต่างใหม่) และจะกลายเป็นค่าเริ่มต้นสำหรับ Astra ในอีกไม่กี่สัปดาห์ข้างหน้า
ยกระดับการค้นพบทางวิทยาศาสตร์
Astra สามารถช่วยในงานเชิงปฏิบัติที่อยู่เบื้องหลังการค้นพบทางวิทยาศาสตร์ได้ Astra นำการให้เหตุผลทางวิทยาศาสตร์มาใช้ควบคู่กับความสามารถในการใช้คอมพิวเตอร์ จึงทำงานผ่านซอฟต์แวร์เฉพาะทางเพื่อตรวจสอบข้อมูลและวิเคราะห์ผลลัพธ์ได้โดยตรง ช่วยให้นักวิจัยพิจารณาหลักฐานและตัดสินใจได้ว่าควรศึกษาเรื่องใดต่อ
ความปลอดภัยทางไซเบอร์
As we discussed in our safety update, Astra is a significant jump in cyber capabilities and meets the Critical threshold in cybersecurity under our Preparedness Framework. Its ability to identify and develop zero-day exploits can help defenders find and patch weaknesses, but it also creates a need for stronger safeguards. To understand how far these capabilities extend, we ran Astra on internal and third-party expert evaluations.
We first tested the model without production safeguards on ExploitBench and ExploitGym, which evaluate whether models can turn known software vulnerabilities into working exploits. On ExploitBench, Astra achieved a perfect score of 100%, compared with 78.5% for GPT‑5.6 Sol, our previous frontier cyber-capable model. On ExploitGym, Astra reached a 42.4% success rate, compared with 30.3% for GPT‑5.6 Sol, while using substantially fewer output tokens.13
Given concerns that exposure to historical software vulnerabilities may have affected benchmark results, we also evaluated Astra on two novel benchmarks. For one, we built an internal “ExploitBench (June–August 2026)” evaluation to test exploit development using vulnerabilities from the previous three months.14 Astra achieved substantially higher arbitrary code-execution rates than GPT‑5.6 Sol on this dataset while using far fewer output tokens. During the evaluation, Astra even discovered and used two previously unknown zero-day vulnerabilities. We are disclosing both vulnerabilities to their maintainers.
We also tested Astra on SRE-Bench15, a benchmark that measures whether models can reverse engineer software binaries to understand its core logic without access to raw source code. Astra solved 88.0% of tasks in a single attempt and 99.2% within four attempts, compared with 55.9% and 68.7% for GPT‑5.6 Sol, respectively.
Beyond benchmarks, expert-led assessments found that Astra, when run without production safeguards, could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems.
As we discussed in The Defender’s Window, frontier cyber capabilities can help defenders find weaknesses faster, but they also make those weaknesses easier to exploit, raising the urgency for defenders to adapt. With the version of Astra launching today, defenders can use it to complete tasks such as secure code review and patching.
However, Astra will refuse to comply with more advanced cybersecurity tasks such as creating proof-of-concept exploits for vulnerabilities. Through OpenAI Daybreak, we plan to expand access and roll out less restrictive safeguards in the coming weeks. This will enable more defensive workflows, including vulnerability and proof-of-concept validation, malware analysis, and detection engineering.
We have also strengthened our protections against potential cyber misuse, building upon our safeguards stack for GPT‑5.6 Sol. These include stronger model robustness to better withstand potential jailbreaks and more context for our monitoring systems. We have continued rigorous internal and external testing, including automated evaluations with our internal red-teaming attackers. More details about our cyber safeguards and testing are available in the Astra safety overview and system card(เปิดในหน้าต่างใหม่)..
การปรับให้สอดคล้องและการนำ GPT‑6 Astra ไปใช้งานอย่างรับผิดชอบ
Astra เป็นโมเดลที่สอดคล้องกับแนวทางของเรามากที่สุด Astra ทำงานได้อย่างรอบคอบ ไม่ออกนอกขอบเขตที่กำหนด และสื่อสารกับผู้ใช้อย่างชัดเจนตรงไปตรงมา งานนี้เป็นผลลัพธ์ล่าสุดจากโครงการวิจัยที่ดำเนินมาอย่างยาวนานของเรา ซึ่งมุ่งเน้นการเทรนโมเดลให้คงความสอดคล้องกับเจตนาของมนุษย์ตั้งแต่ต้นจนจบ
ในสภาพแวดล้อมที่ละเอียดอ่อน Astra จะดำเนินการด้วยความระมัดระวังในระดับที่สอดคล้องกับความเสี่ยงนั้น ในการประเมินด้านการใช้คอมพิวเตอร์ เราจงใจเลือกงานที่ออกแบบมาเพื่อชักจูงให้โมเดลทำสิ่งที่ไม่ควรทำ และพบว่า Astra หลีกเลี่ยงผลกระทบที่ไม่ได้ตั้งใจได้ดีกว่า การรันโดยใช้มาตรการรักษาความปลอดภัยเพิ่มเติมที่มีให้ตามค่าเริ่มต้น ให้ประสิทธิภาพที่ดียิ่งขึ้นไปอีก
Astra causes fewer misaligned outcomes than any other frontier models tested. For a fair comparison, we used a generic computer-using-agent harness (based on the native computer use tools available in both the OpenAI Responses API(เปิดในหน้าต่างใหม่) and Anthropic Messages API(เปิดในหน้าต่างใหม่)) and without additional protections that are normally deployed to Codex and ChatGPT Work users (auto-review, confirmation policy). 16
Astra ยังมีแนวโน้มทำงานโดยไม่ออกนอกขอบเขตที่ผู้ใช้กำหนด รวมถึงขอบเขตที่เข้าใจได้จากสภาพแวดล้อม ผลการประเมินภายในพบว่า เมื่อ Codex Auto-Review ไม่อนุมัติ Astra ไม่เคยพยายามหาทางเลี่ยงระบบเพื่อดำเนินการต่อ แม้จะจงใจตั้งค่า Auto-Review ให้มีช่องทางหลบเลี่ยง และงานนั้นจะทำไม่สำเร็จหากไม่ใช้ช่องทางดังกล่าว Astra ก็ยังไม่พยายามหลีกเลี่ยงระบบ การที่ Astra ปฏิบัติตามข้อจำกัดของสภาพแวดล้อมเช่นนี้ สอดคล้องกับผลการประเมินงานด้านไซเบอร์ที่เป็นไปไม่ได้ของเรา ซึ่งเราได้แชร์ไว้ในบทนำของโพสต์นี้ และข้อค้นพบอื่นๆ ที่บันทึกไว้ในการ์ดระบบ(เปิดในหน้าต่างใหม่)ของเรา
Astra additionally sets new marks in transparent user communication. In one evaluation, Astra is three times less likely than GPT‑5.6 Sol to make inaccurate representations about its capabilities and affordances.
ผลการประเมินการหลอนเกี่ยวกับความสามารถของโมเดลแสดงให้เห็นว่า Astra ปรับปรุงขึ้นอย่างมากจาก GPT‑5.6 Sol โดยกล่าวอ้างเกี่ยวกับความสามารถของตัวเองในลักษณะที่ทำให้เข้าใจผิดน้อยลง
Our evaluations found Astra’s written reasoning harder to monitor than GPT‑5.6 Sol’s, based on tests that explicitly asked it to evade monitoring. We attribute this to Astra’s greater control over written reasoning on simpler tasks and ability to solve problems with fewer written steps. Astra still appears to struggle to conceal the reasoning needed for complex tasks, but we take the decline seriously. Improving monitorability remains a research priority, and the accompanying system card(เปิดในหน้าต่างใหม่) details our findings and ongoing work.
Alignment training is core to our approach to deployment. As an additional layer of defenses, we also build system safeguards like Codex Auto-review(เปิดในหน้าต่างใหม่) and monitoring agents’ reasoning and actions to help detect and contain unsafe behavior. As described in our safety update, we are also deploying misalignment monitoring in production for Astra-class models in order to have visibility into misalignment, and help contain its worst instances. These safeguards resemble our monitoring for internal deployments and involve a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity.
Given the significant increase in Astra’s cybersecurity capabilities, we are being especially careful to make this deployment safe and secure. Extra safety checks can sometimes slow, pause, or stop legitimate work, including defensive cybersecurity. If a task is paused in ChatGPT or Codex, you may be asked to review the action before continuing. In the API, the task will stop. These checks can sometimes interrupt legitimate work, and we are continuing to iterate on this system to reduce unnecessary interruptions. Misalignment monitoring cannot replace alignment: our goal is to build models that reliably stay within their authorized scope, so these protections do not need to intervene.
ความพร้อมในการใช้งาน
GPT‑6 Astra is rolling out today to a limited set of organizations and over the coming days will become available to all ChatGPT Plus, Pro, Business, and Enterprise users, as well as through the OpenAI API, Microsoft Azure, and AWS Bedrock. Astra usage is included within the existing subscription allowances—users and businesses will also be able to purchase credits for additional usage. Users on the Pro, Business, and Enterprise plans will also get access to GPT‑6 Astra Pro. Enterprise administrators can enable Astra for their workspace; access is off by default at launch.
Astra supports Zero Data Retention for eligible API customers, and as we shared last month, we're testing Private Safety Processing to strengthen safety monitoring while preserving customer privacy.
For developers, GPT‑6 Astra will be available in the OpenAI API as gpt-6-astra and through Microsoft Azure and Amazon Bedrock.
OpenAI API Standard pricing is $10 per million input tokens and $50 per million output tokens. Separate rates apply to cache reads and writes. Fast mode is available for GPT‑6 Astra in the API and delivers up to 2x the speed of Standard processing at 2x the Standard price.
Professional
Professional | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
AutomationBench | 41.4% | 18.1% | 31.4% | 17.4% | 26.9% | - |
BenchCAD | 95.9% | 83.3% | 84.3% 5 | 67.5% 5 | 82.1% 5 | - |
BrowseComp | 91.5% | 90.4% | - | 87.4% | 90.8% | - |
OpenScore String Quartets (1 - OMR-NED) | 0.84 | 0.19 | - | - | - | - |
Internal Design Tasks | 50.0% | 47.4% | - | 35.8% | - | - |
Internal Data Science Tasks | 40.9% | 30.5% | - | 34.7% | - | - |
Artificial Analysis Intelligence Index v4.1.1 | 61.2 | 60.9 | 65.7 | 62.1 | 63.1 | 58.7 |
Coding
| Coding | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
| Terminal-Bench 4.0 | 57.9% | 37.3% | 55.8% | 44.5% | 52.6% | 19.1% |
| DeepSWE v1.1 | 74.1% | 72.7% | 67.4% | 69.9% | 73.7% | 73.8% |
| FrontierCode 1.1 Extended (score) | 64.5% 8 | 60.6% | 63.6% | 64.9% | 63.6% | 56.3% |
| FrontierCode 1.1 Main (score) | 53.3% 8 | 47.5% | 50.9% | 53.5% | 53.4% | 43.6% |
| Internal Database Migration Tasks | 63.9% | 42.7% | 57.8% | 50.3% | - | - |
| Artificial Analysis Coding Agent Index v1.4 | 67.0 | 65.1 | - | 67.2 | 68.1 | 61.2 |
Academic
Academic | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
Terminal-Bench Science 0.1 | 64.6% | 22.4% | 52.6% | 21.4% | 30.0% | - |
FrontierMath Tier 4 (v2) | 97.6% | 83.0% | 87.8% | 90.2% | 73.2% | - |
GPQA Diamond | 96.0% | 94.6% | 93.7% | 92.6% | 93.7% | 95.3% |
Humanity's Last Exam (w/ tools) | 57.2% | - | 65.0% | 63.8% | 63.6% | - |
การกำหนดการทำงานให้เหมาะสมและสอดคล้องกับเจตนาของมนุษย์:
การกำหนดการทำงานให้เหมาะสมและสอดคล้องกับเจตนาของมนุษย์: | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
เกณฑ์มาตรฐานความปลอดภัยในการใช้คอมพิวเตอร์ภายใน (ยิ่งต่ำยิ่งดี) | 2.4% | 22.0% | 9.5% | 18.3% | 11.5% | - |
เกณฑ์มาตรฐานความปลอดภัยในการใช้งานคอมพิวเตอร์ภายใน พร้อม AutoReview (ยิ่งต่ำยิ่งดี) | 1.8% | 4.3% | - | - | - | - |
เกณฑ์มาตรฐานภายในสำหรับการหลีกเลี่ยงมาตรการป้องกัน (ยิ่งต่ำยิ่งดี) | 0.00% | 0.29% | - | - | - | - |
ExploitGym Honeypot (ยิ่งต่ำยิ่งดี) | 0.0% | 48.2% | - | - | - | - |
Impossible ExploitGym | 100.0% | - | - | - | - | - |
เกณฑ์มาตรฐานภายในสำหรับวัดการให้ข้อมูลที่ไม่เป็นจริง (ยิ่งต่ำยิ่งดี) | 4.2% | 12.2% | - | - | - | - |
บริบทยาว
บริบทยาว | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
OpenAI MRCR v2 8-needle 256K-512K | 100.0% | 91.5% | - | - | - | - |
OpenAI MRCR v2 8-needle 512K-1M | 96.3% | 73.8% | - | - | - | - |
การให้เหตุผลเชิงนามธรรม
| Abstract reasoning | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
| ARC-AGI-3 | 99.9% 1 | 7.8% | - | - | 30.2% | - |
| ARC-AGI-2 | 95.0% | 92.5% | 90.0% | 89.2% | 90.4% | - |
| ARC-AGI-1 | 98.5% | 97.5% | 97.5% | 98.5% | 97.5% | - |
คะแนนการประเมินเป็นค่าสูงสุดในทุกระดับความพยายาม การประเมิน GPT ดำเนินการในสภาพแวดล้อมการวิจัยของเราหรือผ่าน API ของเรา ซึ่งอาจให้ผลลัพธ์ที่แตกต่างจาก ChatGPT เวอร์ชันใช้งานจริงเล็กน้อย เนื่องจากความแตกต่างของพรอมต์ระบบ เครื่องมือที่พร้อมใช้งาน เป็นต้น
FOOTNOTES
- 1
On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.
- 2
GPT-5.6 Sol refers to the version available in our API, ChatGPT Codex, and ChatGPT Work. The version in ChatGPT Chat is slightly different.
- 3
OSWorld V2-Offline is a subset of the original OSWorld V2 that works without internet access. Claude model performance on OSWorld-V2 Offline was reproduced by the authors on the official leaderboard(เปิดในหน้าต่างใหม่). On OSWorld 2.0, the scores for Claude use the official settings, and not the modified tasks and modified grading from the Fable 5.1 System Card.
- 4
- 5
On BenchCAD, Claude's scores reflect 3 modifications to the eval, detailed in the Fable 5.1 System Card(เปิดในหน้าต่างใหม่).
- 6
Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR(เปิดในหน้าต่างใหม่).” arXiv:2506.19065, 2025.
- 7
Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus(เปิดในหน้าต่างใหม่).” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.
- 8
On FrontierCode, GPT-6 Astra was run with a developer message similar to a section of its developer message in Codex(เปิดในหน้าต่างใหม่): "Avoid creating excessive test files. Create a new test file only when required by repository conventions or when no existing file is a suitable home. Avoid unrelated cleanup and unnecessary complexity. Reuse suitable existing utilities. Read relevant repository instructions and inspect nearby code, tests, documentation, and CI. Follow established conventions. The goal is clean, mergeable code." The prompt was not optimized for the eval.
- 9
The first concerns how close together prime numbers can occur, however far along the number line you go. For more than a decade, the best known result established that infinitely many pairs of primes are at most 246 apart. Julia Stadlmann(เปิดในหน้าต่างใหม่) recently improved that bound to 240. Astra helped establish a stronger bound of 186, showing that infinitely many pairs occur within this smaller distance. Short prime gaps: Proof(เปิดในหน้าต่างใหม่) and supporting research(เปิดในหน้าต่างใหม่).
- 10
The second concerns unusually large gaps between primes. Astra improved a term in a bound on these gaps that had remained unchanged for more than 80 years. We’re sharing the proofs and abridged chain of thought and verification materials for both results. Large prime gaps: Proof(เปิดในหน้าต่างใหม่) and supporting research(เปิดในหน้าต่างใหม่).
- 11
- 12
- 13
- 14
ExploitBench (June–August 2026) contains 20 high-severity V8 vulnerabilities across 13 stable Chrome releases. The benchmark tests whether agents can achieve arbitrary code execution in V8 and official Chrome releases for Linux by exploiting each specified vulnerability. Some included vulnerabilities may not permit arbitrary code execution under the evaluation’s constraints, so a 100% success rate may not be achievable. Note: the 5.5% score of GPT-5.6 Sol is an artifact of the 300-turn limit in the benchmark, which is not a limit that real customers using max would have. The model at similar settings achieved an 11.5% score when hitting fewer limits.
- 15
Jeremy Spence et al. “The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark(เปิดในหน้าต่างใหม่).” arXiv:2608.11469v1, 2026.
- 16
When we test across third-party models, we use a simpler research setup. Codex has a more complex production configuration, which can result in different raw-model error rates. Provider-side safeguards and computer-tool implementations still differ. Users do not experience the no-confirmation scenario in Codex, as it's an internal research configuration.
- 17
