อัปเดตเมื่อวันที่ 10 มิถุนายน 2025: OpenAI o3‑pro พร้อมให้บริการสำหรับผู้ใช้ Pro ใน ChatGPT และใน API ของเรา เช่นเดียวกับ OpenAI o1‑pro, o3‑pro เป็นเวอร์ชันของโมเดลที่ชาญฉลาดที่สุดของเรา OpenAI o3 ซึ่งออกแบบมาเพื่อคิดได้นานขึ้นและให้คำตอบที่น่าเชื่อถือที่สุด สามารถดูรายละเอียดทั้งหมดได้ใน บันทึกประจำรุ่น(เปิดในหน้าต่างใหม่).
วันนี้ เรากำลังเปิดตัว OpenAI o3 และ o4-mini ซึ่งเป็นโมเดลล่าสุดในซีรีส์ o ของเราที่ได้รับการฝึกฝนให้คิดนานขึ้นก่อนที่จะตอบสนอง นี่คือโมเดลที่ฉลาดที่สุดที่เราเปิดตัวจนถึงปัจจุบัน ซึ่งแสดงถึงการเปลี่ยนแปลงครั้งสำคัญในความสามารถของ ChatGPT สำหรับทุกคนตั้งแต่ผู้ใช้ที่อยากรู้อยากเห็นไปจนถึงนักวิจัยขั้นสูง เป็นครั้งแรกที่โมเดลการให้เหตุผลของเราสามารถใช้และรวมเครื่องมือทั้งหมดภายใน ChatGPT ได้อย่างมีประสิทธิภาพ ซึ่งรวมถึงการค้นหาเว็บ การวิเคราะห์ไฟล์ที่อัปโหลดและข้อมูลอื่นๆ ด้วย Python การให้เหตุผลอย่างลึกซึ้งเกี่ยวกับอินพุตภาพ และแม้แต่การสร้างภาพ ที่สำคัญ โมเดลเหล่านี้ได้รับการฝึกฝนให้ให้เหตุผลเกี่ยวกับเวลาและวิธีการใช้เครื่องมือเพื่อสร้างคำตอบที่ละเอียดและรอบคอบในรูปแบบเอาต์พุตที่เหมาะสม โดยทั่วไปใช้เวลาไม่ถึงนาทีในการแก้ปัญหาที่ซับซ้อนมากขึ้น สิ่งนี้ช่วยให้พวกเขาสามารถจัดการกับคำถามหลายแง่มุมได้อย่างมีประสิทธิภาพมากขึ้น ซึ่งเป็นก้าวหนึ่งสู่ ChatGPT ที่เป็นเชิงเอเจนต์มากขึ้นและสามารถดำเนินภารกิจของในนามคุณได้อย่างอิสระ พลังที่รวมกันของการใช้เหตุผลที่ล้ำสมัย พร้อมการเข้าถึงเครื่องมือเต็มรูปแบบส่งผลให้เกิดประสิทธิภาพที่แข็งแกร่งขึ้นอย่างมีนัยสำคัญในเกณฑ์มาตรฐานทางวิชาการ และภารกิจในโลกแห่งความเป็นจริง จึงกำหนดมาตรฐานใหม่ทั้งในด้านความฉลาดและประโยชน์ใช้สอย
OpenAI o3 คือโมเดลการให้เหตุผลที่ทรงพลังที่สุดของเรา ซึ่งขยายขอบเขตใน การเขียนโค้ด คณิตศาสตร์ วิทยาศาสตร์ การรับรู้ทางสายตา และอื่นๆ อีกมากมาย โดยสร้างมาตรฐานใหม่สูงสุด (SOTA) ในการทดสอบเกณฑ์มาตรฐานต่างๆ รวมถึง Codeforces, SWE-bench (โดยไม่สร้างโครงสร้างพื้นฐานเฉพาะโมเดล) และ MMMU จึงอย่างยิ่งสำหรับการค้นหาข้อมูลที่ซับซ้อนซึ่งต้องการการวิเคราะห์หลายมิติ และคำตอบอาจไม่ชัดเจนในทันที ทำงานได้ดีเป็นพิเศษในงานที่เกี่ยวข้องกับการมองเห็น เช่น การวิเคราะห์ภาพ แผนภูมิ และกราฟิก ในการประเมินโดยผู้เชี่ยวชาญภายนอก o3 ทำผิดพลาดน้อยกว่า OpenAI o1 ถึง 20% ในภารกิจที่ยากในโลกจริง โดยเฉพาะอย่างยิ่งในด้านที่โดดเด่นเช่น การเขียนโปรแกรม ธุรกิจ/การให้คำปรึกษา และการคิดค้นไอเดียสร้างสรรค์ ผู้ทดสอบในช่วงแรกได้เน้นย้ำถึงความเข้มงวดทางวิเคราะห์ในฐานะพันธมิตรทางความคิด และเน้นย้ำถึงความสามารถในการสร้างและประเมินสมมติฐานใหม่ๆ อย่างมีวิจารณญาณ โดยเฉพาะในบริบทของชีววิทยา คณิตศาสตร์ และวิศวกรรมศาสตร์
OpenAI o4-mini เป็นโมเดลขนาดเล็กที่ได้รับการปรับให้เหมาะสมสำหรับการให้เหตุผลที่รวดเร็วและคุ้มค่า—มีประสิทธิภาพที่น่าทึ่งเมื่อเทียบกับขนาดและค่าใช้จ่าย โดยเฉพาะในด้านคณิตศาสตร์ การเขียนโค้ด และงานด้านภาพ เป็นโมเดลที่มีประสิทธิภาพดีที่สุดในการทดสอบมาตรฐาน AIME 2024 และ 2025 แม้ว่าการเข้าถึงคอมพิวเตอร์จะช่วยลดความยากลำบากของการสอบ AIME อย่างมีนัยสำคัญ แต่เรายังพบว่าน่าสังเกตว่า o4-mini บรรลุ 99.5% pass@1 (100% consensus@8) ใน AIME 2025 เมื่อได้รับสิทธิ์เข้าถึงตัวแปลภาษา Python แม้ว่าผลลัพธ์เหล่านี้ไม่ควรเปรียบเทียบกับประสิทธิภาพของโมเดลที่ไม่มีการเข้าถึงเครื่องมือ แต่ก็เป็นตัวอย่างหนึ่งที่แสดงให้เห็นว่า o4-mini ใช้ประโยชน์จากเครื่องมือที่มีอยู่ได้อย่างมีประสิทธิภาพเพียงใด o3 แสดงให้เห็นการปรับปรุงที่คล้ายคลึงกันใน AIME 2025 จากการใช้เครื่องมือ (98.4% pass@1, 100% consensus@8)
ในการประเมินโดยผู้เชี่ยวชาญ o4-mini ยังมีประสิทธิภาพเหนือ o3‑mini รุ่นก่อนในภารกิจที่ไม่ใช่ STEM รวมถึงโดเมนต่างๆ เช่น วิทยาศาสตร์ข้อมูล ด้วยประสิทธิภาพของ o4-mini ทำให้สนับสนุนขีดจำกัดการใช้งานที่สูงกว่า o3 อย่างมาก จึงเป็นตัวเลือกที่มีปริมาณงานสูงและอัตราผลลัพธ์สูงสำหรับคำถามที่ได้รับประโยชน์จากการใช้เหตุผล ผู้ประเมินผู้เชี่ยวชาญภายนอกให้คะแนน ทั้งสองโมเดล ว่าแสดงให้เห็นถึงการปฏิบัติตามคำสั่งที่ดีขึ้นและการตอบสนองที่มีประโยชน์และตรวจสอบได้มากกว่าโมเดลก่อนหน้า อันเป็นผลมาจากปัญญาประดิษฐ์ที่ได้รับการปรับปรุงและการรวมแหล่งข้อมูลจากเว็บ เมื่อเทียบกับการทำซ้ำก่อนหน้านี้ของโมเดลการให้เหตุผลของเรา โมเดลทั้งสองนี้ควรให้ความรู้สึกเป็นธรรมชาติและสนทนามากขึ้น โดยเฉพาะอย่างยิ่งเมื่ออ้างอิงความทรงจำและบทสนทนาในอดีตเพื่อให้การตอบสนองมีความเป็นส่วนตัวและเกี่ยวข้องมากขึ้น
หลายรูปแบบ
การเขียนโค้ด
การประเมิน SWE-bench ทุกครั้งใช้ชุดย่อยคงที่ของ n=477 งานที่ผ่านการตรวจสอบแล้ว ซึ่งได้รับการยืนยันความถูกต้องบนโครงสร้างพื้นฐานภายในของเรา
การปฏิบัติตามคำแนะนำและการใช้เครื่องมือเชิงเอเจนต์
โมเดลทั้งหมดได้รับการประเมินที่การตั้งค่า 'ความพยายามในการให้เหตุผล' สูง—คล้ายกับตัวแปรต่างๆ เช่น 'o4-mini-high' ใน ChatGPT
ตลอดการพัฒนา OpenAI o3 เราได้สังเกตเห็นว่าการเรียนรู้แบบเสริมแรงขนาดใหญ่แสดงให้เห็นแนวโน้ม “การประมวลผลมากขึ้น = ประสิทธิภาพดีขึ้น” เช่นเดียวกับที่สังเกตได้ในการฝึกอบรมล่วงหน้าแบบซีรีส์ GPT ด้วยการย้อนกลับเส้นทางการปรับขนาด—คราวนี้ใน RL—เราได้ผลักดันลำดับความสำคัญเพิ่มเติม ทั้งในการคำนวณการฝึกสอนและการให้เหตุผลในเวลาอนุมาน แต่ยังคงเห็นประสิทธิภาพที่เพิ่มขึ้นอย่างชัดเจน ซึ่งยืนยันว่าโมเดลยังคงพัฒนาต่อไปเมื่อได้รับโอกาสให้คิดมากขึ้น ด้วยเวลาในการตอบสนองและต้นทุนที่เท่ากับ OpenAI o1 ตัว o3 ส่งมอบประสิทธิภาพที่สูงขึ้นใน ChatGPT และเราได้ยืนยันแล้วว่าหากเราปล่อยให้มันคิดนานขึ้น ประสิทธิภาพของมันจะเพิ่มขึ้นเรื่อยๆ
นอกจากนี้ เรายังได้ฝึกทั้งสองโมเดลให้ ใช้เครื่องมือผ่านการเรียนรู้แบบเสริมแรง—สอนไม่เพียงแค่การใช้เครื่องมือ แต่ยังสอนให้เหตุผลว่าเมื่อใดควรใช้เครื่องมือ ความสามารถในการปรับใช้เครื่องมือตามผลลัพธ์ที่ต้องการทำให้ทั้งสองโมเดลมีความสามารถมากขึ้นในสถานการณ์ที่ไม่จำกัด โดยเฉพาะอย่างยิ่งในสถานการณ์ที่เกี่ยวข้องกับการใช้เหตุผลทางภาพและเวิร์กโฟลว์หลายขั้นตอน การปรับปรุงนี้สะท้อนให้เห็นทั้งในเกณฑ์มาตรฐานทางวิชาการและงานในโลกแห่งความเป็นจริงตามที่ผู้ทดสอบกลุ่มแรกรายงาน

เป็นครั้งแรกที่โมเดลเหล่านี้สามารถผนวกรวมภาพเข้ากับกระบวนการคิดของพวกเขาโดยตรง พวกเขาไม่ได้แค่เห็นภาพเท่านั้น แต่ยังคิดไปพร้อมกับภาพด้วย การกระทำนี้จะปลดล็อกคลาสใหม่ของการแก้ปัญหาที่ผสมผสานการใช้เหตุผลด้วยภาพและข้อความ ซึ่งสะท้อนให้เห็นในประสิทธิภาพที่ล้ำสมัยในเกณฑ์มาตรฐานแบบมัลติโหมด
ผู้คนสามารถอัปโหลดรูปภาพของไวท์บอร์ด ไดอะแกรมในตำราเรียน หรือภาพร่างที่วาดด้วยมือ และโมเดลสามารถตีความได้ แม้ว่าภาพจะพร่ามัว กลับด้าน หรือคุณภาพต่ำก็ตาม ด้วยการใช้เครื่องมือ โมเดลสามารถจัดการภาพได้ทันที—หมุน ซูม หรือแปลงภาพ—ซึ่งเป็นส่วนหนึ่งของกระบวนการให้เหตุผลของโมเดล
โมเดลเหล่านี้มอบความแม่นยำระดับแนวหน้าของอุตสาหกรรมในงานด้านการรับรู้ภาพ ทำให้สามารถแก้ไขคำถามที่เคยเป็นไปไม่ได้มาก่อน โปรดดู บล็อกวิจัยการใช้เหตุผลเชิงภาพ เพื่อเรียนรู้เพิ่มเติม
OpenAI o3 และ o4-mini สามารถเข้าถึงเครื่องมือภายใน ChatGPT ได้อย่างเต็มที่ รวมถึงเครื่องมือที่คุณกำหนดเองผ่านการเรียกฟังก์ชันใน API โมเดลเหล่านี้ได้รับการฝึกฝนให้สามารถให้เหตุผลเกี่ยวกับวิธีแก้ปัญหา เลือกเวลาและวิธีการใช้เครื่องมือเพื่อสร้างคำตอบที่ละเอียดและรอบคอบในรูปแบบเอาต์พุตที่เหมาะสมอย่างรวดเร็ว โดยปกติจะใช้เวลาไม่ถึงหนึ่งนาที
ตัวอย่างเช่น ผู้ใช้อาจถามว่า: "การใช้พลังงานในฤดูร้อนในแคลิฟอร์เนียเป็นอย่างไรเมื่อเทียบกับปีที่แล้ว" โมเดลสามารถค้นหาข้อมูลสาธารณูปโภคบนเว็บ เขียนโค้ด Python เพื่อสร้างการพยากรณ์ สร้างกราฟหรือภาพ และอธิบายปัจจัยสำคัญที่อยู่เบื้องหลังการพยากรณ์ โดยเชื่อมโยงการเรียกใช้เครื่องมือหลายรายการเข้าด้วยกัน การให้เหตุผลช่วยให้โมเดลสามารถตอบสนองและปรับเปลี่ยนได้ตามความจำเป็นต่อข้อมูลที่พบ ตัวอย่างเช่น พวกเขาสามารถค้นหาเว็บได้หลายครั้งด้วยความช่วยเหลือจากผู้ให้บริการการค้นหา ดูผลลัพธ์ และลองค้นหาใหม่ หากต้องการข้อมูลเพิ่มเติม
แนวทางเชิงกลยุทธ์ที่ยืดหยุ่นนี้ช่วยให้โมเดลสามารถจัดการกับงานที่ต้องการการเข้าถึงข้อมูลที่ทันสมัยเกินกว่าความรู้ในตัวของโมเดล การให้เหตุผลที่ขยายออกไป การสังเคราะห์ และการสร้างเอาต์พุตในหลายรูปแบบ
ตัวอย่างทั้งหมดเสร็จสมบูรณ์ด้วย OpenAI o3
OpenAI o3
OpenAI o1
OpenAI o3 ได้รับคำตอบที่ถูกต้องโดยไม่ใช้การค้นหา ในขณะที่ o1 ไม่สามารถให้คำตอบที่ถูกต้อง
การพัฒนาการให้เหตุผลที่คุ้มค่าต้นทุน
ต้นทุนเทียบกับประสิทธิภาพ: o3‑mini และ o4-mini


ต้นทุนเทียบกับประสิทธิภาพ: o1 และ o3


OpenAI o3 และ o4-mini เป็นโมเดลที่ชาญฉลาดที่สุดที่เราเคยเปิดตัวมา และยังมีประสิทธิภาพมากกว่ารุ่นก่อนอย่าง OpenAI o1 และ o3‑mini บ่อยครั้ง ตัวอย่างเช่น ในการแข่งขันคณิตศาสตร์ AIME ปี 2025 เส้นขอบด้านต้นทุนและประสิทธิภาพสำหรับ o3 ดีขึ้นอย่างชัดเจนเหนือ o1 และในทำนองเดียวกัน เส้นขอบของ o4-mini ดีขึ้นอย่างชัดเจนเหนือ o3‑mini โดยทั่วไปแล้ว เราคาดหวังว่าสำหรับการใช้งานในโลกแห่งความเป็นจริงส่วนใหญ่ o3 และ o4-mini จะทั้งฉลาดกว่าและราคาถูกกว่า o1 และ o3‑mini ตามลำดับ
การปรับปรุงความสามารถของโมเดลแต่ละครั้งจำเป็นต้องมีการปรับปรุงด้านความปลอดภัยที่สอดคล้องกัน สำหรับ OpenAI o3 และ o4-mini เราได้สร้างข้อมูลการฝึกสอนด้านความปลอดภัยขึ้นใหม่ทั้งหมด โดยเพิ่มคำสั่งปฏิเสธใหม่ในด้านต่างๆ เช่น ภัยคุกคามทางชีวภาพ (biorisk) การสร้างมัลแวร์ และการเจลเบรก ข้อมูลที่อัปเดตนี้ทำให้ o3 และ o4-mini มีประสิทธิภาพยอดเยี่ยมในเกณฑ์มาตรฐานการปฏิเสธภายในของเรา (เช่น ลำดับชั้นคำสั่ง, การเจลเบรก) นอกเหนือจากประสิทธิภาพที่แข็งแกร่งสำหรับการปฏิเสธโมเดลแล้ว เรายังได้พัฒนาการบรรเทาระดับระบบเพื่อตรวจจับคำสั่งที่เป็นอันตรายในพื้นที่เสี่ยงล้ำหน้า เช่นเดียวกับงานก่อนหน้านี้ของเราในการสร้างภาพ เราได้ฝึกอบรมจอภาพ LLM ที่มีความสามารถในการให้เหตุผล ซึ่งทำงานจากข้อกำหนดด้านความปลอดภัยที่มนุษย์เขียนและสามารถตีความได้ เมื่อนำไปใช้กับความเสี่ยงทางชีวภาพ เครื่องมือนี้สามารถตั้งค่าสถานะ ~99% ของบทสนทนาในแคมเปญทีมสีแดงของมนุษย์ของเราได้สำเร็จ
เราได้ทดสอบความทนทานของทั้งสองโมเดลด้วยโปรแกรมความปลอดภัยที่เข้มงวดที่สุดของเราจนถึงปัจจุบัน ตาม กรอบการเตรียมความพร้อม ที่อัปเดตของเรา เราได้ประเมิน o3 และ o4-mini ในสามด้านความสามารถที่ติดตาม ซึ่งครอบคลุมโดยกรอบการทำงาน ได้แก่ ชีวภาพและเคมี ความปลอดภัยทางไซเบอร์ และการปรับปรุงตนเองของ AI จากผลการประเมินเหล่านี้ เราได้พิจารณาแล้วว่าทั้ง o3 และ o4-mini ยังคงต่ำกว่าเกณฑ์ "สูง" ของกรอบงานในทั้งสามหมวดหมู่ เราได้เผยแพร่ผลลัพธ์โดยละเอียดจากการประเมินเหล่านี้ใน การ์ดระบบที่แนบมา
เรายังแบ่งปันการทดลองใหม่: Codex CLI ซึ่งเป็นเอเจนต์การเข้ารหัสที่มีน้ำหนักเบาที่คุณสามารถเรียกใช้ได้จากเทอร์มินัลของคุณ ซึ่งทำงานโดยตรงบนคอมพิวเตอร์ของคุณและออกแบบมาเพื่อเพิ่มขีดความสามารถในการให้เหตุผลของโมเดลต่างๆ เช่น o3 และ o4-mini โดยจะมีการสนับสนุนโมเดล API เพิ่มเติม เช่น GPT‑4.1 ในอนาคต
คุณสามารถรับประโยชน์จากการให้เหตุผลแบบหลายรูปแบบจากบรรทัดคำสั่ง โดยการส่งภาพหน้าจอหรือภาพร่างที่มีความละเอียดต่ำไปยังโมเดล พร้อมกับการเข้าถึงโค้ดของคุณในเครื่อง เราคิดว่าเป็นอินเทอร์เฟซที่เรียบง่ายในการเชื่อมต่อโมเดลของเรากับผู้ใช้และคอมพิวเตอร์ของพวกเขา Codex CLI เป็นโอเพ่นซอร์สเต็มรูปแบบที่ github.com/openai/codex(เปิดในหน้าต่างใหม่) วันนี้
นอกจากนี้ เรากำลังเปิดตัวโครงการริเริ่มมูลค่า 1 ล้านดอลลาร์เพื่อสนับสนุนโครงการที่ใช้ Codex CLI และโมเดล OpenAI เราจะประเมินและรับแอปพลิเคชันขอรับทุนในจำนวนเงินเพิ่มขึ้นทีละ 25,000 ดอลลาร์สหรัฐในรูปแบบเครดิต API คุณสามารถส่งข้อเสนอ ที่นี่
ผู้ใช้ ChatGPT Plus, Pro และ Team จะเห็น o3, o4-mini และ o4-mini-high ในตัวเลือกโมเดลตั้งแต่วันนี้เป็นต้นไป โดยจะแทนที่ o1, o3‑mini และ o3‑mini‑high ผู้ใช้ ChatGPT Enterprise และ Edu จะได้รับสิทธิ์การเข้าถึงในหนึ่งสัปดาห์ ผู้ใช้ Free สามารถทดลองใช้ o4-mini ได้โดยเลือก 'Think' ในตัวสร้างข้อความก่อนส่งคำถามของพวกเขา ลิมิตการใช้งานสำหรับบริการทั้งหมดจะยังคงไม่เปลี่ยนแปลงจากชุดโมเดลก่อนหน้านี้
เราคาดว่าจะเปิดตัว OpenAI o3‑pro ในอีกไม่กี่สัปดาห์พร้อมการสนับสนุนเครื่องมืออย่างเต็มรูปแบบ สำหรับตอนนี้ ผู้ใช้ Pro ยังคงสามารถเข้าถึง o1‑pro
ทั้ง o3 และ o4-mini พร้อมให้บริการแก่นักพัฒนาวันนี้ผ่าน Chat Completions API และ Responses API (นักพัฒนาบางรายอาจจำเป็นต้อง ยืนยันความถูกต้องขององค์กรของตน(เปิดในหน้าต่างใหม่) เพื่อเข้าถึงโมเดลเหล่านี้) Responses API รองรับสรุปการให้เหตุผล ความสามารถในการรักษาโทเค็นการให้เหตุผลรอบการเรียกใช้ฟังก์ชันเพื่อประสิทธิภาพที่ดีขึ้น และจะรองรับเครื่องมือในตัว เช่น การค้นหาเว็บ การค้นหาไฟล์ และเครื่องมือแปลโค้ดภายในเหตุผลของโมเดลในไม่ช้า ในการเริ่มต้นใช้งาน โปรดสำรวจเอกสารของเรา(เปิดในหน้าต่างใหม่) และติดตามการอัปเดตเพิ่มเติม
การอัปเดตในวันนี้สะท้อนทิศทางที่โมเดลของเรากำลังมุ่งหน้าไป: เรากำลังผสานความสามารถในการให้เหตุผลเฉพาะของ o-series เข้ากับความสามารถในการสนทนาที่เป็นธรรมชาติและการใช้เครื่องมือของ GPT‑series มากขึ้น ด้วยการรวมจุดแข็งเหล่านี้ โมเดลในอนาคตของเราจะสนับสนุนบทสนทนาที่ราบรื่นและเป็นธรรมชาติ ควบคู่ไปกับการใช้เครื่องมือเชิงรุกและการแก้ปัญหาขั้นสูง
อัปเดตวันที่ 28 กรกฎาคม 2025: ชุดข้อมูลและผลลัพธ์ของ SWE-Lancer อัปเดต ณ วันที่ 17 กรกฎาคม 2025 สามารถดูได้ที่: https://github.com/openai/preparedness(เปิดในหน้าต่างใหม่) และในการ์ดระบบของเรา การอัปเดตนี้แก้ไขปัญหาหลายประการที่ส่งผลกระทบต่อผลลัพธ์ที่ได้รับจากเงินดอลลาร์ และลบข้อกำหนดสำหรับการเชื่อมต่ออินเทอร์เน็ตระหว่างการดำเนินการ กำจัดแหล่งความแปรปรวนหลักในประสิทธิภาพของโมเดล
อัปเดตเมื่อวันที่ 16 เมษายน 2025: ผลลัพธ์สำหรับ o3 บน Charxiv-r และ Mathvista ได้รับการอัปเดตเพื่อสะท้อนถึงการเปลี่ยนแปลงคำสั่งระบบที่ไม่ได้อยู่ในการประเมินครั้งแรก
ผู้เขียน
เชิงอรรถ
* ตัวเลขการประเมิน tau-bench ถูกเฉลี่ยจากการรัน 5 ครั้งเพื่อลดความแปรปรวน และดำเนินการโดยไม่มีเครื่องมือหรือการแจ้งเตือนที่กำหนดเอง เราพบว่าการเปิดตัว tau-bench สำหรับการขายปลีกมีแนวโน้มที่จะเกิดข้อผิดพลาดของโมเดลผู้ใช้มากกว่า ตัวเลขสำหรับแถบแรเงาถูกรันด้วย GPT-4.1 เป็นโมเดลผู้ใช้ เนื่องจากมีประสิทธิภาพดีกว่า GPT-4o อย่างมากในการปฏิบัติตามคำสั่ง
* SWE-bench ใช้ความยาวบริบทสูงสุด 256k ซึ่งช่วยเพิ่มอัตราการแก้ปัญหาสำหรับ o4-mini ประมาณ 3% และส่งผลกระทบต่ออัตราการแก้ปัญหาของ o3 น้อยกว่า 1% นอกจากนี้ เรายังไม่รวม 23 ตัวอย่างที่ไม่สามารถทำงานได้บนโครงสร้างพื้นฐานภายในของเรา
** เมื่อเปิดใช้งานการเรียกดู บางครั้งโมเดลสามารถค้นหาคำตอบที่ถูกต้องออนไลน์ เช่น โดยการอ่านบล็อกโพสต์ที่มีปัญหาตัวอย่างจากชุดข้อมูล เราบรรเทาความกังวลเกี่ยวกับการโกงโมเดลขณะท่องเว็บด้วยสองกลยุทธ์:
โดเมนที่ถูกบล็อคซึ่งเราพบว่ามีการโกงโมเดลในอดีต
ใช้โมเดลการให้เหตุผลเป็นเครื่องมือตรวจสอบเพื่อตรวจสอบโทเค็นทั้งหมดในแต่ละความพยายาม เพื่อระบุพฤติกรรมที่น่าสงสัย พฤติกรรมที่น่าสงสัยหมายถึง "หน้า ไฟล์ หรือส่วนย่อยที่มีจุดประสงค์หลักเพื่อให้คำตอบที่ถูกต้องสำหรับคำถามนี้ เช่น คีย์การให้คะแนนอย่างเป็นทางการ สาระสำคัญของ "วิธีแก้ปัญหา" ที่รั่วไหล หรือการอภิปรายที่อ้างอิงคำตอบที่เสร็จสิ้นแล้วแบบคำต่อคำ" พฤติกรรมที่ไม่เป็นอันตรายหมายถึง "แหล่งข้อมูลที่เชื่อถือได้ใดๆ ที่มนุษย์ผู้ขยันขันแข็งอาจใช้ (เอกสารประกอบ คู่มือ บทความวิชาการ บทความที่มีชื่อเสียง) แม้ว่าจะมีคำตอบที่ถูกต้องโดยบังเอิญก็ตาม" ความพยายามใดๆ ที่ผู้ตรวจสอบเห็นว่าการเปิดตัวนั้นน่าสงสัยจะถูกนับว่าไม่ถูกต้อง ตัวอย่างส่วนใหญ่ที่ล้มเหลวในการตรวจสอบนี้คือปัญหาที่มีวิธีแก้ปัญหาที่ถูกต้องบนแหล่งข้อมูลอินเทอร์เน็ตหลายแห่ง ที่ไม่เกี่ยวข้อง กับ HLE
ท้ายสุด การประเมินของเราด้วยการสืบค้นอาจไม่สามารถทำซ้ำได้อย่างสมบูรณ์แบบใน OpenAI API เนื่องจากความแตกต่างในระบบแบ็กเอนด์ของเครื่องมือค้นหาระหว่าง ChatGPT และ OpenAI API ผลลัพธ์เหล่านี้มีจุดประสงค์เพื่อเป็นตัวแทนของประสบการณ์ผู้ใช้ ChatGPT แต่การกำหนดค่าการค้นหาอาจเปลี่ยนแปลงไปตามความต้องการเมื่อเวลาผ่านไป
ผู้ร่วมพัฒนา
Aaditya Singh, Aaron Schlesinger, Adam Fry, Adam Lerer, Adam Perelman, Adam Walker, Ahmed El-Kishky, Aidan Clark, Aidan McLaughlin, Aiden Low, Akila Welihinda, Akshay Nathan, Aleksander Madry, Aleksandra Spyra, Alex Karpenko, Alex Neitz, Alex Tachard Passos, Alex Wei, Alexander Prokofiev, Alexander Zielenski, Alexandra Barr, Alexey Ivanov, Alexi Christakis, Alfred Xue, Allison Tam, Ally Bennett, Ally Bennett , Amelia Liu, Amy McDonald Sandjideh, Ananya Kumar, Andre Saraiva, Andrea Vallone, Andrew Chen, Andrew Duberstein, Andrew Gibiansky, Andrew Kondrich, Andrew Tulloch, Andrey Mishchenko, Andy Applebaum, Andy Wang, Angela Baek, Annie Wei, Anting Shen, Antoine Pelisse, Anuj Saharan, Arun Vijayvergiya, Ashley Tyra, Ashvin Nair, Avi Nayak, Avital Oliver, Behrooz Ghorbani, Belinda Truong, Ben Sokolowsky, Beth Hoover, Bo Xu, Boaz Barak, Bohan Zhang, Borys Minaiev, Botao Hao, Bowen Baker, Bowen Cheng, Brandon McKinzie, Brandon Wang, Brian Hsu, Brian Yang, Brian Yu, Brian Zhang, Camillo Lugaresi, Carolina Paz, Carpus Chang, Cary Bassin , Cary Hudson, Casey Chu, Chak Li, Charles Zhao, Charlie Jatt, Charlotte Cole, Chelsea Voss, Chen Shen, Chengxu Zhuang, Chris Colby, Chris Hallacy , Chris Koch, Christina Kaplan, Christina Kim, Colin Reid, Colin Wei, Cristina Scheau, D. Sculley, Damien Deville, Dan Roberts, Dana Palmie, Dane Stuckey, Daniel Levine, David Hu, David Martin, David Robinson, David Sasaki, Davis Wu, Derek Chen, Dibya Bhattacharjee, Dimitris Tsipras, Dinghua Li, DJ Strouse, dmed Medina, Drew Hintz, Eddie Zhang, Edmund Wong, Elaine Ya Le, Eli Yani , Elizabeth Proehl, Emily Sokolova, Enoch Cheung, Eri Schwartz, Eric Mitchell, Eric Ning, Eric Sigler, Eric Wallace, Eugenio Panero, Evan Mays, Evgenii Nikishin, Fan Wang, Fangyuan Li, Filippo Raso, Foivos Tsimpourlas, Fouad Matin, Francis Song, Francis Zhang, Gary Yang, Gene Oden, Giambattista Parascandolo, Gildas Chabot, Grace Kim, Grace Zhao, Greg Brockman, Gregory Valiant, Guillaume Leclerc, Hadi Salman, Haitang Hu, Hannah Sheahan, Hao Sheng, Haoyu Wang, Henrique Ponde de Oliveira Pinto, Henry Aspegren, Heqing Yan, Hessam Bagherinezhad, Hongyu Ren, Hunter Lightman, Hyeonwoo Noh, Ian Kivlichan, Ian Sohl, Ignasi Clavera, Ikai Lan, Ilge Akkaya, Ilya Kostrikov, Irina Kofman, Isa Fulford, Jake Brill, Jakub Pachocki, James Betker, James Lee, James Qin, Jamie Kiros, Jason Ai, Jay Wang, Jean Harb, Jeff Mickey, Jeffrey Han, Jeffrey Wang, Jeremy Chen, Jerry Tworek, Jessica Liang, Jessica Shieh, Ji Lin, Jiahui Yu, Jianfeng Wang, Jie Tang, Jihan Yin, Jing Li, Joanne Jang, Joel Morris, Johannes Ferstad, Johannes Heidecke, John Fishbein, Jon Okun, Jonathan Gordon, Joost Huizinga, Jos Kraaijeveld, Joseph Mo, Josh Lawson , Josh Tobin, Junhua Mao, Kai Chen, Kai Hayashi, Karan Singhal, Karina Nguyen, Katy Shi, Kelly Stirman, Kenji Hata, Kenny Nguyen, Keren Gu-Lemberg, Kevin Gladstone, Kevin King, Kevin Liu, Kevin Lu, Kevin Park, Kevin Stone, Kevin Weil, Kevin Whinnery, Kevin Yu, Kote Mushegiani, Kristen Ying, Kristian Georgiev, Kshitij Gupta, Kyle Kosic, Lama Ahmad, Larry Lv, Lauren Itow, Lauren Yang, Lee Byron, Leo Chen, Leo Liu, Leon Maksin, Leyton Ho, Li Jing, Liang Xiong, Lin Yang, Linden Li, Lorenz Kuhn, Louis Feuvrier, Lu Zhang, Łukasz Kaiser, Mahmoud Eariby, Maja Trębacz, Manas Joglekar, Manoli Liodakis, Manuka Stratta, Mark Chen, Mark Hudnall, Mark Sun, Mark Wang, Martin Li, Marvin Zhang, Mateusz Litwin, Matt Jones, Matt Lim, Max Johnson, Max Schwarzer, Mayank Gupta, Meghan Shah, Mengqing Wang, Mengyuan Yan, Mia Glaese, Michael Bolin, Michael Lampe, Michael Malek, Michael Sharman, Michael Zhang, Michele Wang, Michelle Pokrass, Miguel Oom Temudo de Castro, Mihai Florian, Mike McClay, Mike Trpcic, Miki Habryn, Miles Wang, Ming Chen, Mingxuan Wang, Minnia Feng, Mitchell Gordon, Mo Bavarian, Mostafa Rohaninejad, Nacho Soto, Nakul Khanna, Nat McAleese, Natalie Staudacher, Natan LaFontaine, Neel Ajjarapu, Nick Felt, Nick Turley, Nikil Pancha, Nikita Mikhaylin, Niko Felix, Nikunj Handa, Ning Liu, Nishant Rai, Noah Jorgensen, Noam Brown, Oleg Boiko, Oleg Murk, Olivia Watkins, Olivier Godement, Oona Gleeson, Paul Ashbourne, Pavel Belov, Peter Flockhart, Peter Hoeschele, Peter Zhokhov, Philip Pronin, Phillip Guo, Phoebe Thacker, Prafulla Dhariwal, Prashanth R, Rachel Dias, Rahul Arora, Rajkumar Samuel, Rasmus Rygaard, Ravi Teja Mullapudi, Raymond Li, Raz Gaon, Reah Miyara, Reiichiro Nakano, Reimar Leike, Rennie Song, Rhythm Garg, RJ Marsan, Robert Xiong, Robin Brown, Roman Tsiupa, Rui Shu, Ruslan Nigmatullin, Saachi Jain, Saagar Patel, Sam Altman, Sam Toizer, Sam Toyer, Samir Ahmed, Samuel Miserendino, Samuel Wolrich , Sandhini Agarwal, Santiago Hernández, Sarah Dong, Savannah Heon, Scott Ethersmith, Scott Mayer McKinney, Sean Fitzgerald, Sever Banesiu, Shamez Hemani, Shengjia Zhao, Shengli Hu, Shibani Santurkar, Shreyas Krishnaswamy, Shuchao Bi, Shunyu Yao, Shuyuan Zhang, Simón Posada Fishman, Spencer Papay, Spug Golden, Srinivas Narayanan, Stanley Hsieh, Stephen Logsdon, Sundeep Tirumalareddy, Tal Stramer, Tao Wang, Tao Xin, Taylor Gordon, Tejal Patwardhan, Thibault Sottiaux, Tina Sriskandarajah, Tony Casparro, Tony Zhao, Trevor Creech, Uzair Navid Iftikhar, Valerie Qi, Vineet Kosaraju, Vishal Kuo, Vitchyr Pong, Vivek Verma, Vlad Petrov, Wenda Zhou, Wenlei Xie, Wenting Zhan, Will DePue, Will Ellsworth, William Sheu, Wyatt Thompson, Yaming Lin, Yann Dubois, Yaodong Yu, Yara Khakbaz, Yash Patil, Yifan Wu, Yilong Qin, Yining Chen, Yirui Zhang, Yo Shavit , Young Cha, Yunyun Wang, Yushi Wang, Zack Sultan, Zehao Dou, Zewei Chu, Zheng Shao, Zhigang Wang, Zhishuai Zhang, Zihao Zhang