เราเพิ่มคะแนนบนเกณฑ์มาตรฐาน ARC-AGI-3 เป็น 3 เท่าด้วยการเปิดการตั้งค่า 2 รายการได้อย่างไร

ตอนที่เราเห็นว่า GPT‑5.6 Sol ทำคะแนนได้ต่ำบนเกณฑ์มาตรฐาน ARC-AGI-3⁠(เปิดในหน้าต่างใหม่) ในการทดสอบครั้งแรก เรารู้สึกสงสัยว่าเกิดอะไรขึ้น

GPT‑5.6 Sol แก้โจทย์คณิตศาสตร์ที่ยังไม่มีคำตอบมายาวนานได้ เช่น Cycle Double Cover Conjecture⁠(เปิดในหน้าต่างใหม่) และพิชิตเกมอย่าง Pokémon FireRed มาแล้ว แต่ใน ARC-AGI-3 ซึ่งเป็นเกณฑ์มาตรฐานเกมปริศนา 2 มิติ GPT‑5.6 Sol กลับได้เพียง 7.8% ส่วน GPT‑5.5 แทบเล่นเกมเหล่านี้ไม่ได้ โดยทำคะแนนได้เพียง 0.4%

เกมปริศนา 2 มิติเป็นโจทย์ที่ยากผิดปกติสำหรับโมเดลของเราหรือว่าแท้จริงแล้วมีสาเหตุอื่น

เกณฑ์มาตรฐานแทบไม่ได้วัดเฉพาะความสามารถของโมเดล AI เท่านั้น แต่ยังวัดปัจจัยที่สังเกตเห็นได้ยากกว่า เช่น การตั้งค่า API การออกแบบ Harness และการเขียนพรอมต์ด้วย สำหรับ ARC-AGI-3 เราพบว่าการเปิดใช้การตั้งค่า API 2 รายการที่เราใช้ใน ChatGPT และ Codex ได้แก่ การคงกระบวนการให้เหตุผลและการย่อบริบท ช่วยเพิ่มคะแนนเป็น 3 เท่าและลดจำนวนโทเค็นเอาต์พุตลง 6 เท่าในชุดงานสาธารณะ

ARC-AGI-3 เป็นเกณฑ์มาตรฐานที่ออกแบบมาเพื่อวัดว่าเอเจนต์ AI เรียนรู้และให้เหตุผลได้ดีเพียงใด เอเจนต์จะสำรวจเกม 2 มิติที่ไม่คุ้นเคยและอนุมานวิธีเล่นโดยไม่มีคำแนะนำโดยตรง คุณสามารถทดลองเล่นเกมเดโม 25 เกมได้ที่ arcprize.org/tasks⁠(เปิดในหน้าต่างใหม่)

ARC-AGI-3 ตั้งใจใช้ Harness แบบทั่วไปที่ไม่มีเครื่องมือหรือคุณสมบัติพิเศษ เหตุผลของ ARC คือ Harness ที่เรียบง่ายช่วยให้เห็นข้อบกพร่องของโมเดลชัดขึ้นและทำให้การเปรียบเทียบโมเดลเป็นธรรมยิ่งขึ้น ในทางตรงกันข้าม นักพัฒนาเชิงพาณิชย์จะปรับ Harness ให้เหมาะกับคุณสมบัติและลักษณะเฉพาะของแต่ละโมเดล

ด้านการเล่นเกม GPT‑5.6 Sol สามารถเล่น Pokémon FireRed จนชนะด้วย Harness ที่ใช้เฉพาะข้อมูลภาพ (สตรีมโดย GPT_Plays_Pokemon⁠(เปิดในหน้าต่างใหม่)) พิชิต Slay the Spire ด้วยความสามารถใช้คอมพิวเตอร์ของ Codex (สตรีมโดย EpochAI⁠(เปิดในหน้าต่างใหม่)) และผ่านด่านแรกๆ ของ Baba Is You (เผยแพร่โดย Piotr Migdał & Piotr Grabowski⁠(เปิดในหน้าต่างใหม่)) ARC-AGI-3 แตกต่างจากเกณฑ์มาตรฐานอื่นอย่างไร

จากแรงบันดาลใจของบทวิเคราะห์ข้อบกพร่องของ GPT‑5.5 โดย ARC⁠(เปิดในหน้าต่างใหม่) เราจึงตรวจสอบการลองแก้โจทย์บางส่วนของ GPT‑5.6 Sol เช่นเดียวกับ ARC เราพบว่าโมเดลดูไม่ฉลาดนัก โมเดลใช้เวลานานกับการกระทำแต่ละครั้งและแทบเดินหน้าต่อไม่ได้

แต่เมื่อพิจารณาให้ลึกขึ้น เราพบว่าความสับสนส่วนใหญ่ไม่ได้เป็นข้อจำกัดโดยเนื้อแท้ของโมเดล แต่เกิดจากการตั้งค่าใน Harness

ประการแรก เราสังเกตว่าหลังจากดำเนินการแต่ละครั้งในเกม กระบวนการให้เหตุผลส่วนตัวทั้งหมดจะถูกลบทิ้ง ทำให้ GPT‑5.6 Sol ต้องทำความเข้าใจเกมใหม่ทุกครั้งโดยไม่สามารถจดจำสิ่งที่เคยวิเคราะห์ไว้ได้ แม้โมเดลจะยังเห็นประวัติการดำเนินการที่ผ่านมาและบันทึกสั้นๆ ที่แนบมาด้วย แต่จะไม่เห็นแผน ข้อค้นพบ หรือแนวคิดเบื้องหลังการดำเนินการเหล่านั้น

ประการที่สอง เราพบว่า Harness ใช้หน้าต่างบริบทที่ทยอยตัดข้อมูลเก่าออก ทำให้การดำเนินการก่อนหน้าไม่ปรากฏให้เห็นเมื่อประวัติยาวขึ้น ดังนั้น GPT‑5.6 Sol จึงไม่เพียงจำกระบวนการคิดก่อนหน้าของตนเองไม่ได้ แต่ยังค่อยๆ สูญเสียความทรงจำเกี่ยวกับสิ่งที่เคยทำไปด้วย

คุณลักษณะทั้ง 2 ประการของ Harness ได้แก่ การทิ้งกระบวนการให้เหตุผลและการทยอยตัดข้อมูลเก่าออกจากบริบท ช่วยให้เราเข้าใจว่าเหตุใด GPT‑5.6 Sol จึงเรียนรู้จากประสบการณ์ที่ผ่านมาได้ยาก

โมเดลของเราได้รับการฝึกให้คิดด้วยข้อความเหตุผลส่วนตัวก่อนที่จะส่งคำตอบหรือเรียกเครื่องมือ ข้อความการคิดส่วนตัวเหล่านี้จะถูกเก็บไว้ในประวัติการสนทนา หากบทสนทนายาวเกินไป เราจะสรุปเนื้อหาก่อนดำเนินการต่อ

นี่คือวิธีที่โมเดลของเราถูกฝึก และยังเป็นวิธีที่โมเดลเหล่านั้นถูกนำไปใช้ใน ChatGPT และ Codex ด้วย เพื่อให้สอดคล้องกับระบบที่เราใช้จริงมากขึ้น เราจึงนำ Harness ของ ARC-AGI-3 มาใช้งานร่วมกับ Responses API⁠(เปิดในหน้าต่างใหม่) ของเรา API ของเราทําให้การจัดการบริบทเป็นเรื่องง่าย สำหรับ GPT‑5.6 แล้วนั้น การส่ง ID ของคำตอบก่อนหน้าจะช่วยคงกระบวนการให้เหตุผลไว้โดยอัตโนมัติตลอดการเรียกใช้เครื่องมือและการทำงานแต่ละรอบ

เมื่อคงกระบวนการให้เหตุผลไว้ เราสังเกตเห็นการเปลี่ยนแปลงใหญ่สองประการ อันดับแรก GPT‑5.6 Sol ใช้เวลาคิดน้อยลงก่อนแต่ละการกระทำ เพราะไม่ต้องตีความเกมใหม่ทุกเทิร์นอีกต่อไป ประการที่สอง เมื่อมันจำความคิดในอดีตได้ GPT‑5.6 Sol ก็เรียนรู้ได้ดีขึ้นและใช้กลยุทธ์ที่สอดคล้องกัน

ต่อมาคือการปรับปรุงระบบเพิ่มเติมโดยใช้การย่อบริบท⁠(เปิดในหน้าต่างใหม่)แทนการทยอยตัดข้อมูลเก่าออก ซึ่งเป็นอีกหนึ่งการตั้งค่าใน Responses API

Harness ของ ARC-AGI-3 ใช้วิธีทยอยตัดข้อมูลเก่าออกจากบริบทเพื่อจัดการกับข้อจำกัดด้านบริบท เมื่อบริบทสนทนาเกิน 175,000 ตัวอักษร ข้อความที่เก่าที่สุดจะถูกทิ้ง

การทยอยตัดข้อมูลเก่าออกจากบริบทมีข้อเสีย 2 ประการ ประการแรก โมเดลจะสูญเสียการสังเกตและการกระทำก่อนหน้า ประการที่สอง มันใช้เวลาส่วนใหญ่ในการทำงานด้วยหน้าต่างบริบทที่เต็มขึ้น ซึ่งอาจทำให้ประสิทธิภาพลดลงเล็กน้อย

GPT‑5.6 Sol สามารถเก็บรักษาสิ่งที่เรียนรู้เกี่ยวกับแต่ละเกมได้ดีขึ้นในการเล่นที่ยาวนานขึ้น และทำคะแนนได้สูงขึ้นด้วยโทเค็นผลลัพธ์ที่น้อยลง เมื่อเราเปิดใช้งานการย่อบริบทใน ARC-AGI-3

เพื่อแสดงให้เห็นผลของการคงกระบวนการให้เหตุผลและการเปิดใช้การย่อบริบท แอนิเมชันนี้จะแสดงหน้าต่างบริบทขนาด 175K ของ GPT‑5.6 Sol ขณะแก้เกมปริศนา ARC-AGI-3 หลายชุดด้วย Harness แต่ละแบบ

การเก็บเหตุผลและการย่อบริบทช่วยให้ GPT‑5.6 Sol (max) สามารถทำคะแนนได้ประมาณ 3 เท่า โดยมีโทเค็นเอาต์พุตน้อยลง 6 เท่า

เราหวังว่าการทดลองเหล่านี้จะช่วยย้ำเตือนว่า การประเมินแทบไม่เคยวัดเฉพาะตัวโมเดลเพียงอย่างเดียว แต่ยังวัดชุดตัวเลือกที่มองเห็นได้ยากกว่า ทั้งการตั้งค่า API การออกแบบ Harness และการเขียนพรอมต์ นี่ไม่ใช่ครั้งแรกที่เราประหลาดใจกับคะแนนต่ำบนเกณฑ์มาตรฐานสาธารณะ ก่อนจะพบว่าระบบรันการประเมินใช้ Harness แบบทั่วไปที่ละทิ้งข้อความการให้เหตุผล

หากคุณเป็นนักพัฒนา API ที่ต้องการเพิ่มประสิทธิภาพให้สูงสุด เราแนะนำให้ใช้การตั้งค่าเดียวกับที่เรานำไปใช้ในผลิตภัณฑ์ของเราเอง ได้แก่

• ใช้ Responses API ของเราแทน Chat Completions API รุ่นเก่า
• คงการให้เหตุผลไว้
• ใช้การย่อบริบท

และหากคุณกำลังเปรียบเทียบโมเดล เราแนะนำให้ใช้ผลการประเมินที่ใช้การตั้งค่าข้างต้น ซึ่งใกล้เคียงกับการใช้งานจริงใน ChatGPT และ Codex มากที่สุด

เราขอขอบคุณ ARC สำหรับผลงานสร้างสรรค์ด้านการประเมิน AGI ตลอดหลายปีที่ผ่านมา และสำหรับบทวิเคราะห์ที่จุดประกายให้เราตรวจสอบเรื่องนี้อย่างละเอียดขึ้น

หากคุณอยากลองวัดฝีมือกับโมเดลระดับแนวหน้า ลองเล่นเกมสาธารณะด้วยตัวเองได้ที่ arcprize.org/tasks⁠(เปิดในหน้าต่างใหม่)