Video yang dipercepat saat GPT‑5.6 Sol mencoba memecahkan teka-teki dalam tolok ukur ARC-AGI-3, menggunakan harness resmi (kiri) dan harness API Respons kami (kanan), yang mempertahankan penalaran dan mengaktifkan pemadatan. Pada papan peringkat untuk game ini(terbuka di jendela baru), tidak ada model terdepan yang mampu menyelesaikan level setelah level pertama. Dengan harness kami, GPT‑5.6 Sol menyelesaikan keenam level.
Saat pertama kali melihat rendahnya skor GPT‑5.6 Sol pada tolok ukur ARC-AGI-3(terbuka di jendela baru), kami merasa bingung.
GPT‑5.6 Sol telah memecahkan masalah terbuka yang telah lama bertahan dalam matematika, seperti konjektur penutup siklus ganda(terbuka di jendela baru), dan menamatkan game seperti Pokémon FireRed. Namun, pada ARC-AGI-3, tolok ukur game teka-teki 2D, GPT‑5.6 Sol hanya meraih skor 7,8%, sedangkan GPT‑5.5 nyaris tidak mampu memainkan gamenya dan hanya mencatat skor 0,4%.
Apakah game teka-teki 2D memang sangat sulit bagi model kami? Atau ada hal lain yang terjadi?
Tolok ukur jarang mengukur model AI secara terpisah. Tolok ukur juga mengukur pilihan yang kurang terlihat terkait pengaturan API, desain harness, dan pemberian prompt. Dalam kasus ARC-AGI-3, kami menemukan bahwa mengaktifkan dua pengaturan API yang kami gunakan di ChatGPT dan Codex—mempertahankan penalaran dan pemadatan—membuat skor tiga kali lipat sekaligus mengurangi token output hingga enam kali pada set tugas publik.
Dengan harness resmi, GPT‑5.6 Sol meraih skor 13,3% pada set publik ARC-AGI-3. Dengan penalaran yang dipertahankan dan pemadatan, skornya mencapai 38,3%. Skor mengukur Efisiensi Tindakan Manusia Relatif (RHAE(terbuka di jendela baru))—metrik yang membandingkan kinerja model dengan tolok ukur manusia. Berdasarkan log permainan resmi(terbuka di jendela baru), kami memperkirakan skor rata-rata penguji manusia adalah 48%. Model tidak diberi tahu cara penilaiannya dan tidak dapat melihat skornya selama proses berlangsung—setiap tindakan hanya menghasilkan representasi teks dari tiap bingkai dan level yang sedang dimainkan.
ARC-AGI-3 adalah tolok ukur yang dirancang untuk mengukur kemampuan agen AI dalam belajar dan melakukan penalaran. Agen menjelajahi game 2D yang asing dan menyimpulkan cara kerjanya tanpa instruksi eksplisit. Anda dapat memainkan 25 game demo di arcprize.org/tasks(terbuka di jendela baru).
ARC-AGI-3 sengaja menggunakan harness generik tanpa alat atau fitur khusus. Pertimbangan ARC adalah bahwa harness sederhana membuat kekurangan model lebih terlihat dan perbandingan antarmodel lebih adil. Sebaliknya, pengembang komersial mengoptimalkan harness sesuai fitur dan karakteristik unik setiap model.
Dalam game, GPT‑5.6 Sol telah menamatkan Pokémon FireRed dengan harness khusus penglihatan (seperti disiarkan oleh GPT_Plays_Pokemon(terbuka di jendela baru)), menaklukkan Slay the Spire melalui penggunaan komputer Codex (seperti disiarkan oleh EpochAI(terbuka di jendela baru)), dan menyelesaikan tahap awal Baba Is You (seperti dibagikan oleh Piotr Migdał & Piotr Grabowski(terbuka di jendela baru)). Apa yang begitu berbeda dari ARC-AGI-3?
Ethan Mollick memperlihatkan(terbuka di jendela baru) GPT‑5.6 Sol di Codex menaklukkan tantangan harian acak dalam Slay the Spire 2, game yang dirilis setelah batas akhir pengetahuan GPT‑5.6 Sol.
Terinspirasi oleh analisis ARC tentang kekurangan GPT‑5.5(terbuka di jendela baru), kami memeriksa beberapa percobaan GPT‑5.6 Sol. Seperti ARC, kami melihat bahwa model tersebut tampak kurang cerdas. Model menghabiskan waktu lama untuk setiap tindakan dan kesulitan membuat kemajuan.
Namun, setelah menyelidikinya lebih dalam, kami menemukan bahwa sebagian besar kebingungan model bukan berasal dari model itu sendiri, melainkan dari pengaturan harness.
Pertama, kami melihat bahwa setelah setiap tindakan dalam game, seluruh penalaran privat dibuang. Artinya, pada setiap tindakan, GPT‑5.6 Sol diminta memahami kembali game dari awal tanpa dapat mengingat pemikiran sebelumnya. Model masih dapat melihat catatan langkah sebelumnya beserta catatan singkat yang menyertainya, tetapi tidak dapat melihat rencana, wawasan, atau pemikiran yang mendasarinya.
Kedua, kami melihat bahwa harness menggunakan jendela pemangkasan bergulir, sehingga tindakan lama tidak lagi terlihat seiring bertambahnya riwayat. Jadi, GPT‑5.6 Sol bukan hanya tidak dapat mengingat pemikiran sebelumnya, tetapi juga kehilangan ingatan tentang tindakan sebelumnya.
Kedua fitur harness ini—pembuangan penalaran dan pemangkasan bergulir—membantu menjelaskan mengapa GPT‑5.6 Sol kesulitan belajar seiring waktu.
Model kami dilatih untuk berpikir melalui pesan penalaran privat sebelum menghasilkan balasan atau panggilan alat. Pesan pemikiran privat ini dipertahankan sebagai bagian dari riwayat percakapan. Jika percakapan terlalu panjang, kami merangkumnya lalu melanjutkan percakapan.
Dengan cara inilah model kami dilatih dan diterapkan di ChatGPT serta Codex. Agar lebih sesuai dengan konfigurasi produksi kami, kami menerapkan harness ARC-AGI-3 menggunakan API Respons(terbuka di jendela baru) kami. API kami memudahkan pengelolaan konteks: untuk GPT‑5.6, meneruskan ID respons sebelumnya akan otomatis mempertahankan penalaran di seluruh panggilan alat dan giliran percakapan.
Setelah penalaran dipertahankan, kami melihat dua perubahan besar. Pertama, GPT‑5.6 Sol menghabiskan lebih sedikit waktu untuk berpikir sebelum setiap tindakan karena tidak lagi harus memahami game dari awal pada setiap giliran. Kedua, ketika dapat mengingat pemikiran sebelumnya, GPT‑5.6 Sol jauh lebih mampu belajar seiring waktu dan menerapkan strategi yang koheren.
Peningkatan berikutnya diperoleh dengan mengganti pemangkasan bergulir dengan pemadatan(terbuka di jendela baru), pengaturan lain dalam API Respons.
Harness ARC-AGI-3 menangani batas konteks dengan pemangkasan bergulir. Ketika konteks percakapan melampaui 175.000 karakter, pesan terlama akan dibuang.
Pemangkasan bergulir memiliki dua kekurangan. Pertama, model kehilangan pengamatan dan tindakan sebelumnya. Kedua, model mengerjakan sebagian besar tugas dengan jendela konteks yang lebih penuh, yang dapat sedikit menurunkan kinerja.
Saat kami mengaktifkan pemadatan pada ARC-AGI-3, GPT‑5.6 Sol lebih mampu mempertahankan hal-hal yang telah dipelajarinya tentang setiap game sepanjang proses yang lebih lama, serta meraih skor lebih tinggi dengan lebih sedikit token output.
Untuk menggambarkan dampak mempertahankan penalaran dan mengaktifkan pemadatan, berikut animasi yang menunjukkan jendela konteks 175 ribu milik GPT‑5.6 Sol saat memecahkan serangkaian teka-teki ARC-AGI-3 dengan masing-masing harness.
Dua kolom tengah menunjukkan perbedaan cara setiap harness menggunakan jendela konteks model. Dengan ingatan yang lebih baik tentang masa lalunya, GPT‑5.6 Sol berpikir lebih singkat pada setiap tindakan dan melaju jauh lebih cepat. Catatan: penerapan kami menggunakan batas 175.000 token, bukan karakter, tetapi hasilnya cukup serupa karena sebagian besar teks berupa kisi tindakan yang ditokenisasi dengan rasio 1:1 oleh tokenizer kami.
Jika digabungkan, penalaran yang dipertahankan dan pemadatan memungkinkan GPT‑5.6 Sol (Max) meraih skor sekitar tiga kali lipat dengan token output enam kali lebih sedikit.
Kami berharap eksperimen ini mengingatkan bahwa evaluasi jarang mengukur model secara terpisah—evaluasi juga mengukur sekumpulan pilihan yang kurang terlihat terkait pengaturan API, desain harness, dan pemberian prompt. Ini bukan pertama kalinya kami terkejut oleh skor rendah pada tolok ukur publik, lalu menemukan bahwa pelaksana evaluasinya menggunakan harness generik yang membuang pesan penalaran.
Jika Anda pengembang API yang ingin memaksimalkan kinerja, kami menyarankan penggunaan pengaturan yang sama seperti yang kami terapkan dalam produk kami sendiri:
- Gunakan API Respons kami, bukan API Penyelesaian Obrolan lama kami
- Pertahankan penalaran
- Gunakan pemadatan
Jika Anda membandingkan model, kami menyarankan untuk mengandalkan evaluasi yang menggunakan pengaturan di atas karena paling sesuai dengan penggunaan nyata di ChatGPT dan Codex.
Kami berterima kasih kepada ARC atas kerja kreatif mereka selama bertahun-tahun dalam evaluasi AGI, serta analisis mereka yang menginspirasi kami untuk menelaah hal ini lebih jauh.
Jika ingin menguji kemampuan Anda sendiri melawan model terdepan, coba mainkan game publiknya di arcprize.org/tasks(terbuka di jendela baru).
