Cara GPT‑5.6 memadukan kecerdasan terdepan dan efisiensi terdepan

Kami merancang keluarga model GPT‑5.6 untuk menyeimbangkan kemampuan dan biaya di seluruh spektrum tugas yang dikerjakan pengguna dengan model kami. Model unggulan kami, GPT‑5.6 Sol, dengan penalaran Max mengungguli Claude Fable 5 pada Artificial Analysis Coding Agent Index dengan biaya kurang dari setengahnya. Terra menyamai kinerja GPT‑5.5 pada benchmark kecerdasan dengan separuh harga, sedangkan Luna adalah model kami yang tercepat dan paling terjangkau, dengan harga 80% lebih rendah daripada Sol. Untuk mewujudkan efisiensi ini, tim riset dan teknis kami telah melakukan pengoptimalan besar pada setiap lapisan utama stack kami. Peningkatan ini mencakup model, inferensi (cara kami menjalankan model untuk menghasilkan output), dan harness agen kami, yang digunakan oleh Codex dan ChatGPT Work.

Seiring kami meningkatkan skala model hingga melayani 1 miliar pengguna aktif dan lebih dari 2 juta bisnis dalam empat tahun terakhir, efisiensi menjadi kunci untuk menghadirkan manfaat kecerdasan bagi semua orang. Misi kami adalah memastikan kecerdasan umum buatan bermanfaat bagi seluruh umat manusia. Selama bertahun-tahun, kami terus membuka peluang pengoptimalan yang lebih besar di seluruh stack agar dapat menawarkan model dengan kinerja terbaik pada setiap titik kurva biaya-kecerdasan. Melalui GPT‑5.6, kami mencapai efisiensi kecerdasan per token tertinggi sejauh ini. Model ini dilatih untuk menyelesaikan lebih banyak pekerjaan per token. Dalam pelatihan, kami mengoptimalkan keberhasilan tugas sekaligus efisiensi, sehingga model menempuh jalur yang lebih langsung untuk menyelesaikan tugas.

Artikel ini melampaui pembahasan model kami untuk menjelaskan cara kami merancang efisiensi melalui kemajuan pada dua bagian utama stack lainnya, yaitu 1) inferensi, dengan mengoptimalkan proses seperti penyeimbangan beban, decoding spekulatif, caching, dan pengoptimalan kernel agar perangkat keras yang sama menghasilkan lebih banyak output; serta 2) harness agen kami, termasuk pengelolaan pembengkakan konteks, penggunaan alat, dan pekerjaan berulang yang lebih baik. Kami juga akan menjelaskan peran GPT‑5.6 Sol dalam mewujudkan beberapa peningkatan tersebut secara mandiri. Meskipun setiap peningkatan secara terpisah mungkin tampak terbatas, manfaatnya saling terakumulasi sehingga kami dapat menghadirkan kecerdasan dan efisiensi terdepan.

Di tengah keterbatasan kapasitas komputasi, ketika permintaan terhadap model tumbuh lebih cepat daripada kapasitas, efisiensi menjadi inti setiap desain sistem. Hal ini terutama berlaku pada stack inferensi kami, yang menjalankan model terlatih untuk menghasilkan respons. Tujuan utama kami adalah melayani lebih banyak token dengan perangkat keras yang sama, sekaligus mempertahankan kecerdasan, latensi, ketersediaan, dan keandalan yang diharapkan pengguna.

Untuk mencapainya, seluruh sistem harus dioptimalkan. Sebuah model dapat sangat efisien saat berdiri sendiri, tetapi tetap mahal untuk dilayani jika permintaan didistribusikan dengan buruk, perangkat keras menganggur, atau perpindahan data memperlambat komputasi. Peningkatan pada setiap lapisan saling terakumulasi, dengan manfaat yang berasal dari pengoptimalan perutean (ke mana permintaan dikirim), penjadwalan (kapan permintaan dikirim), kernel (perangkat lunak yang berjalan di GPU), caching (pekerjaan yang disimpan dan digunakan kembali), serta implementasi model (urutan kode GPU). GPT‑5.6 Sol di Codex berperan penting dalam semua pengoptimalan ini.

Contoh penting pertama adalah penyeimbangan beban. Secara global, kami merutekan permintaan berdasarkan faktor seperti lokasi geografis, kapasitas yang tersedia, dan jenis akselerator (jenis GPU atau chip khusus yang menjalankan model). Di dalam satu klaster, kami mendistribusikan pekerjaan ke berbagai instans model berdasarkan beban, panjang konteks, ketersediaan cache, dan karakteristik permintaan lainnya. Di dalam setiap instans, pekerjaan kemudian harus dibagi secara efisien di antara akselerator, subjaringan model, dan inti komputasi. GPT‑5.6 Sol di Codex membantu kami menganalisis traffic produksi, mengidentifikasi sumber ketidakseimbangan yang sebelumnya terlewat, menguji strategi perutean baru, dan terus menyempurnakan heuristik ini. Peningkatan penyeimbangan beban ini saja telah menurunkan biaya untuk melayani model kami secara drastis.

Kami juga menggunakan GPT‑5.6 Sol untuk mengoptimalkan forward pass model, yaitu komputasi yang mengubah input menjadi prediksi token berikutnya. Meskipun setiap operasi berlangsung cepat, perpindahan memori yang berlebihan, sinkronisasi, dan tata letak data yang tidak efisien dapat membuat GPU menganggur. Untuk menghindarinya, GPT‑5.6 Sol menemukan pekerjaan yang dapat diprakomputasi, dihindari, atau diparalelkan. Dengan Codex, GPT‑5.6 Sol secara mandiri menulis ulang dan mengoptimalkan kernel produksi kami, yaitu kode inti yang menjalankan operasi matematika penyusun model. Hal ini berhasil antara lain karena kami telah melatih GPT‑5.6 agar efektif dalam menulis dan meningkatkan kernel menggunakan Triton⁠(terbuka di jendela baru) dan Gluon⁠(terbuka di jendela baru), dua bahasa pemrograman GPU sumber terbuka yang dikelola oleh OpenAI. Upaya ini, bersama kemajuan kernel yang lebih luas dari GPT‑5.6 Sol, menurunkan biaya layanan menyeluruh sebesar 20%. Kami juga banyak berinvestasi pada alat verifikasi, seperti alat sumber terbuka FpSan⁠(terbuka di jendela baru) (Floating-Point Sanitizer), untuk membantu memvalidasi kebenaran kernel yang ditulis oleh GPT‑5.6 Sol.

Decoding spekulatif merupakan cara lain untuk meningkatkan kecepatan dan efisiensi. Teknik ini menjalankan model draf yang lebih kecil (atau “spekulator”) bersama model utama untuk mengusulkan beberapa token yang dapat diverifikasi secara paralel oleh model utama. Saat usulan tersebut diterima, sistem dapat menghasilkan beberapa token output dari satu kali proses model utama, sehingga mengurangi komputasi sekuensial yang mahal. GPT‑5.6 Sol meningkatkan model drafnya sendiri dengan merancang dan menjalankan ratusan eksperimen pada arsitekturnya, serta menguji perubahan ukuran, struktur, dan fitur. Selain itu, GPT‑5.6 Sol memulai dan memantau proses pelatihan spekulator, serta turun tangan secara mandiri saat muncul masalah, termasuk kegagalan perangkat keras dan ketidakstabilan pelatihan. Peningkatan yang dihasilkan menaikkan efisiensi pembuatan token lebih dari 15%.

Saat memproses token input yang tidak tersimpan di cache, model membangun cache key-value (KV) dalam satu proses intensif komputasi; saat menghasilkan output, model berulang kali membaca dan memperluas cache tersebut. Konfigurasi layanan yang optimal, seperti batching, sharding, dan pengelolaan KV, sangat bergantung pada beban kerja—panjang prompt dan output, ukuran batch, tingkat keberhasilan cache, karakteristik kueri, dan lainnya. Namun, ruang konfigurasi sebelumnya terlalu besar untuk disesuaikan secara sistematis, sehingga engineer harus mengandalkan heuristik umum. Dengan GPT‑5.6 Sol di Codex, kami dapat menganalisis beban kerja produksi, membuat dan mengevaluasi kandidat konfigurasi, serta mengoptimalkan secara mendalam konfigurasi engine dan model untuk setiap skenario. Hal ini memungkinkan tingkat baru pengoptimalan khusus beban kerja, sehingga perangkat keras yang sama dapat menghasilkan inferensi yang lebih bermanfaat.

Pengoptimalan inferensi merupakan loop umpan balik yang berkelanjutan. Kami mengukur perilaku produksi, mengidentifikasi kesenjangan terbesar, menerapkan perubahan, dan memastikan bahwa perubahan tersebut meningkatkan seluruh sistem, bukan hanya benchmark terpisah. GPT‑5.6 Sol dan Codex mempercepat setiap bagian dari loop tersebut. Artinya, tim kami dapat mengeksplorasi lebih banyak ide, merespons perubahan beban kerja dengan lebih cepat, dan membangun stack inferensi dengan latensi lebih rendah, kapasitas lebih besar, serta biaya lebih rendah bagi pengguna.

ChatGPT Work dan Codex menyelesaikan tugas kompleks melalui serangkaian permintaan model dan panggilan alat. Dalam satu giliran—mulai dari permintaan pengguna hingga respons akhir—Codex dapat memeriksa kode sumber, menelusuri riwayat penerapan, membaca laporan insiden, mengedit file, dan menjalankan pengujian. Setiap langkah dapat memerlukan satu permintaan.

Menyiapkan konteks, mengirimkan data, menjalankan inferensi, memanggil alat, dan memulai proses semuanya membutuhkan waktu dan komputasi. Jika suatu tugas memerlukan 30 permintaan model, tambahan satu detik per permintaan akan terakumulasi. Meningkatkan kinerja secara keseluruhan berarti mengurangi pekerjaan berulang di seluruh sistem, bukan sekadar mempercepat model.

Efek pengganda ini menjadi dasar desain harness agen kami, yaitu lapisan orkestrasi Rust yang menghubungkan model, alat, dan lingkungan pengguna. Selanjutnya, kami akan membahas bagaimana menghindari pembengkakan konteks, memuat alat, dan menggunakan kembali pekerjaan dapat membuat setiap permintaan lebih efisien.

Ketika agen diberi akses ke lebih banyak alat, keterampilan, plugin, dan riwayat percakapan, jendela konteks dapat dengan mudah membesar. Hal ini meningkatkan biaya, mengalihkan perhatian model, dan memicu penalaran yang tidak perlu. Harness dapat mengurangi beban ini melalui penemuan tertunda, sehingga integrasi, alat MCP khusus, keterampilan, dan plugin hanya dapat ditampilkan saat dibutuhkan. Harness juga mencegah setiap alat dan integrasi MCP menghabiskan jendela konteks secara tak terduga. Secara default, output alat dibatasi hingga 10.000 token, kecuali model meminta batas lain.

Seperti telah disebutkan, satu loop agen dapat mengirim instruksi, riwayat percakapan, definisi alat, dan hasil sebelumnya yang sama ke GPU berkali-kali dalam satu giliran. Pemrosesan input berulang ini mahal, sehingga caching prompt menggunakan kembali komputasi yang terkait dengan prefiks prompt yang telah diproses sebelumnya. Untuk mempertahankan prefiks tersebut, harness memperlakukan seluruh riwayat yang terlihat oleh model sebagai data yang hanya dapat ditambahi: pesan baru, hasil alat, dan pembaruan lingkungan ditambahkan di akhir, bukan disisipkan ke konteks sebelumnya. Alat juga disajikan dalam urutan deterministik, sedangkan pengaturan runtime, seperti kebijakan persetujuan, diterapkan saat eksekusi alih-alih disematkan dalam definisi alat. Pilihan desain ini turut menghasilkan tingkat keberhasilan cache prompt Codex dan ChatGPT Work yang tinggi secara keseluruhan.

Peningkatan efisiensi yang kami hadirkan melalui GPT‑5.6 merupakan hasil dari perbaikan bertahun-tahun yang terus terakumulasi di seluruh stack, mencakup riset, inferensi, dan harness agen kami. Peran GPT‑5.6 dalam mewujudkan banyak peningkatan ini membuat kami optimistis bahwa laju pengoptimalan akan semakin cepat. Kami akan terus melakukan pengoptimalan yang lebih besar di berbagai bidang, seperti pengoptimalan kernel, sekaligus meningkatkan fondasi stack kami. Kami ingin terus menghadirkan peningkatan di balik layar ini kepada pengguna dan pelanggan dalam bentuk kecerdasan hemat biaya yang tersedia secara lebih luas.

Terima kasih khusus kepada Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson, dan Steve Coffey, Anggota Staf Teknis, atas kontribusi mereka pada artikel ini.