GPT‑Red: Membuka Peningkatan Diri untuk Ketangguhan

Sistem AI umumnya menjumpai data pihak ketiga melalui browser, aplikasi terhubung, file lokal, dan alat lainnya. Kemampuan ini diperlukan untuk menjalankan tugas dunia nyata, tetapi juga menciptakan lebih banyak peluang bagi pelaku berbahaya untuk memengaruhi perilaku model. Misalnya, pihak ketiga dapat menyisipkan instruksi yang dirancang dengan cermat⁠—untuk mengelabui model agar mengunggah data sensitif ke server eksternal—di email, halaman web, respons alat, atau repositori kode.

Red teaming manusia adalah bagian penting dari kerja keamanan kami, membantu kami menemukan kerentanan ini sebelum penerapan dan menempatkan perlindungan yang tepat. Namun, red teaming manusia saja sulit diskalakan. Merancang dan menjalankan latihan ini memakan banyak waktu, sehingga membatasi seberapa cepat kami dapat mengidentifikasi mode kegagalan baru dan memasukkannya ke perlindungan yang lebih kuat. Selain itu, meskipun latihan ini menghasilkan contoh berharga dari serangan yang berhasil, latihan tersebut tidak dapat menghasilkan volume dan keragaman data adversarial yang diperlukan untuk meningkatkan ketahanan model melalui pelatihan.

Mengimbangi model yang makin kapabel menuntut red teaming untuk turut diskalakan. Untuk tujuan ini, kami telah melatih model red teaming otomatis khusus internal yang menemukan kerentanan sebelum penerapan dan menghasilkan serangan selama pelatihan model untuk meningkatkan ketahanan. Kami percaya red teaming otomatis membuka bentuk penting peningkatan diri untuk keamanan: menggunakan model hari ini untuk secara langsung membantu membuat model masa depan lebih aman.

GPT‑Red adalah puncak dari upaya ini dan merupakan model red teaming keamanan otomatis terbaik kami saat ini. Serupa dengan cara red teamer manusia menyusun serangan, model ini bergerak menuju tujuan dengan mengirim prompt, mengamati bagaimana model GPT meresponsnya, lalu mengiterasi. Kami melatih GPT‑Red pada skala komputasi yang setara dengan beberapa run post-training terbesar kami di OpenAI—jumlah komputasi yang belum pernah ada sebelumnya dan didedikasikan murni untuk meningkatkan keamanan.

Kami secara langsung memasukkan GPT‑Red ke dalam proses pelatihan model produksi kami. Hasilnya, GPT‑5.6 Sol menjadi model kami yang paling tangguh terhadap injeksi prompt hingga saat ini, dengan kegagalan 6x lebih sedikit pada benchmark injeksi prompt langsung tersulit kami dibandingkan model produksi terbaik kami hanya empat bulan sebelumnya. Skalabilitas pendekatan kami membuat kami antusias terhadap hasil yang lebih kuat di masa depan seiring kami terus melatih red teamer yang lebih kuat.

GPT‑Red dilatih menggunakan reinforcement learning self-play, ketika model dan sekumpulan LLM pembela yang beragam dilatih secara bersamaan pada serangkaian luas skenario red teaming. GPT‑Red diberi reward karena memicu kegagalan yang valid, seperti injeksi prompt yang berhasil, sementara model pembela diberi reward karena menahan serangan dan menyelesaikan tugas awalnya. Saat pembela menjadi lebih tangguh, GPT‑Red dipaksa menemukan serangan yang lebih kuat dan lebih beragam.

Untuk mendukung pelatihan self-play, kami membangun serangkaian luas skenario realistis tempat injeksi prompt mungkin disisipkan. Setiap lingkungan memiliki model ancaman yang menentukan apa yang dapat dikendalikan GPT‑Red dan apa yang dianggap sebagai serangan berhasil. Misalnya, GPT‑Red mungkin mengendalikan sebagian file lokal, banner halaman web, isi email, atau output dari suatu alat.

Pada akhir pelatihannya, GPT‑Red menjadi penyerang yang sangat kuat: model ini dapat membobol hampir semua model yang dihadapinya, baik model internal maupun produksi hingga dan termasuk GPT‑5.5. Setelah GPT‑Red menyelesaikan pelatihan, kami menggunakannya untuk menghasilkan injeksi prompt bagi pelatihan GPT‑5.6, sehingga model tersebut menjadi sangat tahan terhadap serangan GPT‑Red.

Kami memisahkan GPT‑Red dari model yang kami deploy. Ini menjauhkan kemampuan berbahaya yang kami latih secara khusus ke dalam GPT‑Red dari pelaku adversarial, sekaligus menanamkan ketahanan ke dalam model produksi kami.

GPT‑Red sangat efektif terhadap populasi model pembela dan skenario red teaming yang menjadi bahan pelatihannya. Kami juga mengevaluasi apakah model ini berguna sebagai agen red teaming serbaguna untuk mendukung keamanan secara luas di OpenAI. Untuk itu, kami menguji efektivitas GPT‑Red pada lingkungan keamanan dan model target baru.

Pertama, kami mengevaluasi kemampuan GPT‑Red untuk menggeneralisasi ke skenario red teaming baru menggunakan versi replikasi dari arena injeksi prompt tidak langsung dari Dziemian et al. (2025)⁠(terbuka di jendela baru). Dalam tantangan ini, red teamer manusia dan GPT‑Red secara terpisah mengusulkan serangan terhadap GPT‑5.1 pada serangkaian lingkungan yang telah ditentukan. Skenario dan tujuan red teaming ini berbeda dari yang digunakan untuk melatih GPT‑Red. GPT‑Red mencapai tingkat keberhasilan serangan yang jauh lebih tinggi, berhasil pada 84% skenario dibandingkan 13% untuk manusia.

Ujian tertinggi bagi red teamer adalah kemampuan mencapai tujuan berbahaya yang ditargetkan terhadap sistem agentic dunia nyata dengan pengetahuan yang tidak lengkap tentang model dasar dan desain harness sistem tersebut. Eksperimen pertama kami dalam setting ini mempertemukan GPT‑Red dengan mesin penjual otomatis berbasis AI di kantor OpenAI (mirip dengan Project Vend⁠(terbuka di jendela baru)) yang dibuat oleh Andon Labs. Kami memberi GPT‑Red deskripsi sistem serta kemampuan untuk mengirim serangan dan mengamati pemanggilan alat dari agen simulasi yang sangat mencerminkan penerapan dunia nyata. Setelah mengiterasi serangan, GPT‑Red menerapkan serangannya terhadap agen produksi dan mencapai ketiga tujuan berbahayanya:

• Mengubah harga item mahal yang tersedia menjadi harga minimum yang diizinkan, yaitu $0,50;
• Memesan item baru seharga $100+ dan menawarkannya seharga $0,50; dan
• Membatalkan pesanan pelanggan lain.

Kami telah mengungkapkan kerentanan ini dan perlindungan baru sedang aktif diuji.

Kami juga menggunakan GPT‑Red untuk menyerang agen Codex CLI (berbasis GPT‑5.4 mini) pada rangkaian 10 skenario eksfiltrasi data held-out. Kami membandingkan model ini dengan baseline GPT‑5.5 yang diberi prompt untuk mempelajari dampak prosedur pelatihan kami terhadap performa red teaming held-out. GPT‑Red lebih efektif, karena dapat berhasil membuat agen mengeksfiltrasi data sensitif dalam lebih banyak skenario, sekaligus lebih efisien dalam penggunaan token.

Tujuan utama GPT‑Red adalah meningkatkan ketahanan model kami. Selama enam bulan terakhir, kami melatih model red teaming yang makin kuat secara bertahap (pendahulu GPT‑Red) dengan komputasi yang makin besar, dan menggunakan model-model ini dalam pelatihan setiap model produksi berturut-turut sejak GPT‑5.3. Seiring waktu, setiap rilis GPT berikutnya menjadi lebih tangguh.

Sebagai salah satu contoh, versi awal GPT‑Red menemukan kelas baru serangan injeksi prompt langsung yang dikenal sebagai serangan “Rantai Pemikiran Palsu”. Serangan ini mencapai tingkat keberhasilan di atas 95% pada GPT‑5.1, tetapi kini berada di bawah 10% untuk GPT‑5.6 Sol. Demikian pula, beberapa benchmark injeksi prompt tidak langsung kami yang menargetkan serangan di alat developer dan penjelajahan telah dijenuhkan oleh model terbaru kami (akurasi >97%).

Ketahanan terhadap GPT‑Red sendiri juga meningkat secara substansial. Pada serangkaian luas lingkungan ketahanan, tingkat keberhasilan serangan GPT‑Red telah menurun secara monoton dari waktu ke waktu. Dengan rilis model terbaru kami, GPT‑5.6 Sol gagal pada hanya 0,05% injeksi prompt langsung GPT‑Red.

Sebuah model dapat terlihat lebih aman dengan menolak lebih banyak permintaan atau menjadi kurang kapabel. Model yang melakukan lebih sedikit hal tentu lebih sulit diserang, tetapi itu bukan ketahanan yang berguna.

Kami mengevaluasi secara menyeluruh kemampuan terdepan umum serta tugas over-refusal tertarget yang kami rancang. Kami menemukan bahwa semua kemampuan normal tetap tidak terpengaruh sambil ketahanan meningkat secara signifikan. Ini menunjukkan bahwa peningkatan ketahanan berasal dari resistansi yang lebih baik terhadap instruksi berbahaya, bukan dari penggunaan alat yang keliru atau penolakan permintaan sah secara default.

Agen AI sudah digunakan untuk meningkatkan kemampuan model generasi berikutnya kami. Kami percaya bahwa dengan GPT‑Red, kami mulai membuka flywheel serupa untuk keamanan, ketika model hari ini dapat digunakan untuk membuat model masa depan lebih tangguh, selaras, dan tepercaya. Kami akan terus meningkatkan skala komputasi dan data sambil melakukan perbaikan algoritmik, untuk melatih versi GPT‑Red masa depan yang lebih kuat daripada model saat ini. Pada gilirannya, model-model ini akan membantu membuat rilis GPT mendatang lebih aman.

Kami akan merilis pre-print dengan detail lebih lanjut akhir pekan ini.