GPT‑Red: Mbukak Swaperbaikan kanggo Ketangguhan
Nglatih red teamer keamanan otomatis sing kuwat kanggo ningkatake ketangguhan.
Ringkesan
Masalah
Red teaming penting kanggo nemokake kerentanan lan ningkatake ketangguhan model kita. Nanging, pendekatan saiki ora bisa diskalakake, saéngga nggawe bottleneck.
Evaluasi ketangguhan sing umum digunakake wis kebak dening model paling anyar kita.
Kita kudu ngembangake metode sing ndadekake keamanan lan alignment bisa tuwuh selaras karo kapabilitas model.
Apa sing kita tindakake
Kita nglatih GPT‑Red, model red teaming otomatis sing nggedhekake kemampuan kita nemokake kerentanan supaya bisa didandani sadurunge digelar luwih wiyar.
GPT‑Red minangka red teamer sing kuwat, lan model-model sadurunge kita rentan banget marang serangan injeksi prompt saka model iki.
Kita nggunakake GPT‑Red kanggo nglatih GPT‑5.6 kanthi cara adversarial, nggawe luwih tangguh marang injeksi prompt.
Kita bakal terus nggedhekake pendekatan iki bebarengan karo red teaming manungsa lan pihak katelu, lapisan pengaman, lan pemantauan wektu nyata.
Sistem AI umume nemokake data pihak katelu liwat browser, aplikasi sing nyambung, file lokal, lan piranti liyane. Kemampuan iki perlu kanggo nindakake tugas ing donya nyata, nanging uga nggawe luwih akeh kesempatan kanggo aktor jahat kanggo mengaruhi prilaku model. Umpamane, pihak katelu bisa uga nyematkan instruksi sing digawe kanthi ati-ati— sing dirancang kanggo ngapusi model supaya ngunggah data sensitif menyang server eksternal — ing email, kaca web, respon alat, utawa repositori kode.
Kerja sama antar manusia minangka bagean penting saka pakaryan keamanan kita, mbantu kita nemokake kerentanan kasebut sadurunge penyebaran lan ngetrapake perlindungan sing tepat. Nanging nggabungke tim abang manungsa wae wis angel diukur. Ngrancang lan nglakokake latihan iki mbutuhake wektu akeh, mbatesi sepira cepet kita bisa ngenali mode kegagalan anyar lan nggabungake menyang perlindungan sing luwih kuwat. Salajengipun, sanajan latihan kasebut ngasilake conto serangan sing sukses, nanging latihan kasebut ora bisa ngasilake volume lan maneka warna data adversarial sing dibutuhake kanggo ningkatake kekokohan model liwat latihan.
Kanggo ngimbangi kecepatan model sing saya tambah mumpuni uga mbutuhake kerja sama tim abang kanggo ngembangake skala. Kanggo tujuan iki, kita wis nglatih model red-team otomatis internal sing nemokake kerentanan sadurunge penyebaran lan ngasilake serangan sajrone latihan model kanggo nambah kekokohan. Kita percaya red-team otomatis mbukak kunci wujud penting saka perbaikan diri kanggo keamanan: nggunakake model saiki kanggo langsung mbantu nggawe model ing mangsa ngarep luwih aman.
GPT‑Red minangka puncak saka upaya kasebut lan model tim abang keamanan otomatis paling apik saiki. Padha karo carane anggota tim abang manungsa nggawe serangan, model iki makarya kanggo nggayuh target kanthi ngirim prompt, mirsani kepiye model GPT nanggapi, lan ngulang. Kita nglatih GPT‑Red ing skala komputasi saka sawetara latihan pasca-latihan paling gedhé ing OpenAI—jumlah komputasi sing durung tau ana sadurunge sing dikhususake mung kanggo ningkatake keamanan.
Kita langsung nggabungake GPT‑Red menyang proses pelatihan model produksi kita. Akibaté, GPT‑5.6 Sol minangka model injeksi prompt sing paling kuat nganti saiki, nggayuh kegagalan 6x luwih sithik ing patokan injeksi prompt langsung sing paling angel dibandhingake karo model produksi paling apik saka patang wulan sadurunge. Skalabilitas pendekatan kita ndadekake kita bungah kanggo asil sing luwih apik ing mangsa ngarep nalika kita terus nglatih pemain tim abang sing luwih kuwat.
GPT‑Red dilatih nganggo sinau penguatan self-play, ing ngendi model lan kumpulan LLM pembela sing maneka warna dilatih bebarengan ing pirang-pirang skenario red teaming. GPT‑Red diwenehi ganjaran yen bisa nuwuhake kegagalan sing valid, kayata injeksi prompt sing sukses, dene model pembela diganjar yen bisa nahan serangan lan ngrampungake tugas asline. Nalika para pembela dadi luwih tangguh, GPT‑Red kepeksa nemokake serangan sing luwih kuwat lan luwih maneka warna.
Kanggo ndhukung latihan self-play, kita mbangun kumpulan skenario realistis sing jembar ing ngendi injeksi prompt bisa dilebokake. Saben lingkungan duwe model ancaman sing nemtokake apa sing bisa dikendhaleni GPT‑Red lan apa sing dianggep minangka serangan sukses. Contone, GPT‑Red bisa ngontrol bagean saka file lokal, banner kaca web, isi email, utawa output saka alat.
Ing pungkasan latihane, GPT‑Red dadi panyerang sing kuwat banget: bisa mbobol meh kabeh model sing diadhepake, kalebu model internal lan produksi nganti GPT‑5.5. Sawisé GPT‑Red rampung dilatih, kita nggunakake kanggo ngasilake injeksi prompt kanggo latihan GPT‑5.6, saéngga model kasebut dadi kuwat banget ngadhepi serangan GPT‑Red.
Kita njaga GPT‑Red tetep kapisah saka model sing kita gelar. Iki njaga kapabilitas ala sing sengaja dilatih ing GPT‑Red supaya ora tiba ing tangan aktor adversarial, nalika ketangguhan ditanemake ing model produksi kita.
GPT‑Red efektif banget marang populasi model pembela lan skenario red teaming sing digunakake kanggo nglatih. Kita uga ngevaluasi apa model iki migunani minangka agen red teaming serbaguna kanggo mupangat keamanan sacara wiyar ing OpenAI. Kanggo kuwi, kita nguji efektivitas GPT‑Red ing lingkungan keamanan anyar lan model sasaran anyar.
Kaping pisanan, kita ngevaluasi kemampuan GPT‑Red kanggo generalisasi menyang skenario red teaming anyar nganggo versi tiron saka arena injeksi prompt ora langsung saka Dziemian dkk. (2025)(mbukak ing jendhela anyar). Ing tantangan iki, red teamer manungsa lan GPT‑Red kanthi mandiri ngusulake serangan marang GPT‑5.1 ing sekumpulan lingkungan sing wis ditemtokake. Skenario lan tujuan red teaming iki beda saka sing digunakake kanggo nglatih GPT‑Red. GPT‑Red nggayuh tingkat sukses serangan sing luwih dhuwur banget, sukses ing 84% skenario dibandhingake 13% kanggo manungsa.
GPT‑Red unggul minangka red teamer otomatis. GPT‑Red bisa ngasilake serangan sukses marang GPT‑5.1 ing skenario sing luwih akeh tinimbang red teamer manungsa ing arena injeksi prompt ora langsung saka Dziemian dkk. (2025) nganggo mirror internal.
Ujian paling pungkasan kanggo red teamer yaiku kemampuan nggayuh tujuan ala sing ditargetake marang sistem agentic donya nyata kanthi kawruh sing ora lengkap babagan model dhasar sistem lan rancangan harness. Eksperimen pisanan kita ing setelan iki ngadhepake GPT‑Red karo mesin vending bertenaga AI ing kantor OpenAI (mirip karo Project Vend(mbukak ing jendhela anyar)) sing digawe dening Andon Labs. Kita menehi GPT‑Red katrangan sistem lan kemampuan kanggo ngirim serangan lan ngamati panggilan alat saka agen simulasi sing banget mirip karo gelaran ing donya nyata. Sawisé bola-bali nyetel serangan, GPT‑Red nggelar serangane marang agen produksi lan nggayuh kabeh telung tujuan alane:
- Ngganti rega barang larang sing ana stok dadi rega minimal sing diidini, yaiku $0.50;
- Mesen barang anyar regane $100+ lan nawakake kanthi rega $0.50; lan
- Mbatalake pesenan pelanggan liya.
Kita wis ngungkapake kerentanan iki lan pengaman anyar lagi dites kanthi aktif.
GPT‑Red bisa mbobol agen otonom aktif sing dikenal minangka Vendy, sing ngatur mesin vending. GPT‑Red bisa nggawe agen produksi ngganti barang larang dadi murah lan mbatalake pesenan pelanggan liya, kanthi luwih dhisik nguji ing simulasi banjur mindhah serangan menyang agen aktif.
Kita uga nggunakake GPT‑Red kanggo nyerang agen Codex CLI (adhedhasar GPT‑5.4 mini) ing rangkaian 10 skenario eksfiltrasi data sing disisihake. Kita mbandhingake model iki karo baseline GPT‑5.5 sing diwenehi prompt kanggo nyinaoni dampak prosedur latihan kita marang kinerja red teaming ing data sing disisihake. GPT‑Red luwih efektif, amarga bisa sukses njaluk agen ngeksfiltrasi data sensitif ing luwih akeh skenario, lan uga luwih efisien token.
GPT‑Red luwih efektif lan efisien kanggo mbobol agen Codex sing aktif. Kita nguji marang agen Codex sing didhukung GPT‑5.4 Mini ing rangkaian khusus 10 tugas eksfiltrasi data.
Tujuan utama GPT‑Red yaiku ningkatake ketangguhan model kita. Sajrone nem wulan pungkasan, kita wis nglatih model red teaming sing saya kuwat (cikal bakal GPT‑Red) kanthi compute sing saya gedhe, lan nggunakake model-model iki ing latihan saben model produksi sabanjure wiwit GPT‑5.3. Suwe-suwe, saben rilis GPT sabanjure dadi luwih tangguh.
Minangka salah siji conto, versi awal GPT‑Red nemokake kelas anyar serangan injeksi prompt langsung sing dikenal minangka serangan “Fake Chain-of-Thought”. Serangan iki nate nggayuh tingkat sukses luwih saka 95% ing GPT‑5.1, nanging saiki wis ing ngisor 10% kanggo GPT‑5.6 Sol. Semono uga, sawetara benchmark injeksi prompt ora langsung kita sing nargetake serangan ing alat pangembang lan browsing wis kebak dening model paling anyar kita (>97% akurasi).
Ketangguhan marang GPT‑Red dhewe uga saya apik kanthi gedhe. Ing kumpulan lingkungan ketangguhan sing jembar, tingkat sukses serangan GPT‑Red mudhun terus saka wektu ke wektu. Ing rilis model paling anyar kita, GPT‑5.6 Sol gagal mung ing 0.05% injeksi prompt langsung saka GPT‑Red.
Nalika kita terus nggedhekake latihan self-play kanggo injeksi prompt, kita nemokake ancaman anyar sing bisa mbobol model sing wis ana. Nanging, penskalaan iki uga mbantu banget ningkatake ketangguhan marang serangan kasebut. Tingkat sukses serangan diwilang minangka rata-rata sukses upaya saka kabeh upaya GPT‑Red ing lingkungan sing disisihake.
Model bisa katon luwih aman yen luwih kerep nolak panjaluk utawa dadi kurang mampu. Model sing nindakake luwih sithik pancen luwih angel diserang, nanging kuwi dudu ketangguhan sing migunani.
Kita ngevaluasi kanthi tliti kapabilitas tercanggih umum bebarengan karo tugas over-refusal tartamtu sing kita rancang. Kita nemokake manawa kabeh kapabilitas normal tetep ora kena pengaruh, nalika ketangguhan saya apik kanthi signifikan. Iki nuduhake yen paningkatan ketangguhan asalé saka resistensi sing luwih apik marang instruksi ala, dudu saka panggunaan alat sing ora pas utawa nolak panjaluk sah kanthi standar.
Agen AI wis digunakake kanggo ningkatake kapabilitas model generasi sabanjure kita. Kita percaya yen liwat GPT‑Red, kita wis miwiti mbukak flywheel sing padha kanggo keamanan, ing ngendi model saiki bisa digunakake kanggo nggawe model sesuk luwih tangguh, selaras, lan bisa dipercaya. Kita bakal terus nggedhekake compute lan data sambil nggawe perbaikan algoritmik, kanggo nglatih versi GPT‑Red ing mangsa ngarep sing luwih kuwat tinimbang model saiki. Lan sabanjure, model-model iki bakal mbantu nggawe rilis GPT mbesuk luwih aman.
Kita bakal nerbitake pre-print kanthi rincian luwih akeh ing pungkasan minggu iki.
