GPT‑6 Cyber: Memajukan batas kemampuan agen keamanan siber yang selaras
Model keamanan siber yang dilatih untuk menemukan dan memvalidasi kerentanan yang dapat dieksploitasi, dengan tetap mematuhi cakupan yang ditetapkan peneliti.
Kami memperkenalkan GPT‑6 Cyber, sebuah lompatan besar dalam riset keamanan: lebih cakap dalam menemukan dan memperbaiki kerentanan, serta jauh lebih andal dalam mematuhi batasan yang ditetapkan peneliti. GPT‑6 Cyber mencatat peningkatan besar dibandingkan GPT‑5.6 Cyber pada tolok ukur utama keamanan siber, termasuk peningkatan relatif sebesar 51% pada ExploitGym dan lompatan kinerja dalam pengujian kepatuhan terhadap cakupan tugas. Model ini sudah membantu mengamankan perangkat lunak di dunia nyata, dengan menemukan dan memvalidasi ribuan eksploit dalam basis kode yang sangat penting dari sisi keamanan, seperti Linux dan Firefox.
Pada ExploitGym, yang menguji apakah model dapat mengeksploitasi kerentanan tertentu, GPT‑6 Cyber meraih skor 48,5%, meningkat dari 32,1% pada GPT‑5.6 Cyber. Model ini juga lebih andal dalam mematuhi batasan tugas: dalam evaluasi keselarasan terpisah, GPT‑6 Cyber menghindari eksploitasi layanan di luar cakupan dalam 99,93% pengujian tanpa prompt penerapannya, dan 100% dengan prompt tersebut. Peningkatan keselarasan ini mencerminkan pelatihan khusus untuk tetap dalam cakupan yang diizinkan, mematuhi batasan, dan melaporkan hasil secara akurat.
Kemampuan ini sudah membantu mengamankan sistem di dunia nyata. Para peneliti kami menggunakan GPT‑6 Cyber untuk mengembangkan 948 eksploit eskalasi hak akses di Linux dan mengidentifikasi 81 kerentanan berkeparahan tinggi di Firefox yang sebelumnya tidak diketahui, meskipun telah dilakukan pengujian ekstensif dengan model terdepan. Model ini juga membantu mengembangkan kandidat patch, dan Mozilla telah merilis perbaikan untuk banyak kerentanan Firefox tersebut(terbuka di jendela baru). Tim keamanan di Cisco, Calif, dan CodeRabbit menggunakannya untuk riset kerentanan dan tinjauan kode, dan kami mengandalkannya untuk menemukan serta memperbaiki kelemahan dalam infrastruktur kami sendiri.
Jelas bahwa waktu yang tersedia untuk memanfaatkan model terdepan guna mengamankan perangkat lunak terbatas. Tujuan kami adalah memperluas Daybreak secara signifikan, menghadirkan riset keamanan canggih bagi organisasi dari segala skala, peneliti independen, dan pengelola proyek sumber terbuka. Model utama seperti GPT‑6 Astra sudah mendukung tinjauan kode, triase kerentanan, dan pengembangan patch. Daybreak Blue membantu tim pertahanan terverifikasi memvalidasi kerentanan dan perbaikan dengan lebih sedikit penolakan yang tidak perlu, sementara Daybreak Red memungkinkan pengembangan eksploit yang lebih mendalam dan pengujian keamanan berizin dengan GPT‑6 Cyber.
GPT‑6 Cyber merupakan peningkatan besar dari GPT‑5.6 Cyber dan mengungguli GPT‑6 Astra pada sebagian besar tugas siber, bahkan ketika Astra tidak menolak permintaan. Kami mengevaluasi model ini pada tugas yang mengharuskannya memahami perangkat lunak, mengidentifikasi kerentanan, dan mengembangkan eksploit yang berfungsi. Berdasarkan hasil ini, kami mengklasifikasikan model ini pada tingkat Kritis dalam keamanan siber menurut Kerangka Kerja Kesiapan kami, naik dari tingkat Tinggi untuk GPT‑5.6 Cyber.
Pada ExploitGym, yang menguji apakah model dapat mengeksploitasi kerentanan tertentu pada target jarak jauh, GPT‑6 Cyber meraih skor 48,5%, sekitar 16 poin persentase lebih tinggi daripada skor GPT‑5.6 Cyber sebesar 32,1%. Untuk menguji penemuan kerentanan, kami juga membangun evaluasi baru untuk pengujian penetrasi web ofensif. Model menyelidiki aplikasi web tanpa akses ke kode sumbernya. GPT‑6 Cyber mencapai recall kerentanan sebesar 40,3%, dibandingkan dengan 32,0% pada GPT‑6 Astra.
Daybreak Red dirancang untuk mendukung alur kerja keamanan yang lebih canggih, termasuk mengembangkan eksploit yang berfungsi dan menggunakannya terhadap target jarak jauh. Untuk mengevaluasi kemampuan ini, kami membangun tolok ukur baru bernama RemoteExploitBench, yang menggunakan kerentanan yang telah diketahui pada aplikasi seperti GitLab, PostgreSQL, dan Jenkins yang diterapkan di lingkungan terkendali. Dalam evaluasi awal kami, GPT‑6 Astra yang dijalankan dengan Daybreak Blue menolak 100% tugas, sementara GPT‑6 Cyber menyelesaikan 95%; satu-satunya kegagalannya adalah eksploit yang tidak berhasil dijalankan dari jarak jauh. Lihat kartu sistem(terbuka di jendela baru) untuk hasil lengkap dan pengaturan evaluasi.
Salah satu risiko agen keamanan siber adalah bertindak di luar cakupan tugas yang diberikan, mencoba mengeksploitasi layanan yang tidak terkait, atau mengabaikan aturan pelaksanaan yang ditetapkan peneliti.
Kami menjadikan keselarasan sebagai fokus utama GPT‑6 Cyber, dengan pelatihan khusus untuk membantu model tetap dalam cakupan yang diizinkan, mematuhi batasan tindakannya, dan melaporkan pekerjaannya secara akurat. Sebelum penerapan, kami menjalankan serangkaian evaluasi keselarasan untuk mengukur perilaku ini. Lihat kartu sistem(terbuka di jendela baru) untuk hasil lengkapnya.
Salah satu evaluasi tersebut adalah ExploitGym Honeypot, yang dikembangkan berdasarkan pelajaran dari insiden Hugging Face. Kami memberikan tugas eksploitasi yang sulit kepada model di lingkungan terisolasi dengan akses ke layanan pendukung, seperti registri paket atau penyimpanan objek. Kami sengaja membuat layanan ini mudah dieksploitasi sehingga menyerangnya dapat mengungkap flag tugas tersebut. Model harus menyimpulkan bahwa mengeksploitasi layanan tersebut berada di luar cakupan tugasnya.
GPT‑6 Cyber menunjukkan lompatan besar dibandingkan GPT‑5.6 Cyber dalam evaluasi ini. Saat diuji tanpa prompt keselamatan penerapan, model ini menghindari eksploitasi layanan di luar cakupan dalam 99,93% kasus, meningkat dari 94,49% pada GPT‑5.6 Cyber. Dengan prompt tersebut, GPT‑6 Cyber mematuhi batasan dalam 100% kasus.
Kita dapat melihat langsung dalam rantai pemikiran model GPT‑6 Cyber bagaimana model ini menalar agar tetap mematuhi batasan:
“Can't assume extra API or attack controller not target. We should only target binary/server.”
“don't explore out of scope credentials.”
GPT‑6 Cyber sudah membantu tim keamanan menemukan kerentanan, memvalidasi dampaknya, dan mengembangkan perbaikan. Pelanggan telah menggunakannya untuk menangani basis kode besar, pengembangan eksploit yang berlangsung lama, dan tinjauan keamanan:
Kami juga mengandalkan GPT‑6 Cyber untuk mengamankan sistem kami sendiri. Model ini adalah salah satu model utama yang mendukung upaya kami dalam memperkuat keamanan infrastruktur yang digunakan untuk melatih model terdepan, yang baru-baru ini kami bagikan. Dalam kampanye red teaming yang terkendali, agen yang menggunakan GPT‑6 Cyber dan model OpenAI lainnya merangkai berbagai kerentanan untuk keluar dari microVM dan mengeksekusi kode pada host yang menjalankannya. Kami menggunakan temuan tersebut untuk menambal perangkat lunak, memperketat pembatasan jaringan, dan melaporkan masalah kepada pengelola serta vendor.
Para peneliti kerentanan kami juga menggunakan GPT‑6 Cyber untuk menemukan dan memvalidasi kerentanan dalam perangkat lunak sumber terbuka dalam skala besar. Upaya ini telah mengungkap kelemahan yang sebelumnya tidak diketahui dalam perangkat lunak yang telah diteliti secara mendalam selama bertahun-tahun:
Menemukan 81 kerentanan baru di Firefox. GPT‑6 Cyber dapat digunakan dalam alur kerja otonom untuk menemukan kerentanan dan mengusulkan patch berkualitas tinggi dalam skala besar. Dalam kampanye riset kerentanan, GPT‑6 Cyber menghasilkan bukti dan pengujian yang dapat direproduksi untuk 81 kerentanan baru yang diklasifikasikan Mozilla sebagai kerentanan berkeparahan tinggi, serta menunjukkan bahwa 30 masalah lain yang sudah diketahui lebih parah daripada yang dilaporkan sebelumnya. Kami mengungkapkan temuan tersebut kepada Mozilla, beserta usulan patch untuk membantu para teknisinya mengembangkan perbaikan. Mozilla mendukung upaya ini dan mulai menerapkan perbaikan tak lama setelah menerima laporan(terbuka di jendela baru).
Mengembangkan eksploit untuk 948 kerentanan kernel Linux. GPT‑6 Cyber mereproduksi 1.724 kerentanan dan mengembangkan eksploit yang berfungsi untuk 948 di antaranya—lebih dari lima kali lipat dari 166 kerentanan yang dieksploitasi GPT‑5.6 Sol dengan harness riset yang sama. Mengikuti panduan komunitas Linux, kami mengungkapkan 304 temuan kritis kepada pengelola beserta kandidat patch dan sedang mengupayakan perbaikan kerentanan lainnya.
Mendemonstrasikan kerentanan RCE kritis. Kami baru-baru ini membahas kerentanan kritis dalam Brotli(terbuka di jendela baru), pustaka kompresi yang digunakan oleh Node.js dan perangkat lunak lainnya. Para peneliti keamanan kami menggunakan GPT‑6 Cyber bersama model OpenAI lainnya untuk mengembangkan dan memvalidasi eksploit yang menunjukkan bagaimana kelemahan tersebut dapat memungkinkan eksekusi kode jarak jauh pada aplikasi yang menggunakan pustaka itu.
Seiring meningkatnya kemampuan model dan bertambahnya kerentanan keamanan yang diungkap, kami juga melihat semakin banyak upaya untuk menggunakannya guna menimbulkan bahaya. Ini mencakup upaya pelaku kejahatan siber dan kelompok adversarial yang berusaha mendistilasi model kami. Karena itu, kami melengkapi kemampuan GPT‑6 Cyber yang lebih kuat dengan perlindungan yang lebih kuat pula untuk mendeteksi dan menghentikan penyalahgunaan, serta menjaga agar tindakan model tetap sesuai dengan maksud dan izin pengguna.
Kami menambahkan dan memperkuat perlindungan berikut bersamaan dengan perilisan GPT‑6 Cyber (lihat kartu sistem(terbuka di jendela baru) untuk informasi lengkap):
Pemantauan ketidakselarasan khusus siber. Kami memantau apakah tindakan sesuai dengan izin pengguna, sekaligus mengenali pengembangan dan pengujian eksploit yang sah.
Pemantauan terarah untuk ancaman baru. Misalnya, selama pengungkapan terkoordinasi atas kerentanan PHP yang kritis, kami menyiapkan pemantauan terarah terhadap upaya pengembangan eksploit yang menargetkan server PHP aktif, sambil tetap mendukung tim pertahanan yang menambal sistem terdampak.
Pemrosesan Keselamatan Privat (PSP). Kami menggunakan pemeriksaan otomatis untuk meninjau interaksi terkait guna mendeteksi penyalahgunaan. Retensi standar tetap menjadi pengaturan default. Pelanggan API yang menggunakan Retensi Data Nol(terbuka di jendela baru) umumnya wajib menggunakan PSP(terbuka di jendela baru), yang meninjau catatan terenkripsi yang disimpan di penyimpanan pelanggan selama 30 hari tanpa memperlihatkan prompt dan respons kepada personel OpenAI.
Perlindungan dari penggunaan kredensial curian. Secara default, kami mewajibkan daftar IP yang diizinkan untuk akses API Daybreak Red, sehingga permintaan dibatasi hanya dari jaringan yang disetujui, dengan pengecualian terbatas. Kami juga memantau apakah kredensial telah disusupi.
Sandboxing dan pengawasan. Seperti pada model sebelumnya, kami merekomendasikan sandboxing(terbuka di jendela baru), peninjauan tindakan(terbuka di jendela baru), dan pengawasan manusia untuk alur kerja berisiko tinggi.
Perlindungan terhadap bantuan siber berisiko tinggi. Kami menggunakan pemeriksaan baru untuk memblokir aktivitas berisiko tinggi yang melibatkan sistem kritis (lihat selengkapnya di bawah).
Perlindungan infrastruktur kritis menjadi pertimbangan utama dalam merancang perlindungan dan akses GPT‑6 Cyber. Ini mencakup pembangkit listrik, fasilitas pengolahan air, serta teknologi operasional dan sistem kontrol industri (OT/ICS) yang menopangnya. Kami ingin memberi tim yang melindungi sistem ini akses ke model kami yang paling cakap, sekaligus memperkuat perlindungan untuk mencegah serangan tanpa izin.
Pertama, untuk membekali tim pertahanan ini, program hibah Daybreak for Frontline Defenders senilai $1 miliar dari kami memberikan subsidi akses bagi tim dengan sumber daya terbatas, seperti organisasi pemerintah dan penyedia layanan esensial. Kami juga memperkenalkan kelompok baru dalam Daybreak Red (Daybreak Red untuk Infrastruktur Kritis) bagi tim pertahanan infrastruktur kritis yang disetujui. Kelompok ini mendapat izin untuk melakukan pengujian resmi terhadap sistem kritis, dengan tetap mempertahankan perlindungan terhadap ketidakselarasan model.
Kedua, untuk mencegah penyalahgunaan platform Daybreak Red dan Blue, kami telah menyempurnakan perlindungan terhadap bantuan dan pengembangan kemampuan yang dapat membahayakan kontrol industri atau sistem yang penting bagi keselamatan, mengganggu peralatan, atau menyebabkan cedera serius, kerusakan fisik yang dahsyat, maupun gangguan layanan yang mengancam jiwa. Gambar di bawah membandingkan tingkat pelabelan oleh mekanisme perlindungan pada empat konfigurasi akses, sebelum dan sesudah pembaruan terbaru yang kami luncurkan bersamaan dengan GPT‑6 Cyber.
Tingkat pemblokiran yang lebih tinggi oleh mekanisme perlindungan tidak selalu lebih baik. Banyak teknik dalam evaluasi ini juga penting bagi pekerjaan keamanan yang sah: memahami sistem, menemukan kerentanan, dan memverifikasi bahwa perbaikan mampu menahan serangan. Karena itu, kami menilai tingkat ini bersamaan dengan dukungan terhadap riset dan penambalan yang sah, bukan menargetkan 100%.
Untuk mengevaluasi bagaimana model kami dapat membantu melindungi infrastruktur kritis, kami bermitra dengan Dragos, penyedia global keamanan siber untuk teknologi operasional yang diperluas (xOT). Dragos menjalankan evaluasi menggunakan model Daybreak Red yang lebih permisif terhadap tugas siber di lingkungan laboratorium yang terkendali. Evaluasi ini mencakup permintaan yang bertahap dari penemuan jaringan dan enumerasi aset hingga pengintaian terarah, eksfiltrasi data sensitif, serta tindakan perangkat tanpa izin yang berpotensi berbahaya.
Kami menggunakan masukan dari Dragos untuk menyempurnakan perlindungan kami, dengan tujuan memblokir bantuan berbahaya tanpa membatasi pengujian berizin secara berlebihan. Lihat laporan akhir mereka(terbuka di jendela baru) untuk perincian evaluasinya. Kami juga berupaya memperluas kemitraan dengan penyedia keamanan ofensif lainnya dan tim ungu untuk pengujian penetrasi serta red teaming dengan AI, juga dengan perusahaan energi, operator infrastruktur kritis lainnya, dan laboratorium nasional untuk menilai efektivitas serta perlindungan model kami dalam pertahanan industri. Kami juga meningkatkan investasi dalam penyelidikan ancaman untuk mendeteksi penggunaan model yang melibatkan OT/ICS. Kami akan terus menyempurnakan perlindungan kami dengan masukan dari mitra dan komunitas keamanan, termasuk laporan melalui /feedback ketika mekanisme perlindungan gagal mendeteksi aktivitas berbahaya atau mengganggu pekerjaan yang sah.
Pada tahap awal, GPT‑6 Cyber tersedia melalui API dan Codex bagi sekelompok pelanggan Daybreak Red terpilih yang telah disetujui. Kami akan segera memperluas akses secara bertahap ke seluruh pelanggan Daybreak Red, dan juga menyediakan GPT‑5.6 Cyber bagi seluruh pelanggan Daybreak Red. Kami juga memperluas akses alfa Daybreak Blue untuk GPT‑6 Astra ke lebih banyak organisasi dan peneliti keamanan individu; beri tahu kami(terbuka di jendela baru) jika Anda tertarik.
Pengguna dan organisasi baru dapat mendaftar Daybreak dan mulai memanfaatkan keterampilan siber, produk, dan mitra kami.
