Evaluasi siber pihak ketiga yang melibatkan model OpenAI
Pengujian independen berperan penting dalam membantu kami memvalidasi dan memahami risiko lebih lanjut sebelum penerapan. Sebagian evaluasi siber sengaja menggunakan konfigurasi khusus, termasuk mengurangi langkah perlindungan untuk mengukur kemampuan dasar—bukan perilaku model dalam penerapan yang umumnya tersedia bagi publik.
Dalam evaluasi baru-baru ini, dua mitra pengujian eksternal menemukan insiden ketika konfigurasi dan kontrol pengujian, ditambah kemajuan kemampuan model terbaru, memungkinkan aktivitas model melampaui batas pengujian yang ditetapkan. Insiden ini menegaskan pentingnya kolaborasi di seluruh industri dan dengan evaluator pihak ketiga untuk terus menyempurnakan standar lingkungan dan praktik pengujian seiring meningkatnya kemampuan model. Catatan Editor: Insiden ini terpisah dari insiden keamanan Hugging Face, dan kami akan terus membagikan informasi terbaru mengenai insiden Hugging Face di sini.
Insiden baru ini melibatkan model OpenAI yang mengakses internet publik selama evaluasi siber pihak ketiga, dalam kondisi khusus dan konfigurasi dengan perlindungan yang dikurangi sehingga tidak mencerminkan penerapan biasa. Insiden tersebut mencakup:
- UK AISI, Institut Keamanan AI pemerintah Inggris, menjalankan evaluasi di arena siber dengan akses internet yang sengaja diaktifkan agar agen dapat mencari sendiri alat yang dibutuhkan dan beroperasi dalam kondisi yang lebih menyerupai penyerang nyata. Pengklasifikasi siber juga dinonaktifkan untuk mengukur kemampuan dasar. Anda dapat membaca blog mereka di sini.(terbuka di jendela baru)
- Irregular, salah satu mitra pengujian keamanan siber eksternal kami, menjalankan evaluasi bergaya Capture-the-Flag yang seharusnya terisolasi dari internet. Namun, kesalahan konfigurasi lingkungan pengujian memungkinkan model mengakses internet publik.
Di bawah ini, kami merangkum peristiwa yang terjadi, kondisi pengujian yang memungkinkan aktivitas tersebut, langkah-langkah untuk membatasinya, dan upaya kami guna memastikan laboratorium independen dapat terus mengevaluasi model yang semakin canggih secara ketat dan aman.
Insiden-insiden ini menunjukkan tantangan lebih luas yang sama dengan yang kami uraikan dalam postingan terbaru mengenai insiden Hugging Face: seiring meningkatnya kemampuan model, sistem keamanan dan keselamatan di sekitarnya juga perlu berkembang. Ini mencakup lingkungan yang digunakan untuk mengembangkan model maupun lingkungan yang digunakan laboratorium dan mitra independen untuk mengevaluasinya.
Dalam beberapa minggu mendatang, kami akan meninjau pendekatan kami terhadap pengujian pihak ketiga, termasuk cara mengidentifikasi evaluasi berisiko lebih tinggi, menyepakati ruang lingkup, menilai permintaan untuk mengaktifkan akses internet atau mengurangi perlindungan, menetapkan ekspektasi terkait isolasi, penanganan kredensial, pemantauan, dan kondisi penghentian, serta menyusun proses pemberitahuan dan eskalasi insiden yang lebih jelas.
Kami berkomitmen bekerja sama dengan seluruh industri untuk memperkuat praktik bersama dalam menjalankan evaluasi berisiko tinggi secara aman, termasuk dengan mempertemukan para pemangku kepentingan seperti institut AI nasional, evaluator independen, laboratorium AI lain, dan kelompok lainnya dalam beberapa minggu mendatang. Tujuan kami adalah mempertahankan manfaat evaluasi independen yang ketat sekaligus memastikan praktik pengujian terus mengimbangi peningkatan kemampuan model.
Pada 3 Agustus, UK AISI memberi tahu kami bahwa dalam evaluasi siber rutin yang dimulai pada 25 Juli, model dari OpenAI dan laboratorium lain dalam beberapa kasus bertindak di luar ruang lingkup pengujian. Evaluasi tersebut berlangsung di arena siber terkendali yang dirancang untuk meniru jaringan dunia nyata. Dari 19 peristiwa yang teridentifikasi, dua melibatkan model OpenAI, GPT‑5.6 Sol. Peristiwa lainnya melibatkan model dari laboratorium lain.
Dalam evaluasi ini, agen diperintahkan bertindak sebagai pakar keamanan siber dalam latihan capture-the-flag: menyusupi tiga lingkungan simulasi yang saling terhubung dan mengambil flag akhir. Prompt tugas tersebut mengidentifikasi jaringan arena yang termasuk dalam ruang lingkup dan menyebutkan beberapa sistem yang berada di luar ruang lingkup. UK AISI juga mengaktifkan akses internet langsung agar agen dapat mengunduh alat dan beroperasi dalam kondisi yang lebih menyerupai penyerang manusia—serta menonaktifkan pengklasifikasi siber model untuk mengukur kemampuan dasar.
Batas otorisasi yang dimaksudkan UK AISI adalah arena siber simulasi: agen diberi wewenang untuk menyerang jaringan simulasi yang ditentukan dan mengambil flag, bukan berinteraksi dengan sistem di luar batas jaringan arena. Namun, agen tidak diberi tahu secara eksplisit tentang cara yang boleh dan tidak boleh mereka gunakan untuk memanfaatkan akses internet terbuka. UK AISI mengidentifikasi hal ini sebagai salah satu faktor yang mungkin turut menyebabkan insiden.
Dalam seluruh proses ini, UK AISI menemukan bahwa GPT‑5.6 Sol melakukan dua tindakan tanpa izin ketika mencoba mencari jalan masuk ke arena simulasi dan mengambil flag:
- GPT‑5.6 Sol menggunakan kembali token GitHub yang dibiarkan dapat diakses publik oleh agen dari laboratorium lain untuk memeriksa apakah sistem di dalam arena mengakses GitHub atau layanan pembaruan lain secara berkala, mencoba memulihkan akun dan mengakali batas permintaan, serta mendaftarkan akun pada penyedia DNS dan tunneling eksternal.
- GPT‑5.6 Sol menggunakan layanan tunneling publik agar server DNS yang berjalan secara lokal di lingkungan evaluasinya dapat diakses dari internet publik. Server tersebut memuat payload yang ditujukan untuk mengeksploitasi kerentanan yang telah diketahui dalam perangkat lunak yang berjalan di arena pengujian. Konfigurasi itu tidak berfungsi, tidak ada bukti bahwa resolver sungguhan mengirimkan kueri kepadanya, dan infrastrukturnya dihapus setelah evaluasi berakhir.
Meskipun model tersebut berupaya menyelesaikan tantangan di arena siber, UK AISI menganggap tindakan ini dilakukan tanpa izin karena melibatkan akun dan layanan eksternal nyata di luar batas arena serta tidak diperlukan untuk menyelesaikan tugas. Server DNS itu juga menghosting payload eksploitasi di internet publik, meskipun konfigurasinya tidak berfungsi dan tidak ada bukti bahwa resolver sungguhan mengirimkan kueri kepadanya.
UK AISI mengidentifikasi aktivitas tersebut pada 28 Juli setelah pemantauan keamanan mendeteksi transfer data yang tidak biasa. UK AISI menghentikan evaluasi terkait, mengisolasi mesin yang relevan, dan membatasi aktivitas tersebut dalam waktu sekitar satu jam setelah terdeteksi.
Kami menghargai kemitraan UK AISI selama proses ini, termasuk upayanya mengidentifikasi, menyelidiki, dan membagikan detail aktivitas tersebut. Kami berharap dapat terus melanjutkan kolaborasi ini.
Pada 29 Juli, Irregular, salah satu mitra evaluasi pihak ketiga kami, memberi tahu kami tentang insiden yang melibatkan model OpenAI selama evaluasi keamanan siber bergaya Capture-the-Flag (CTF). Model-model tersebut diperintahkan menemukan informasi tersembunyi dengan mengeksploitasi kelemahan dalam lingkungan simulasi dan diberi tahu bahwa mereka tidak memiliki akses internet. Namun, kesalahan konfigurasi di lingkungan pengujian memungkinkan model-model tersebut mengakses internet publik.
Dalam salah satu pengujian, nama target fiktif untuk tantangan CTF secara tidak sengaja sama dengan sebuah domain nyata. Karena lingkungan pengujian tersambung ke internet akibat kekeliruan, model tersebut mengeksploitasi situs web nyata karena mengiranya bagian dari lingkungan simulasi. Insiden ini tidak melibatkan pelolosan dari sandbox yang canggih ataupun eksploitasi zero-day: akses internet terjadi akibat kesalahan konfigurasi, dan model tersebut tampaknya mengeksploitasi kerentanan keamanan mendasar.
Berdasarkan penyelidikan Irregular, model tersebut juga menemukan dan menggunakan kredensial untuk mengoperasikan situs yang sama. Irregular belum menemukan dampak selain terhadap data milik situs yang terdampak, dan auditnya masih berlangsung. Irregular telah menghentikan sementara evaluasi dan memulai remediasi, sementara pihak ketiga yang terdampak telah diberi tahu. Irregular memberi tahu kami bahwa semua masalah terkait insiden yang telah diidentifikasi sudah tidak aktif dan langkah perlindungan yang relevan telah ditambahkan ke lingkungan pengujian. Irregular juga telah menyampaikan informasi mengenai insiden terkait yang melibatkan laboratorium lain dari lingkungan pengujian yang sama.
Kami menghargai kemitraan Irregular dan akan terus bekerja sama erat untuk mendukung peninjauan mereka. Irregular juga tengah menyusun buku putih untuk membagikan praktik terbaik dalam membatasi insiden dan menjalankan evaluasi siber dengan aman. Kami berharap dapat berpartisipasi dalam penyusunan buku putih tersebut agar temuannya tersedia bagi komunitas, sekaligus melanjutkan kemitraan kami. Kami memandang kolaborasi semacam ini sangat penting untuk memastikan evaluasi model saat ini dan masa depan dilakukan secara aman dan menyeluruh.
