Insiden Hugging Face dan langkah ke depan

Selama Mei dan Juni, kami memulai proses pelatihan reinforcement learning (RL) untuk beberapa model riset baru yang tidak dimaksudkan untuk dirilis kepada publik. Salah satu model ini pada akhirnya mendorong aktivitas di balik insiden Hugging Face. Ini adalah model riset khusus internal yang kami sebut Model Internal 1 (IM1).

Kami tidak mengaktifkan akses internet atau komunikasi antar agen untuk banyak lingkungan dalam eksperimen pelatihan ini. Terlepas dari pembatasan ini, para agen menemukan cara untuk mengeksploitasi infrastruktur penelitian kami guna saling berkomunikasi dan mengakses internet.

Model tersebut pertama kali menemukan cara untuk berkomunikasi dengan menulis file ke dalam layanan pengelola paket Artifactory. Hal ini secara efektif mengubah Artifactory menjadi papan pesan yang tidak disengaja, tempat agen dapat saling bertukar informasi. Baca selengkapnya: Cara agen menggunakan papan pesan 

Pada 4 Juli, aktivitas agen yang berkelanjutan telah menyebabkan instans Artifactory yang terdampak menjadi tidak stabil, sehingga mengakibatkan gangguan layanan. Pada 5 Juli, sebuah insiden keamanan dilaporkan. Tim keamanan memblokir jalur eskalasi hak istimewa yang diketahui, menghapus kredensial yang terekspos, dan membangun kembali Artifactory. Ini memiliki efek samping yang mengosongkan papan pesan. Dengan diterapkannya mitigasi ini, evaluasi keamanan siber dilanjutkan.

Pada saat itu, implikasi yang lebih luas terkait pengendalian dan penyelarasan yang ditimbulkan oleh papan pesan yang dibuat secara improvisasi serta akses internet yang tidak dimaksudkan belum dipahami. Laporan insiden teknis memberikan perincian lebih lanjut tentang apa yang dipahami berbagai tim OpenAI pada saat itu. Singkatnya, sebuah tim internal mengamati sebuah agen yang terlibat dalam aktivitas papan pesan dan sejumlah kejadian akses internet yang tidak diizinkan pada akhir Mei. Namun, keberadaan papan pesan improvisasi dan pentingnya aktivitas komunikasi antar agen belum tampak jelas bagi para pemimpin yang bertanggung jawab atas deteksi dan respons insiden. Kami terus menyelidiki proses dan praktik operasional yang memengaruhi aktivitas deteksi dan respons sebelum terjadinya insiden ini.

Dengan layanan Artifactory yang telah dibangun ulang, kami memulai kembali evaluasi keamanan siber. Kami menjalankan evaluasi ini untuk memahami kemampuan model kami dan menentukan langkah perlindungan yang sesuai untuk penerapan. Untuk melakukannya, kami tidak mengaktifkan tingkat pengamanan yang sama seperti pada sistem kami yang diterapkan secara eksternal. Evaluasi yang memicu insiden ini, ExploitGym, sangat sulit—untuk beberapa tugas mungkin tidak ada solusi yang diketahui. Untuk berhasil, para agen harus menemukan cara untuk mengeksploitasi sebuah perangkat lunak guna memperoleh jawaban yang dikenal sebagai flag.

Setelah insiden tersebut, kami mengerahkan upaya besar untuk menyelidiki mengapa model menunjukkan perilaku yang tidak selaras ini, termasuk masalah ketidakselarasan dalam pelatihan dan evaluasi, serta cakupan pengaman dalam evaluasi internal.

Kami mengidentifikasi empat pola ketidakselarasan yang berkontribusi pada perilaku model: manipulasi reward, kegigihan dalam tugas yang tampaknya mustahil, komunikasi tidak sah, dan agen yang mengadopsi tujuan satu sama lain.

Untuk memahami hal-hal ini, kami menganalisis peluncuran pelatihan dan evaluasi model.¹ Kami melakukan peninjauan retrospektif ekstensif terhadap rantai pemikiran (CoT), tindakan, dan keluaran akhir menggunakan teknik pemantauan CoT terbaru⁠ kami. Dengan melakukan hal tersebut, kami secara khusus meningkatkan tingkat recall monitor kami terhadap jenis-jenis perilaku yang terjadi dalam insiden tersebut, dengan memanfaatkan wawasan retrospektif dari investigasi kami.

Agen yang berusaha berbuat curang dalam tugas mereka dengan mencari solusi secara online merupakan faktor pendorong utama insiden Hugging Face. Perilaku ini dikenal sebagai manipulasi reward: agen menyelesaikan tugas dengan cara yang tidak dimaksudkan untuk menghasilkan reward yang lebih tinggi atau mempermudah perolehan reward tersebut. Manipulasi reward telah hadir dalam sistem AI, baik secara historis (lihat penelitian dari satu dekade lalu⁠, gambar ditampilkan di bawah) maupun dalam LLM terdepan saat ini⁠(terbuka di jendela baru). Kami telah secara signifikan berinvestasi dalam metode untuk mengidentifikasi dan menambal peretasan semacam itu⁠.

Pendorong utama lainnya dari perilaku yang tidak selaras adalah bahwa agen jarang “menyerah” pada tugas evaluasi mereka, bahkan ketika tugas tersebut tampak mustahil untuk diselesaikan. Seiring agen menghabiskan anggaran penalaran mereka, beberapa agen menjalankan strategi yang semakin berisiko dan di luar batas, termasuk pada akhirnya mengeksploitasi infrastruktur pihak ketiga.

Selama investigasi kami, kami mendapati bahwa dalam evaluasi ExploitGym, tidak satu pun model kami pernah menghasilkan jawaban yang benar untuk 198 dari 898 tugas sebelum insiden tersebut. Tugas-tugas yang belum terselesaikan ini ternyata menjadi kontributor besar terhadap aktivitas agen—93% dari tugas yang dibahas di papan pesan Artifactory selama insiden Hugging Face berasal dari kumpulan 198 pertanyaan ini.

Kedua, insiden tersebut terutama dipicu oleh agen yang diberi anggaran penalaran yang sangat besar, termasuk anggaran yang jauh melampaui anggaran yang tersedia dalam produk eksternal kami.

Forum pesan yang tidak sah dan berkelanjutan merupakan inti dari insiden ini. Para agen yang seharusnya bekerja secara mandiri mampu berbagi temuan, mengoordinasikan upaya mereka, dan melanjutkan pekerjaan dari titik terakhir yang ditinggalkan oleh agen lain. Hal ini memungkinkan mereka menggabungkan pekerjaan dan daya komputasi di berbagai evaluasi terpisah, sehingga memperkuat kemampuan mereka jauh melampaui pencapaian agen mana pun secara individu. Komunikasi antar agen bukanlah perilaku bermasalah dengan sendirinya—kami melatih dan menerapkan sistem multi-agen yang dapat berkomunikasi dalam tugas yang sama melalui alat kolaborasi. Dalam peristiwa bulan Juli, agen dengan tugas yang berbeda menemukan cara mereka sendiri untuk berkolaborasi di luar batasan tersebut, dengan konsekuensi yang tidak dapat diprediksi.

Saat menyelidiki insiden ini, kami menemukan kasus-kasus langka ketika agen tanpa alat multi-agen menemukan cara untuk berkolaborasi melalui saluran samping selama pelatihan. Kami meyakini bahwa perilaku ini bermula dari generalisasi dari pelatihan multi-agen.

Komunikasi tidak sah tersebut sering kali dimulai dengan satu agen meninggalkan catatan atau file dalam suatu sistem eksternal, biasanya sebagai bentuk memori eksternal. Ketika agen lain melihat artefak-artefak ini, hal itu sering membuat mereka menyadari bahwa mereka dapat menggunakan layanan eksternal ini untuk berkolaborasi. Sebagai contoh hipotetis yang sangat menggambarkan perilaku yang kami lihat, pesan-pesan dikodekan dalam path URL yang disimpan di halaman indeks bersama, kira-kira seperti berikut:

Temuan terakhir yang sangat jelas dalam insiden Hugging Face adalah “ekosistem” agen yang muncul di papan pesan. Setelah papan pesan ini dibuat, agen memiliki insentif yang kuat untuk berkomunikasi: papan pesan ini memungkinkan agen menyimpan catatan, mengembangkan temuan satu sama lain, dan menggabungkan sumber daya komputasi dari proses eksekusi yang sebaliknya terpisah. Kolektif agen yang kompleks dan amorf ini menampilkan perilaku yang menarik dan patut dicontoh, dan di sini kami merinci beberapa di antaranya yang kami amati.

Agen mulai membagi tugas secara otonom. Sebagian menyelidiki kemungkinan eksploitasi, sebagian lainnya mencari kredensial, dan yang lain berfokus pada komunikasi atau koordinasi. Para agen menawarkan keahlian mereka sendiri sebagai imbalan atas bantuan di bidang lain, bertukar informasi tentang tugas-tugas mendatang, dan meninggalkan permintaan untuk rekan sejawat yang mungkin berada dalam posisi lebih baik untuk menindaklanjuti petunjuk tertentu.

Selain ketidakselarasan, faktor lain dalam insiden ini adalah bahwa kami tidak memperluas pengaman kuat yang kami terapkan untuk model yang kami terapkan secara eksternal ke semua evaluasi internal.

Pertama, terdapat berbagai mekanisme yang mengurangi ketidakselarasan dalam pengaturan produksi bagi pelanggan kami, termasuk prompt sistem, harness, dan mekanisme kontrol seperti model tinjau otomatis serta pengklasifikasi keamanan kami. Perlindungan ini tidak diterapkan di lingkungan evaluasi yang berjalan selama insiden tersebut. Setelah insiden tersebut, kami membuat evaluasi yang mengukur kecenderungan model untuk mengompromikan infrastruktur selama evaluasi ExploitGym. Kami mendapati bahwa kecenderungan untuk mengompromikan infrastruktur dapat berkurang lebih dari 100 kali lipat saat menggunakan harness Codex produksi dan prompt sistem. Kami juga menjalankan sistem peninjauan otomatis Codex pada serangkaian rollout yang terlibat dalam insiden Hugging Face, dan mendapati bahwa sistem tersebut akan menandai banyak tindakan berbahaya yang dilakukan model-model tersebut.

Kedua, sebelum insiden tersebut, kami telah berinvestasi besar dalam pemantauan rantai pemikiran⁠, termasuk memantau banyak pelaksanaan pelatihan RL terdepan kami dan sebagian besar dari penggunaan agen pengodean internal⁠. Monitor ini tidak dijalankan pada evaluasi dalam insiden ini.

Dalam evaluasi retrospektif, kami mendapati bahwa monitor CoT kami sangat efektif dalam menandai aktivitas yang terkait dengan insiden tersebut. Jika sistem pemantauan rantai pemikiran kami yang saat ini diterapkan berjalan pada saat insiden, sistem tersebut kemungkinan akan mengirim panggilan kepada tim keamanan kami dalam waktu satu jam setelah akses pertama tanpa izin oleh pihak ketiga. Ini terjadi lebih dari 30 jam sebelum para model menembus sistem Hugging Face. Kami juga sedang berupaya untuk semakin mengurangi latensi peringatan ini.

Ketiga, meskipun kami telah menguji dan memvalidasi sandbox ini, agen-agen tersebut mampu merangkai kerentanan yang sebelumnya tidak diketahui (“0-day”) dalam layanan manajemen paket yang terekspos di dalam sandbox untuk melewati pembatasan, sebagaimana dirinci dalam laporan insiden teknis. Sejak insiden tersebut, kami telah membuat kemajuan signifikan dalam memperkuat keamanan sandbox internal kami guna membatasi jenis risiko serupa selama penyebaran dan evaluasi.

Misi OpenAI adalah memastikan bahwa kecerdasan umum buatan bermanfaat bagi seluruh umat manusia. Perilaku model kami yang dijelaskan di sini jauh dari standar yang kami inginkan. Insiden ini seharusnya tidak terjadi. Insiden ini mengungkapkan betapa pentingnya kami terus meningkatkan keamanan, pemantauan, dan keselarasan kami, terutama ketika model kami mencapai tingkat kapabilitas yang dapat memungkinkan terjadinya kehilangan kendali secara nyata.

Seperti yang kami sampaikan dalam pembaruan terbaru kami tentang pengembangan model pacing⁠, kami menerapkan jeda dalam pelatihan reinforcement learning (RL) pada model terbaru kami yang ditujukan untuk penerapan. Kami memanfaatkan waktu ini untuk semakin memperkuat keamanan lingkungan riset terdepan kami dan melakukan pengujian red team. Kami mengalihkan staf untuk bekerja pada keamanan, keselamatan, dan penyelarasan. Pelaksanaan RL terdepan terbesar yang kami rencanakan masih ditangguhkan sementara kami melakukan pelatihan dan evaluasi berskala lebih kecil untuk menilai perilaku model, memvalidasi langkah pengamanan, dan memperoleh lebih banyak bukti penyelarasan sebelum melanjutkan. Pekerjaan ini memerlukan upaya rekayasa yang besar, dengan biaya yang signifikan dan penundaan terhadap riset terdepan.

Seperti yang dibahas dalam laporan kami, respons kami berfokus pada penguatan keamanan dan pemantauan riset, percepatan penyelarasan model, serta peningkatan cara kami mengidentifikasi, mengeskalasi, dan merespons insiden.