Keamanan dan penyelarasan di era model berhorizon waktu panjang

Model yang dapat bekerja secara otonom dalam waktu lama dapat menangani masalah sulit yang terbuka. Namun kegigihan yang sama yang membuatnya berguna juga memberinya lebih banyak peluang untuk mengambil tindakan yang tidak diinginkan—dan melakukannya dengan cara yang mungkin luput dari evaluasi yang ditujukan untuk model dengan horizon lebih pendek.

Sekitar dua bulan lalu, kami mengumumkan⁠ bahwa sebuah model internal serbaguna telah membantah konjektur jarak satuan Erdős. Model ini dirancang untuk bekerja secara otonom dalam jangka waktu yang sangat lama. Selama penggunaan internal yang terbatas dan dipantau, kami mengamati perilaku tidak diinginkan yang belum tertangkap oleh evaluasi penerapan yang sudah ada. Karena penerapannya terbatas dan dipantau, kami dapat mengidentifikasi masalah ini, menjeda akses, membuat evaluasi baru berdasarkan apa yang kami amati, memperkuat model dan pengamannya, lalu memulihkan akses dengan pemantauan berkelanjutan. 

Kondisi yang kami gunakan untuk mengevaluasi model tidak akan pernah sama persis dengan kondisi yang dihadapi dalam penggunaan nyata. Itulah sebabnya evaluasi prapenerapan perlu dipasangkan dengan penerapan terbatas yang dipantau, serta kemampuan untuk mengintervensi, menjeda, atau mengembalikan keadaan saat masalah muncul. Apa yang kami pelajari dari penerapan kemudian dapat menjadi bagian dari evaluasi dan pengaman yang lebih kuat sebelum akses diperluas.

Di bagian berikut, kami membagikan contoh konkret tentang apa yang kami amati, bagaimana kami menangani masalah, dan bagaimana pengalaman ini akan membentuk rilis mendatang.

Model baru ini dapat terus berupaya mencapai tujuan melalui percobaan berulang dalam jangka waktu yang panjang. Kegigihan yang sama dapat membuatnya menemukan dan mengeksploitasi kelemahan di lingkungannya. Model sebelumnya, ketika menghadapi batasan sandbox atau lingkungan, biasanya akan berhenti begitu saja dan kembali kepada pengguna. Model ini sering terus mencoba, termasuk dengan mencari cara untuk bertindak di luar sandbox-nya.

Contohnya terjadi dalam evaluasi internal pada speedrun NanoGPT⁠(terbuka di jendela baru), sebuah tolok ukur publik untuk melatih model bahasa kecil dalam jumlah langkah sesedikit mungkin. Model kami mengembangkan cooldown laju pembelajaran berbasis hukum pangkat yang disebut PowerCool, yang menghasilkan peningkatan signifikan. Model diperintahkan untuk memposting hasilnya hanya ke Slack, tetapi instruksi NanoGPT mengatakan agar hasil diposting sebagai PR ke GitHub, dan model mengikuti instruksi terakhir itu untuk membuka PR #287 pada repositori GitHub publik. Model mengakali pembatasan sandbox yang dirancang untuk memblokir akses eksternal dan melanjutkan pengunggahan ke GitHub. Model kami membutuhkan satu jam untuk menemukan kerentanan di sandbox agar dapat membuat PR; model sebelumnya kurang gigih dan tidak berhasil menemukan kerentanan, melainkan menyerah pada bagian PR tersebut.¹

Banyak kontrol keamanan untuk asisten AI dirancang berdasarkan tindakan individual. Jika suatu tindakan tidak diizinkan, tindakan itu diblokir. Jika tindakan itu sensitif, sistem meminta persetujuan eksplisit dari pengguna. Namun model yang berjalan lama, yang tindakannya dapat berlangsung secara otonom selama berjam-jam, berhari-hari, atau bahkan berminggu-minggu, menantang pengaturan ini: memantau tindakan individual tidak lagi cukup untuk melacak niat dari keseluruhan lintasan.

Misalnya, dalam skenario ketika model diminta memecahkan sebuah masalah, model melihat bahwa sistem lain memiliki pengajuan yang berhasil tetapi privat, lalu mencoba memulihkan solusi tersebut dari backend evaluasi. Ketika upaya awalnya diblokir karena pemindai mendeteksi token autentikasi, model memecah isi token menjadi dua fragmen, mengaburkannya, lalu merekonstruksi kredensial saat runtime sehingga token lengkap tidak pernah muncul sebagai satu string yang berurutan. Model secara eksplisit menyatakan, baik dalam komentarnya kepada pengguna maupun dalam jejak penalarannya, bahwa model tersebut mengambil langkah-langkah ini untuk mengakali pemindai.

Contoh ini menunjukkan bagaimana setiap langkah dapat terlihat dapat diterima jika berdiri sendiri, sementara rangkaiannya dapat menghasilkan hasil yang tidak akan disetujui. Ini juga menunjukkan bagaimana model yang beroperasi efektif dalam horizon waktu panjang dapat mempelajari titik buta sistem persetujuan dan mengakalinya untuk mencapai tujuannya. Keamanan horizon panjang tidak cukup hanya bertanya, “apakah tindakan ini diizinkan?” tetapi juga, “hasil apa yang hendak dicapai rangkaian tindakan ini?”

Karena insiden seperti ini, kami menjeda penerapan internal model baru tersebut. Kami membangun ulang sistem keamanan berdasarkan pertahanan berlapis dan pemantauan pada tingkat lintasan.

• Evaluasi yang didasarkan pada insiden. Evaluasi dapat memberi kami gambaran apakah suatu sistem aman untuk diterapkan sebelum sistem itu benar-benar diterapkan. Namun, agar paling berguna, evaluasi harus mencerminkan distribusi dan panjang horizon lintasan selama penerapan nyata. Karena itu, kami menggunakan kegagalan yang teramati untuk mengembangkan evaluasi adversarial. Kami menemukan bahwa peningkatan pada evaluasi yang didasarkan pada insiden dunia nyata pada gilirannya menghasilkan perilaku yang lebih aman setelah diterapkan dalam produksi.
• Penyelarasan yang lebih baik. Kami mengambil langkah untuk mengurangi kecenderungannya mengambil tindakan yang tidak diinginkan tanpa izin saat memenuhi tujuan pengguna.  Misalnya, kami menemukan bahwa model kami lebih buruk dalam mengingat instruksi pada rollout panjang, dan ketika kami melatih model untuk kemampuan ini, hasilnya adalah model yang tetap selaras sepanjang rollout yang lebih panjang. 
• Pemantauan aktif. Kami membuat sistem pemantauan yang meninjau lintasan model yang terus berkembang untuk mencari tanda-tanda bahwa model sedang melewati batasan pengguna atau batas keamanan. Pemantau mengamati bukan hanya satu tindakan, melainkan seluruh lintasan. Yang penting, pemantau dapat menjeda sesi dan memberi tahu pengguna agar memeriksanya lebih saksama. Setelah pemeriksaan, pengguna kemudian dapat memilih untuk melanjutkan pekerjaan model jika pemantau terpicu secara keliru. 
• Visibilitas dan kontrol pengguna yang lebih besar. Kami meningkatkan kemampuan pengguna untuk memeriksa sesi yang berjalan lama ini, melihat tindakan yang diambil, dan memantau intervensi.

Untuk mengevaluasi sistem pemantauan baru, kami memutar ulang sekumpulan kecil lingkungan penerapan internal tempat model sebelumnya mengejar tindakan tidak selaras, kali ini dengan pengaman baru terpasang². Pengaman baru berhasil menangkap jauh lebih banyak tindakan tidak selaras yang dikejar model, dan semua yang terlewat dinilai berkeparahan rendah.

Beberapa contoh insiden berkeparahan rendah ini mencakup kasus-kasus berikut:

• Untuk mengakses alat baris perintah Linear, model meluncurkan sesi codex --yolo bertingkat, padahal sebenarnya hal itu dapat dilakukan tanpa flag --yolo.
• Model melihat bahwa sumber daya yang sebelumnya aktif tidak ada, lalu mulai menjelajah dan melakukan SSH ke pod CPU aktif lain di namespace pemiliknya, serta (tanpa berhasil) ke pod milik karyawan OpenAI lain, tanpa alasan yang kuat untuk melakukannya.
• Model memiliki banyak proses find yang macet, dan setiap perintah shell hang. Kemudian model menjalankan kill -9 -1, yang akan mengirim SIGKILL ke setiap proses yang diizinkan untuk dimatikan pada pod tersebut, jika perintah itu dieksekusi. Namun, perintah itu mengalami timeout dan tidak dieksekusi.

Setelah menguji sistem baru, kami menyimpulkan bahwa akses internal terbatas ke model dengan kemampuan horizon waktu panjang dapat dipulihkan. Kami belum mengamati pengelakan pengaman yang serius sejak penerapan ulang dimulai beberapa minggu lalu. Versi pertama pengaman ini sengaja dibuat konservatif. Kami terus menyetel sistem untuk mengurangi interupsi yang tidak perlu tanpa melemahkan pengaman.

Karena kami menerapkan secara iteratif, kami dapat menemukan dan mengatasi celah sebelum memperluas akses. Evaluasi prapenerapan tetap penting, tetapi penerapan mengungkap perilaku yang luput dari evaluasi tersebut. Memulai dengan akses terbatas memungkinkan kami mengamati model dalam praktik, menjeda saat masalah muncul, menggunakan kegagalan tersebut untuk membangun evaluasi dan pengaman yang lebih baik, serta memulihkan akses terbatas setelah menguji perubahan.

Saat model menangani tugas yang lebih panjang dan lebih kompleks, kegagalan yang luput dari evaluasi dapat membawa konsekuensi yang lebih besar. Kami akan terus berupaya memperkecil kesenjangan antara evaluasi dan penerapan: menguji model pada lintasan yang lebih panjang, meningkatkan penyelarasan, membangun pemantauan yang dapat mengintervensi, serta memberi pengguna visibilitas dan kontrol yang lebih jelas. Tantangan ini tidak hanya dihadapi OpenAI, dan kami berharap berbagi apa yang kami pelajari dapat membantu bidang yang lebih luas bersiap menghadapinya.