Mengatur laju pengembangan model di era kemampuan siber kritis

Dalam beberapa minggu terakhir, dua perkembangan menegaskan meningkatnya risiko yang terkait dengan sistem AI yang semakin canggih: insiden OpenAI-Hugging Face dan, secara terpisah, bukti awal bahwa salah satu model kami yang akan datang, Astra, mungkin mencapai ambang batas kemampuan keamanan siber Kritis berdasarkan Kerangka Kerja Kesiapan kami. Kedua perkembangan ini, ditambah kemajuan pesat dalam riset internal kami, telah meningkatkan urgensi upaya kami untuk memperkuat langkah pengamanan dalam pemantauan, penyelarasan, dan pembatasan di seluruh tahap proses pelatihan.

Seiring meningkatnya kemampuan model, risiko yang terkait dengan pengembangan dan pengujiannya secara internal juga bertambah. Standar pemantauan, penyelarasan, dan keamanan kami harus selalu selangkah lebih maju dari risiko tersebut. Kami ingin menyediakan waktu yang diperlukan untuk memenuhi standar tersebut, sehingga untuk sementara kami memperlambat laju peningkatan skala. Langkah ini mencakup penghentian sementara selama dua minggu atas pelatihan reinforcement learning (RL) pada model terbaru kami yang ditujukan untuk penerapan, selagi kami semakin memperkuat dan melakukan pengujian red team pada lingkungan riset serta memperluas cakupan sistem pemantauan kami. Proses RL terdepan terbesar yang kami rencanakan masih ditangguhkan sementara kami melakukan pelatihan dan evaluasi berskala lebih kecil untuk menilai perilaku model, memvalidasi langkah pengamanan, dan memperoleh lebih banyak bukti keselarasan sebelum melanjutkan.

Penyelarasan—upaya untuk memastikan sistem AI berperilaku sebagaimana dimaksud dan tanggap terhadap pengawasan manusia—telah lama menjadi inti program riset kami. Kini kami mensyaratkan bukti yang lebih kuat tentang perilaku yang selaras sepanjang seluruh proses pelatihan, dengan melanjutkan riset dan evaluasi yang sudah berjalan. Menjaga agar sistem yang semakin canggih tetap selaras merupakan tantangan yang harus diatasi oleh seluruh bidang ini. Sinyal dari kemajuan model mendatang menunjukkan dengan jelas bahwa kami memerlukan pendekatan yang lebih luas—pendekatan yang dikembangkan dari dan melampaui Kerangka Kerja Kesiapan saat ini.

Kami menganggap transparansi mengenai perubahan pendekatan kami sebagai hal yang penting. Di bawah ini, kami menjelaskan perubahan yang telah diterapkan pada proses dan infrastruktur riset kami, serta pekerjaan yang masih berlangsung.

Pendekatan kami untuk mengembangkan model yang lebih canggih bertumpu pada tiga langkah pengamanan yang saling memperkuat:

1. Pemantauan, yang mendeteksi perilaku mengkhawatirkan dan memungkinkan kami menanggapinya.
2. Penyelarasan, yang mengurangi kemungkinan tindakan berbahaya atau tanpa izin.
3. Langkah keamanan, yang membatasi apa yang dapat diakses atau dipengaruhi oleh sistem AI.

Kami memperkirakan model akan segera menangani sebagian besar pekerjaan keamanan, termasuk pertahanan terhadap model lain. Hal ini akan memungkinkan ketiga langkah pengamanan berkembang seiring kemampuan model, sesuatu yang kami anggap sangat penting.

Kami menerapkan langkah-langkah pengamanan ini di seluruh tahap riset dan penerapan, dengan menyesuaikannya terhadap kemampuan, lingkungan operasi, dan tingkat risiko setiap model.

Seiring meningkatnya kemampuan keamanan siber model terdepan, kami menaikkan standar keamanan bagi lingkungan tempat kami melatih dan mengevaluasinya. Pemenuhan standar ini memerlukan pekerjaan rekayasa yang besar serta menimbulkan biaya tinggi dan penundaan pada riset terdepan. Segera setelah insiden OpenAI-Hugging Face*, kami menghentikan sementara inferensi model terdepan di klaster riset untuk proses yang dapat mengeksekusi kode atau menggunakan alat yang dapat mengakses internet. Kami cukup cepat memulihkan jalur eksekusi kode yang lebih terbatas dan aman, lalu memeriksa setiap beban kerja satu per satu untuk menentukan apakah pekerjaan tersebut dapat dilanjutkan dengan aman. Sebagian beban kerja riset dilanjutkan dengan kendali baru ini, sedangkan sebagian lainnya memerlukan perubahan tambahan.

Selama beberapa minggu berikutnya, kami menetapkan dan mulai menerapkan persyaratan keamanan yang lebih ketat untuk beban kerja riset terdepan. Contohnya:

• Isolasi beban kerja: Kini kami mewajibkan isolasi yang lebih kuat («sandbox») untuk beban kerja yang mengeksekusi kode buatan model atau kode lain yang tidak tepercaya. Hal ini juga berlaku bagi perangkat lunak yang dapat disusupi saat memproses keluaran model.
• Isolasi jaringan: Kami telah menerapkan lebih banyak kendali untuk mengisolasi beban kerja berisiko tinggi dan tidak tepercaya dari internet. Kami merancang kendali ini agar satu insiden penyusupan terhadap beban kerja atau layanan pendukung tidak serta-merta memungkinkan akses tanpa izin ke internet atau jaringan internal lainnya.
• Pengujian keamanan berkelanjutan: Kami telah mengonfigurasi ulang lingkungan kami untuk menghapus layanan bersama yang berpotensi rentan, mengurangi hak akses permanen, serta meningkatkan batas keamanan dan kepercayaan. Kami juga meningkatkan kemampuan untuk mengumpulkan dan memantau log keamanan. Terakhir, kami berinvestasi dalam otomatisasi yang menggunakan model kami untuk terus menguji batas-batas ini terhadap serangan simulasi.

Secara keseluruhan, kendali ini menyediakan pertahanan berlapis dan membantu melindungi lingkungan riset kami dari serangan. Saat ini, kami mewajibkan tingkat langkah pengamanan paling ketat untuk beban kerja yang melibatkan Astra atau model siber karena kami telah menentukan bahwa model Astra mungkin memiliki kemampuan siber tingkat kritis. Langkah pengamanan ini juga berlaku bagi semua beban kerja lain yang berkaitan dengan siber.

Meskipun sebagian pelatihan dan evaluasi Astra memenuhi persyaratan tersebut, banyak beban kerja tetap dihentikan sementara hingga sepenuhnya dimigrasikan dan ditingkatkan agar memenuhi standar keamanan baru. Kami memprioritaskan migrasi beban kerja keselamatan dan penyelarasan ke lingkungan baru ini.

Pemantauan telah lama menjadi bagian penting dari proses pengembangan model kami, termasuk pemantauan agen pengodean internal dan sesi berdurasi panjang. Upaya pemantauan kami terutama berfokus pada penerapan internal model terdepan dan proses pelatihan RL terdepan, yang kami anggap sebagai beban kerja berisiko tertinggi karena dapat menggabungkan kemampuan model tingkat lanjut dengan akses ke alat, sistem sensitif, serta jaringan internal atau eksternal. Pemantauan tersebut tidak diterapkan pada semua proses inferensi dan pelatihan yang menggunakan alat. Kami telah merevisi dan memperluas pendekatan melalui sistem pemantauan baru.

Sistem pemantauan baru ini terdiri dari beberapa tahap, dimulai dengan pengklasifikasi aktivasi (detektor yang memeriksa aktivitas internal model) yang berjalan pada setiap token sampel dan meneruskan potensi masalah kepada penyelidik otomatis yang semakin canggih dan membutuhkan komputasi tinggi. Sistem tersebut memeriksa tindakan alat, penalaran yang tersedia, dan seluruh rangkaian aktivitas untuk mendeteksi akses tanpa izin, pencurian data, perilaku merusak, serta upaya mengakali langkah pengamanan. Kami menargetkan penerbitan peringatan dalam waktu 30 menit setelah aktivitas mengkhawatirkan terungkap melalui sistem pemantauan kami. Jika sistem pemantauan mengidentifikasi kemungkinan pelanggaran terhadap batas keamanan kritis, sistem akan menghasilkan peringatan berprioritas tertinggi. Dalam implementasi saat ini, tim keselamatan, keamanan, dan riset akan menerima pemberitahuan panggilan. Jika dalam waktu 30 menit mereka tidak dapat memastikan bahwa tanda tersebut merupakan positif palsu, tim-tim itu harus menghentikan aktivitas tersebut.

Pemantauan ini diwajibkan untuk semua pelatihan dan evaluasi RL yang melibatkan alat bagi model dengan kemampuan setingkat Sol atau lebih tinggi. Setelah menentukan pada 7 Agustus bahwa Astra mungkin memiliki kemampuan siber kritis, kami menambahkan persyaratan pemantauan bagi semua inferensi Astra yang menggunakan alat (bukan hanya pelatihan dan evaluasi RL).

Langkah pengamanan ini memerlukan komputasi yang tidak sedikit. Menurut perkiraan kami saat ini, beban tambahan pemantauan mencapai sekitar 20% dari komputasi inferensi yang dipantau, meskipun biayanya sangat bervariasi antar-beban kerja pelatihan dan evaluasi. Kami akan membagikan detail selengkapnya tentang sistem ini dalam postingan blog mendatang.

Riset penyelarasan merupakan bagian utama dari misi kami. Misi kami adalah memastikan kecerdasan umum buatan memberi manfaat bagi seluruh umat manusia. Seiring model memperoleh kemampuan tingkat lanjut, seperti kemampuan melakukan serangan siber, dan beroperasi di lingkungan yang lebih kompleks, perilaku yang tidak selaras seperti manipulasi reward (mencari cara memperoleh reward tinggi dalam pelatihan tanpa benar-benar mencapai hasil yang dimaksud), penipuan, atau akses tanpa izin akan menimbulkan risiko yang semakin serius.

Untuk proses RL pada model paling canggih, kini kami menerapkan teknik penyelarasan inti pada lebih banyak tahap dalam proses pelatihan. Langkah ini mencakup penyempurnaan model reward agar lebih baik dalam mendeteksi dan menghambat perilaku tidak aman di berbagai tugas dan lingkungan; melatih model agar lebih jujur mengenai tindakan, kemampuan, dan keterbatasannya; serta mengurangi perilaku yang mengeksploitasi kelemahan pada reward, penilai, alat, atau pengawasan. Kami juga memperluas cakupan pelatihan untuk perilaku yang dapat menimbulkan bahaya ketika model berinteraksi dengan sistem atau sumber daya eksternal.

Kami terus berinvestasi secara agresif dalam riset penyelarasan, memperluas cakupan evaluasi, dan memanfaatkan pembelajaran yang diperoleh untuk menyempurnakan pelatihan serta langkah pengamanan. Dalam waktu dekat, kami berencana membagikan lebih banyak informasi tentang riset penyelarasan kami, termasuk hal-hal yang kami pelajari mengenai perilaku model dan setiap tantangan baru yang kami temukan.

Kami akan mengembangkan Kerangka Kerja Kesiapan untuk menyatukan langkah-langkah pengamanan ini di seluruh proses pelatihan dan penerapan, serta mencerminkan dengan lebih baik kemampuan model masa depan dan lingkungan operasinya. Pengembangan metode yang dapat meningkat seiring kemampuan tersebut memerlukan investasi berkelanjutan dalam keamanan berbantuan model, pemantauan yang lebih efektif, dan kemajuan lanjutan dalam riset penyelarasan. Kami berniat melibatkan organisasi eksternal dan membagikan lebih banyak pembelajaran seiring berkembangnya pendekatan kami.

Kemampuan model terdepan meningkat pesat. Kemampuan kami untuk memahami, menyelaraskan, dan mengamankannya harus selalu selangkah lebih maju.

*Kami akan menerbitkan laporan teknis mengenai pembelajaran kami dalam beberapa minggu mendatang.