Control Room

Seiring meningkatnya kemampuan model kami dan membesarnya risiko keselamatan serta keamanan yang menyertainya, kemampuan untuk mendeteksi potensi masalah dan segera menghentikan model saat diperlukan menjadi semakin penting. Untuk menjawab kebutuhan ini, kami membangun Control Room.

Control Room adalah sistem pusat untuk melacak beban kerja model di seluruh infrastruktur riset kami dan menghentikannya dengan cepat ketika muncul masalah keselamatan atau keamanan. Sistem ini menghubungkan setiap beban kerja inferensi riset, termasuk pengambilan sampel berbasis agen untuk pelatihan dan evaluasi model, pemrosesan data, dan lainnya. Sistem ini bekerja bersama sistem pemantauan ketidakselarasan kami dan menghentikan keluaran model dalam 35 detik sejak keputusan intervensi dibuat untuk menghentikan atau menjeda tugas. Sistem ini dibangun agar tetap berfungsi meskipun sistem lain gagal, dan agar keluaran model dihentikan jika Control Room sendiri berhenti berfungsi.

Control Room sudah diterapkan di seluruh infrastruktur riset kami, tempat sistem ini paling dibutuhkan. Tumpukan teknologi kami untuk melayani model bagi pengguna eksternal pada dasarnya sudah jauh lebih terpusat, dengan kemampuan operasional yang matang untuk menonaktifkan penerapan model dengan cepat jika diperlukan.

Control Room bekerja dengan mengintegrasikan beberapa sistem: beban kerja, mesin inferensi, dan layanan Control Room yang terpusat.

• Beban kerja adalah tugas yang dijalankan, seperti eksperimen reinforcement learning, evaluasi, pengambilan sampel bervolume tinggi, atau pemrosesan data. Kami mewajibkan setiap beban kerja riset yang melakukan inferensi berbasis agen untuk dikaitkan dengan argumen keselamatan yang telah disetujui.

• Mesin inferensi, atau cukup disebut mesin, adalah model itu sendiri. Mesin ini bisa diibaratkan sebagai otak model, yang berjalan langsung pada GPU. Sebuah beban kerja biasanya menggunakan satu atau beberapa model, yang dapat berjalan pada satu atau beberapa mesin inferensi yang berbeda. Mesin inferensi yang sama dapat digunakan oleh lebih dari satu beban kerja.

• Layanan Control Room melacak tugas dan mengendalikan apakah tugas tersebut diizinkan untuk terus menghasilkan keluaran model. Mesin memeriksa izin ke layanan Control Room sebelum memenuhi permintaan. Jika tugas telah dihentikan, layanan menolak permintaan tersebut sehingga tidak ada keluaran lebih lanjut.

Control Room diintegrasikan dengan cara berikut:

• Saat memulai tugas baru, kode beban kerja meminta job_id baru dari Control Room.

• Setiap kali beban kerja perlu mengambil sampel token dari model, kode tersebut mengirim permintaan ke mesin inferensi yang menjalankan model itu, dengan menyertakan job_id. Mesin meminta izin dari Control Room untuk memenuhi permintaan tersebut, dengan meneruskan job_id ke Control Room.

• Control Room memeriksa apakah tugas tersebut telah dihentikan. Jika ya, permintaan inferensi akan ditolak. Mesin menanggapi permintaan inferensi dari beban kerja dengan penolakan, sehingga tidak ada lagi keluaran model yang dihasilkan untuk tugas tersebut.

Semua tugas reinforcement learning model terdepan kami dijalankan dengan pemantau. Pemantau adalah model lain yang memeriksa semua aktivitas model yang sedang dilatih dan mengeluarkan peringatan jika mendeteksi masalah. Sebagai contoh, insiden terkait DNS⁠(terbuka di jendela baru) yang kami alami baru-baru ini terdeteksi oleh pemantau.

Control Room dan sistem pemantauan kami diintegrasikan dengan cara berikut:

• Jika sistem pemantauan mendeteksi potensi masalah, sistem tersebut dapat memutuskan untuk menghentikan tugas, tergantung pada detail dan tingkat keparahannya.

• Dalam kasus ini, sistem pemantauan mengirim pesan ke Control Room untuk menghentikan tugas, dengan menyertakan job_id. Control Room mencatat bahwa tugas tersebut telah dihentikan.

• Saat tugas dengan job_id tersebut kembali mengirim permintaan inferensi untuk mengambil sampel token tambahan dari model mana pun yang berjalan pada mesin mana pun, permintaan itu akan ditolak sehingga tidak ada lagi keluaran model.

Waktu maksimum sejak Control Room menerima instruksi untuk menghentikan tugas hingga tugas tersebut tidak bisa lagi melanjutkan pemrosesan adalah 35 detik. Jeda 35 detik ini berasal dari lapisan cache untuk otorisasi inferensi, yang diperlukan untuk menangani volume lalu lintas yang ada. Kami sedang berupaya memangkas waktu ini hingga nol agar tugas dapat dihentikan seketika.

Beban kerja, termasuk eksperimen, tugas evaluasi, dan sebagainya, biasanya dimiliki dan dijalankan oleh peneliti atau tim peneliti. Akibatnya, kode beban kerja sering berubah dan bukan tempat yang ideal untuk menerapkan perlindungan yang menjadi tumpuan utama keselamatan. Karena itu, implementasi kami dirancang agar tetap andal meskipun kode beban kerja mengandung bug atau tidak berfungsi.

Kami mewujudkannya dengan menerapkan mekanisme penghentian pada lapisan inferensi. Kode beban kerja sangat beragam dan terdesentralisasi. Sebaliknya, hanya ada sedikit jalur kode inferensi yang digunakan di seluruh riset OpenAI, dan penerapannya jauh lebih terpusat serta seragam. Artinya, lapisan inferensi dapat menjadi titik kendali yang memastikan dengan kuat bahwa seluruh inferensi model dalam riset harus melalui pemeriksaan otorisasi Control Room pada setiap permintaan inferensi. Kami juga terus melakukan pemeriksaan menyeluruh menggunakan agen dan secara terprogram untuk memastikan pengguna tidak menjalankan implementasi mesin yang tidak sah tanpa Control Room atau dengan Control Room dinonaktifkan, baik secara tidak sengaja maupun dengan niat jahat.

Terakhir, sistem kami “menolak akses saat gagal”. Artinya, integrasi Control Room pada mesin dikonfigurasi sedemikian rupa sehingga jika layanan Control Room berhenti berfungsi—baik akibat kesalahan sistem maupun karena dinonaktifkan atas alasan lain, termasuk sabotase oleh pihak jahat—semua permintaan inferensi akan ditolak hingga Control Room kembali beroperasi normal. Mekanisme penolakan akses saat gagal kini sudah diterapkan pada semua beban kerja riset model terdepan, dan penerapannya pada seluruh beban kerja riset lainnya akan selesai dalam beberapa hari ke depan.

Control Room hanyalah salah satu bagian dari pendekatan menyeluruh kami untuk melatih dan menerapkan model terdepan dengan aman. Kami akan terus memperkuat dan memperluas sistem ini dalam beberapa bulan mendatang, seiring dengan investasi kami dalam pemantauan perilaku yang tidak selaras dan pelanggaran keamanan. Jika Anda ingin membantu membangun sistem untuk pengembangan dan penerapan AGI yang aman serta terlindungi, kami sedang⁠ membuka lowongan⁠!