Control Room
Apabila model kami semakin berkuasa dan risiko keselamatan serta sekuriti yang berkaitan semakin besar, keupayaan untuk mengesan kemungkinan masalah dan segera menghentikan model apabila perlu menjadi semakin penting. Untuk menangani perkara ini, kami membina Control Room.
Control Room ialah sistem pusat untuk menjejak beban kerja model di seluruh infrastruktur penyelidikan kami dan menghentikannya dengan pantas apabila timbul kebimbangan keselamatan atau sekuriti. Sistem ini menghubungkan setiap beban kerja inferens penyelidikan, termasuk pensampelan berasaskan ejen untuk latihan dan penilaian model, pemprosesan data dan banyak lagi. Sistem ini berfungsi bersama sistem pemantauan ketidakselarasan kami dan menghentikan output model dalam masa 35 saat selepas keputusan dibuat untuk campur tangan bagi menghentikan atau menjeda tugasan. Sistem ini dibina untuk terus berfungsi walaupun sistem lain gagal, dan untuk menghentikan output model jika Control Room sendiri terhenti.
Control Room telah pun dilaksanakan di seluruh infrastruktur penyelidikan kami, tempat sistem ini paling diperlukan. Tindanan sistem kami yang menyediakan model kepada pengguna luar sememangnya jauh lebih berpusat, dengan keupayaan operasi yang mantap untuk menghentikan pelaksanaan model dengan pantas jika perlu.
Control Room berfungsi dengan menyepadukan beberapa sistem: beban kerja, enjin inferens dan perkhidmatan Control Room yang berpusat.
Beban kerja ialah tugasan yang dijalankan, seperti eksperimen pembelajaran pengukuhan, penilaian, pensampelan berskala besar atau pemprosesan data. Kami mewajibkan setiap beban kerja penyelidikan yang menjalankan inferens berasaskan ejen dikaitkan dengan kes keselamatan yang diluluskan.
Enjin inferens, atau ringkasnya enjin, ialah model itu sendiri. Anda boleh menganggap enjin sebagai otak model yang berjalan secara langsung pada GPU. Beban kerja biasanya menggunakan satu atau lebih model, yang mungkin berjalan pada satu atau lebih enjin inferens yang berbeza. Enjin inferens yang sama mungkin digunakan oleh lebih daripada satu beban kerja.
Perkhidmatan Control Room menjejak tugasan dan mengawal sama ada tugasan tersebut dibenarkan untuk terus menjana output model. Enjin membuat semakan dengan perkhidmatan Control Room sebelum memenuhi permintaan. Jika tugasan telah dihentikan, perkhidmatan tersebut menolak permintaan itu, sekali gus menghalang output selanjutnya.
Control Room disepadukan seperti berikut:
Apabila memulakan tugasan baharu, kod beban kerja meminta job_id baharu daripada Control Room.
Setiap kali beban kerja perlu mensampel token daripada model, beban kerja itu menghantar permintaan kepada enjin inferens yang menjalankan model tersebut, dengan menyertakan job_id. Enjin meminta kebenaran daripada Control Room untuk memenuhi permintaan tersebut, dengan menghantar job_id kepada Control Room.
Control Room menyemak sama ada tugasan itu telah ditamatkan. Jika ya, permintaan inferens tersebut ditolak. Enjin membalas permintaan inferens beban kerja itu dengan penolakan, sekali gus menghentikan penghasilan output model selanjutnya untuk tugasan tersebut.
Cara Control Room berfungsi
Tugasan penyelidikan
Enjin inferens
Menjalankan model pada GPU
Control Room
- job_039, aktif
- job_040, aktif
- job_041, aktif
Semua tugasan pembelajaran pengukuhan termaju kami dijalankan dengan pemantau. Pemantau ialah model lain yang memeriksa segala tindakan model yang sedang dilatih dan mengeluarkan amaran jika masalah dikesan. Sebagai contoh, insiden berkaitan DNS(dibuka dalam tetingkap baru) yang kami alami baru-baru ini dikesan oleh pemantau.
Control Room dan sistem pemantauan kami disepadukan seperti berikut:
Jika sistem pemantauan mengesan kemungkinan masalah, sistem itu boleh memutuskan untuk menghentikan tugasan, bergantung pada butiran dan tahap keseriusan masalah tersebut.
Dalam keadaan ini, sistem pemantauan menghantar mesej kepada Control Room untuk menghentikan tugasan, dengan menyertakan job_id. Control Room merekodkan bahawa tugasan itu telah ditamatkan.
Apabila tugasan dengan job_id tersebut membuat permintaan inferens seterusnya untuk mensampel lebih banyak token daripada mana-mana model yang berjalan pada mana-mana enjin, permintaan itu akan ditolak, sekali gus menghentikan output model selanjutnya.
Tempoh maksimum dari saat Control Room menerima arahan untuk menghentikan tugasan hingga saat tugasan itu tidak lagi boleh diteruskan ialah 35 saat. Kelewatan 35 saat ini berpunca daripada lapisan cache untuk kebenaran inferens, yang menyokong jumlah trafik yang diperlukan. Kami sedang berusaha mengurangkan tempoh ini kepada sifar supaya kami dapat menamatkan tugasan serta-merta.
Beban kerja, termasuk eksperimen, tugasan penilaian dan sebagainya, biasanya dimiliki dan dikendalikan oleh penyelidik atau pasukan penyelidik. Oleh itu, kod beban kerja kerap berubah dan bukan tempat yang ideal untuk melaksanakan perlindungan yang menjadi tunjang keselamatan. Atas sebab ini, pelaksanaan kami direka supaya kekal berfungsi walaupun kod beban kerja mempunyai pepijat atau rosak.
Kami mencapai matlamat ini dengan melaksanakan mekanisme penamatan pada lapisan inferens. Kod beban kerja sangat pelbagai dan tidak berpusat. Sebaliknya, hanya sebilangan kecil laluan kod inferens digunakan dalam seluruh penyelidikan OpenAI, dan pelaksanaannya jauh lebih berpusat dan seragam. Ini bermakna lapisan inferens boleh menjadi titik kawalan utama yang membolehkan kami memberikan jaminan kukuh bahawa semua inferens model yang dijalankan dalam penyelidikan tertakluk pada semakan kebenaran Control Room bagi setiap permintaan inferens. Kami juga menjalankan pemeriksaan berterusan menggunakan ejen dan program untuk memastikan pengguna tidak menjalankan pelaksanaan enjin tanpa kawalan, sama ada secara tidak sengaja atau dengan niat jahat, yang tidak menyepadukan Control Room atau menyahdayakannya.
Akhir sekali, sistem kami “menyekat akses apabila gagal”. Ini bermakna integrasi Control Room dalam enjin dikonfigurasi supaya jika perkhidmatan Control Room terhenti, sama ada akibat ralat sistem atau kerana dinyahdayakan atas sebab lain, termasuk pengusikan oleh pihak berniat jahat, semua permintaan inferens akan ditolak sehingga Control Room kembali beroperasi seperti biasa. Mekanisme sekatan akses apabila gagal kini telah dilaksanakan untuk semua beban kerja penyelidikan model termaju, dan pelaksanaannya untuk semua beban kerja penyelidikan yang selebihnya akan selesai dalam beberapa hari lagi.
Control Room hanyalah satu bahagian daripada pendekatan menyeluruh kami untuk melatih dan melaksanakan model termaju dengan selamat. Kami akan terus memperkukuh dan memperluas sistem ini dalam beberapa bulan akan datang, seiring dengan pelaburan kami dalam pemantauan tingkah laku yang tidak sejajar dan pelanggaran keselamatan. Jika anda ingin membantu membina sistem untuk pembangunan dan pelaksanaan AGI yang selamat dan terlindung, kami sedang mengambil pekerja!
