Control Room
Nalika model kita saya kuwat lan risiko kaslametan lan keamanan sing gegandhengan saya gedhe, kemampuan kanggo ndeteksi potensi masalah lan cepet mungkasi model nalika dibutuhake dadi saya wigati. Kanggo ngrampungake iki, kita mbangun Control Room.
Control Room yaiku sistem pusat kanggo nglacak beban kerja model ing saindenging infrastruktur riset kita lan cepet mungkasi nalika ana masalah kaslametan utawa keamanan. Sistem iki nyambungake saben beban kerja inferensi riset, kalebu pangambilan sampel dening agen kanggo latihan lan evaluasi model, pangolahan data, lan liyane. Sistem iki makarya bebarengan karo sistem pangawasan ketidakselarasan kita, lan mungkasi output model sajrone 35 detik sawise ana keputusan kanggo campur tangan kanthi mungkasi utawa ngasoake tugas. Sistem iki dibangun supaya tetep bisa mlaku sanajan sistem liyane gagal, lan supaya mungkasi output model yen Control Room dhewe mandheg.
Control Room wis ditrapake ing saindenging infrastruktur riset kita, papan sing paling mbutuhake sistem iki. Susunan teknologi kanggo nglayani model marang pangguna eksternal wis luwih kapusat saka rancangane, kanthi kemampuan operasional sing wis mateng kanggo cepet mateni model sing ditrapake yen dibutuhake.
Control Room makarya kanthi nggabungake sawetara sistem: beban kerja, mesin inferensi, lan layanan Control Room sing kapusat.
Beban kerja yaiku tugas sing lagi dilakokake, kayata eksperimen sinau penguatan, evaluasi, pangambilan sampel kanthi volume gedhe, utawa tugas pangolahan data. Kita mbutuhake saben beban kerja riset sing nindakake inferensi agen digandhengake karo argumentasi kaslametan sing wis disetujoni.
Mesin inferensi, utawa cukup diarani mesin, yaiku model iku dhewe. Mesin bisa dianggep minangka uteke model, sing mlaku langsung ing GPU. Beban kerja biasane nggunakake siji utawa luwih model, sing bisa mlaku ing siji utawa luwih mesin inferensi sing beda. Mesin inferensi sing padha bisa digunakake dening luwih saka siji beban kerja sing beda.
Layanan Control Room nglacak tugas lan ngatur apa tugas kasebut diidini nerusake ngasilake output model. Mesin mriksa idin menyang layanan Control Room sadurunge netepi panjaluk. Yen tugas wis dipungkasi, layanan kasebut nolak panjaluk supaya ora ana output maneh.
Control Room digabungake kanthi cara iki:
Nalika miwiti tugas anyar, kode beban kerja njaluk job_id anyar saka Control Room.
Saben beban kerja perlu njupuk sampel token saka model, kode kasebut ngirim panjaluk menyang mesin inferensi sing nglakokake model kasebut, kanthi nyertakake job_id. Mesin njaluk idin saka Control Room kanggo netepi panjaluk kasebut, kanthi nerusake job_id menyang Control Room.
Control Room mriksa apa tugas kasebut wis dipungkasi. Yen wis, panjaluk inferensi kasebut ditolak. Mesin nanggapi panjaluk inferensi saka beban kerja kanthi panolakan, supaya ora ana output model maneh sing diasilake kanggo tugas kasebut.
Cara kerja Control Room
Tugas riset
Mesin inferensi
Nglakokake model ing GPU
Control Room
- job_039, aktif
- job_040, aktif
- job_041, aktif
Kabeh tugas sinau penguatan kanggo model tercanggih kita dilakokake kanthi pangawas. Pangawas yaiku model liyane sing mriksa kabeh tumindak model sing lagi dilatih, lan menehi tandha yen ndeteksi masalah. Contone, kedadeyan sing gegandhengan karo DNS(mbukak ing jendhela anyar) sing durung suwe iki dideteksi dening pangawas.
Control Room lan sistem pangawasan kita digabungake kanthi cara iki:
Yen sistem pangawasan ndeteksi potensi masalah, sistem kasebut bisa mutusake kanggo mungkasi tugas, gumantung rincian lan sepira abote masalah.
Ing kahanan iki, sistem pangawasan ngirim pesen menyang Control Room kanggo mungkasi tugas, kanthi nyertakake job_id. Control Room nyathet yen tugas wis dipungkasi.
Sabanjure, yen tugas kanthi job_id kasebut ngirim panjaluk inferensi kanggo njupuk sampel token maneh saka model apa wae sing mlaku ing mesin apa wae, panjaluk kasebut bakal ditolak, supaya ora ana output model maneh.
Wektu paling suwe saka nalika Control Room nampa prentah kanggo mungkasi tugas nganti tugas kasebut ora bisa nerusake proses maneh yaiku 35 detik. Jeda 35 detik iki asale saka lapisan cache kanggo otorisasi inferensi, sing dibutuhake kanggo nangani volume lalu lintas panjaluk. Kita lagi ngupaya nyuda wektu iki nganti nol supaya bisa mungkasi tugas kanthi sanalika.
Beban kerja, kalebu eksperimen, tugas evaluasi, lan sapiturute, biasane diduweni lan dioperasikake dening panaliti utawa tim panaliti. Mula, kode beban kerja kerep owah lan dudu papan sing cocog kanggo ngetrapake pangayoman sing dadi tumpuan utama kaslametan. Mula saka iku, implementasi kita dirancang supaya tetep bisa digunakake sanajan kode beban kerja ngandhut bug utawa rusak.
Iki kita wujudake kanthi ngetrapake mekanisme kanggo mungkasi tugas ing lapisan inferensi. Kode beban kerja maneka warna banget lan ora kapusat. Kosok baline, jalur kode inferensi sing digunakake ing kabeh riset OpenAI mung sithik banget, lan penerapane luwih kapusat lan seragam. Tegese, lapisan inferensi bisa dadi titik sing kudu diliwati kabeh panjaluk. Ing titik iki, kita bisa menehi jaminan sing kuwat yen kabeh inferensi model ing riset kudu liwat pamriksan otorisasi Control Room kanggo saben panjaluk inferensi. Kita uga terus nindakake pamriksan kanthi agen lan program kanggo mesthekake yen pangguna ora nglakokake implementasi mesin tanpa pangawasan sing durung ngetrapake utawa wis mateni Control Room, kanthi ora sengaja utawa kanthi niyat ala.
Pungkasan, sistem kita “nutup akses nalika gagal”. Tegese, integrasi Control Room ing mesin diatur supaya yen layanan Control Room mandheg—amarga kesalahan sistem utawa dipateni kanthi alesan apa wae, kalebu diutak-atik dening pihak sing nduweni niyat ala—kabeh panjaluk inferensi bakal ditolak nganti Control Room bisa mlaku normal maneh. Mekanisme nutup akses nalika gagal saiki wis ditrapake ing kabeh beban kerja riset model tercanggih, lan bakal rampung ditrapake ing kabeh beban kerja riset liyane sajrone sawetara dina sabanjure.
Control Room mung salah siji bagean saka pendekatan kita sing nyakup sakabehe aspek kanggo nglatih lan ngetrapake model tercanggih kanthi aman. Kita bakal terus nguwatake lan nggedhekake sistem iki ing sasi-sasi sabanjure, bebarengan karo investasi kita kanggo ngawasi tumindak sing ora selaras lan pelanggaran keamanan. Yen sampeyan kepengin mbantu mbangun sistem kanggo pangembangan lan penerapan AGI sing njaga kaslametan lan keamanan, kita lagi mbukak lowongan kerja!
