Control Room

Kadiri modeli zetu zinavyokuwa na uwezo mkubwa zaidi na hatari zinazohusiana na usalama na ulinzi zinavyoongezeka, ndivyo inavyozidi kuwa muhimu kuweza kugundua matatizo yanayoweza kutokea na kusimamisha modeli haraka inapohitajika. Ili kutatua hili, tuliunda Control Room.

Control Room ni mfumo mkuu wa kufuatilia kazi za modeli katika miundombinu yetu yote ya utafiti na kuzisimamisha haraka masuala ya usalama au ulinzi yanapoibuka. Unaunganisha kila kazi ya inferensi katika utafiti, ikiwemo uzalishaji wa sampuli kwa kutumia mawakala kwa ajili ya mafunzo na tathmini ya modeli, uchakataji wa data na mengineyo. Mfumo huu hufanya kazi pamoja na mifumo yetu ya kufuatilia tabia zisizolingana na malengo yaliyokusudiwa, na husimamisha uzalishaji wa matokeo ya modeli ndani ya sekunde 35 baada ya uamuzi wa kuingilia kati ili kukomesha au kusitisha kazi kwa muda. Umeundwa kuendelea kufanya kazi hata mifumo mingine inapoharibika, na kusimamisha uzalishaji wa matokeo ya modeli ikiwa Control Room yenyewe itaacha kufanya kazi.

Control Room tayari inatumika katika miundombinu yetu yote ya utafiti, ambako hitaji lake ni kubwa zaidi. Mifumo yetu ya kutoa huduma za modeli kwa watumiaji wa nje tayari inadhibitiwa zaidi kutoka sehemu moja kwa asili yake, na ina uwezo thabiti wa kiutendaji wa kuzima haraka modeli iliyowekwa katika matumizi inapohitajika.

Control Room hufanya kazi kwa kuunganisha mifumo michache: kazi, injini ya inferensi, na huduma kuu ya Control Room.

• Kazi ni shughuli inayoendeshwa, kama vile jaribio la mafunzo ya uimarishaji, tathmini, uzalishaji wa sampuli nyingi au uchakataji wa data. Tunataka kila kazi ya utafiti inayofanya inferensi kwa kutumia mawakala ihusishwe na hoja ya usalama iliyoidhinishwa.

• Injini ya inferensi, au kwa kifupi injini, ni modeli yenyewe. Unaweza kuifikiria injini kama ubongo wa modeli, unaoendeshwa moja kwa moja kwenye GPU. Kwa kawaida, kazi hutumia modeli moja au zaidi, ambayo inaweza kuwa inaendeshwa kwenye injini moja au zaidi za inferensi. Injini moja ya inferensi inaweza kutumiwa na kazi zaidi ya moja.

• Huduma ya Control Room hufuatilia kazi na kudhibiti iwapo zinaruhusiwa kuendelea kuzalisha matokeo ya modeli. Injini huomba idhini kutoka kwa huduma ya Control Room kabla ya kutekeleza ombi. Ikiwa kazi imesimamishwa, huduma hukataa ombi hilo, na kuzuia matokeo zaidi kuzalishwa.

Control Room huunganishwa kwa njia ifuatayo:

• Wakati wa kuanzisha kazi mpya, msimbo wa kazi huomba job_id mpya kutoka Control Room.

• Kila wakati kazi inapohitaji kuzalisha sampuli za tokeni kutoka kwa modeli, hutuma ombi kwa injini ya inferensi inayoendesha modeli hiyo, pamoja na job_id. Injini huomba ruhusa kutoka Control Room ya kutekeleza ombi hilo, ikituma pia job_id kwa Control Room.

• Control Room hukagua iwapo kazi hiyo imekomeshwa, na ikiwa imekomeshwa, hukataa ombi la inferensi. Injini hujibu ombi la inferensi la kazi hiyo kwa kulikataa, na kuzuia modeli kuzalisha matokeo zaidi kwa ajili ya kazi hiyo.

Kazi zetu zote za mafunzo ya uimarishaji ya modeli za kiwango cha juu zaidi huendeshwa pamoja na kifuatiliaji. Kifuatiliaji ni modeli nyingine inayokagua kila kitu kinachofanywa na modeli inayofunzwa, na kutoa tahadhari ikigundua tatizo. Kwa mfano, tukio letu la hivi karibuni lililohusiana na DNS⁠(fungua katika dirisha jipya) liligunduliwa na kifuatiliaji.

Control Room na mfumo wetu wa ufuatiliaji huunganishwa kwa njia ifuatayo:

• Mfumo wa ufuatiliaji ukigundua tatizo linaloweza kutokea, unaweza kuamua kusimamisha kazi kulingana na maelezo na ukubwa wa tatizo hilo.

• Katika hali hii, mfumo wa ufuatiliaji hutuma ujumbe kwa Control Room wa kusimamisha kazi hiyo, pamoja na job_id. Control Room hurekodi kwamba kazi hiyo imekomeshwa.

• Wakati ujao kazi yenye job_id hiyo itakapotuma ombi la inferensi la kuzalisha sampuli za tokeni zaidi kutoka kwa modeli yoyote inayoendeshwa kwenye injini yoyote, ombi hilo litakataliwa, na kuzuia uzalishaji wa matokeo zaidi ya modeli.

Muda wa juu zaidi kutoka Control Room inapopokea agizo la kusimamisha kazi hadi wakati ambapo kazi hiyo haiwezi kuendelea tena ni sekunde 35. Ucheleweshaji huo wa sekunde 35 unatokana na safu ya akiba ya muda ya uidhinishaji wa inferensi, inayotuwezesha kushughulikia wingi wa maombi unaohitajika. Tunajitahidi kupunguza muda huu hadi sufuri ili tuweze kukomesha kazi papo hapo.

Kazi, zikiwemo majaribio, tathmini na nyinginezo, kwa kawaida humilikiwa na kuendeshwa na watafiti au timu za watafiti. Kwa hiyo, msimbo wa kazi hubadilika mara kwa mara, na si mahali panapofaa kuweka kinga muhimu zinazotegemewa kuhakikisha usalama. Kwa sababu hiyo, tumeunda mfumo wetu ili uendelee kufanya kazi hata msimbo wa kazi ukiwa na hitilafu au haufanyi kazi.

Tunafanikisha hili kwa kuweka utaratibu wa kukomesha kazi kwenye safu ya inferensi. Misimbo ya kazi hutofautiana sana na haidhibitiwi kutoka sehemu moja. Kinyume chake, kuna njia chache sana za utekelezaji wa msimbo wa inferensi zinazotumika katika utafiti wote wa OpenAI, na uwekaji wake katika matumizi hudhibitiwa zaidi kutoka sehemu moja na hufuata utaratibu unaofanana zaidi. Hii ina maana kwamba safu ya inferensi inaweza kuwa kituo cha lazima cha kupitishia maombi, kinachotupa uhakika mkubwa kwamba kila ombi la inferensi ya modeli inayotumika katika utafiti linakaguliwa na Control Room ili kuidhinishwa. Pia tunafanya ukaguzi endelevu kwa kutumia mawakala na programu ili kuhakikisha kuwa watumiaji hawaanzishi, kwa bahati mbaya au kwa nia mbaya, injini zisizoidhinishwa ambazo hazijaunganishwa na Control Room au ambazo zimezima muunganisho huo.

Mwisho, mfumo wetu “huzuia maombi unapoharibika”. Hii ina maana kwamba muunganisho wa Control Room katika injini umesanidiwa hivi: huduma ya Control Room ikiacha kufanya kazi, iwe kwa sababu ya hitilafu ya mfumo au kwa kuzimwa kwa sababu nyingine yoyote, ikiwemo kuchezewa na mtu mwenye nia mbaya, maombi yote ya inferensi yatakataliwa hadi Control Room irejee kufanya kazi kama kawaida. Utaratibu huu wa kuzuia maombi mfumo unapoharibika sasa unatumika katika kazi zote za utafiti wa modeli za kiwango cha juu zaidi, na utakuwa umewekwa katika kazi nyingine zote za utafiti ndani ya siku chache zijazo.

Control Room ni sehemu moja tu ya mkakati wetu mpana wa kufunza na kuweka modeli za kiwango cha juu zaidi katika matumizi kwa usalama. Tutaendelea kuimarisha na kupanua mfumo huu katika miezi ijayo, sambamba na uwekezaji wetu katika ufuatiliaji wa tabia zisizolingana na malengo yaliyokusudiwa na ukiukaji wa usalama. Ikiwa ungependa kusaidia kujenga mifumo ya kuendeleza na kuweka AGI katika matumizi kwa usalama na ulinzi, tuna⁠ nafasi za kazi⁠!