Control Room

Z večanjem zmogljivosti naših modelov se povečujejo tudi tveganja za varnost in zaščito. Zato je vse pomembneje, da lahko zaznamo morebitne težave in po potrebi hitro ustavimo delovanje modelov. V ta namen smo razvili Control Room.

Control Room je osrednji sistem za spremljanje delovnih nalog modelov v naši raziskovalni infrastrukturi in njihovo hitro ustavitev, kadar se pojavijo pomisleki glede varnosti ali zaščite. Povezuje vse raziskovalne delovne naloge, ki vključujejo sklepanje, med drugim agentsko vzorčenje za učenje in vrednotenje modelov ter obdelavo podatkov. Deluje skupaj z našimi sistemi za spremljanje neusklajenosti in ustavi ustvarjanje izhodnih podatkov modela v 35 sekundah po odločitvi, da posežemo v izvajanje opravila ter ga ustavimo ali začasno prekinemo. Zasnovan je tako, da deluje tudi ob odpovedi drugih sistemov in ustavi ustvarjanje izhodnih podatkov modela, če odpove sam Control Room.

Control Room je že uveden v naši raziskovalni infrastrukturi, kjer je potreba po njem največja. Naš tehnološki sklad za zagotavljanje modelov zunanjim uporabnikom je že po naravi precej bolj centraliziran in ima dobro razvite operativne zmogljivosti za hiter izklop uvedenih modelov, če je to potrebno.

Control Room povezuje več sistemov: delovno nalogo, pogon za sklepanje in centralizirano storitev Control Room.

• Delovna naloga je opravilo, ki se izvaja, na primer poskus z okrepljenim učenjem, vrednotenje, obsežno vzorčenje ali obdelava podatkov. Zahtevamo, da je vsaka raziskovalna delovna naloga, ki izvaja agentsko sklepanje, povezana z odobreno utemeljitvijo varnosti.

• Pogon za sklepanje ali na kratko pogon je sam model. Pogon si lahko predstavljate kot možgane modela, ki delujejo neposredno na grafičnih procesorjih. Delovna naloga običajno uporablja enega ali več modelov, ki se lahko izvajajo v enem ali več različnih pogonih za sklepanje. Isti pogon za sklepanje lahko uporablja več različnih delovnih nalog.

• Storitev Control Room spremlja opravila in nadzoruje, ali smejo še naprej ustvarjati izhodne podatke modela. Pogoni pred izpolnitvijo zahteve preverijo dovoljenje pri storitvi Control Room. Če je bilo opravilo ustavljeno, storitev zavrne zahtevo in prepreči nadaljnje ustvarjanje izhodnih podatkov.

Control Room je integriran na naslednji način:

• Ob zagonu novega opravila koda delovne naloge od sistema Control Room zahteva nov job_id.

• Kadar mora delovna naloga vzorčiti žetone iz modela, pošlje zahtevo pogonu za sklepanje, ki izvaja ta model, in mu posreduje job_id. Pogon od sistema Control Room zahteva dovoljenje za izpolnitev te zahteve in mu posreduje job_id.

• Control Room preveri, ali je bilo opravilo prekinjeno, in v tem primeru zavrne zahtevo za sklepanje. Pogon zahtevo delovne naloge za sklepanje zavrne in tako prepreči nadaljnje ustvarjanje izhodnih podatkov modela za to opravilo.

Vsa naša opravila okrepljenega učenja prelomnih modelov se izvajajo z nadzornim modelom. Nadzorni model je drug model, ki pregleduje vse, kar počne model, ki se uči, in sproži opozorilo, če zazna težavo. Nadzorni model je na primer zaznal naš nedavni incident, povezan z DNS⁠(odpre se v novem oknu).

Control Room in naš nadzorni sistem sta povezana na naslednji način:

• Če nadzorni sistem zazna morebitno težavo, se lahko glede na okoliščine in resnost odloči za ustavitev opravila.

• V tem primeru nadzorni sistem pošlje sistemu Control Room sporočilo, naj ustavi opravilo, in mu posreduje job_id. Control Room zabeleži, da je opravilo prekinjeno.

• Ko opravilo s tem job_id naslednjič pošlje zahtevo za sklepanje, da bi vzorčilo dodatne žetone iz katerega koli modela v katerem koli pogonu, bo zahteva zavrnjena, s čimer se ustavi nadaljnje ustvarjanje izhodnih podatkov modela.

Od trenutka, ko Control Room prejme navodilo za ustavitev opravila, do trenutka, ko njegovo nadaljevanje ni več mogoče, mine največ 35 sekund. 35-sekundni zamik nastane zaradi predpomnilniške plasti za odobritev sklepanja, ki omogoča obdelavo zahtevanega obsega prometa. Prizadevamo si ta čas skrajšati na nič, da bi lahko opravila ustavili takoj.

Za delovne naloge, vključno s poskusi, vrednotenji in podobnim, so običajno odgovorni raziskovalci ali raziskovalne skupine, ki jih tudi izvajajo. Zato se koda delovnih nalog pogosto spreminja in ni najprimernejše mesto za uvedbo ključnih varnostnih mehanizmov. Našo rešitev smo zato zasnovali tako, da je odporna proti napakam in nepravilnemu delovanju kode delovnih nalog.

To dosežemo z uvedbo mehanizma za prekinitev v plasti za sklepanje. Koda delovnih nalog je zelo raznolika in decentralizirana. Nasprotno pa pri vseh raziskavah v OpenAI uporabljamo le zelo malo izvajalnih poti kode za sklepanje, njihove uvedbe pa so precej bolj centralizirane in enotne. Plast za sklepanje lahko zato služi kot osrednja nadzorna točka, na kateri lahko zanesljivo zagotovimo, da Control Room pri vseh modelih, ki izvajajo sklepanje za raziskave, preveri dovoljenje za vsako zahtevo za sklepanje. Poleg tega z agenti in programskimi pregledi nenehno preverjamo, ali uporabniki po nesreči ali zlonamerno zaganjajo nedovoljene izvedbe pogonov, v katerih Control Room ni implementiran ali je onemogočen.

Naš sistem tudi »ob odpovedi blokira dostop«. Integracija sistema Control Room v pogonih je namreč nastavljena tako, da ob izpadu storitve Control Room zavrne vse zahteve za sklepanje, dokler storitev ne začne spet normalno delovati. To velja ne glede na vzrok izpada: sistemsko napako, onemogočenje iz katerega koli drugega razloga ali zlonameren poseg. Blokiranje ob odpovedi je že uvedeno za vse delovne naloge pri raziskavah prelomnih modelov, v naslednjih nekaj dneh pa bo uvedeno še za vse preostale raziskovalne delovne naloge.

Control Room je le en del našega celostnega pristopa k varnemu učenju in uvajanju prelomnih modelov. V prihodnjih mesecih bomo sistem še naprej krepili in širili, hkrati pa vlagali v spremljanje neusklajenega vedenja in varnostnih vdorov. Če želite pomagati graditi sisteme za varen in zaščiten razvoj ter uvajanje SUI, si oglejte⁠ naša prosta delovna mesta⁠!