Control Room

Kako naši modeli postaju sve moćniji, a povezani rizici za sigurnost i zaštitu sve veći, sve je važnije da možemo otkriti potencijalne probleme i po potrebi brzo zaustaviti modele. Kako bismo to omogućili, izgradili smo Control Room.

Control Room središnji je sustav za praćenje radnih opterećenja modela u našoj istraživačkoj infrastrukturi i njihovo brzo zaustavljanje kada se pojave rizici za sigurnost ili zaštitu. Povezuje sva istraživačka radna opterećenja koja izvode inferenciju, uključujući uzorkovanje s pomoću agenata za obuku i evaluaciju modela, obradu podataka i drugo. Radi zajedno s našim sustavima za nadzor neusklađenosti i zaustavlja generiranje izlaznih podataka modela unutar 35 sekundi od odluke o intervenciji radi zaustavljanja ili pauziranja zadatka. Izgrađen je tako da nastavi raditi i kada drugi sustavi zakažu te da zaustavi generiranje izlaznih podataka modela ako sam Control Room prestane raditi.

Control Room već je uveden u cijelu našu istraživačku infrastrukturu, gdje je najpotrebniji. Naša tehnološka infrastruktura za posluživanje modela vanjskim korisnicima već je po svojoj prirodi znatno centraliziranija, s dobro razvijenim operativnim mogućnostima za brzo isključivanje implementiranih modela po potrebi.

Control Room funkcionira povezivanjem nekoliko sustava: radnog opterećenja, mehanizma za inferenciju i centralizirane usluge Control Room.

• Radno opterećenje jest zadatak koji se izvršava, primjerice eksperiment s učenjem s potkrepljivanjem, evaluacija, opsežno uzorkovanje ili obrada podataka. Zahtijevamo da svako istraživačko radno opterećenje koje izvodi agentsku inferenciju bude povezano s odobrenim obrazloženjem sigurnosti.

• Mehanizam za inferenciju, ili samo mehanizam, jest sam model. Taj mehanizam možete zamisliti kao mozak modela koji se izvršava izravno na grafičkim procesorima. Radno opterećenje obično upotrebljava jedan ili više modela, koji se mogu izvršavati na jednom ili više različitih mehanizama za inferenciju. Isti mehanizam za inferenciju može upotrebljavati više različitih radnih opterećenja.

• Usluga Control Room prati zadatke i određuje smiju li nastaviti generirati izlazne podatke modela. Mehanizmi provjeravaju dopuštenje kod usluge Control Room prije ispunjavanja zahtjeva. Ako je zadatak zaustavljen, usluga odbija zahtjev i time sprječava daljnje generiranje izlaznih podataka.

Control Room integriran je na sljedeći način:

• Pri pokretanju novog zadatka kod radnog opterećenja traži novi job_id od sustava Control Room.

• Kad god radno opterećenje treba uzorkovati tokene iz modela, šalje zahtjev mehanizmu za inferenciju koji izvršava taj model i pritom prosljeđuje job_id. Mehanizam traži dopuštenje od sustava Control Room za ispunjavanje tog zahtjeva i pritom mu prosljeđuje job_id.

• Control Room provjerava je li zadatak prekinut te, ako jest, odbija zahtjev za inferenciju. Mehanizam na zahtjev radnog opterećenja za inferenciju odgovara odbijanjem i time zaustavlja daljnje generiranje izlaznih podataka modela za taj zadatak.

Svi naši zadaci učenja s potkrepljivanjem za granične modele izvršavaju se uz nadzorni model. Nadzorni model drugi je model koji pregledava sve što radi model koji se obučava i šalje upozorenje ako otkrije problem. Primjerice, naš nedavni incident povezan s DNS-om⁠(otvara se u novom prozoru) otkrio je nadzorni model.

Control Room i naš nadzorni sustav integrirani su na sljedeći način:

• Ako nadzorni sustav otkrije potencijalni problem, ovisno o okolnostima i ozbiljnosti može odlučiti zaustaviti zadatak.

• U tom slučaju nadzorni sustav šalje sustavu Control Room poruku da zaustavi zadatak i pritom prosljeđuje job_id. Control Room bilježi da je zadatak prekinut.

• Sljedeći put kada zadatak s tim identifikatorom job_id pošalje zahtjev za inferenciju radi uzorkovanja dodatnih tokena iz bilo kojeg modela koji se izvršava na bilo kojem mehanizmu, zahtjev će biti odbijen, čime se zaustavlja daljnje generiranje izlaznih podataka modela.

Od trenutka kada Control Room primi uputu za zaustavljanje zadatka do trenutka kada daljnje izvršavanje više nije moguće prođe najviše 35 sekundi. Kašnjenje od 35 sekundi proizlazi iz sloja predmemorije za autorizaciju inferencije, koji omogućuje obradu potrebnog opsega prometa. Radimo na tome da to vrijeme smanjimo na nulu kako bismo zadatke mogli prekinuti odmah.

Za radna opterećenja, uključujući eksperimente, evaluacijske zadatke i slično, obično su odgovorni istraživači ili istraživački timovi koji njima i upravljaju. Zbog toga se kod radnih opterećenja često mijenja i nije idealno mjesto za ugradnju ključnih sigurnosnih mjera na kojima počiva zaštita sustava. Stoga je naše rješenje osmišljeno tako da bude otporno na pogreške i kvarove u kodu radnih opterećenja.

To postižemo ugradnjom mehanizma za prekid u inferencijski sloj. Kôd radnih opterećenja vrlo je raznolik i decentraliziran. Nasuprot tome, u svim istraživanjima tvrtke OpenAI upotrebljava se vrlo malen broj putanja izvršavanja inferencijskog kôda, a njihove su implementacije znatno centraliziranije i ujednačenije. To znači da inferencijski sloj može služiti kao obvezna kontrolna točka na kojoj možemo pouzdano osigurati da sva inferencija modela u istraživanju podliježe provjeri autorizacije u sustavu Control Room pri svakom zahtjevu za inferenciju. Uz to neprekidno provodimo provjere s pomoću agenata i programskog koda kako bismo utvrdili pokreću li korisnici slučajno ili zlonamjerno neovlaštene implementacije inferencijskih mehanizama u kojima Control Room nije ugrađen ili je onemogućen.

Naposljetku, naš sustav „u slučaju kvara blokira pristup”. To znači da je integracija sustava Control Room u inferencijskim mehanizmima konfigurirana tako da se, ako usluga Control Room prestane raditi zbog pogreške sustava ili bude onemogućen iz bilo kojeg drugog razloga, uključujući neovlaštene izmjene zlonamjernih aktera, svi zahtjevi za inferenciju odbijaju dok Control Room ponovno ne počne normalno raditi. Blokiranje pristupa u slučaju kvara sada je uvedeno za sva istraživačka radna opterećenja graničnih modela, a u sljedećih nekoliko dana bit će uvedeno i za sva preostala istraživačka radna opterećenja.

Control Room samo je jedan dio našeg cjelovitog pristupa sigurnoj obuci i uvođenju graničnih modela u upotrebu. U narednim mjesecima nastavit ćemo jačati i širiti sustav te ulagati u nadzor radi otkrivanja neusklađenog ponašanja i povreda sigurnosti. Ako želite pomoći u izgradnji sustava za siguran i zaštićen razvoj i uvođenje AGI-ja u upotrebu, tražimo⁠ suradnike⁠!