Control Room

Kako naši modeli postaju moćniji, a rizici za sigurnost i zaštitu povezani s njima rastu, sve je važnije da možemo otkriti moguće probleme i brzo zaustaviti modele kada je to potrebno. Zato smo razvili Control Room.

Control Room je centralni sistem za praćenje radnih zadataka modela u cijeloj našoj istraživačkoj infrastrukturi i njihovo brzo zaustavljanje kada se pojave razlozi za zabrinutost u pogledu sigurnosti ili zaštite. Povezuje sve istraživačke radne zadatke koji koriste inferenciju, uključujući uzorkovanje pomoću agenata za treniranje i evaluaciju modela, obradu podataka i drugo. Radi zajedno s našim sistemima za praćenje neusklađenosti i zaustavlja generiranje izlaza modela u roku od 35 sekundi od odluke da se intervenira zaustavljanjem ili pauziranjem zadatka. Osmišljen je tako da nastavi raditi čak i kada drugi sistemi zakažu te da zaustavi generiranje izlaza modela ako sam Control Room prestane raditi.

Control Room je već uveden u cijelu našu istraživačku infrastrukturu, gdje je najpotrebniji. Naš tehnološki sklop za pružanje usluga modela vanjskim korisnicima već je po svojoj prirodi znatno centraliziraniji, s dobro razvijenim operativnim kapacitetima za brzo isključivanje modela iz upotrebe kada je to potrebno.

Control Room funkcionira povezivanjem nekoliko sistema: radnog zadatka, mehanizma za inferenciju i centraliziranog servisa Control Room.

• Radni zadatak je zadatak koji se izvršava, poput eksperimenta s učenjem s potkrepljivanjem, evaluacije, uzorkovanja velikog obima ili obrade podataka. Zahtijevamo da svaki istraživački radni zadatak koji obavlja inferenciju pomoću agenata bude povezan s odobrenim obrazloženjem sigurnosti.

• Mehanizam za inferenciju, ili samo mehanizam, jeste sam model. Mehanizam možete zamisliti kao mozak modela koji radi direktno na GPU-ovima. Radni zadatak obično koristi jedan ili više modela, koji mogu raditi na jednom ili više različitih mehanizama za inferenciju. Isti mehanizam za inferenciju može koristiti više različitih radnih zadataka.

• Servis Control Room prati zadatke i određuje smiju li nastaviti generirati izlaz modela. Prije obrade zahtjeva, mehanizmi provjeravaju dozvolu kod servisa Control Room. Ako je zadatak zaustavljen, servis odbija zahtjev i time sprečava daljnje generiranje izlaza.

Control Room je integriran na sljedeći način:

• Pri pokretanju novog zadatka, kod radnog zadatka traži novi job_id od sistema Control Room.

• Kad god radni zadatak treba uzorkovati tokene iz modela, šalje zahtjev mehanizmu za inferenciju na kojem taj model radi i prosljeđuje job_id. Mehanizam traži dozvolu od sistema Control Room da obradi taj zahtjev, prosljeđujući mu job_id.

• Control Room provjerava je li taj zadatak zaustavljen i, ako jeste, odbija zahtjev za inferenciju. Mehanizam odbija zahtjev radnog zadatka za inferenciju i tako zaustavlja daljnje generiranje izlaza modela za taj zadatak.

Svi naši zadaci učenja s potkrepljivanjem za granične modele izvršavaju se uz nadzorni model. Nadzorni model je drugi model koji provjerava sve što model koji se trenira radi i šalje upozorenje ako otkrije problem. Naprimjer, naš nedavni incident povezan s DNS-om⁠(otvara se u novom prozoru) otkrio je nadzorni model.

Control Room i naš nadzorni sistem povezani su na sljedeći način:

• Ako nadzorni sistem otkrije mogući problem, može odlučiti zaustaviti zadatak, zavisno od pojedinosti i ozbiljnosti problema.

• U tom slučaju nadzorni sistem šalje poruku sistemu Control Room da zaustavi zadatak, uz prosljeđivanje vrijednosti job_id. Control Room evidentira da je zadatak zaustavljen.

• Sljedeći put kada zadatak s tom vrijednošću job_id pošalje zahtjev za inferenciju radi uzorkovanja dodatnih tokena iz bilo kojeg modela koji radi na bilo kojem mehanizmu, zahtjev će biti odbijen, čime se zaustavlja daljnje generiranje izlaza modela.

Od trenutka kada Control Room primi uputu da zaustavi zadatak do trenutka kada njegov daljnji rad više nije moguć prođe najviše 35 sekundi. Kašnjenje od 35 sekundi nastaje zbog sloja za keširanje autorizacije inferencije, koji omogućava obradu potrebnog obima saobraćaja. Radimo na tome da to vrijeme svedemo na nulu kako bismo zadatke mogli zaustaviti trenutno.

Za radne zadatke, uključujući eksperimente, evaluacije i slično, obično su zaduženi istraživači ili istraživački timovi, koji ih i izvršavaju. Zbog toga se kod radnih zadataka često mijenja i nije idealno mjesto za ugradnju ključnih zaštitnih mjera na kojima počiva sigurnost. Zato je naše rješenje osmišljeno tako da ostane pouzdano čak i kada kod radnih zadataka sadrži greške ili ne radi.

To postižemo ugradnjom mehanizma za zaustavljanje u sloj za inferenciju. Kod radnih zadataka veoma je raznolik i decentraliziran. Nasuprot tome, u svim istraživanjima kompanije OpenAI koristi se vrlo mali broj putanja izvršavanja koda za inferenciju, a njihovo puštanje u rad znatno je centraliziranije i ujednačenije. To znači da sloj za inferenciju može služiti kao obavezna kontrolna tačka, na kojoj možemo pouzdano osigurati da svaka inferencija modela u istraživanju podliježe provjeri autorizacije u sistemu Control Room pri svakom zahtjevu za inferenciju. Uz to, neprekidno provodimo provjere pomoću agenata i programa kako bismo utvrdili da korisnici slučajno ili zlonamjerno ne pokreću neovlaštene implementacije mehanizama za inferenciju u kojima Control Room nije ugrađen ili je onemogućen.

Konačno, naš sistem „blokira rad u slučaju otkaza”. To znači da je integracija sistema Control Room u mehanizmima za inferenciju podešena tako da se, ako servis Control Room prestane raditi zbog sistemske greške ili bude onemogućen iz bilo kojeg drugog razloga, uključujući neovlaštene izmjene zlonamjernog aktera, svi zahtjevi za inferenciju odbijaju dok Control Room ponovo ne počne normalno raditi. Blokiranje rada u slučaju otkaza sada je uvedeno za sve istraživačke radne zadatke s graničnim modelima, a u narednih nekoliko dana bit će uvedeno i za sve preostale istraživačke radne zadatke.

Control Room samo je jedan dio našeg sveobuhvatnog pristupa sigurnom treniranju i uvođenju graničnih modela u upotrebu. U narednim mjesecima nastavit ćemo jačati i proširivati sistem, uz ulaganja u nadzor radi otkrivanja neusklađenog ponašanja i sigurnosnih proboja. Ako želite pomoći u izgradnji sistema za siguran i zaštićen razvoj i uvođenje AGI-ja u upotrebu, tražimo⁠ nove kolege⁠!