Control Room

S rastúcimi schopnosťami našich modelov rastú aj súvisiace bezpečnostné riziká a hrozby. Preto je čoraz dôležitejšie vedieť odhaliť potenciálne problémy a v prípade potreby modely rýchlo zastaviť. Na tento účel sme vytvorili Control Room.

Control Room je centrálny systém na sledovanie výpočtových úloh modelov v celej našej výskumnej infraštruktúre a ich rýchle zastavenie pri vzniku bezpečnostných rizík či hrozieb. Prepája všetky inferenčné úlohy vo výskume vrátane vzorkovania pomocou agentov pri trénovaní a hodnotení modelov, spracovania dát a ďalších činností. Spolupracuje s našimi systémami na monitorovanie nesúladu so zámermi a zastaví generovanie výstupu modelu do 35 sekúnd od rozhodnutia zasiahnuť zastavením alebo pozastavením úlohy. Je navrhnutý tak, aby fungoval aj pri zlyhaní iných systémov a zastavil generovanie výstupu modelu aj vtedy, keď vypadne samotný Control Room.

Control Room už funguje v celej našej výskumnej infraštruktúre, kde je najviac potrebný. Naša technologická infraštruktúra na poskytovanie modelov externým používateľom je už zo svojej podstaty oveľa centralizovanejšia a má dobre zavedené prevádzkové postupy na rýchle odstavenie nasadených modelov v prípade potreby.

Control Room funguje vďaka prepojeniu niekoľkých systémov: výpočtovej úlohy, inferenčného modulu a centralizovanej služby Control Room.

• Výpočtová úloha je práve vykonávaná úloha, napríklad experiment s učením posilňovaním, hodnotenie, vzorkovanie vo veľkom objeme alebo spracovanie dát. Vyžadujeme, aby každá výskumná úloha využívajúca inferenciu pre agentov bola priradená k schválenému bezpečnostnému zdôvodneniu.

• Inferenčný modul, alebo jednoducho modul, je samotný model. Modul si môžete predstaviť ako mozog modelu, ktorý beží priamo na GPU. Výpočtová úloha zvyčajne používa jeden alebo viac modelov, ktoré môžu bežať na jednom alebo viacerých inferenčných moduloch. Ten istý inferenčný modul môže využívať viacero rôznych výpočtových úloh.

• Služba Control Room sleduje úlohy a riadi, či môžu naďalej generovať výstup modelu. Pred spracovaním požiadavky si moduly overia povolenie v službe Control Room. Ak bola úloha zastavená, služba požiadavku zamietne, čím zabráni generovaniu ďalšieho výstupu.

Integrácia systému Control Room funguje takto:

• Pri spustení novej úlohy si jej kód vyžiada od systému Control Room nový identifikátor job_id.

• Vždy, keď výpočtová úloha potrebuje vzorkovať tokeny z modelu, odošle požiadavku inferenčnému modulu, na ktorom daný model beží, a priloží job_id. Modul požiada Control Room o povolenie spracovať túto požiadavku a odovzdá mu job_id.

• Control Room skontroluje, či bola daná úloha ukončená. Ak áno, požiadavku na inferenciu zamietne. Modul odpovie na požiadavku výpočtovej úlohy na inferenciu odmietnutím, čím zastaví generovanie ďalšieho výstupu modelu pre túto úlohu.

Všetky naše úlohy učenia posilňovaním pri prelomových modeloch bežia pod dohľadom monitorovacieho modelu. Monitorovací model je ďalší model, ktorý kontroluje všetko, čo trénovaný model robí, a pri zistení problému vydá upozornenie. Monitorovací model napríklad odhalil náš nedávny incident súvisiaci s DNS⁠(otvorí sa v novom okne).

Control Room a náš monitorovací systém sú prepojené takto:

• Ak monitorovací systém odhalí potenciálny problém, môže podľa jeho okolností a závažnosti rozhodnúť o zastavení úlohy.

• V takom prípade monitorovací systém odošle systému Control Room správu na zastavenie úlohy a priloží job_id. Control Room zaznamená, že úloha je ukončená.

• Keď úloha s týmto job_id nabudúce odošle požiadavku na inferenciu na vzorkovanie ďalších tokenov z akéhokoľvek modelu bežiaceho na akomkoľvek module, požiadavka bude zamietnutá a generovanie ďalšieho výstupu modelu sa zastaví.

Od prijatia pokynu na zastavenie úlohy systémom Control Room po okamih, keď už úloha nemôže ďalej pokračovať, uplynie najviac 35 sekúnd. Toto 35-sekundové oneskorenie spôsobuje vrstva vyrovnávacej pamäte na autorizáciu inferencie, ktorá umožňuje zvládať požadovaný objem prevádzky. Pracujeme na skrátení tohto času na nulu, aby sme mohli úlohy ukončovať okamžite.

Výpočtové úlohy vrátane experimentov, hodnotení a podobne zvyčajne spravujú a spúšťajú výskumníci alebo výskumné tímy. Kód týchto úloh sa preto často mení a nie je ideálnym miestom na implementáciu kľúčových bezpečnostných mechanizmov. Naša implementácia je preto navrhnutá tak, aby odolala chybám či nefunkčnosti kódu výpočtových úloh.

Dosahujeme to implementáciou mechanizmu ukončovania úloh v inferenčnej vrstve. Kód výpočtových úloh je veľmi rôznorodý a decentralizovaný. Naproti tomu sa v celom výskume OpenAI používa len veľmi malý počet vetiev inferenčného kódu a ich nasadzovanie je oveľa centralizovanejšie a jednotnejšie. Inferenčná vrstva tak môže slúžiť ako spoločný kontrolný bod, v ktorom vieme spoľahlivo zaručiť, že pri každej požiadavke na inferenciu modelov používaných vo výskume prebehne kontrola autorizácie systémom Control Room. Okrem toho priebežne vykonávame kontroly pomocou agentov aj programových nástrojov, aby sme overili, že používatelia omylom ani úmyselne nespúšťajú neschválené implementácie inferenčných modulov, v ktorých Control Room nie je implementovaný alebo je vypnutý.

Náš systém navyše funguje na princípe „pri zlyhaní zablokovať“. Integrácia Control Room v inferenčných moduloch je teda nastavená tak, že ak služba Control Room vypadne pre systémovú chybu alebo je z akéhokoľvek iného dôvodu vypnutá, vrátane neoprávneného zásahu útočníka, všetky požiadavky na inferenciu sa zamietnu, kým sa neobnoví bežná prevádzka služby. Tento režim blokovania pri zlyhaní už používame pri všetkých výpočtových úlohách vo výskume prelomových modelov. V priebehu najbližších dní dokončíme jeho nasadenie aj pri všetkých ostatných výskumných úlohách.

Control Room je len jednou súčasťou nášho komplexného prístupu k bezpečnému trénovaniu a nasadzovaniu prelomových modelov. V nadchádzajúcich mesiacoch budeme systém ďalej posilňovať a rozširovať a zároveň investovať do monitorovania správania, ktoré nie je v súlade so zámermi, a narušení bezpečnosti. Ak chcete pomôcť budovať systémy na bezpečný vývoj a nasadzovanie AGI s ochranou pred hrozbami, hľadáme⁠ nových kolegov⁠!