Control Room

S rostoucími schopnostmi našich modelů a souvisejícími riziky pro bezpečnost a zabezpečení je stále důležitější, abychom dokázali odhalit potenciální problémy a v případě potřeby modely rychle zastavit. Proto jsme vytvořili Control Room.

Control Room je centrální systém, který sleduje úlohy modelů v celé naší výzkumné infrastruktuře a rychle je zastavuje, pokud vzniknou obavy ohledně bezpečnosti či zabezpečení. Propojuje všechny výzkumné úlohy využívající inferenci, včetně agentního vzorkování pro trénování a vyhodnocování modelů, zpracování dat a dalších činností. Spolupracuje s našimi systémy pro monitorování nesladěného chování a zastaví generování výstupu modelu do 35 sekund od rozhodnutí zasáhnout a úlohu zastavit nebo pozastavit. Je navržen tak, aby fungoval i při selhání ostatních systémů a aby se generování výstupu modelu zastavilo i v případě výpadku samotného systému Control Room.

Control Room je již nasazen v celé naší výzkumné infrastruktuře, kde je nejvíce potřeba. Naše infrastruktura pro poskytování modelů externím uživatelům je už ze své podstaty mnohem centralizovanější a má zavedené provozní postupy, které v případě potřeby umožňují rychle odstavit nasazené modely.

Control Room funguje díky propojení několika systémů: úlohy, inferenčního modulu a centralizované služby Control Room.

• Úloha je spuštěný výpočetní proces, například experiment s učením posilováním, vyhodnocování, velkoobjemové vzorkování nebo zpracování dat. Vyžadujeme, aby každá výzkumná úloha, která provádí agentní inferenci, byla spojena se schváleným bezpečnostním zdůvodněním.

• Inferenční modul, zkráceně modul, je samotný model. Modul si můžete představit jako mozek modelu, který běží přímo na GPU. Úloha obvykle využívá jeden nebo více modelů, které mohou běžet na jednom či více různých inferenčních modulech. Tentýž inferenční modul může být využíván několika různými úlohami.

• Služba Control Room sleduje úlohy a řídí, zda smějí pokračovat v generování výstupu modelu. Před vyřízením požadavku si moduly ověřují oprávnění u služby Control Room. Pokud byla úloha zastavena, služba požadavek zamítne a zabrání tak dalšímu generování výstupu.

Integrace systému Control Room funguje následovně:

• Při spuštění nové úlohy si její kód vyžádá od systému Control Room nový identifikátor job_id.

• Kdykoli úloha potřebuje vzorkovat tokeny z modelu, odešle požadavek inferenčnímu modulu, na němž daný model běží, a předá mu job_id. Modul požádá Control Room o povolení tento požadavek vyřídit a předá mu job_id.

• Control Room ověří, zda byla daná úloha ukončena. Pokud ano, požadavek na inferenci zamítne. Modul odpoví na požadavek úlohy na inferenci odmítnutím, čímž zastaví další generování výstupu modelu pro tuto úlohu.

Všechny naše úlohy učení posilováním u průkopnických modelů běží s monitorovacím modelem. Monitorovací model je další model, který kontroluje vše, co trénovaný model dělá, a při zjištění problému vyvolá upozornění. Monitorovací model například odhalil náš nedávný incident související s DNS⁠(otevře se v novém okně).

Control Room a náš monitorovací systém jsou propojeny následovně:

• Pokud monitorovací systém odhalí potenciální problém, může podle jeho povahy a závažnosti rozhodnout o zastavení úlohy.

• V takovém případě odešle systému Control Room zprávu se žádostí o zastavení úlohy a předá mu job_id. Control Room zaznamená, že je úloha ukončena.

• Až úloha s daným job_id příště odešle požadavek na inferenci za účelem vzorkování dalších tokenů z libovolného modelu běžícího na libovolném modulu, požadavek bude zamítnut a další generování výstupu modelu se zastaví.

Od okamžiku, kdy Control Room obdrží pokyn k zastavení úlohy, do okamžiku, kdy úloha již nemůže pokračovat, uplyne nejvýše 35 sekund. Toto 35sekundové zpoždění způsobuje vrstva mezipaměti pro autorizaci inference, která umožňuje zvládnout požadovaný objem provozu. Pracujeme na snížení této doby na nulu, abychom mohli úlohy ukončovat okamžitě.

Úlohy, včetně experimentů, vyhodnocování a dalších činností, obvykle spravují a provozují výzkumníci nebo výzkumné týmy. Kód úloh se proto často mění a není ideálním místem pro implementaci zásadních bezpečnostních opatření, na nichž závisí ochrana celého systému. Naše implementace je proto navržena tak, aby odolala chybám či selháním v kódu úloh.

Toho dosahujeme implementací mechanismu ukončování v inferenční vrstvě. Kód úloh je velmi různorodý a decentralizovaný. Naproti tomu se v celém výzkumu OpenAI používá jen velmi malý počet cest zpracování inference v kódu a jejich nasazení je mnohem centralizovanější a jednotnější. Inferenční vrstva tak může sloužit jako společný kontrolní bod, který poskytuje silné záruky, že veškerá inference modelů ve výzkumu podléhá autorizačním kontrolám systému Control Room při každém požadavku. Navíc průběžně provádíme kontroly pomocí agentů i programových nástrojů, abychom ověřili, že uživatelé omylem či úmyslně nespouštějí nepovolené implementace inferenčních modulů, v nichž Control Room není implementován nebo je vypnutý.

Náš systém navíc „při selhání blokuje provoz“. Integrace Control Room v inferenčních modulech je nastavena tak, že pokud služba Control Room přestane fungovat kvůli systémové chybě nebo je z jakéhokoli jiného důvodu, včetně zásahu útočníka, vypnuta, budou všechny požadavky na inferenci zamítány, dokud se neobnoví její běžný provoz. Blokování provozu při selhání je nyní nasazeno u všech úloh výzkumu průkopnických modelů. U všech zbývajících výzkumných úloh bude jeho nasazení dokončeno v příštích několika dnech.

Control Room je jen jednou součástí našeho komplexního přístupu k bezpečnému trénování a nasazování průkopnických modelů. V nadcházejících měsících budeme systém dále posilovat a rozšiřovat a zároveň investovat do monitorování nesladěného chování a narušení zabezpečení. Chcete pomáhat budovat systémy pro bezpečný vývoj a nasazování AGI s důrazem na zabezpečení? Hledáme⁠ nové kolegy⁠!