Control Room

Mūsų modeliams tampant vis pajėgesniems ir didėjant su jais susijusiai saugos bei saugumo rizikai, vis svarbiau gebėti aptikti galimas problemas ir prireikus greitai sustabdyti modelių veikimą. Tam sukūrėme „Control Room“.

„Control Room“ – tai centrinė sistema, skirta modelių darbo krūviams stebėti visoje mūsų tyrimų infrastruktūroje ir greitai juos sustabdyti, kai kyla susirūpinimas dėl saugos ar saugumo. Ji sujungia visus tyrimų išvedimo darbo krūvius, įskaitant agentų išvesčių generavimą modeliams mokyti ir vertinti, duomenų apdorojimą ir kt. Ji veikia kartu su mūsų su tikslais nesuderinto elgesio stebėsenos sistemomis ir sustabdo modelio išvesties generavimą per 35 sekundes nuo sprendimo įsikišti ir nutraukti arba pristabdyti užduotį. Ji sukurta taip, kad veiktų net sutrikus kitoms sistemoms, o nustojus veikti pačiai „Control Room“, modelio išvesties generavimas būtų sustabdytas.

„Control Room“ jau įdiegta visoje mūsų tyrimų infrastruktūroje, kur jos poreikis didžiausias. Mūsų išoriniams naudotojams modelius teikianti technologinė infrastruktūra jau savaime yra gerokai labiau centralizuota, o jos eksploatavimo procesai leidžia prireikus greitai išjungti įdiegtus modelius.

„Control Room“ sujungia kelias sistemas: darbo krūvį, išvedimo variklį ir centralizuotą „Control Room“ paslaugą.

• Darbo krūvis – tai vykdoma užduotis, pavyzdžiui, skatinamojo mokymosi eksperimentas, vertinimas, didelės apimties išvesčių generavimo ar duomenų apdorojimo užduotis. Reikalaujame, kad kiekvienas tyrimų darbo krūvis, kuriame vykdomas agentinis išvedimas, būtų susietas su patvirtintu saugos pagrindimu.

• Išvedimo variklis, arba tiesiog variklis, yra pats modelis. Variklį galima įsivaizduoti kaip modelio smegenis, veikiančias tiesiogiai grafikos procesoriuose (GPU). Darbo krūvis paprastai naudoja vieną ar kelis modelius, kurie gali veikti viename ar keliuose skirtinguose išvedimo varikliuose. Tą patį išvedimo variklį gali naudoti keli skirtingi darbo krūviai.

• „Control Room“ paslauga stebi užduotis ir kontroliuoja, ar joms leidžiama toliau generuoti modelio išvestį. Prieš vykdydami užklausą, varikliai kreipiasi į „Control Room“ paslaugą dėl leidimo. Jei užduotis sustabdyta, paslauga atmeta užklausą ir neleidžia toliau generuoti išvesties.

„Control Room“ integracija veikia taip:

• Pradedant naują užduotį, darbo krūvio kodas paprašo „Control Room“ naujo job_id.

• Kai darbo krūviui reikia generuoti modelio žetonus, jis siunčia užklausą tą modelį vykdančiam išvedimo varikliui ir perduoda job_id. Variklis paprašo „Control Room“ leidimo vykdyti tą užklausą, kartu perduodamas job_id.

• „Control Room“ patikrina, ar užduotis nutraukta, ir, jei taip, atmeta išvedimo užklausą. Variklis į darbo krūvio išvedimo užklausą atsako atsisakymu, todėl tai užduočiai modelio išvestis nebegeneruojama.

Visos mūsų priešakinių modelių skatinamojo mokymosi užduotys vykdomos su stebėtoju. Stebėtojas – tai kitas modelis, kuris tikrina visus mokomo modelio veiksmus ir aptikęs problemą pateikia įspėjimą. Pavyzdžiui, neseniai įvykusį su DNS susijusį incidentą⁠(atsidaro naujame lange) aptiko stebėtojas.

„Control Room“ ir mūsų stebėsenos sistemos integracija veikia taip:

• Jei stebėsenos sistema aptinka galimą problemą, ji gali nuspręsti sustabdyti užduotį, atsižvelgdama į problemos pobūdį ir rimtumą.

• Tokiu atveju stebėsenos sistema siunčia „Control Room“ pranešimą sustabdyti užduotį ir perduoda job_id. „Control Room“ užfiksuoja, kad užduotis nutraukta.

• Kitą kartą, kai užduotis su tuo job_id pateiks išvedimo užklausą generuoti daugiau žetonų iš bet kurio modelio, veikiančio bet kuriame variklyje, užklausa bus atmesta ir modelio išvestis nebebus generuojama.

Nuo akimirkos, kai „Control Room“ gauna nurodymą sustabdyti užduotį, iki akimirkos, kai toliau jos vykdyti nebeįmanoma, praeina ne daugiau kaip 35 sekundės. Šį 35 sekundžių delsos laiką lemia išvedimo autorizavimo podėlio sluoksnis, reikalingas numatytam užklausų srautui apdoroti. Siekiame šį laiką sutrumpinti iki nulio, kad užduotis galėtume nutraukti akimirksniu.

Darbo krūvius, įskaitant eksperimentus, vertinimo užduotis ir kt., paprastai valdo ir vykdo tyrėjai arba jų komandos. Todėl darbo krūvių kodas dažnai keičiasi ir nėra tinkamiausia vieta esminėms saugos priemonėms įgyvendinti. Dėl šios priežasties mūsų sprendimas sukurtas taip, kad išliktų atsparus darbo krūvių kodo klaidoms ar sutrikimams.

To pasiekiame įdiegdami nutraukimo mechanizmą išvedimo sluoksnyje. Darbo krūvių kodas yra labai įvairus ir decentralizuotas. O visuose „OpenAI“ tyrimuose naudojama vos keletas išvedimo kodo vykdymo kelių, ir jų diegimas yra gerokai labiau centralizuotas bei vienodas. Taigi išvedimo sluoksnis gali tapti bendru kontrolės tašku, leidžiančiu patikimai užtikrinti, kad kiekviena tyrimuose vykdoma modelių išvedimo užklausa būtų autorizuojama per „Control Room“. Be to, nuolat atliekame patikras pasitelkdami agentus ir programines priemones, kad įsitikintume, jog naudotojai netyčia ar tyčia nepaleidžia neleistinų variklių realizacijų, kuriose „Control Room“ neįdiegta arba išjungta.

Galiausiai mūsų sistema veikia pagal principą „sutrikus – blokuoti“. Tai reiškia, kad „Control Room“ integracija varikliuose sukonfigūruota taip, jog „Control Room“ paslaugai nustojus veikti dėl sistemos klaidos ar ją išjungus dėl bet kokios kitos priežasties, įskaitant piktavališką įsikišimą, visos išvedimo užklausos atmetamos, kol „Control Room“ vėl pradeda veikti įprastai. Blokavimas sutrikus jau įdiegtas visuose priešakinių modelių tyrimų darbo krūviuose, o visuose likusiuose tyrimų darbo krūviuose jį baigsime diegti per artimiausias kelias dienas.

„Control Room“ yra tik viena mūsų visapusiško požiūrio į saugų priešakinių modelių mokymą ir diegimą dalių. Per ateinančius mėnesius toliau stiprinsime ir plėsime šią sistemą, kartu investuodami į su mūsų tikslais nesuderinto elgesio ir saugumo pažeidimų stebėseną. Jei norite padėti kurti sistemas, užtikrinančias saugų ir apsaugotą AGI kūrimą bei diegimą, kviečiame⁠ prisijungti prie mūsų komandos⁠!