Control Room

Mūsu modeļiem kļūstot jaudīgākiem un ar tiem saistītajiem drošuma un drošības riskiem pieaugot, arvien svarīgāk ir spēt atklāt iespējamās problēmas un vajadzības gadījumā ātri apturēt modeļu darbību. Lai to nodrošinātu, mēs izveidojām Control Room.

Control Room ir centrāla sistēma modeļu darba slodžu uzraudzībai visā mūsu pētniecības infrastruktūrā un to ātrai apturēšanai, ja rodas bažas par drošumu vai drošību. Tā savieno visas pētniecības vajadzībām paredzētās modeļu inferēšanas darba slodzes, tostarp aģentisku paraugu atlasi modeļu apmācībai un novērtēšanai, datu apstrādi un citas darbības. Tā darbojas kopā ar mūsu nesaskaņotas uzvedības uzraudzības sistēmām un aptur modeļa izvadi 35 sekunžu laikā pēc lēmuma iejaukties, lai pārtrauktu vai pauzētu uzdevumu. Tā ir veidota tā, lai turpinātu darboties arī tad, ja citas sistēmas nedarbojas, un apturētu modeļa izvadi, ja pārstāj darboties pati Control Room.

Control Room jau ir ieviesta visā mūsu pētniecības infrastruktūrā, kur tā ir visvairāk nepieciešama. Mūsu ārējiem lietotājiem paredzēto modeļu apkalpošanas tehnoloģiju kopa jau pēc būtības ir daudz centralizētāka, un mums ir labi attīstīta operatīvā spēja vajadzības gadījumā ātri atslēgt modeļu izvietojumus.

Control Room darbība balstās uz vairāku sistēmu integrāciju: darba slodzi, secināšanas dzinēju un centralizēto Control Room pakalpojumu.

• Darba slodze ir izpildāmais uzdevums, piemēram, stimulētās mācīšanās eksperiments, novērtēšana, liela apjoma izvades ģenerēšana vai datu apstrāde. Mēs prasām, lai katra pētniecības darba slodze, kurā tiek veikta aģentu secināšana, būtu saistīta ar apstiprinātu drošuma pamatojumu.

• Secināšanas dzinējs jeb vienkārši dzinējs ir pats modelis. Dzinēju var iztēloties kā modeļa smadzenes, kas darbojas tieši grafiskajos procesoros. Darba slodze parasti izmanto vienu vai vairākus modeļus, kas var darboties vienā vai vairākos dažādos secināšanas dzinējos. Vienu un to pašu secināšanas dzinēju var izmantot vairākas darba slodzes.

• Control Room pakalpojums uzrauga uzdevumus un kontrolē, vai tiem ir atļauts turpināt ģenerēt modeļa izvadi. Pirms pieprasījuma izpildes dzinēji pārbauda atļauju Control Room pakalpojumā. Ja uzdevums ir apturēts, pakalpojums noraida pieprasījumu, nepieļaujot turpmāku izvades ģenerēšanu.

Control Room integrācija darbojas šādi:

• Sākot jaunu uzdevumu, darba slodzes kods pieprasa no Control Room jaunu job_id.

• Ikreiz, kad darba slodzei nepieciešams ģenerēt modeļa tokenus, tā nosūta pieprasījumu secināšanas dzinējam, kurā darbojas šis modelis, norādot job_id. Dzinējs pieprasa Control Room atļauju izpildīt šo pieprasījumu, nododot tai job_id.

• Control Room pārbauda, vai uzdevums ir pārtraukts. Ja tā ir, sistēma noraida secināšanas pieprasījumu. Dzinējs uz darba slodzes secināšanas pieprasījumu atbild ar atteikumu, apturot turpmāku modeļa izvades ģenerēšanu šim uzdevumam.

Visi mūsu robežšķirtnes modeļu stimulētās mācīšanās uzdevumi tiek izpildīti uzraugoša modeļa pārraudzībā. Uzraugošais modelis ir cits modelis, kas pārbauda visas apmācāmā modeļa darbības un nosūta brīdinājumu, ja atklāj problēmu. Piemēram, mūsu neseno ar DNS saistīto incidentu⁠(atveras jaunā logā) atklāja uzraugošais modelis.

Control Room un mūsu uzraudzības sistēmas integrācija darbojas šādi:

• Ja uzraudzības sistēma atklāj iespējamu problēmu, tā atkarībā no apstākļiem un problēmas nopietnības var pieņemt lēmumu apturēt uzdevumu.

• Šādā gadījumā uzraudzības sistēma nosūta Control Room ziņojumu apturēt uzdevumu, norādot job_id. Control Room reģistrē, ka uzdevums ir pārtraukts.

• Nākamreiz, kad uzdevums ar šo job_id nosūtīs secināšanas pieprasījumu, lai ģenerētu papildu tokenus ar jebkuru modeli jebkurā dzinējā, pieprasījums tiks noraidīts, apturot turpmāku modeļa izvadi.

No brīža, kad Control Room saņem norādījumu apturēt uzdevumu, līdz brīdim, kad tā turpmāka izpilde vairs nav iespējama, paiet ne vairāk kā 35 sekundes. Šo 35 sekunžu aizkavi rada secināšanas autorizācijas kešatmiņas slānis, kas vajadzīgs, lai apkalpotu nepieciešamo pieprasījumu apjomu. Mēs strādājam, lai samazinātu šo laiku līdz nullei un varētu pārtraukt uzdevumus uzreiz.

Darba slodzes, tostarp eksperimentus, novērtēšanas uzdevumus un citus darbus, parasti pārvalda un izpilda pētnieki vai pētnieku komandas. Tāpēc darba slodžu kods bieži mainās un nav piemērotākā vieta kritiski svarīgu drošības mehānismu ieviešanai. Šī iemesla dēļ mūsu risinājums ir veidots tā, lai izturētu kļūdas vai darbības traucējumus darba slodžu kodā.

To panākam, ieviešot pārtraukšanas mehānismu secināšanas slānī. Darba slodžu kods ir ļoti daudzveidīgs un decentralizēts. Turpretī visā OpenAI pētniecībā tiek izmantots tikai neliels skaits secināšanas koda izpildes ceļu, un to izvietojumi ir daudz centralizētāki un vienveidīgāki. Tas nozīmē, ka secināšanas slānis var kalpot par obligātu kontroles punktu, kurā varam ar augstu pārliecību garantēt: katram modeļu secināšanas pieprasījumam pētniecībā tiek veikta Control Room autorizācijas pārbaude. Turklāt mēs pastāvīgi veicam pārbaudes ar aģentu un programmatūras palīdzību, lai pārliecinātos, ka lietotāji nejauši vai ļaunprātīgi nepalaiž neatļautas dzinēju realizācijas, kurās Control Room nav ieviesta vai ir atspējota.

Visbeidzot, mūsu sistēma darbojas pēc principa „atteices gadījumā bloķēt darbību”. Tas nozīmē, ka Control Room integrācija dzinējos ir konfigurēta šādi: ja Control Room pakalpojums pārstāj darboties sistēmas kļūdas dēļ vai tiek atspējots jebkāda cita iemesla dēļ, tostarp ļaunprātīgas iejaukšanās rezultātā, visi secināšanas pieprasījumi tiek noraidīti, līdz Control Room atsāk normālu darbību. Darbības bloķēšana atteices gadījumā jau ir ieviesta visās robežšķirtnes modeļu pētniecības darba slodzēs, un tuvāko dienu laikā tā tiks ieviesta arī visās pārējās pētniecības darba slodzēs.

Control Room ir tikai viena daļa no mūsu visaptverošās pieejas drošai robežšķirtnes modeļu apmācībai un izvietošanai. Nākamajos mēnešos turpināsim stiprināt un paplašināt šo sistēmu, vienlaikus ieguldot līdzekļus uzraudzībā, kas palīdz atklāt ar cilvēku mērķiem nesaskaņotu uzvedību un drošības pārkāpumus. Ja vēlies palīdzēt veidot sistēmas drošai un aizsargātai AGI izstrādei un izvietošanai, pievienojies⁠ mūsu komandai⁠!