Control Room

Mida võimekamaks meie mudelid muutuvad ja mida suuremaks kasvavad nendega seotud ohutus- ja turvariskid, seda olulisem on võimalikke probleeme avastada ning vajaduse korral mudelite töö kiiresti peatada. Selleks lõime Control Roomi.

Control Room on keskne süsteem, mis jälgib mudelite töökoormusi kogu meie teadustaristus ja peatab need kiiresti ohutus- või turvaprobleemide ilmnemisel. Sellega on ühendatud kõik teadustöö järeldamiskoormused, sealhulgas agentide väljundite genereerimine mudelite treenimiseks ja hindamiseks, andmetöötlus ning muu. See töötab koos meie eesmärkidega vastuolus oleva käitumise seiresüsteemidega ning peatab mudeli väljundi genereerimise 35 sekundi jooksul pärast otsust sekkuda, et töö lõpetada või pausile panna. See on loodud töötama ka siis, kui muud süsteemid lakkavad toimimast, ning peatama mudeli väljundi genereerimise, kui Control Room ise lakkab töötamast.

Control Room on juba kasutusel kogu meie teadustaristus, kus vajadus selle järele on suurim. Meie väliskasutajatele mudeleid teenindav tarkvarapinu on juba oma olemuselt märksa tsentraliseeritum ning meil on väljakujunenud operatiivne võimekus mudelijuurutusi vajaduse korral kiiresti kasutusest kõrvaldada.

Control Room ühendab omavahel mitu süsteemi: töökoormuse, järeldusmootori ja keskse Control Roomi teenuse.

• Töökoormus on käitatav töö, näiteks kinnistava õppimise katse, hindamine, suuremahuline väljundite genereerimine või andmetöötlus. Nõuame, et iga agentide järeldamist kasutav teadustöökoormus oleks seotud heakskiidetud ohutuspõhjendusega.

• Järeldusmootor ehk lihtsalt mootor on mudel ise. Mootorit võib pidada mudeli ajuks, mis töötab otse graafikaprotsessoritel. Töökoormus kasutab tavaliselt üht või mitut mudelit, mis võivad töötada ühel või mitmel järeldusmootoril. Sama järeldusmootorit võib kasutada mitu eri töökoormust.

• Control Roomi teenus jälgib töid ja otsustab, kas neil on lubatud mudeli väljundi genereerimist jätkata. Enne päringu täitmist kontrollivad mootorid luba Control Roomi teenusest. Kui töö on peatatud, lükkab teenus päringu tagasi ja takistab edasise väljundi genereerimist.

Control Roomi integratsioon toimib järgmiselt:

• Uue töö käivitamisel küsib töökoormuse kood Control Roomilt uue job_id.

• Iga kord, kui töökoormusel on vaja mudelilt tokeneid genereerida, saadab see päringu vastavat mudelit käitavale järeldusmootorile, edastades ka job_id. Mootor küsib Control Roomilt luba päringu täitmiseks, edastades Control Roomile job_id.

• Control Room kontrollib, kas töö on lõpetatud, ja kui on, lükkab järeldamispäringu tagasi. Mootor vastab töökoormuse järeldamispäringule keeldumisega, takistades selle töö jaoks mudeli edasise väljundi genereerimist.

Kõik meie tipptasemel mudelite kinnistava õppimise tööd kasutavad seiremudelit. Seiremudel on teine mudel, mis kontrollib treenitava mudeli kogu tegevust ja annab probleemi avastamisel hoiatuse. Näiteks avastas seiremudel meie hiljutise DNS-iga seotud intsidendi⁠(avaneb uues aknas).

Control Room ja meie seiresüsteem on ühendatud järgmiselt:

• Kui seiresüsteem avastab võimaliku probleemi, võib see olenevalt asjaoludest ja probleemi tõsidusest otsustada töö peatada.

• Sel juhul saadab seiresüsteem Control Roomile teate töö peatamiseks, edastades job_id. Control Room märgib töö lõpetatuks.

• Kui selle job_id-ga töö teeb järgmise järeldamispäringu, et genereerida veel tokeneid mis tahes mootoril töötavalt mis tahes mudelilt, lükatakse päring tagasi ja mudeli edasise väljundi genereerimine peatub.

Alates hetkest, mil Control Room saab korralduse töö peatada, kuni hetkeni, mil töö jätkamine pole enam võimalik, kulub kõige rohkem 35 sekundit. 35-sekundiline viivitus tuleneb järeldamislubade vahemälukihist, mis on vajalik suure päringumahu teenindamiseks. Töötame selle nimel, et viia see aeg nullini ja lõpetada tööd hetkega.

Töökoormused, sealhulgas katsed, hindamistööd jm, on tavaliselt teadlaste või teadlasrühmade hallata ja käitada. Seetõttu muutub töökoormuste kood sageli ega ole parim koht kriitilise tähtsusega ohutusmeetmete rakendamiseks. Seepärast oleme oma lahenduse kavandanud nii, et see toimiks ka siis, kui töökoormuse koodis on vigu või see ei tööta.

Selle saavutamiseks rakendame lõpetamismehhanismi järeldamiskihis. Töökoormuste kood on väga mitmekesine ja hajutatud. Seevastu on kogu OpenAI teadustöös kasutusel vaid väga väike arv järeldamise koodiradu ning nende juurutused on märksa tsentraliseeritumad ja ühtlasemad. See tähendab, et järeldamiskiht saab toimida ühise kontrollpunktina, mis annab tugeva tagatise, et iga teadustöös kasutatava mudeli iga järeldamispäring läbib Control Roomi loakontrolli. Lisaks teeme agentide abil ja programmiliselt pidevaid kontrolle, veendumaks, et kasutajad ei käivita kogemata ega pahatahtlikult loata mootorilahendusi, milles Control Room pole rakendatud või on keelatud.

Viimaks toimib meie süsteem põhimõttel „rikke korral blokeeri“. See tähendab, et Control Roomi integratsioon mootorites on seadistatud nii, et kui Control Roomi teenus lakkab töötamast süsteemivea tõttu või lülitatakse välja mis tahes muul põhjusel, sealhulgas pahatahtliku sekkumise tõttu, lükatakse kõik järeldamispäringud tagasi, kuni Control Roomi tavapärane töö taastub. Rikke korral blokeerimine on nüüd kasutusel kõigis tipptasemel mudelite teadustöökoormustes ning jõuab järgmise paari päeva jooksul ka kõigi ülejäänud teadustöökoormusteni.

Control Room on vaid üks osa meie terviklikust lähenemisest tipptasemel mudelite ohutule treenimisele ja kasutuselevõtule. Jätkame lähikuudel süsteemi tugevdamist ja laiendamist ning investeerime samal ajal soovitud eesmärkidega vastuolus oleva käitumise ja turvarikkumiste seiresse. Kui soovid aidata luua süsteeme AGI ohutuks ja turvaliseks arendamiseks ning kasutuselevõtuks, siis otsime⁠ uusi töötajaid⁠!