Control Room

Ahogy modelljeink egyre nagyobb képességekkel rendelkeznek, és nőnek a hozzájuk kapcsolódó működésbiztonsági és védelmi kockázatok, egyre fontosabb, hogy felismerjük a lehetséges problémákat, és szükség esetén gyorsan leállíthassuk a modelleket. Ezért hoztuk létre a Control Room rendszert.

A Control Room egy központi rendszer, amely kutatási infrastruktúránk egészében nyomon követi a modellek számítási feladatait, és működésbiztonsági vagy védelmi aggály esetén gyorsan leállítja őket. Minden kutatási inferenciafeladatot összekapcsol, beleértve a modellek tanításához és kiértékeléséhez végzett ügynökalapú mintavételezést, az adatfeldolgozást és más feladatokat is. A rendszer együttműködik az elvárt céloktól eltérő viselkedést figyelő rendszereinkkel, és a feladat leállításáról vagy szüneteltetéséről szóló döntéstől számítva 35 másodpercen belül leállítja a modell kimenetének generálását. Úgy terveztük, hogy más rendszerek meghibásodása esetén is működjön, és akkor is leállítsa a modell kimenetének generálását, ha maga a Control Room áll le.

A Control Room már a teljes kutatási infrastruktúránkban működik, ahol a legnagyobb szükség van rá. A külső felhasználókat kiszolgáló modellinfrastruktúránk eleve jóval központosítottabb, és kiforrott üzemeltetési megoldásokkal rendelkezik ahhoz, hogy szükség esetén gyorsan leállítsuk az üzembe helyezett modelleket.

A Control Room néhány rendszer integrációjára épül: ezek a számítási feladat, az inferenciamotor és a központi Control Room szolgáltatás.

• A számítási feladat az éppen futtatott munka, például egy megerősítéses tanulási kísérlet, kiértékelés, nagy volumenű mintavételezés vagy adatfeldolgozás. Előírjuk, hogy minden ügynökalapú inferenciát végző kutatási feladathoz jóváhagyott biztonsági érvelés tartozzon.

• Az inferenciamotor, vagy röviden motor, maga a modell. A motorra a modell agyaként tekinthetünk, amely közvetlenül GPU-kon fut. Egy számítási feladat általában egy vagy több modellt használ, amelyek egy vagy több különböző inferenciamotoron futhatnak. Ugyanazt az inferenciamotort több különböző számítási feladat is használhatja.

• A Control Room szolgáltatás nyomon követi a feladatokat, és szabályozza, hogy generálhatnak-e további modellkimenetet. A motorok a kérések teljesítése előtt engedélyt kérnek a Control Room szolgáltatástól. Ha egy feladatot leállítottak, a szolgáltatás elutasítja a kérést, megakadályozva a további kimenet létrehozását.

A Control Room integrációja a következőképpen működik:

• Új feladat indításakor a feladat kódja új job_id azonosítót kér a Control Roomtól.

• Amikor a feladatnak tokeneket kell mintavételeznie egy modellből, kérést küld a modellt futtató inferenciamotornak, átadva a job_id azonosítót. A motor engedélyt kér a Control Roomtól a kérés teljesítésére, és továbbítja neki a job_id azonosítót.

• A Control Room ellenőrzi, hogy leállították-e a feladatot, és ha igen, elutasítja az inferenciakérést. A motor elutasítással válaszol a feladat inferenciakérésére, így a feladathoz nem keletkezik további modellkimenet.

Az élvonalbeli modellekhez kapcsolódó összes megerősítéses tanulási feladatunk felügyelőmodell mellett fut. A felügyelőmodell egy másik modell, amely a tanítás alatt álló modell minden tevékenységét megvizsgálja, és riasztást ad, ha problémát észlel. Például a közelmúltbeli DNS-hez kapcsolódó incidensünket⁠(új ablakban nyílik meg) is egy felügyelőmodell észlelte.

A Control Room és a felügyeleti rendszerünk a következőképpen működik együtt:

• Ha a felügyeleti rendszer lehetséges problémát észlel, annak részleteitől és súlyosságától függően dönthet a feladat leállításáról.

• Ebben az esetben a felügyeleti rendszer üzenetet küld a Control Roomnak a feladat leállítására, átadva a job_id azonosítót. A Control Room rögzíti, hogy a feladat leállt.

• Amikor az adott job_id azonosítójú feladat legközelebb inferenciakérést küld további tokenek mintavételezésére bármely motoron futó bármely modellből, a rendszer elutasítja a kérést, így nem keletkezik további modellkimenet.

Legfeljebb 35 másodperc telik el aközött, hogy a Control Room megkapja a feladat leállítására vonatkozó utasítást, és hogy a feladat már nem tud továbbhaladni. A 35 másodperces késleltetést az inferencia engedélyezéséhez használt gyorsítótárazási réteg okozza, amely a szükséges forgalom kezelését teszi lehetővé. Azon dolgozunk, hogy ezt az időt nullára csökkentsük, és így azonnal leállíthassuk a feladatokat.

A számítási feladatokért – köztük a kísérletekért, kiértékelésekért és egyéb feladatokért – általában kutatók vagy kutatócsoportok felelnek, és ők is futtatják azokat. Emiatt a feladatok kódja gyakran változik, így nem ideális hely az alapvető fontosságú biztonsági védelmek megvalósítására. Ezért a rendszerünket úgy terveztük meg, hogy a feladatok hibás vagy működésképtelen kódja se akadályozza a működését.

Ezt úgy érjük el, hogy a leállítási mechanizmust az inferenciarétegben valósítjuk meg. A feladatok kódja rendkívül sokféle és decentralizált. Ezzel szemben az OpenAI összes kutatási tevékenysége során csupán néhány inferencia-kódútvonalat használunk, és ezek telepítése sokkal központosítottabb és egységesebb. Így az inferenciaréteg közös ellenőrzési pontként szolgálhat, ahol erős garanciákat biztosíthatunk arra, hogy a kutatásban futó összes modellinferenciánál minden egyes inferenciakérés átesik a Control Room engedélyezési ellenőrzésén. Emellett ügynökökkel és programozott módszerekkel folyamatos ellenőrzéseket végzünk, hogy a felhasználók se véletlenül, se rosszindulatúan ne indíthassanak olyan szabálytalan motormegvalósításokat, amelyekből hiányzik a Control Room integrációja, vagy amelyekben az ki van kapcsolva.

Végül a rendszerünk „hiba esetén tilt”: a motorok Control Room-integrációja úgy van beállítva, hogy ha a Control Room szolgáltatás leáll – akár rendszerhiba miatt, akár mert más okból kikapcsolják, beleértve a rosszindulatú beavatkozást is –, minden inferenciakérést elutasít mindaddig, amíg a Control Room normál működése helyre nem áll. A hiba esetén tiltó működést már bevezettük az élvonalbeli modellekhez kapcsolódó összes kutatási feladatnál, a többi kutatási feladatnál pedig a következő napokban fejezzük be a bevezetését.

A Control Room csupán egy része annak az átfogó megközelítésnek, amellyel az élvonalbeli modellek biztonságos tanítását és üzembe helyezését biztosítjuk. Az elkövetkező hónapokban tovább erősítjük és bővítjük a rendszert, miközben az elvárt céloktól eltérő viselkedés és a biztonsági incidensek észlelését is fejlesztjük. Ha szeretnél az AGI biztonságos és védett fejlesztését és üzembe helyezését szolgáló rendszereken dolgozni, jelentkezz⁠ hozzánk⁠!