Control Room

Naarmate onze modellen krachtiger worden en de bijbehorende veiligheids- en beveiligingsrisico's toenemen, wordt het steeds belangrijker dat we mogelijke problemen kunnen opsporen en modellen zo nodig snel kunnen stilleggen. Daarom hebben we Control Room ontwikkeld.

Control Room is een centraal systeem dat modelworkloads in onze onderzoeksinfrastructuur volgt en snel kan stoppen bij veiligheids- of beveiligingsproblemen. Het verbindt alle inferentieworkloads voor onderzoek, waaronder sampling door agents voor modeltraining en -evaluatie, gegevensverwerking en meer. Het werkt samen met onze systemen voor het monitoren van afwijkend gedrag en stopt de modeloutput binnen 35 seconden nadat is besloten een taak te stoppen of te pauzeren. Het is zo gebouwd dat het blijft werken wanneer andere systemen uitvallen, en de modeloutput stopt als Control Room zelf uitvalt.

Control Room is al uitgerold in onze onderzoeksinfrastructuur, waar de behoefte het grootst is. De infrastructuur waarmee we modellen extern beschikbaar stellen, is van nature al veel centraler ingericht. Daar beschikken we over goed ontwikkelde operationele mogelijkheden om modelimplementaties zo nodig snel uit te schakelen.

Control Room werkt door een aantal systemen te integreren: de workload, de inferentie-engine en de centrale Control Room-service.

• De workload is de taak die wordt uitgevoerd, zoals een experiment met reinforcement learning, een evaluatie of een taak voor grootschalige sampling of gegevensverwerking. Elke onderzoeksworkload die inferentie voor agents uitvoert, moet gekoppeld zijn aan een goedgekeurd veiligheidsdossier.

• De inferentie-engine, of kortweg engine, is het model zelf. Je kunt de engine zien als het brein van het model, dat rechtstreeks op GPU's draait. Een workload gebruikt doorgaans een of meer modellen, die op een of meer verschillende inferentie-engines kunnen draaien. Dezelfde inferentie-engine kan door meerdere workloads worden gebruikt.

• De Control Room-service volgt taken en bepaalt of ze modeloutput mogen blijven genereren. Engines vragen toestemming aan de Control Room-service voordat ze een verzoek uitvoeren. Als een taak is gestopt, weigert de service het verzoek, zodat er geen verdere output wordt gegenereerd.

Control Room is als volgt geïntegreerd:

• Bij het starten van een nieuwe taak vraagt de workloadcode een nieuwe job_id aan bij Control Room.

• Wanneer de workload tokens uit een model moet samplen, stuurt deze een verzoek naar een inferentie-engine waarop dat model draait, met daarbij de job_id. De engine vraagt Control Room toestemming om dat verzoek uit te voeren en geeft daarbij de job_id door.

• Control Room controleert of de taak is beëindigd en weigert in dat geval het inferentieverzoek. De engine beantwoordt het inferentieverzoek van de workload met een weigering, waardoor er voor die taak geen verdere modeloutput wordt gegenereerd.

Al onze taken voor reinforcement learning met grensverleggende modellen worden met een monitor uitgevoerd. Een monitor is een ander model dat alles controleert wat het model in training doet en een melding geeft als het een probleem detecteert. Zo werd ons recente DNS-gerelateerde incident⁠(opent in een nieuw venster) door een monitor ontdekt.

Control Room en ons monitoringsysteem zijn als volgt geïntegreerd:

• Als het monitoringsysteem een mogelijk probleem detecteert, kan het afhankelijk van de aard en ernst besluiten de taak te stoppen.

• In dat geval stuurt het monitoringsysteem een bericht naar Control Room om de taak te stoppen, met daarbij de job_id. Control Room registreert dat de taak is beëindigd.

• De volgende keer dat de taak met die job_id een inferentieverzoek doet om meer tokens te samplen, wordt dat verzoek geweigerd, ongeacht het model en ongeacht de engine waarop het draait. Zo wordt verdere modeloutput gestopt.

Er verstrijken maximaal 35 seconden tussen het moment waarop Control Room de instructie ontvangt om een taak te stoppen en het moment waarop die taak niet meer verder kan. Deze vertraging van 35 seconden wordt veroorzaakt door een cachelaag voor inferentieautorisatie, die nodig is om het vereiste verkeersvolume te verwerken. We werken eraan om dit terug te brengen naar nul, zodat we taken onmiddellijk kunnen beëindigen.

Workloads, zoals experimenten en evaluatietaken, worden doorgaans beheerd en uitgevoerd door onderzoekers of onderzoeksteams. Daardoor verandert de workloadcode vaak en is die geen ideale plek om essentiële veiligheidsmaatregelen te implementeren. Daarom is onze implementatie zo ontworpen dat die bestand is tegen fouten of defecten in workloadcode.

Dit bereiken we door het mechanisme voor het beëindigen van taken in de inferentielaag te implementeren. Workloadcode is zeer gevarieerd en gedecentraliseerd. Daarentegen wordt binnen al het onderzoek van OpenAI slechts een zeer klein aantal codepaden voor inferentie gebruikt, en worden deze veel centraler en uniformer uitgerold. Hierdoor kan de inferentielaag als centraal controlepunt dienen. Zo kunnen we met sterke garanties waarborgen dat alle modelinferentie binnen het onderzoek bij elk inferentieverzoek aan autorisatiecontroles van Control Room wordt onderworpen. Daarnaast voeren we voortdurend controles uit met agents en programmatische controles om na te gaan of gebruikers niet per ongeluk of met kwade opzet ongeautoriseerde engine-implementaties starten waarin Control Room ontbreekt of is uitgeschakeld.

Tot slot blokkeert ons systeem bij uitval standaard alle verzoeken. De Control Room-integratie in de engines is zo geconfigureerd dat alle inferentieverzoeken worden geweigerd als de Control Room-service uitvalt, totdat deze weer normaal functioneert. Dit geldt zowel bij systeemfouten als bij uitschakeling om andere redenen, waaronder sabotage door een kwaadwillende. Deze standaardblokkering bij uitval is inmiddels uitgerold naar alle onderzoeksworkloads voor grensverleggende modellen. De komende dagen wordt de uitrol naar alle overige onderzoeksworkloads afgerond.

Control Room is slechts één onderdeel van onze integrale aanpak voor het veilig trainen en inzetten van grensverleggende modellen. De komende maanden blijven we het systeem versterken en uitbreiden. Daarnaast blijven we investeren in monitoring om gedrag dat niet strookt met onze bedoelingen en beveiligingsinbreuken op te sporen. Wil je helpen systemen te bouwen voor de veilige en goed beveiligde ontwikkeling en inzet van AGI? We zoeken⁠ nieuwe collega's⁠!