Control Room

Etter hvert som modellene våre blir kraftigere og den tilhørende risikoen for skade og sikkerhetsbrudd øker, blir det stadig viktigere å kunne oppdage mulige problemer og raskt stoppe modellene ved behov. Derfor bygget vi Control Room.

Control Room er et sentralt system som sporer modellarbeidslaster i hele forskningsinfrastrukturen vår og raskt stopper dem når det oppstår bekymringer om trygghet eller sikkerhet. Systemet kobler sammen alle inferensarbeidslaster i forskningen, inkludert agentbasert sampling for modelltrening og evaluering, databehandling med mer. Det fungerer sammen med systemene våre for overvåking av avvik fra tiltenkte mål, og stanser genereringen av modellutdata innen 35 sekunder etter en beslutning om å gripe inn for å stoppe eller sette en jobb på pause. Det er bygget for å fortsette å fungere selv når andre systemer svikter, og for å stoppe genereringen av modellutdata hvis Control Room selv går ned.

Control Room er allerede tatt i bruk i hele forskningsinfrastrukturen vår, der behovet er størst. Teknologistakken som leverer modellene til eksterne brukere, er i utgangspunktet langt mer sentralisert. Der har vi allerede en veletablert operativ evne til raskt å ta modeller ut av drift ved behov.

Control Room fungerer ved å integrere noen få systemer: arbeidslasten, inferensmotoren og den sentraliserte Control Room-tjenesten.

• Arbeidslasten er jobben som kjøres, for eksempel et eksperiment med forsterkende læring, en evaluering, sampling i stort omfang eller en databehandlingsjobb. Vi krever at alle forskningsarbeidslaster som utfører agentbasert inferens, er knyttet til en godkjent sikkerhetsargumentasjon.

• Inferensmotoren, eller bare motoren, er selve modellen. Du kan tenke på motoren som modellens hjerne, som kjører direkte på GPU-er. En arbeidslast bruker vanligvis én eller flere modeller, som kan kjøre på én eller flere ulike inferensmotorer. Den samme inferensmotoren kan brukes av flere ulike arbeidslaster.

• Control Room-tjenesten sporer jobber og styrer om de får fortsette å generere modellutdata. Motorene sjekker med Control Room-tjenesten før de utfører en forespørsel. Hvis en jobb er stoppet, avviser tjenesten forespørselen og hindrer at det genereres flere utdata.

Control Room er integrert på følgende måte:

• Når en ny jobb startes, ber koden for arbeidslasten om en ny job_id fra Control Room.

• Hver gang arbeidslasten trenger å sample tokener fra en modell, sender den en forespørsel med job_id til en inferensmotor som kjører modellen. Motoren ber Control Room om tillatelse til å utføre forespørselen og sender job_id videre til Control Room.

• Control Room sjekker om jobben er avsluttet. I så fall avvises inferensforespørselen. Motoren svarer på arbeidslastens inferensforespørsel med et avslag, slik at det ikke produseres flere modellutdata for jobben.

Alle jobbene våre med forsterkende læring for banebrytende modeller kjøres med en overvåkingsmodell. En overvåkingsmodell er en annen modell som undersøker alt modellen under trening gjør, og varsler hvis den oppdager et problem. For eksempel ble den nylige DNS-relaterte hendelsen⁠(åpnes i et nytt vindu) vår oppdaget av en overvåkingsmodell.

Control Room og overvåkingssystemet vårt er integrert på følgende måte:

• Hvis overvåkingssystemet oppdager et mulig problem, kan det beslutte å stoppe jobben ut fra problemets art og alvorlighetsgrad.

• I så fall sender overvåkingssystemet en melding til Control Room om å stoppe jobben, sammen med job_id. Control Room registrerer at jobben er avsluttet.

• Neste gang jobben med denne job_id sender en inferensforespørsel om å sample flere tokener, avvises forespørselen – uansett hvilken modell eller hvilken motor den gjelder. Dermed stoppes genereringen av flere modellutdata.

Det tar maksimalt 35 sekunder fra Control Room mottar en instruks om å stoppe en jobb, til jobben ikke lenger kan gjøre fremskritt. Forsinkelsen på 35 sekunder skyldes et hurtigbufferlag for inferensautorisasjon, som er nødvendig for å håndtere trafikkmengden. Vi jobber med å få denne tiden ned til null, slik at vi kan avslutte jobber umiddelbart.

Arbeidslaster, som eksperimenter, evalueringsjobber og lignende, eies og drives vanligvis av forskere eller forskerteam. Derfor endres koden for arbeidslastene ofte, og den er ikke et ideelt sted å implementere kritiske sikkerhetsmekanismer. Løsningen vår er derfor utformet for å tåle feil eller svikt i koden for arbeidslastene.

Dette oppnår vi ved å implementere stoppmekanismen i inferenslaget. Koden for arbeidslastene er svært variert og desentralisert. Til sammenligning brukes bare noen få kodebaner for inferens i all forskning hos OpenAI, og utrullingen av disse er langt mer sentralisert og ensartet. Dermed kan inferenslaget fungere som et felles kontrollpunkt, der vi med høy grad av sikkerhet kan garantere at all modellinferens i forskningen gjennomgår autorisasjonskontroller fra Control Room ved hver inferensforespørsel. Vi gjennomfører også kontinuerlige kontroller med agenter og programmer for å sjekke at brukere ikke ved et uhell eller med ondsinnet hensikt starter uautoriserte motorimplementasjoner der Control Room mangler eller er deaktivert.

Til slutt er systemet vårt konfigurert til å «blokkere ved feil». Det betyr at Control Room-integrasjonen i motorene avviser alle inferensforespørsler hvis Control Room-tjenesten går ned, helt til den er i normal drift igjen. Dette gjelder enten årsaken er en systemfeil eller at tjenesten er deaktivert av en annen grunn, inkludert manipulering fra en ondsinnet aktør. Blokkering ved feil er nå innført for alle forskningsarbeidslaster med banebrytende modeller, og utrullingen til alle øvrige forskningsarbeidslaster fullføres i løpet av de neste dagene.

Control Room er bare én del av vår helhetlige tilnærming til trygg trening og utrulling av banebrytende modeller. Vi vil fortsette å styrke og utvide systemet i månedene som kommer, samtidig som vi investerer i overvåking av atferd som avviker fra tiltenkte mål, og sikkerhetsbrudd. Vil du bidra til å bygge systemer for trygg og sikker utvikling og utrulling av AGI? Vi⁠ ansetter⁠!