Control Room

Efterhånden som vores modeller bliver mere kraftfulde, og de tilhørende risici for sikkerhed og beskyttelse mod angreb vokser, bliver det stadig vigtigere, at vi kan opdage potentielle problemer og hurtigt standse modellerne, når det er nødvendigt. Derfor har vi bygget Control Room.

Control Room er et centralt system, der følger modelworkloads på tværs af vores forskningsinfrastruktur og hurtigt stopper dem, når der opstår bekymringer om sikkerhed eller beskyttelse mod angreb. Det forbinder alle inferensworkloads i forskningen, herunder agentbaseret sampling til modeltræning og evaluering, databehandling og meget mere. Systemet fungerer sammen med vores systemer til overvågning af adfærd, der afviger fra vores hensigter, og standser modellernes output inden for 35 sekunder efter en beslutning om at gribe ind og stoppe eller sætte et job på pause. Det er bygget til at blive ved med at fungere, selv når andre systemer svigter, og til at stoppe modellernes output, hvis Control Room selv går ned.

Control Room er allerede udrullet på tværs af vores forskningsinfrastruktur, hvor behovet er størst. Vores tekniske infrastruktur til at stille modeller til rådighed eksternt er i forvejen langt mere centraliseret af natur, og vi har veletablerede driftsprocedurer til hurtigt at tage udrullede modeller ud af drift, hvis det er nødvendigt.

Control Room fungerer ved at integrere nogle få systemer: workloaden, inferensmotoren og den centrale Control Room-tjeneste.

• Workloaden er det job, der køres, f.eks. et eksperiment med forstærkende læring, en evaluering eller et job med sampling eller databehandling i stor skala. Vi kræver, at alle forskningsworkloads, der udfører agentbaseret inferens, er knyttet til en godkendt sikkerhedsargumentation.

• Inferensmotoren, eller blot motoren, er selve modellen. Man kan betragte motoren som modellens hjerne, der kører direkte på GPU'er. En workload bruger normalt en eller flere modeller, som kan køre på en eller flere forskellige inferensmotorer. Den samme inferensmotor kan bruges af flere forskellige workloads.

• Control Room-tjenesten holder styr på job og kontrollerer, om de har tilladelse til at fortsætte med at generere modeloutput. Motorerne tjekker med Control Room-tjenesten, før de behandler en anmodning. Hvis et job er blevet stoppet, afviser tjenesten anmodningen og forhindrer dermed yderligere output.

Control Room er integreret på følgende måde:

• Når et nyt job starter, anmoder workloadens kode om et nyt job_id fra Control Room.

• Hver gang workloaden skal sample tokens fra en model, sender den en anmodning til en inferensmotor, der kører modellen, og medsender job_id. Motoren beder Control Room om tilladelse til at behandle anmodningen og sender job_id videre til Control Room.

• Control Room kontrollerer, om jobbet er blevet stoppet, og afviser i så fald inferensanmodningen. Motoren svarer på workloadens inferensanmodning med en afvisning, så der ikke produceres mere modeloutput til det pågældende job.

Alle vores job med forstærkende læring til banebrydende modeller kører med en overvågningsmodel. En overvågningsmodel er en anden model, der undersøger alt, hvad modellen under træning foretager sig, og slår alarm, hvis den opdager et problem. For eksempel blev vores nylige DNS-relaterede hændelse⁠(åbner i et nyt vindue) opdaget af en overvågningsmodel.

Control Room og vores overvågningssystem er integreret på følgende måde:

• Hvis overvågningssystemet opdager et potentielt problem, kan det beslutte at stoppe jobbet afhængigt af problemets karakter og alvor.

• I så fald sender overvågningssystemet en besked til Control Room om at stoppe jobbet og medsender job_id. Control Room registrerer, at jobbet er stoppet.

• Næste gang jobbet med det pågældende job_id sender en inferensanmodning om at sample flere tokens, afvises den, uanset hvilken model og uanset hvilken motor der bruges. Dermed stoppes yderligere modeloutput.

Der går højst 35 sekunder, fra Control Room modtager en instruktion om at stoppe et job, til jobbet ikke længere kan komme videre. Forsinkelsen på 35 sekunder skyldes et cachelag til inferensgodkendelse, som gør det muligt at håndtere den nødvendige trafikmængde. Vi arbejder på at få forsinkelsen ned på nul, så vi kan stoppe job øjeblikkeligt.

Workloads, herunder eksperimenter, evalueringsjob osv., ejes og drives normalt af forskere eller forskerteams. Derfor ændres koden til workloads ofte og er ikke et ideelt sted at implementere kritiske sikkerhedsforanstaltninger, som systemet er afhængigt af. Vores implementering er derfor designet til at være robust over for fejlbehæftet eller defekt kode i workloads.

Det opnår vi ved at implementere stopmekanismen i inferenslaget. Koden til workloads er meget varieret og decentraliseret. Til gengæld bruges der kun ganske få kodestier til inferens på tværs af al forskning hos OpenAI, og de udrulles langt mere centraliseret og ensartet. Det betyder, at inferenslaget kan fungere som et fælles kontrolpunkt, hvor vi med stor sikkerhed kan garantere, at al modelinferens i forskningen underlægges Control Rooms godkendelseskontrol ved hver inferensanmodning. Vi foretager desuden løbende agentbaserede og programmatiske kontroller for at sikre, at brugerne ikke ved et uheld eller med ondsindede hensigter starter uautoriserede motorimplementeringer, hvor Control Room ikke er implementeret eller er deaktiveret.

Endelig »lukker vores system ved fejl«. Det betyder, at Control Room-integrationen i motorerne er konfigureret sådan, at alle inferensanmodninger afvises, hvis Control Room-tjenesten går ned – enten på grund af en systemfejl, eller fordi den deaktiveres af en anden årsag, herunder manipulation fra en ondsindet aktør. Anmodningerne afvises, indtil Control Room igen fungerer normalt. Denne lukning ved fejl er nu udrullet til alle forskningsworkloads med banebrydende modeller og vil blive udrullet til alle resterende forskningsworkloads i løbet af de næste par dage.

Control Room er blot én del af vores helhedsorienterede tilgang til sikker træning og udrulning af banebrydende modeller. Vi vil fortsætte med at styrke og udvide systemet i de kommende måneder, samtidig med at vi investerer i overvågning af adfærd, der afviger fra vores hensigter, og sikkerhedsbrud. Vil du være med til at bygge systemer, der gør det muligt at udvikle og udrulle AGI sikkert og beskyttet mod angreb? Vi søger⁠ nye kolleger⁠!