Control Room

När våra modeller blir kraftfullare och de tillhörande riskerna för säkerhet och skydd mot angrepp ökar, blir det allt viktigare att kunna upptäcka potentiella problem och snabbt stoppa modellerna vid behov. För att lösa detta byggde vi Control Room.

Control Room är ett centralt system för att följa modellarbetslaster i hela vår forskningsinfrastruktur och snabbt stoppa dem när risker för säkerheten uppstår. Systemet kopplar samman alla inferensarbetslaster inom forskningen, inklusive agentbaserad sampling för modellträning och utvärdering, databearbetning med mera. Det samverkar med våra system för övervakning av avvikelser från avsedda mål och stoppar modellens utdata inom 35 sekunder efter ett beslut att ingripa för att stoppa eller pausa ett jobb. Systemet är byggt för att fortsätta fungera även när andra system fallerar och för att stoppa modellens utdata om Control Room självt slutar fungera.

Control Room används redan i hela vår forskningsinfrastruktur, där behovet är som störst. Vår teknikstack för att tillhandahålla modeller externt är redan betydligt mer centraliserad till sin natur, med en välutvecklad operativ förmåga att snabbt ta driftsatta modeller ur bruk vid behov.

Control Room fungerar genom att integrera några system: arbetslasten, inferensmotorn och den centrala Control Room-tjänsten.

• Arbetslasten är det jobb som körs, till exempel ett experiment med förstärkningsinlärning, en utvärdering, sampling i stor skala eller ett databearbetningsjobb. Vi kräver att varje forskningsarbetslast som utför agentbaserad inferens är kopplad till en godkänd säkerhetsargumentation.

• Inferensmotorn, eller bara motorn, är själva modellen. Man kan se motorn som modellens hjärna, som körs direkt på GPU:er. En arbetslast använder normalt en eller flera modeller, som kan köras på en eller flera olika inferensmotorer. Samma inferensmotor kan användas av flera olika arbetslaster.

• Control Room-tjänsten håller reda på jobb och styr om de får fortsätta generera modellutdata. Motorerna kontrollerar med Control Room-tjänsten innan de utför en begäran. Om ett jobb har stoppats nekar tjänsten begäran, vilket förhindrar ytterligare utdata.

Control Room integreras på följande sätt:

• När ett nytt jobb startas begär arbetslastens kod ett nytt job_id från Control Room.

• När arbetslasten behöver sampla token från en modell skickar den en begäran till en inferensmotor som kör modellen och bifogar job_id. Motorn ber Control Room om tillstånd att utföra begäran och skickar vidare job_id till Control Room.

• Control Room kontrollerar om jobbet har avslutats och nekar i så fall inferensbegäran. Motorn svarar på arbetslastens inferensbegäran med ett avslag, vilket hindrar modellen från att producera ytterligare utdata för jobbet.

Alla våra jobb för förstärkningsinlärning med banbrytande modeller körs med en övervakningsmodell. En övervakningsmodell är en annan modell som granskar allt som modellen under träning gör och larmar om den upptäcker ett problem. Till exempel upptäcktes vår senaste DNS-relaterade incident⁠(öppnas i ett nytt fönster) av en övervakningsmodell.

Control Room och vårt övervakningssystem är integrerade på följande sätt:

• Om övervakningssystemet upptäcker ett potentiellt problem kan det besluta att stoppa jobbet, beroende på omständigheterna och problemets allvarlighetsgrad.

• I så fall skickar övervakningssystemet ett meddelande till Control Room om att stoppa jobbet och bifogar job_id. Control Room registrerar att jobbet är avslutat.

• Nästa gång jobbet med detta job_id skickar en inferensbegäran för att sampla fler token nekas begäran, oavsett vilken modell det gäller och oavsett vilken motor den körs på. Därmed stoppas ytterligare modellutdata.

Det tar högst 35 sekunder från det att Control Room tar emot en instruktion om att stoppa ett jobb tills jobbet inte längre kan göra några framsteg. Fördröjningen på 35 sekunder beror på ett cachelager för inferensauktorisering som behövs för att hantera trafikvolymen. Vi arbetar för att få ner den tiden till noll så att vi kan avsluta jobb omedelbart.

Arbetslaster, till exempel experiment och utvärderingsjobb, ägs och körs normalt av forskare eller forskargrupper. Därför ändras arbetslasternas kod ofta, vilket gör den mindre lämpad för att implementera säkerhetsskydd som är avgörande för systemets säkerhet. Vår implementation är därför utformad för att tåla buggar och fel i arbetslasternas kod.

Det uppnår vi genom att implementera stoppmekanismen i inferenslagret. Arbetslasternas kod är mycket varierad och decentraliserad. Däremot används bara ett fåtal kodvägar för inferens inom hela OpenAI:s forskning, och deras driftsättningar är betydligt mer centraliserade och enhetliga. Det innebär att inferenslagret kan fungera som en gemensam kontrollpunkt där vi kan ge starka garantier för att all modellinferens inom forskningen omfattas av Control Rooms auktoriseringskontroller vid varje inferensbegäran. Vi genomför dessutom löpande kontroller med agenter och programkod för att säkerställa att användare inte av misstag eller med ont uppsåt startar otillåtna motorimplementationer där Control Room saknas eller är inaktiverat.

Slutligen är vårt system inställt på att ”neka vid fel”. Det innebär att motorernas Control Room-integration är konfigurerad så att alla inferensbegäranden nekas om Control Room-tjänsten slutar fungera, tills tjänsten åter fungerar normalt. Detta gäller oavsett om orsaken är ett systemfel eller att tjänsten har inaktiverats av något annat skäl, även genom manipulation av en illvillig aktör. Funktionen att neka vid fel har nu införts för alla forskningsarbetslaster med banbrytande modeller och införs för samtliga återstående forskningsarbetslaster under de närmaste dagarna.

Control Room är bara en del av vårt helhetsarbete för säker träning och driftsättning av banbrytande modeller. Vi fortsätter att stärka och utöka systemet under de kommande månaderna, parallellt med våra satsningar på övervakning för att upptäcka beteenden som strider mot avsedda mål och säkerhetsintrång. Vill du vara med och bygga system för säker och trygg utveckling och driftsättning av AGI? Vi⁠ rekryterar⁠!