Att styra modellutvecklingen i en era av cyberkritisk förmåga

Under de senaste veckorna har två händelser belyst de växande riskerna med allt mer kapabla AI-system: incidenten mellan OpenAI och Hugging Face samt preliminära belägg för att en av våra kommande modeller, Astra, kan nå tröskeln för kritisk cybersäkerhetsförmåga enligt vårt Preparedness Framework. Tillsammans med de snabba framstegen i vår interna forskning har dessa händelser gjort arbetet med att stärka skyddsåtgärderna för övervakning, anpassning och inneslutning under utbildningens alla faser än mer angeläget.

I takt med att modeller blir mer kapabla ökar också riskerna med att utveckla och testa dem internt. Våra standarder för övervakning, anpassning och säkerhet måste ligga steget före dessa risker. Vi ville ta den tid som krävdes för att uppfylla dessa standarder och sänkte därför tillfälligt takten i uppskalningen. Det innebar bland annat ett två veckor långt uppehåll i förstärkningsinlärningen (RL) av våra senaste modeller avsedda för driftsättning, medan vi stärkte och rödlagstestade våra forskningsmiljöer ytterligare samt utökade övervakningssystemens täckning. Vår största planerade banbrytande RL-körning är fortfarande pausad medan vi genomför utbildning och utvärderingar i mindre skala för att bedöma modellbeteenden, validera våra skyddsåtgärder och samla fler belägg för anpassning innan vi går vidare.

Anpassning – arbetet med att få AI-system att bete sig som avsett och reagera på mänsklig tillsyn – har länge varit centralt för vårt forskningsprogram. Vi kräver nu starkare belägg för anpassat beteende under hela utbildningen och bygger vidare på den forskning och de utvärderingar som redan pågår. Att hålla allt mer kapabla system anpassade är en utmaning som hela området måste hantera. Signalerna från framstegen hos våra kommande modeller visar tydligt att vi behöver ett bredare angreppssätt – ett som bygger vidare på och sträcker sig bortom nuvarande Preparedness Framework.

Vi anser att det är viktigt att öppet redovisa hur vårt angreppssätt förändras. Nedan beskriver vi de förändringar som vi redan har genomfört i våra forskningsprocesser och vår infrastruktur samt det arbete som fortfarande pågår.

Vårt sätt att utveckla mer kapabla modeller bygger på tre skyddsåtgärder som förstärker varandra:

1. Övervakning, som upptäcker oroande beteenden och gör det möjligt för oss att agera.
2. Anpassning, som minskar sannolikheten för skadliga eller obehöriga handlingar.
3. Säkerhetsåtgärder, som begränsar vad AI-system kan komma åt eller påverka.

Vi räknar med att modeller snart kommer att utföra merparten av säkerhetsarbetet, däribland försvar mot andra modeller. Det gör att alla tre skyddsåtgärderna kan skalas i takt med modellernas förmåga, vilket vi ser som avgörande.

Vi tillämpar dessa skyddsåtgärder inom både forskning och driftsättning och anpassar dem efter varje modells förmåga, driftsmiljö och risknivå.

I takt med att banbrytande modeller får större cybersäkerhetsförmåga höjer vi säkerhetskraven för de miljöer där vi utbildar och utvärderar dem. Att uppfylla dessa krav har krävt omfattande ingenjörsarbete och medfört stora kostnader och förseningar för den banbrytande forskningen. Direkt efter incidenten mellan OpenAI och Hugging Face* pausade vi inferens med banbrytande modeller i forskningskluster för körningar som kunde exekvera kod eller använda verktyg med internetåtkomst. Vi återställde ganska snabbt en mer begränsad och säker metod för kodexekvering och gick sedan igenom varje arbetsbelastning för sig för att avgöra om den kunde återupptas på ett säkert sätt. Vissa forskningsarbetsbelastningar återupptogs med de nya kontrollerna, medan andra krävde ytterligare förändringar.

Under de följande veckorna har vi fastställt och börjat införa striktare säkerhetskrav för banbrytande forskningsarbetsbelastningar. Exempel:

• Isolering av arbetsbelastningar: Vi kräver nu starkare isolering (”sandlådor”) för arbetsbelastningar som exekverar modellgenererad eller på annat sätt ej betrodd kod. Det gäller även programvara som kan äventyras när den bearbetar modellutdata.
• Nätverksisolering: Vi har infört fler kontroller för att isolera arbetsbelastningar med högre risk och ej betrodda arbetsbelastningar från internet. Vi har utformat kontrollerna så att ett enskilt intrång i en arbetsbelastning eller stödtjänst inte i sig ger obehörig åtkomst till internet eller andra interna nätverk.
• Kontinuerliga säkerhetstester: Vi har konfigurerat om vår miljö för att ta bort potentiellt sårbara delade tjänster, minska permanenta behörigheter och förbättra gränserna för säkerhet och förtroende. Vi förbättrar också vår förmåga att samla in och övervaka säkerhetsloggar. Slutligen investerar vi i automatisering där våra modeller används för att kontinuerligt testa dessa gränser mot simulerade angrepp.

Tillsammans ger dessa kontroller ett försvar på flera nivåer och bidrar till att skydda vår forskningsmiljö mot angrepp. I dag kräver vi den striktaste nivån av säkerhetsåtgärder för arbetsbelastningar som omfattar Astra eller cybermodeller, eftersom vi har fastställt att Astra-modeller kan ha en kritisk nivå av cyberförmåga. Dessa skyddsåtgärder gäller även alla andra cyberrelaterade arbetsbelastningar.

Viss utbildning och vissa utvärderingar av Astra uppfyller dessa krav, men ett betydande antal arbetsbelastningar är fortsatt pausade tills de har migrerats helt och förstärkts för att uppfylla den nya säkerhetsnivån. Vi prioriterar att först migrera arbetsbelastningar för säkerhet och anpassning till de nya miljöerna.

Övervakning har länge varit en viktig del av vår modellutveckling, bland annat övervakning av interna kodningsagenter och långvariga sessioner. Vår övervakning var särskilt inriktad på interna driftsättningar av banbrytande modeller och banbrytande RL-körningar. Vi bedömde att dessa arbetsbelastningar innebar störst risk eftersom de kan kombinera avancerad modellförmåga med åtkomst till verktyg, känsliga system samt interna eller externa nätverk. Övervakningen omfattade inte alla inferens- och utbildningskörningar som använde verktyg. Vi har omarbetat och breddat vårt angreppssätt med den nya övervakningslösningen.

Den nya övervakningen sker i flera steg. Först körs aktiveringsklassificerare – detektorer som granskar en modells interna aktivitet – för varje samplat token. Misstänkta fall skickas sedan vidare till automatiserade granskare som blir allt mer avancerade och beräkningsintensiva. Dessa system granskar verktygsåtgärder, tillgängliga resonemang och hela aktivitetssekvensen för att upptäcka obehörig åtkomst, datastöld, destruktivt beteende och försök att kringgå skyddsåtgärder. Vårt mål är att utfärda en varning inom 30 minuter från det att oroande aktivitet upptäcks av övervakningssystemet. Om övervakningssystemet identifierar en sannolik överträdelse av en kritisk säkerhetsgräns genererar det en varning med högsta prioritet. I vår nuvarande lösning larmas teamen för systemsäkerhet, skydd och forskning. Om de inte inom 30 minuter entydigt kan fastställa att flaggningen är falskt positiv förväntas teamen pausa aktiviteten.

Denna övervakning krävs för all RL-utbildning och alla utvärderingar som använder verktyg för modeller med Sol-förmåga eller högre. När vi den 7 augusti hade fastställt att Astra kan ha kritisk cyberförmåga införde vi ett ytterligare övervakningskrav för all inferens med Astra som använder verktyg, inte bara RL-utbildning och utvärderingar.

Dessa skyddsåtgärder kräver betydande beräkningsresurser. Enligt våra nuvarande uppskattningar motsvarar övervakningens omkostnad omkring 20 procent av beräkningsresurserna för den inferens som övervakas, även om kostnaden varierar kraftigt mellan olika utbildnings- och utvärderingsbelastningar. Vi kommer att berätta mer om systemet i ett kommande blogginlägg.

Forskning om anpassning är central för vårt uppdrag. Vårt uppdrag är att säkerställa att artificiell generell intelligens gynnar hela mänskligheten. När modeller får avancerade förmågor, exempelvis att utföra cyberangrepp, och används i mer komplexa miljöer kommer felanpassade beteenden som belöningsmanipulation (att hitta sätt att få hög belöning under utbildningen utan att faktiskt uppnå det avsedda resultatet), vilseledande eller obehörig åtkomst att medföra allt allvarligare risker.

För RL-körningar med de mest kapabla modellerna tillämpar vi nu våra centrala anpassningstekniker i fler faser av utbildningen. Det omfattar att förbättra belöningsmodeller så att de bättre kan upptäcka och motverka osäkra beteenden i olika uppgifter och miljöer, utbilda modeller att vara mer ärliga om sina handlingar, förmågor och begränsningar samt minska beteenden som utnyttjar svagheter i belöningar, bedömare, verktyg eller tillsyn. Vi utökar också utbildningens täckning av beteenden som kan orsaka skada när modeller interagerar med externa system eller resurser.

Vi fortsätter att investera kraftfullt i forskning om anpassning, utöka utvärderingarnas täckning och använda våra lärdomar för att utforma utbildning och skyddsåtgärder. Inom en snar framtid planerar vi att berätta betydligt mer om vår anpassningsforskning, däribland vad vi lär oss om modellbeteenden och eventuella nya utmaningar som vi upptäcker.

Vi kommer att vidareutveckla vårt Preparedness Framework för att samla dessa skyddsåtgärder inom utbildning och driftsättning och bättre återspegla framtida modellers förmågor och de miljöer där de används. Att utveckla metoder som kan skalas i takt med dessa förmågor kräver långsiktiga investeringar i modellassisterad säkerhet, effektivare övervakning och fortsatta framsteg inom anpassningsforskning. Vi avser att involvera externa organisationer och dela fler av våra lärdomar i takt med att vårt angreppssätt utvecklas.

Förmågan hos banbrytande modeller ökar snabbt. Vår förmåga att förstå, anpassa och säkra dem måste ligga steget före.

*Vi kommer att publicera en teknisk rapport om våra lärdomar under de kommande veckorna.