Tempoet i modeludvikling med cyberkritiske kapaciteter

I løbet af de seneste uger har to udviklinger understreget de voksende risici ved stadig mere avancerede AI-systemer: hændelsen mellem OpenAI og Hugging Face og særskilt de foreløbige tegn på, at en af vores kommende modeller, Astra, muligvis når tærsklen for kritisk cybersikkerhedskapacitet i vores Preparedness Framework. Sammen med de hurtige fremskridt i vores interne forskning har disse udviklinger gjort arbejdet med at styrke overvågning, tilpasning og beskyttelsesforanstaltninger i alle træningsfaser endnu mere presserende.

I takt med at modeller bliver mere avancerede, vokser også risiciene ved at udvikle og teste dem internt. Vores standarder for overvågning, tilpasning og sikkerhed skal være på forkant med disse risici. Vi ville tage den nødvendige tid til at opfylde disse standarder og sænkede derfor midlertidigt tempoet i opskaleringen. Det omfattede en pause på to uger i træning med forstærkende læring (RL) af vores nyeste modeller, som er beregnet til udrulning, mens vi styrkede og red-team-testede vores forskningsmiljøer yderligere og udvidede vores overvågningssystemers dækning. Vores største planlagte banebrydende RL-kørsel er fortsat sat på pause, mens vi gennemfører træning og evalueringer i mindre skala for at vurdere modellens adfærd, validere vores sikkerhedsforanstaltninger og indsamle mere dokumentation for tilpasning, før vi fortsætter.

Tilpasning – arbejdet med at få AI-systemer til at opføre sig som tilsigtet og reagere på menneskeligt tilsyn – har længe været centralt for vores forskningsprogram. Vi kræver nu stærkere dokumentation for tilpasset adfærd gennem hele træningen med afsæt i igangværende forskning og evalueringer. Hele feltet må håndtere udfordringen med at holde stadig mere avancerede systemer tilpasset. Tegnene fra fremskridtene i kommende modeller viser tydeligt, at vi har brug for en bredere tilgang, som bygger videre på og rækker ud over det nuværende Preparedness Framework.

Vi mener, at det er vigtigt at være åbne om, hvordan vores tilgang ændrer sig. Nedenfor beskriver vi de ændringer, vi allerede har foretaget i vores forskningsprocesser og infrastruktur, samt det arbejde, der stadig er i gang.

Vores tilgang til udviklingen af mere avancerede modeller bygger på tre gensidigt forstærkende sikkerhedsforanstaltninger:

1. Overvågning, som registrerer bekymrende adfærd og gør det muligt for os at reagere.
2. Tilpasning, som mindsker sandsynligheden for skadelige eller uautoriserede handlinger.
3. Sikkerhedsforanstaltninger, som begrænser, hvad AI-systemer kan få adgang til eller påvirke.

Vi forventer, at modeller snart vil udføre størstedelen af sikkerhedsarbejdet, herunder forsvaret mod andre modeller. Det gør det muligt at skalere alle tre sikkerhedsforanstaltninger i takt med modellernes kapacitet, hvilket vi anser for afgørende.

Vi anvender disse sikkerhedsforanstaltninger i både forskning og udrulning og tilpasser dem til hver models kapacitet, driftsmiljø og risikoniveau.

I takt med at banebrydende modeller får stærkere cybersikkerhedskapaciteter, skærper vi sikkerhedsstandarderne for de miljøer, hvor vi træner og evaluerer dem. Det har krævet et omfattende teknisk arbejde at opfylde disse standarder og har medført store omkostninger og forsinkelser for banebrydende forskning. Umiddelbart efter hændelsen mellem OpenAI og Hugging Face* satte vi inferens med banebrydende modeller i forskningsklynger på pause for kørsler, der kunne afvikle kode eller bruge værktøjer med internetadgang. Vi genetablerede ret hurtigt en mere begrænset og sikker metode til kodeafvikling og gennemgik derefter hver arbejdsbelastning for sig for at afgøre, om den kunne genoptages forsvarligt. Nogle forskningsbelastninger blev genoptaget under de nye kontroller, mens andre krævede yderligere ændringer.

I de efterfølgende uger har vi fastlagt og påbegyndt implementeringen af skærpede sikkerhedskrav til banebrydende forskningsbelastninger. For eksempel:

• Isolering af arbejdsbelastninger: Vi kræver nu stærkere isolering (”sandkasser”) af arbejdsbelastninger, der afvikler modelgenereret eller på anden måde utroværdig kode. Det gælder også software, som kan kompromitteres under behandlingen af output fra modeller.
• Netværksisolering: Vi har indført flere kontroller for at isolere højrisikobelastninger og utroværdige arbejdsbelastninger fra internettet. Vi har udformet kontrollerne, så kompromittering af en enkelt arbejdsbelastning eller støttetjeneste ikke i sig selv giver uautoriseret adgang til internettet eller andre interne netværk.
• Løbende sikkerhedstest: Vi har omkonfigureret vores miljø for at fjerne potentielt sårbare delte tjenester, reducere permanente adgangsrettigheder og forbedre sikkerheds- og tillidsgrænser. Vi forbedrer også vores muligheder for at indsamle og overvåge sikkerhedslogfiler. Endelig investerer vi i automatisering, hvor vores modeller bruges til løbende at teste disse grænser mod simulerede angreb.

Tilsammen giver disse kontroller et forsvar i dybden og beskytter vores forskningsmiljø mod angreb. I dag kræver vi det strengeste niveau af sikkerhedsforanstaltninger for arbejdsbelastninger, der involverer Astra eller cybermodeller, da vi har vurderet, at Astra-modeller kan have et kritisk niveau af cyberkapacitet. Disse sikkerhedsforanstaltninger gælder også alle andre cyberrelaterede arbejdsbelastninger.

Selvom noget træning og nogle evalueringer af Astra opfylder kravene, er et betydeligt antal arbejdsbelastninger fortsat sat på pause, indtil de er fuldt migreret og styrket, så de lever op til det nye sikkerhedsniveau. Vi prioriterer først at migrere arbejdsbelastninger inden for sikkerhed og tilpasning til disse nye miljøer.

Overvågning har længe været en vigtig del af vores modeludvikling, herunder overvågning af interne kodningsagenter og langvarige sessioner. Vores overvågning var især rettet mod interne udrulninger af banebrydende modeller og banebrydende RL-træningskørsler. Vi betragtede dem som arbejdsbelastningerne med størst risiko, fordi de kan kombinere avancerede modelkapaciteter med adgang til værktøjer, følsomme systemer og interne eller eksterne netværk. Overvågningen omfattede ikke alle inferens- og træningskørsler med værktøjer. Vi har revideret og udvidet vores tilgang med vores nye overvågningsopsætning.

Den nye overvågningsopsætning har flere trin. Den begynder med aktiveringsklassifikatorer – detektorer, som undersøger en models interne aktivitet – der kører ved hver udtaget token og eskalerer potentielle problemer til stadig mere avancerede automatiserede undersøgere med høj beregningskapacitet. Disse systemer undersøger værktøjshandlinger, tilgængelig ræsonnering og hele aktivitetsforløbet for uautoriseret adgang, datatyveri, destruktiv adfærd og forsøg på at omgå sikkerhedsforanstaltninger. Vores mål er at udsende en advarsel senest 30 minutter efter, at bekymrende aktivitet er registreret af overvågningssystemet. Hvis overvågningssystemet registrerer et sandsynligt brud på en kritisk sikkerhedsgrænse, genererer det en advarsel med højeste prioritet. I vores nuværende implementering tilkaldes sikkerheds- og forskningsteamene. Hvis de ikke inden for 30 minutter entydigt kan fastslå, at markeringen er falsk positiv, forventes teamene at sætte aktiviteten på pause.

Denne overvågning er påkrævet ved al RL-træning og alle evalueringer med værktøjer for modeller med kapacitet på Sol-niveau eller derover. Da vi den 7. august vurderede, at Astra muligvis har kritiske cyberkapaciteter, indførte vi et yderligere overvågningskrav for al inferens med Astra og værktøjer – ikke kun RL-træning og evalueringer.

Disse sikkerhedsforanstaltninger kræver betydelig beregningskapacitet. Ifølge vores nuværende estimater udgør overvågningen cirka 20 % ekstra i forhold til beregningsforbruget for den overvågede inferens, men omkostningen varierer betydeligt mellem trænings- og evalueringsbelastninger. Vi deler flere oplysninger om systemet i et kommende blogindlæg.

Forskning i tilpasning er central for vores mission. Vores mission er at sikre, at kunstig generel intelligens kommer hele menneskeheden til gode. Når modeller får avancerede kapaciteter, såsom evnen til at udføre cyberangreb, og fungerer i mere komplekse miljøer, vil utilpasset adfærd som belønningshacking – at finde måder at opnå høje belønninger under træningen uden reelt at nå det tilsigtede resultat – bedrag eller uautoriseret adgang medføre stadig større risici.

Ved RL-kørsler med de mest avancerede modeller anvender vi nu vores centrale tilpasningsteknikker i flere faser af træningen. Det omfatter forbedring af belønningsmodeller, så de bedre kan registrere og modvirke usikker adfærd på tværs af opgaver og miljøer, træning af modeller i at være mere ærlige om deres handlinger, kapaciteter og begrænsninger samt begrænsning af adfærd, der udnytter svagheder i belønninger, bedømmere, værktøjer eller tilsyn. Vi øger også træningens dækning af adfærd, der kan forårsage skade, når modeller interagerer med eksterne systemer eller ressourcer.

Vi fortsætter med at investere massivt i forskning i tilpasning, udvide evalueringernes dækning og bruge vores erfaringer til at forme træning og sikkerhedsforanstaltninger. Vi planlægger snart at dele væsentligt mere om vores forskning i tilpasning, herunder hvad vi lærer om modellers adfærd, og hvilke nye udfordringer vi afdækker.

Vi vil videreudvikle vores Preparedness Framework, så sikkerhedsforanstaltningerne samles på tværs af træning og udrulning, og så det bedre afspejler fremtidige modellers kapaciteter og de miljøer, de fungerer i. Udviklingen af metoder, der kan skaleres i takt med disse kapaciteter, kræver vedvarende investeringer i modelunderstøttet sikkerhed, mere effektiv overvågning og fortsatte fremskridt inden for forskning i tilpasning. Vi vil inddrage eksterne organisationer og dele flere af vores erfaringer, efterhånden som vores tilgang udvikler sig.

Kapaciteterne i banebrydende modeller udvikler sig hurtigt. Vores evne til at forstå, tilpasse og sikre dem skal være på forkant.

*Vi offentliggør en teknisk rapport om vores erfaringer i løbet af de kommende uger.