Tempo i modellutviklingen i en tid med cyberkritiske evner

De siste ukene har to utviklingstrekk understreket den økende risikoen knyttet til stadig mer kapable KI-systemer: hendelsen mellom OpenAI og Hugging Face og, uavhengig av denne, foreløpige tegn på at en av våre kommende modeller, Astra, kan nå terskelen for kritisk cybersikkerhetskapabilitet i vårt Preparedness Framework. Sammen med den raske fremgangen i vår interne forskning har disse utviklingstrekkene gjort arbeidet med å styrke sikkerhetstiltakene for overvåking, tilpasning og avgrensning gjennom alle faser av treningsprosessen mer presserende.

Etter hvert som modellene blir mer kapable, øker også risikoen ved å utvikle og teste dem internt. Standardene våre for overvåking, tilpasning og sikkerhet må ligge i forkant av denne risikoen. Vi ville bruke tiden som var nødvendig for å oppfylle disse standardene, og reduserte derfor oppskaleringstakten midlertidig. Dette omfattet en to ukers pause i trening med forsterkende læring (RL) for de nyeste modellene vi planlegger å ta i bruk, mens vi styrket og rødlagstestet forskningsmiljøene ytterligere og utvidet dekningen til overvåkingssystemene våre. Den største planlagte banebrytende RL-kjøringen vår er fortsatt satt på vent mens vi gjennomfører trening og evalueringer i mindre skala for å vurdere modellatferd, kontrollere sikkerhetstiltakene og innhente mer dokumentasjon på tilpasning før vi går videre.

Tilpasning – arbeidet med å få KI-systemer til å oppføre seg som tiltenkt og reagere på menneskelig kontroll – har lenge stått sentralt i forskningsprogrammet vårt. Med utgangspunkt i forskning og evalueringer som allerede pågår, krever vi nå bedre dokumentasjon på at atferden er i samsvar med hensikten gjennom hele treningen. Å holde stadig mer kapable systemer i samsvar med hensikten er en utfordring hele fagfeltet må håndtere. Signalene vi ser fra fremgangen til kommende modeller, viser tydelig at vi trenger en bredere tilnærming – en som bygger videre på og går lenger enn dagens Preparedness Framework.

Vi mener det er viktig å være åpne om hvordan tilnærmingen vår endres. Nedenfor beskriver vi endringene vi allerede har gjort i forskningsprosessene og infrastrukturen vår, samt arbeidet som fortsatt pågår.

Tilnærmingen vår til å utvikle mer kapable modeller bygger på tre sikkerhetstiltak som forsterker hverandre:

1. Overvåking, som avdekker bekymringsfull atferd og gjør det mulig for oss å reagere.
2. Tilpasning, som reduserer sannsynligheten for skadelige eller uautoriserte handlinger.
3. Sikkerhetstiltak, som begrenser hva KI-systemer kan få tilgang til eller påvirke.

Vi forventer at modeller snart vil utføre mesteparten av sikkerhetsarbeidet, blant annet forsvaret mot andre modeller. Dermed kan alle de tre sikkerhetstiltakene skaleres i takt med modellenes kapabiliteter, noe vi anser som avgjørende.

Vi bruker disse sikkerhetstiltakene i både forskning og produksjon og tilpasser dem til hver modells kapabiliteter, driftsmiljø og risikonivå.

Etter hvert som banebrytende modeller får sterkere cybersikkerhetskapabiliteter, skjerper vi sikkerhetsstandardene for miljøene der vi trener og evaluerer dem. Det har krevd omfattende teknisk arbeid å oppfylle disse standardene, og det har medført store kostnader og forsinkelser for banebrytende forskning. Umiddelbart etter hendelsen mellom OpenAI og Hugging Face* satte vi inferens med banebrytende modeller på pause i forskningsklynger for kjøringer som kunne utføre kode eller bruke verktøy med internettilgang. Vi gjenopprettet raskt en mer begrenset og sikker løsning for kjøring av kode. Deretter gjennomgikk vi hver arbeidslast for seg for å avgjøre om den trygt kunne gjenopptas. Enkelte forskningsarbeidslaster ble gjenopptatt med de nye kontrollene, mens andre krevde ytterligere endringer.

I ukene som fulgte, har vi definert og begynt å innføre strengere sikkerhetskrav for arbeidslaster innen banebrytende forskning. For eksempel:

• Isolering av arbeidslaster: Vi krever nå sterkere isolering («sandkasser») av arbeidslaster som kjører modellgenerert eller annen ikke-klarert kode. Dette gjelder også programvare som kan kompromitteres når den behandler modellresultater.
• Nettverksisolering: Vi har innført flere kontroller for å isolere arbeidslaster med høyere risiko og ikke-klarerte arbeidslaster fra internett. Vi har utformet disse kontrollene slik at kompromittering av én arbeidslast eller støttetjeneste ikke alene gir uautorisert tilgang til internett eller andre interne nettverk.
• Kontinuerlig sikkerhetstesting: Vi har konfigurert miljøet på nytt for å fjerne potensielt sårbare fellestjenester, redusere permanente tilgangsrettigheter og forbedre sikkerhets- og tillitsgrensene. Vi forbedrer også evnen vår til å samle inn og overvåke sikkerhetslogger. Til slutt investerer vi i automatisering der modellene våre brukes til kontinuerlig å teste disse grensene mot simulerte angrep.

Til sammen gir disse kontrollene et lagdelt forsvar og bidrar til å beskytte forskningsmiljøet vårt mot angrep. I dag krever vi det strengeste nivået av sikkerhetstiltak for arbeidslaster som omfatter Astra- eller cybermodeller, ettersom vi har fastslått at Astra-modeller kan ha cyberkapabiliteter på kritisk nivå. Disse sikkerhetstiltakene gjelder også alle andre cyberrelaterte arbeidslaster.

Noe trening og enkelte evalueringer av Astra oppfyller disse kravene, men et betydelig antall arbeidslaster er fortsatt satt på pause til de er fullstendig overført og forbedret slik at de oppfyller den nye sikkerhetsstandarden. Vi prioriterer å overføre arbeidslaster for sikkerhet og tilpasning til disse nye miljøene først.

Overvåking har lenge vært en viktig del av modellutviklingsprosessen vår, blant annet overvåking av interne kodeagenter og langvarige økter. Overvåkingen vår var særlig rettet mot intern bruk av banebrytende modeller og banebrytende RL-treningskjøringer. Vi anså disse arbeidslastene for å ha høyest risiko fordi de kan kombinere avanserte modellkapabiliteter med tilgang til verktøy, sensitive systemer og interne eller eksterne nettverk. Overvåkingen ble ikke brukt på alle inferens- og treningskjøringer som benyttet verktøy. Vi har revidert og utvidet tilnærmingen med det nye overvåkingsoppsettet vårt.

Det nye overvåkingsoppsettet har flere trinn. Det starter med aktiveringsklassifikatorer – detektorer som undersøker den interne aktiviteten i en modell – som kjøres for hvert utvalgte token og sender mulige problemer videre til stadig mer avanserte automatiserte granskere med høy beregningskapasitet. Disse systemene undersøker verktøyhandlinger, tilgjengelig resonnering og hele aktivitetsforløpet for å avdekke uautorisert tilgang, datatyveri, destruktiv atferd og forsøk på å omgå sikkerhetstiltak. Målet vårt er å sende et varsel innen 30 minutter etter at bekymringsfull aktivitet er avdekket av overvåkingssystemet. Hvis overvåkingssystemet oppdager et sannsynlig brudd på en kritisk sikkerhetsgrense, oppretter det et varsel med høyeste prioritet. I den nåværende implementeringen blir teamene for trygghet, sikkerhet og forskning varslet umiddelbart. Hvis de ikke innen 30 minutter med sikkerhet kan fastslå at varslingen er en falsk positiv, forventes det at teamene setter aktiviteten på pause.

Denne overvåkingen er obligatorisk for all RL-trening og alle evalueringer som involverer verktøy, for modeller med Sol-kapabilitet eller høyere. Da vi 7. august fastslo at Astra kan ha kritiske cyberkapabiliteter, innførte vi et ekstra overvåkingskrav for all inferens med Astra som bruker verktøy, ikke bare RL-trening og evalueringer.

Disse sikkerhetstiltakene krever betydelig beregningskapasitet. Våre nåværende anslag tilsier at overvåkingen krever rundt 20 % ekstra beregningskapasitet sammenlignet med inferensen som overvåkes, selv om kostnaden varierer betydelig mellom trenings- og evalueringsarbeidslaster. Vi deler flere detaljer om dette systemet i et kommende blogginnlegg.

Forskning på tilpasning står sentralt i samfunnsoppdraget vårt. Samfunnsoppdraget vårt er å sikre at kunstig generell intelligens kommer hele menneskeheten til gode. Etter hvert som modeller får avanserte kapabiliteter, som evnen til å utføre cyberangrep, og opererer i mer komplekse miljøer, vil feiltilpasset atferd som belønningshacking (å finne måter å oppnå høy belønning under treningen uten faktisk å nå det tiltenkte resultatet), villedning eller uautorisert tilgang skape stadig større risiko.

For RL-kjøringer på de mest kapable modellene bruker vi nå de sentrale tilpasningsteknikkene våre i flere faser av treningsprosessen. Dette omfatter å forbedre belønningsmodeller slik at de bedre oppdager og motvirker utrygg atferd på tvers av oppgaver og miljøer, å trene modeller til å være mer ærlige om handlingene, kapabilitetene og begrensningene sine, og å redusere atferd som utnytter svakheter i belønninger, evalueringssystemer, verktøy eller kontroll. Vi utvider også treningsdekningen for atferd som kan forårsake skade når modeller samhandler med eksterne systemer eller ressurser.

Vi fortsetter å investere offensivt i forskning på tilpasning, utvide evalueringsdekningen og bruke det vi lærer, til å forbedre treningen og sikkerhetstiltakene. Vi planlegger snart å dele langt mer om forskningen vår på tilpasning, blant annet hva vi lærer om modellatferd og eventuelle nye utfordringer vi avdekker.

Vi skal videreutvikle Preparedness Framework for å samle disse sikkerhetstiltakene på tvers av trening og produksjon og bedre gjenspeile kapabilitetene til fremtidige modeller og miljøene de opererer i. Å utvikle metoder som kan skaleres i takt med disse kapabilitetene, vil kreve vedvarende investeringer i modellassistert sikkerhet, mer effektiv overvåking og fortsatt fremgang innen forskning på tilpasning. Vi har til hensikt å involvere eksterne organisasjoner og dele mer av det vi lærer etter hvert som tilnærmingen vår utvikles.

Kapabilitetene til banebrytende modeller utvikler seg raskt. Evnen vår til å forstå, tilpasse og sikre dem må ligge i forkant.

*Vi publiserer en teknisk rapport om det vi har lært, i løpet av de kommende ukene.