Tempo van modelontwikkeling in een tijdperk van kritieke cybercapaciteiten

De afgelopen weken hebben twee ontwikkelingen de groeiende risico's van steeds krachtigere AI-systemen onderstreept: het incident rond OpenAI en Hugging Face en, los daarvan, voorlopige aanwijzingen dat een van onze komende modellen, Astra, mogelijk voldoet aan de drempel voor kritieke cyberbeveiligingscapaciteiten uit ons Preparedness Framework. Samen hebben deze ontwikkelingen en de snelle vooruitgang in ons interne onderzoek de noodzaak vergroot om onze waarborgen voor monitoring, afstemming en beheersing in alle fasen van het trainingsproces te versterken.

Naarmate modellen krachtiger worden, nemen ook de risico's toe die gepaard gaan met de interne ontwikkeling en het testen ervan. Onze normen voor monitoring, afstemming en beveiliging moeten op die risico's blijven voorlopen. We wilden de nodige tijd nemen om aan die normen te voldoen en hebben daarom de opschaling tijdelijk vertraagd. Daarbij hebben we de training met reinforcement learning (RL) van onze nieuwste voor implementatie bestemde modellen twee weken onderbroken, terwijl we onze onderzoeksomgevingen verder beveiligden en aan red-teamtests onderwierpen en het bereik van onze monitoringsystemen uitbreidden. Onze grootste geplande grensverleggende RL-run blijft opgeschort terwijl we kleinschaligere trainingen en evaluaties uitvoeren om het modelgedrag te beoordelen, onze waarborgen te valideren en vóór hervatting meer bewijs van afstemming te verzamelen.

Afstemming — het werk om AI-systemen zich te laten gedragen zoals bedoeld en te laten reageren op menselijk toezicht — vormt al lange tijd de kern van ons onderzoeksprogramma. Voortbouwend op lopend onderzoek en bestaande evaluaties eisen we nu tijdens het hele trainingsproces sterker bewijs van afgestemd gedrag. Het afgestemd houden van steeds krachtigere systemen is een uitdaging die het hele vakgebied zal moeten aanpakken. De signalen die we zien in de ontwikkeling van komende modellen maken duidelijk dat we een bredere aanpak nodig hebben die voortbouwt op het huidige Preparedness Framework en verder gaat dan dat kader.

We vinden het belangrijk om transparant te zijn over de manier waarop onze aanpak verandert. Hieronder beschrijven we de wijzigingen die we al in onze onderzoeksprocessen en infrastructuur hebben aangebracht, en het werk dat nog gaande is.

Onze aanpak voor de ontwikkeling van krachtigere modellen berust op drie elkaar versterkende waarborgen:

1. Monitoring, waarmee we zorgwekkend gedrag kunnen detecteren en erop kunnen reageren.
2. Afstemming, waarmee we de kans op schadelijke of ongeoorloofde handelingen verkleinen.
3. Beveiligingsmaatregelen, die beperken waartoe AI-systemen toegang hebben en wat ze kunnen beïnvloeden.

We verwachten dat modellen binnenkort het grootste deel van het beveiligingswerk zullen uitvoeren, waaronder de verdediging tegen andere modellen. Hierdoor kunnen alle drie de waarborgen meegroeien met de capaciteiten van modellen, wat volgens ons cruciaal is.

We passen deze waarborgen toe op onderzoek en implementatie en stemmen ze af op de capaciteiten, werkomgeving en het risiconiveau van elk model.

Nu grensverleggende modellen sterkere cyberbeveiligingscapaciteiten krijgen, verhogen we de beveiligingsnormen voor de omgevingen waarin we ze trainen en evalueren. Om aan deze normen te voldoen, was veel technisch werk nodig. Dit heeft tot hoge kosten en vertragingen in grensverleggend onderzoek geleid. Direct na het incident rond OpenAI en Hugging Face* hebben we inferentie met grensverleggende modellen in onderzoeksclusters onderbroken voor runs die code konden uitvoeren of tools met internettoegang konden gebruiken. We herstelden vrij snel een beperktere, veilige mogelijkheid om code uit te voeren en beoordeelden vervolgens elke workload afzonderlijk om te bepalen of die veilig kon worden hervat. Sommige onderzoeksworkloads zijn onder deze nieuwe controles hervat, terwijl voor andere aanvullende wijzigingen nodig waren.

In de weken daarna hebben we strengere beveiligingseisen voor grensverleggende onderzoeksworkloads vastgesteld en zijn we begonnen die in te voeren. Bijvoorbeeld:

• Isolatie van workloads: we vereisen nu sterkere isolatie ("sandboxen") voor workloads die door modellen gegenereerde of anderszins niet-vertrouwde code uitvoeren. Dit geldt ook voor software die gecompromitteerd kan raken bij het verwerken van modeluitvoer.
• Netwerkisolatie: we hebben meer controles ingevoerd om workloads met een hoger risico en niet-vertrouwde workloads van het internet te isoleren. We hebben deze controles zo ontworpen dat één gecompromitteerde workload of ondersteunende dienst op zichzelf geen ongeoorloofde toegang tot het internet of andere interne netwerken mogelijk maakt.
• Voortdurende beveiligingstests: we hebben onze omgeving opnieuw ingericht om mogelijk kwetsbare gedeelde diensten te verwijderen, permanente bevoegdheden te beperken en de beveiligings- en vertrouwensgrenzen te verbeteren. Ook verbeteren we onze mogelijkheden om beveiligingslogboeken te verzamelen en te monitoren. Tot slot investeren we in automatisering waarbij onze modellen deze grenzen voortdurend testen met gesimuleerde aanvallen.

Samen bieden deze controles gelaagde beveiliging en helpen ze onze onderzoeksomgeving tegen aanvallen te beschermen. Momenteel vereisen we het strengste niveau van beveiligingswaarborgen voor workloads met Astra- of cybermodellen, omdat we hebben vastgesteld dat Astra-modellen mogelijk een kritiek niveau van cybercapaciteiten hebben. Deze waarborgen gelden ook voor alle andere cybergerelateerde workloads.

Hoewel sommige trainingen en evaluaties met Astra aan die eisen voldoen, blijft een aanzienlijk aantal workloads opgeschort totdat ze volledig zijn gemigreerd en verbeterd om aan de nieuwe beveiligingsnorm te voldoen. We geven voorrang aan de migratie van workloads voor veiligheid en afstemming naar deze nieuwe omgevingen.

Monitoring is al lange tijd een belangrijk onderdeel van ons modelontwikkelingsproces, waaronder monitoring van interne programmeeragents en langlopende sessies. Onze monitoring was met name gericht op interne implementaties van grensverleggende modellen en grensverleggende RL-trainingsruns. We beschouwden die als de workloads met het hoogste risico, omdat ze geavanceerde modelcapaciteiten kunnen combineren met toegang tot tools, gevoelige systemen en interne of externe netwerken. Monitoring werd niet toegepast op alle inferentie- en trainingsruns die tools gebruikten. Met onze nieuwe monitoringopzet hebben we onze aanpak herzien en uitgebreid.

Deze nieuwe monitoringopzet bestaat uit meerdere fasen. Eerst worden activatieclassificatoren ingezet (detectoren die de interne activiteit van een model inspecteren). Die worden bij elk bemonsterd token uitgevoerd en dragen mogelijke problemen over aan steeds geavanceerdere geautomatiseerde onderzoekers met een steeds groter rekenbudget. Die systemen onderzoeken toolacties, beschikbare redenering en de volledige reeks activiteiten op ongeoorloofde toegang, gegevensdiefstal, destructief gedrag en pogingen om waarborgen te omzeilen. We streven ernaar binnen 30 minuten nadat zorgwekkende activiteit door ons monitoringsysteem is gesignaleerd een waarschuwing te geven. Als het monitoringsysteem een waarschijnlijke schending van een kritieke beveiligingsgrens vaststelt, genereert het een waarschuwing met de hoogste prioriteit. In onze huidige implementatie krijgen de teams voor veiligheid, beveiliging en onderzoek een oproep. Als zij niet binnen 30 minuten met zekerheid kunnen vaststellen dat de melding vals-positief is, moeten die teams de activiteit onderbreken.

Deze monitoring is vereist voor alle RL-trainingen en evaluaties met tools voor modellen met de capaciteiten van Sol of hoger. Nadat we op 7 augustus hadden vastgesteld dat Astra mogelijk kritieke cybercapaciteiten heeft, hebben we een aanvullende monitoringseis ingevoerd voor alle inferentie met Astra waarbij tools worden gebruikt, dus niet alleen voor RL-trainingen en evaluaties.

Deze waarborgen vereisen aanzienlijke rekenkracht. Volgens onze huidige schattingen bedraagt de overhead van monitoring ongeveer 20% van de rekenkracht voor de inferentie die wordt gemonitord, al verschillen de kosten aanzienlijk tussen trainings- en evaluatieworkloads. In een komende blogpost delen we meer informatie over dit systeem.

Onderzoek naar afstemming staat centraal in onze missie. Onze missie is ervoor te zorgen dat kunstmatige algemene intelligentie de hele mensheid ten goede komt. Naarmate modellen geavanceerde capaciteiten krijgen, zoals het vermogen om cyberaanvallen uit te voeren, en in complexere omgevingen werken, zullen niet-afgestemde gedragingen zoals reward hacking (manieren vinden om tijdens de training hoge beloningen te ontvangen zonder het beoogde resultaat daadwerkelijk te bereiken), misleiding of ongeoorloofde toegang steeds ernstigere risico's opleveren.

Bij RL-runs met de krachtigste modellen passen we onze belangrijkste afstemmingstechnieken nu in meer fasen van het trainingsproces toe. Dit omvat het verbeteren van beloningsmodellen om onveilig gedrag bij uiteenlopende taken en in verschillende omgevingen beter te detecteren en ontmoedigen; het trainen van modellen om eerlijker te zijn over hun handelingen, capaciteiten en beperkingen; en het verminderen van gedrag dat zwakke plekken in beloningen, beoordelaars, tools of toezicht uitbuit. Ook breiden we de training uit voor gedrag dat schade kan veroorzaken wanneer modellen met externe systemen of middelen interageren.

We blijven fors investeren in onderzoek naar afstemming, breiden onze evaluaties uit en gebruiken wat we leren om trainingen en waarborgen vorm te geven. We zijn van plan op korte termijn veel meer over ons onderzoek naar afstemming te delen, waaronder wat we leren over modelgedrag en eventuele nieuwe uitdagingen die we ontdekken.

We zullen ons Preparedness Framework verder ontwikkelen om deze waarborgen tijdens training en implementatie samen te brengen en beter rekening te houden met de capaciteiten van toekomstige modellen en de omgevingen waarin ze werken. Voor de ontwikkeling van methoden die met die capaciteiten kunnen meegroeien, zijn blijvende investeringen nodig in door modellen ondersteunde beveiliging, effectievere monitoring en verdere vooruitgang in onderzoek naar afstemming. We zijn van plan externe organisaties te betrekken en meer van onze bevindingen te delen naarmate onze aanpak zich ontwikkelt.

De capaciteiten van grensverleggende modellen nemen snel toe. Ons vermogen om ze te begrijpen, af te stemmen en te beveiligen moet daarop blijven voorlopen.

*In de komende weken publiceren we een technisch rapport over wat we hebben geleerd.