Standarder för nästa fas inom AI
Vårt uppdrag är att se till att Artificiell generell intelligens gynnar hela mänskligheten. Som Sam Altman nyligen beskrev, tillsammans med Jakub Pachocki, prioriterar vi vårt arbete för detta uppdrag utifrån tre huvudmål:
Ta oss igenom nästa period av AI-framsteg genom att bygga en automatiserad AI-forskare, arbeta iterativt med den kring anpassningsproblemet och hitta sätt för människor att förbli delaktiga i självförbättringsprocessen.
Förverkliga de fördelar i form av vetenskapliga framsteg och ekonomisk tillväxt som mycket intelligenta maskiner möjliggör.
Ge varje människa tillgång till en personlig AGI.
AI påskyndar vår egen forskning och teknikutveckling, och AI-stödd forskning har lett till framsteg inom matematiken, bland annat kring millennieproblemet Navier–Stokes. Dessa framsteg är mycket lovande för våra två andra mål och kan leda till viktiga medicinska upptäckter, brett tillgänglig hälso- och sjukvård samt ekonomiska möjligheter för småföretag och enskilda entreprenörer överallt.
AI utvecklas i många företag och länder, och framstegen på hela området förändrar möjligheterna och utmaningarna för alla. Vid sidan av sina andra fördelar kommer kapabel och välanpassad AI att spela en viktig roll när vi tar oss igenom denna omställning – genom att stärka försvaret, föra anpassningsforskningen framåt och hjälpa människor att förstå och styra nästa fas av AI-utvecklingen.
För att hantera omställningen säkert måste forskningen om AI-anpassning hålla jämna steg med dessa förmågor, så att de system som vi och andra bygger förblir anpassade till mänskliga värderingar och står under mänsklig kontroll. Det blir allt viktigare i takt med att AI-system blir mer kapabla och självständiga, inte minst när de tar över en större del av forskningen och utvecklingen inom AI. För att fortsatta AI-framsteg ska vara säkra och gynnsamma krävs både framsteg inom anpassningsforskningen och gemensamma standarder som vägleder utvecklingen i olika laboratorier och länder.
Automatiserad AI-forskning kan bedrivas med olika grader av mänsklig tillsyn. När AI-system tar över mer av arbetet med att utveckla nya generationer av AI kan de i allt högre grad driva en process av rekursiv självförbättring (RSI), även om människor fortfarande medverkar. I takt med att processen blir mer automatiserad kan AI-utvecklingen snabbt accelerera.
Vi tror att automatiserad AI-forskning kommer att ge modeller som direkt förbättrar människors liv. Den kan sänka kostnaden för avancerad intelligens så att människor över hela världen kan dra nytta av den. Automatiserad forskning kan också hjälpa oss att avsevärt förbättra AI-anpassningen och bygga försvar mot allt mer kapabel AI – en automatiserad AI-forskare kan också vara en automatiserad forskare inom AI-säkerhet. Mer kapabla och välanpassade system kan bidra till att säkra kritisk infrastruktur, försvara oss mot farliga AI-agenter och utveckla nya skyddsåtgärder.
Helt självständig RSI förekommer inte i dag, och vi bör inte eftersträva det förrän det kan genomföras säkert. Om och hur vi ska gå vidare måste bero på vår förmåga att bevara mänsklig kontroll och på välgrundade demokratiska beslut(öppnas i ett nytt fönster) om fördelarna och riskerna. Om RSI genomförs utan tillräcklig omsorg och försiktighet kan människor förlora den praktiska kontrollen över AI-utvecklingen och inte längre kunna utöva tillsyn över forskningsprocesser som de inte förstår. Därifrån kan AI bli farligare, sämre anpassad och sammantaget utgöra ett hot mot människor. Hugging Face-incidenten som vi redovisade var visserligen inte ett direkt resultat av RSI, men ger en föraning om de risker som kan bli betydligt allvarligare utan robusta skyddsåtgärder och god AI-anpassning.
Internationella standarder för trygghets- och säkerhetsarbete inom utvecklingen av banbrytande AI kan vara lika viktiga för att styra takten vid frontlinjen som själva anpassningsforskningen. Standarder kan skapa gemensamma definitioner av tillförlitliga belägg och överenskomna miniminivåer för de tekniska skyddsåtgärdernas stringens. Kort sagt hjälper de oss att besvara frågan: ”Hur ser ett bra arbete med att begränsa katastrofala AI-risker ut?”
Befintliga demokratiska institutioner som Center for AI Standards and Innovation (CAISI), delstatlig lagstiftning och ett federalt ramverk för AI kan alla bidra till detta, liksom nya former av offentlig-privata partnerskap(öppnas i ett nytt fönster). Men utveckling och införande av AI sker i flera länder, användningen sprids globalt och konsekvenserna kommer sannolikt förr eller senare att beröra alla på något sätt.
Det krävs därför internationella insatser för att utveckla standarder och hantera några centrala utmaningar:
Fragmentering – Olika länders utvärderingar, rapporteringskrav och definitioner av incidenter kan stå i konflikt med varandra, vilket försvårar jämförelser av belägg, förståelsen av nya förmågor och hanteringen av gränsöverskridande risker.
Gemensamma åtgärder – Om varje land agerar självständigt kan det leda till resultat som inget land önskar. RSI kan påskynda själva AI-forskningen, potentiellt bortom vår gemensamma förmåga att förstå framstegen, bedöma riskerna och upprätthålla meningsfull mänsklig tillsyn.
Ojämn kapacitet – Utvecklingen av banbrytande AI och den tillhörande expertisen är inte jämnt fördelade över världen. Det förstärker båda problemen ovan.
Dessa utmaningar gäller både öppna och slutna modeller.
För tydlighetens skull måste alla AI-laboratorier som bedriver automatiserad AI-forskning eller utvecklar andra avancerade förmågor ta ansvar för att göra det säkert, i enlighet med grundläggande principer om eget ansvar och gällande lagar. Våra skäl för standarder bottnar i en vilja att undvika maktkoncentration och uppnå bättre praktiska resultat. Standarder ger fler berörda aktörer utanför laboratorierna möjlighet att påverka hur tekniken bör utvecklas. De skapar också synliga principer som går att förlita sig på oavsett ett enskilt laboratoriums specifika arbetssätt. Vi kommer sannolikt också att nå bättre resultat om parterna samarbetar för att hantera utmaningarna ovan.
Därför anser vi att USA bör leda ett initiativ för att tillsammans med länder över hela världen utveckla globala tekniska standarder för banbrytande AI, inklusive RSI.
Även om vi räknar med att detta koncept kommer att utvecklas avsevärt över tid blir två aspekter avgörande.
Ett sätt att åstadkomma detta vore att använda det framväxande nätverket av institut för AI-säkerhet – exempelvis de som redan har inrättats i Australien, Kanada, Tyskland, Frankrike, Kenya, Japan, Korea, Singapore, Indien och Storbritannien – för att underlätta standardisering genom CAISI och nationella branschorgan, med särskilt fokus på (1) banbrytande AI-modeller och deras utvecklare, mätt med riktmärken för förmåga, samt (2) hantering av nytta och risker vid automatiserad AI-forskning, inklusive RSI. USA kan bygga vidare på CAISI:s inrättande 2024 av det internationella nätverket för avancerad AI-mätning, utvärdering och vetenskap(öppnas i ett nytt fönster), som samlar offentliga institutioner för samarbete kring mätning, utvärdering och vetenskap inom AI.
Standarder som utvecklas genom detta arbete skulle ge en gemensam teknisk grund för mätning och utvärdering av förmågor, riskbedömning och bedömning av skyddsåtgärdernas tillräcklighet. Dessa tekniska standarder skulle inte utgöra licenser, obligatorisk granskning före lansering eller godkännandekrav för AI-modeller. De nationella regeringarna skulle själva besluta om och hur standarderna ska införlivas i respektive lands rättssystem.
Arbetet bör också stödja ett konkurrenskraftigt AI-ekosystem genom samråd med utvecklare av Open model-system och slutna modeller, oberoende tekniska experter och den akademiska världen. Gemensamma standarder bör utvecklas öppet och utformas så att de inte gynnar vissa företag, länder eller affärsmodeller, bland annat genom att göra det svårare för nya aktörer eller utvecklare av modeller med öppna vikter att konkurrera.
Som vi har föreslagit(öppnas i ett nytt fönster) kan denna strategi dra lärdom av områden som luftfart och finansiell stabilitet, där länder har utvecklat gemensamma tekniska standarder och tillförlitliga samarbetskanaler utan att ge upp sin nationella bestämmanderätt. Initiativet bör också ha ett nära samarbete med etablerade och nyare standardiseringsorgan som ISO(öppnas i ett nytt fönster), Forumet för banbrytande modeller(öppnas i ett nytt fönster), Stiftelsen för agentbaserad AI(öppnas i ett nytt fönster) och Alliansen för öppen och säker AI(öppnas i ett nytt fönster), samt med genomförandeinriktade organisationer som Appia-stiftelsen, som utvecklar praktiska specifikationer för att koppla internationella standarder till verkliga AI-utvärderingar.
Internationella AI-standarder blir särskilt viktiga för att hantera den ökande självständigheten inom AI-forskning och rekursiv självförbättring. De kan närmare bestämt omfatta standarder för:
Utvärdering av AI-framsteg med betydelse för RSI och omfattningen av den självständiga forskning som bedrivs inom ett AI-företag. Vår senaste rapport om snabbare forskning är ett första bidrag till detta arbete.
Mänsklig tillsyn över automatiserad AI-forskning, inklusive vilka typer av automatiserade forskningsprocesser som bör utlösa en omedelbar mänsklig granskning.
Klassificering, spårning, rapportering och hantering av incidenter som rör AI-anpassning och automatiserad AI-forskning, exempelvis gemensamma allvarlighetsnivåer och rapporteringströsklar. Vårt ramverk för rapportering av bristande AI-anpassning är ett tidigt bidrag.
Utöver dessa standarder anser vi att det blir viktigt för operatörer av kritisk infrastruktur och regeringar världen över att inrätta säkra kommunikationskanaler för att dela farhågor om nationell säkerhet, nya sårbarheter och hot samt bästa praxis inom det snabbt föränderliga området säkerhet för banbrytande AI. En dialog mellan USA och Kina på dessa områden vore ett positivt steg, och de kommande samtalen äger rum vid en lämplig tidpunkt.
Att styra takten i AI-utvecklingen handlar inte om att hålla en förutbestämd hastighet. Tekniskt handlar det om att se till att forskningen om AI-anpassning och tillämpningen av dess resultat ligger steget före förmågeutvecklingen. På samhällsnivå handlar det om att använda standarder, institutioner och samarbete för att stärka nätverk inom näringslivet, samhällsrelationer och marknadskrafter så att alla gynnas. Den senaste uppmaningen till gemensamma åtgärder för cyberförsvar är ett exempel på det senare.
USA har goda förutsättningar att leda eftersom landets AI-industri ligger i den tekniska framkanten och fortfarande har en privilegierad position i globala nätverk inom viktiga områden som finans, handel, försvar, teknik och informationssystem. Om USA tar ledningen nu avgör det om landet formar det globala ramverket för AI eller får se ett splittrat, ojämnt och konfliktfyllt system växa fram runt omkring sig. Det avgör också om avancerad AI stärker de nätverk som USA och dess allierade redan har. Om USA inte tar ledningen kan de försvagas.
Den geopolitiska konkurrensen kommer inte bara att handla om vem som ligger tekniskt främst, utan också om införandet och spridningen av AI. Det senare kan i allt högre grad avgöras av den som driver på realistiskt samarbete och rimliga spelregler som företag och samhällen överallt kan ställa sig bakom om de ska anförtro sin framtid åt den här tekniken.
Stark nationell styrning, sammanlänkad genom praktiskt internationellt samarbete, erbjuder en väg till bättre skyddsåtgärder, fortsatt innovation och bred tillgång till fördelarna med AI.
