Standarder for AI's næste fase

Vores mission er at sikre, at kunstig generel intelligens kommer hele menneskeheden til gode. Som Sam Altman for nylig beskrev sammen med Jakub Pachocki, prioriterer vi vores arbejde hen imod denne mission ud fra tre hovedmål:

1. At navigere gennem den næste fase af AI-fremskridtene ved at udvikle en automatiseret AI-forsker, bruge den til løbende at arbejde med tilpasningsproblemet og finde måder, hvorpå mennesker fortsat kan indgå i processen med selvforbedring.

2. At udbrede fordelene ved de videnskabelige fremskridt og den økonomiske vækst, som meget intelligente maskiner muliggør.

3. At give alle større handlekraft med en personlig AGI.

AI sætter fart på vores egen forskning og udvikling, og AI-understøttet forskning har ført til fremskridt inden for matematik, herunder Navier-Stokes-millenniumproblemet. Disse fremskridt rummer store muligheder for vores to øvrige mål og kan føre til vigtige medicinske opdagelser, bredt tilgængelige sundhedsydelser og økonomisk handlekraft for små virksomheder og selvstændige iværksættere overalt.

AI udvikler sig i mange virksomheder og lande, og fremskridt på tværs af feltet ændrer de muligheder og udfordringer, som vi alle står over for. Ud over de øvrige fordele bliver kapabel AI, der er tilpasset menneskelige værdier, en vigtig del af vores håndtering af denne overgang – ved at styrke vores forsvar, fremme forskning i tilpasning og hjælpe mennesker med at forstå og styre de næste faser af AI-udviklingen.

En sikker håndtering af denne overgang kræver, at forskningen i tilpasning følger med disse kapabiliteter, så de systemer, som vi og andre udvikler, fortsat er i overensstemmelse med menneskelige værdier og under menneskelig kontrol. Det bliver stadig vigtigere, efterhånden som AI-systemer bliver mere kapable og autonome, herunder når de selv overtager en større del af forskningen og udviklingen inden for AI. Hvis de fortsatte AI-fremskridt skal være sikre og gavnlige, kræver det både fremskridt inden for forskning i tilpasning og fælles standarder, der kan styre udviklingen på tværs af laboratorier og lande.

Automatiseret AI-forskning kan indebære forskellige grader af menneskeligt tilsyn. Efterhånden som AI-systemer overtager mere af arbejdet med at udvikle nye generationer af AI, kan de i stigende grad drive en proces med rekursiv selvforbedring (RSI), selvom mennesker fortsat deltager. Efterhånden som processen bliver mere automatiseret, kan tempoet i AI-fremskridtene stige hurtigt.

Vi mener, at automatiseret AI-forskning vil frembringe modeller, som direkte forbedrer menneskers liv. Det kan sænke prisen på avanceret intelligens, så mennesker verden over kan få gavn af den. Automatiseret forskning kan også hjælpe os med at forbedre tilpasningen markant og opbygge et forsvar mod stadig mere kapabel AI – en automatiseret AI-forsker kan også være en automatiseret forsker i AI-sikkerhed. Mere kapable systemer, der er tilpasset menneskelige værdier, kan bidrage til at sikre kritisk infrastruktur, forsvare mod farlige AI-agenter og udvikle nye beskyttelsesforanstaltninger.

Fuldautonom RSI finder ikke sted i dag, og vi bør ikke forfølge det, medmindre og før det kan gøres sikkert. Om og hvordan vi skal gå videre, må afhænge af vores evne til at bevare menneskelig kontrol og af oplyste demokratiske valg⁠(åbner i et nyt vindue) om fordelene og risiciene. Hvis RSI gennemføres uden den nødvendige omhu og forsigtighed, kan mennesker miste den praktiske kontrol over AI-udviklingen og ikke længere føre tilsyn med forskningsprocesser, som de ikke forstår. Herfra kan AI blive farligere, mindre tilpasset menneskelige værdier og samlet set udgøre en fare for mennesker. Hændelsen hos Hugging Face, som vi offentliggjorde, var ikke et direkte resultat af RSI, men giver et indblik i de risici, som kan blive langt mere alvorlige uden robuste sikkerhedsforanstaltninger og tilpasning.

Internationale standarder for sikkerheds- og beskyttelsespraksis i udviklingen af banebrydende AI kan være lige så vigtige for at styre tempoet på området som selve forskningen i tilpasning. Standarder kan skabe fælles definitioner af dokumentation af høj kvalitet og aftalte mindstekrav til grundigheden af tekniske sikkerhedsforanstaltninger. Kort sagt hjælper de os med at besvare spørgsmålet: »Hvordan ser god begrænsning af katastrofale AI-risici ud?«

Eksisterende demokratiske institutioner som Center for AI Standards and Innovation (CAISI), delstatslove og en føderal ramme for AI kan alle bidrage til dette, ligesom nye former for offentlig-private partnerskaber⁠(åbner i et nyt vindue). Men udviklingen og anvendelsen af AI foregår i flere lande, teknologien tages i brug globalt, og dens konsekvenser vil sandsynligvis på et tidspunkt kunne mærkes af alle på den ene eller anden måde.

Der er derfor behov for internationale initiativer til at udvikle standarder, som kan løse nogle centrale udfordringer:

• Fragmentering – Forskellige landes evalueringer, rapporteringskrav og definitioner af hændelser kan være i konflikt med hinanden, hvilket gør det sværere at sammenligne dokumentation, forstå nye kapabiliteter og reagere på grænseoverskridende risici.

• Fælles handling – Når hvert land handler på egen hånd, kan det føre til resultater, som ingen lande ønsker. RSI kan accelerere selve AI-forskningen, potentielt ud over vores fælles evne til at forstå fremskridtene, vurdere risiciene og opretholde et reelt menneskeligt tilsyn.

• Ulige kapacitet – Udviklingen af banebrydende teknologi og den tilhørende ekspertise er ikke ligeligt fordelt i verden. Det forstærker begge ovenstående problemer.

Disse udfordringer gælder både åbne og lukkede modeller.

Det skal stå klart, at ethvert AI-laboratorium, som arbejder med automatiseret AI-forskning eller andre avancerede kapabiliteter, skal tage ansvar for at gøre det sikkert og i overensstemmelse med grundlæggende principper om eget ansvar og gældende lovgivning. Vores begrundelse for standarder bygger på et ønske om at undgå magtkoncentration og skabe bedre resultater i praksis. Standarder giver flere interessenter uden for laboratorierne indflydelse på, hvordan teknologien bør udvikle sig, og opstiller et synligt sæt principper, som man kan støtte sig til uanset det enkelte laboratoriums konkrete praksis. Og vi vil sandsynligvis opnå bedre resultater, hvis parterne samarbejder om at håndtere ovenstående udfordringer.

Derfor mener vi, at USA bør gå forrest i et samarbejde med lande verden over om at udvikle globale tekniske standarder for banebrydende AI, herunder RSI.

Selvom vi forventer, at dette koncept vil udvikle sig betydeligt med tiden, bliver to aspekter afgørende.

En måde at opnå dette på kunne være at udnytte det nye netværk af institutter for AI-sikkerhed – såsom dem, der allerede er etableret i Australien, Canada, Tyskland, Frankrig, Kenya, Japan, Korea, Singapore, Indien og Storbritannien – til at fremme standardisering gennem CAISI og nationale brancheorganisationer med særligt fokus på (1) banebrydende AI-modeller og deres udviklere, målt ud fra benchmarks for kapabiliteter, og (2) styring af fordele og risici ved automatiseret AI-forskning, herunder RSI. USA kan bygge videre på CAISI's etablering i 2024 af International Network for Advanced AI Measurement, Evaluation, and Science⁠(åbner i et nyt vindue), som samler offentlige institutioner om samarbejde inden for måling, evaluering og forskning i AI.

De standarder, der udvikles gennem dette initiativ, vil skabe et fælles teknisk grundlag for måling og evaluering af kapabiliteter, risikovurdering og vurdering af, om sikkerhedsforanstaltningerne er tilstrækkelige. Disse tekniske standarder vil ikke være licenser, obligatorisk kontrol før lancering eller godkendelseskrav til AI-modeller. De nationale regeringer vil selv beslutte, om og hvordan standarderne skal indarbejdes i deres retssystemer.

Arbejdet bør også understøtte et konkurrencedygtigt AI-økosystem gennem dialog med udviklere af åbne og lukkede modeller, uafhængige tekniske eksperter og forskningsverdenen. Fælles standarder bør udvikles åbent og udformes, så de ikke favoriserer bestemte virksomheder, lande eller forretningsmodeller, herunder ved at gøre det vanskeligere for nye aktører eller udviklere af modeller med åbne vægte at konkurrere.

Som vi har foreslået⁠(åbner i et nyt vindue), kan denne tilgang hente inspiration fra områder som luftfart og finansiel stabilitet, hvor lande har udviklet fælles tekniske standarder og pålidelige samarbejdskanaler uden at opgive deres nationale myndighed. Initiativet bør også arbejde tæt sammen med etablerede og nyere standardiseringsorganer som ISO⁠(åbner i et nyt vindue), Frontier Model Forum⁠(åbner i et nyt vindue), Agentic AI Foundation⁠(åbner i et nyt vindue) og Open Secure AI Alliance⁠(åbner i et nyt vindue) samt organisationer med fokus på implementering, såsom Appia Foundation, der udvikler praktiske specifikationer, som forbinder internationale standarder med AI-evalueringer i den virkelige verden.

Internationale AI-standarder bliver særligt afgørende for håndteringen af den stigende autonomi inden for AI-forskning og rekursiv selvforbedring. Konkret kan de omfatte standarder for:

• Evaluering af AI-fremskridt med relevans for RSI og omfanget af autonom forskning i en AI-virksomhed. Vores seneste rapport om accelereret forskning er et første bidrag til denne indsats.

• Menneskeligt tilsyn med automatiseret AI-forskning, herunder hvilke typer automatiserede forskningsprocesser der straks bør udløse menneskelig kontrol.

• Klassificering, sporing, rapportering og håndtering af hændelser vedrørende tilpasning og automatiseret AI-forskning, såsom fælles alvorlighedsgrader og rapporteringstærskler for hændelser. Vores ramme for rapportering af fejltilpasning er et tidligt bidrag.

Ud over disse standarder mener vi, at det bliver vigtigt, at operatører af kritisk infrastruktur og regeringer verden over etablerer sikre kommunikationskanaler til at dele bekymringer om national sikkerhed, nye sårbarheder og trusler samt bedste praksis på det hastigt udviklende område for sikkerhed i banebrydende AI. En dialog mellem USA og Kina på disse områder vil være et positivt skridt, og de kommende samtaler finder sted på et gunstigt tidspunkt.

At styre tempoet i AI-udviklingen handler ikke om at fastholde en på forhånd fastlagt hastighed. Teknisk set handler det om at sikre, at forskning i tilpasning og anvendelsen af forskningsresultaterne er på forkant med kapabiliteterne. Samfundsmæssigt handler det om at bruge standarder, institutioner og samarbejde til at styrke netværk på tværs af erhvervsliv, samfundsrelationer og markedskræfter, så der skabes resultater, som gavner alle. Den nylige opfordring til fælles handling inden for cyberforsvar er et eksempel på sidstnævnte.

USA har gode forudsætninger for at gå forrest, fordi landets AI-industri befinder sig på den teknologiske front, og landet stadig indtager en privilegeret position i globale netværk på kritiske områder som finans, handel, forsvar, teknologi og informationssystemer. Hvis USA går forrest nu, vil det afgøre, om landet former den globale ramme for AI eller må se til, mens et fragmenteret, ulige og konfliktfyldt system etablerer sig omkring det. Det vil også afgøre, om avanceret AI styrker de netværk, som USA og dets allierede allerede har. Hvis USA ikke går forrest, kan netværkene blive svækket.

Geopolitisk konkurrence vil ikke kun handle om, hvem der er teknologisk førende, men også om udbredelsen og anvendelsen af AI. Sidstnævnte kan i stigende grad blive afgjort af den aktør, der driver et realistisk samarbejde og skaber fornuftige spilleregler, som virksomheder og samfund overalt vil efterspørge, hvis de skal satse deres fremtid på denne teknologi.

Stærk national styring, der forbindes gennem praktisk internationalt samarbejde, baner vejen for bedre sikkerhedsforanstaltninger, fortsat innovation og bred adgang til fordelene ved AI.