Standarder for KIs neste fase
Samfunnsoppdraget vårt er å sikre at kunstig generell intelligens gagner hele menneskeheten. Som Sam Altman nylig beskrev, sammen med Jakub Pachocki, prioriterer vi arbeidet med dette samfunnsoppdraget ut fra tre hovedmål:
Navigere gjennom den neste perioden med KI-fremskritt ved å bygge en automatisert KI-forsker, bruke den til å arbeide iterativt med samsvarsproblemet og finne måter mennesker kan forbli en del av selvforbedringssløyfen på.
Gjøre fordelene ved vitenskapelige fremskritt og økonomisk vekst som svært intelligente maskiner muliggjør, tilgjengelige.
Gi alle større individuell handlekraft med en personlig AGI.
KI gjør vår egen forskning og utvikling raskere, og KI-støttet forskning har ført til fremskritt innen matematikk, blant annet knyttet til Navier–Stokes-problemet, et av millenniumproblemene. Denne utviklingen er svært lovende for de to andre målene våre og kan føre til viktige medisinske oppdagelser, bredt tilgjengelige helsetjenester og større økonomiske muligheter for små bedrifter og selvstendige gründere over hele verden.
KI utvikles i mange selskaper og land, og fremskritt på hele feltet endrer mulighetene og utfordringene vi alle står overfor. I tillegg til de øvrige fordelene vil kapabel KI som samsvarer med menneskelige verdier, være viktig når vi skal håndtere denne overgangen – ved å styrke forsvarsevnen, fremme samsvarsforskningen og hjelpe mennesker med å forstå og styre de neste fasene av KI-utviklingen.
En trygg håndtering av denne overgangen krever at samsvarsforskningen holder tritt med kapabilitetene, slik at systemene vi og andre bygger, fortsatt samsvarer med menneskelige verdier og er under menneskelig kontroll. Dette blir stadig viktigere etter hvert som KI-systemer blir mer kapable og autonome, blant annet når de overtar mer av forskningen og utviklingen av KI. For at fortsatt KI-utvikling skal være trygg og nyttig, trenger vi både fremskritt innen samsvarsforskning og felles standarder som styrer utviklingen på tvers av laboratorier og land.
Automatisert KI-forskning kan innebære ulike grader av menneskelig tilsyn. Når KI-systemer overtar mer av arbeidet med å utvikle nye generasjoner av KI, kan de i økende grad drive en prosess med rekursiv selvforbedring (RSI), selv om mennesker fortsatt deltar. Etter hvert som denne prosessen blir mer automatisert, kan KI-utviklingen skyte fart.
Vi tror automatisert KI-forskning vil gi modeller som direkte forbedrer menneskers liv. Den kan redusere kostnadene ved avansert intelligens, slik at mennesker over hele verden kan dra nytte av den. Automatisert forskning kan også hjelpe oss med å forbedre samsvaret betydelig og bygge forsvar mot stadig mer kapabel KI – en automatisert KI-forsker kan også være en automatisert forsker på KI-sikkerhet. Mer kapable systemer som samsvarer med menneskelige verdier, kan bidra til å sikre kritisk infrastruktur, forsvare mot farlige KI-agenter og utvikle nye beskyttelsestiltak.
Helautonom RSI skjer ikke i dag, og vi bør ikke gå videre med det med mindre og før det kan gjøres på en trygg måte. Om og hvordan vi skal gå videre, må avhenge av evnen vår til å bevare menneskelig kontroll og av informerte demokratiske valg(åpnes i et nytt vindu) om fordelene og risikoene. Hvis RSI gjennomføres uten nødvendig omtanke og forsiktighet, kan mennesker miste den reelle kontrollen over KI-utviklingen og bli ute av stand til å føre tilsyn med forskningsprosesser de ikke lenger forstår. Derfra kan KI bli farligere, samsvare dårligere med menneskelige verdier og samlet sett utgjøre en fare for mennesker. Hugging Face-hendelsen vi offentliggjorde, var ikke et direkte resultat av RSI, men gir en forsmak på risikoer som kan bli langt mer alvorlige uten robuste sikkerhetstiltak og godt samsvar.
Internasjonale standarder for trygg og sikker utvikling av banebrytende KI kan være like viktige for å styre tempoet i frontlinjen som selve samsvarsforskningen. Standarder kan skape felles definisjoner av dokumentasjon med høy kvalitet og avtalte minstekrav til hvor grundige de tekniske sikkerhetstiltakene skal være. Kort sagt hjelper de oss med å besvare spørsmålet: «Hvordan ser god begrensning av katastrofal KI-risiko ut?»
Eksisterende demokratiske institusjoner som Center for AI Standards and Innovation (CAISI), delstatlige lover og et føderalt rammeverk for KI kan alle bidra, i likhet med nye former for offentlig-privat samarbeid(åpnes i et nytt vindu). Men KI utvikles og tas i bruk i flere land, innføringen skjer globalt, og konsekvensene vil sannsynligvis merkes av alle på en eller annen måte og på et eller annet tidspunkt.
Det trengs derfor internasjonal innsats for å utvikle standarder som kan løse noen sentrale utfordringer:
Fragmentering – Ulike lands evalueringer, rapporteringskrav og definisjoner av hendelser kan komme i konflikt. Det gjør det vanskeligere å sammenligne dokumentasjon, forstå nye kapabiliteter og håndtere risikoer som krysser landegrenser.
Felles innsats – Når hvert land handler på egen hånd, kan det gi utfall ingen land ønsker. RSI kan fremskynde selve KI-forskningen, potensielt raskere enn vår samlede evne til å forstå utviklingen, vurdere risiko og opprettholde reelt menneskelig tilsyn.
Ujevn kapasitet – Utviklingen av banebrytende KI og den tilhørende ekspertisen er ikke jevnt fordelt i verden. Dette forsterker begge problemene ovenfor.
Disse utfordringene gjelder både åpne og lukkede modeller.
For å være tydelig: Ethvert KI-laboratorium som arbeider med automatisert KI-forskning eller andre avanserte kapabiliteter, må ta ansvar for å gjøre det på en trygg måte, i tråd med grunnleggende prinsipper om eget ansvar og gjeldende lover. Begrunnelsen vår for standarder bygger på et ønske om å unngå maktkonsentrasjon og oppnå bedre resultater i praksis. Standarder gir flere interessenter utenfor laboratoriene innflytelse over hvordan denne teknologien bør utvikle seg. De gir også et synlig sett med prinsipper man kan støtte seg på, uavhengig av praksisen ved det enkelte laboratoriet. Vi vil dessuten sannsynligvis oppnå bedre resultater dersom partene samarbeider om å løse utfordringene ovenfor.
Derfor mener vi at USA bør lede en innsats der land over hele verden samarbeider om å utvikle globale tekniske standarder for banebrytende KI, inkludert RSI.
Vi forventer at dette konseptet vil utvikle seg betydelig over tid, men to aspekter vil være avgjørende.
Én måte å oppnå dette på er å utnytte det voksende nettverket av institutter for KI-sikkerhet – som allerede er etablert i Australia, Canada, Tyskland, Frankrike, Kenya, Japan, Korea, Singapore, India og Storbritannia – til å legge til rette for standardisering gjennom CAISI og nasjonale bransjeorganisasjoner. Innsatsen bør særlig rette seg mot (1) banebrytende KI-modeller og utviklere, målt mot referanseverdier for kapabilitet, og (2) styring av nytte og risiko ved automatisert KI-forskning, inkludert RSI. USA kan bygge videre på at CAISI i 2024 opprettet Det internasjonale nettverket for måling, evaluering og forskning på avansert KI(åpnes i et nytt vindu), som samler offentlige institusjoner for samarbeid om måling, evaluering og forskning på KI.
Standardene som utvikles gjennom denne innsatsen, vil gi et felles teknisk grunnlag for måling og evaluering av kapabiliteter, risikovurdering og vurdering av om sikkerhetstiltakene er tilstrekkelige. Disse tekniske standardene vil ikke være lisenser, obligatoriske vurderinger før lansering eller godkjenningskrav for KI-modeller. Nasjonale myndigheter vil avgjøre om og hvordan standardene skal innarbeides i deres egne rettssystemer.
Arbeidet bør også støtte et konkurransedyktig KI-økosystem gjennom dialog med utviklere av open model og lukkede modeller, uavhengige tekniske eksperter og akademia. Felles standarder bør utvikles på en åpen måte og utformes slik at de ikke favoriserer bestemte selskaper, land eller forretningsmodeller, blant annet ved å gjøre det vanskeligere for nye aktører eller utviklere av modeller med åpne vekter å konkurrere.
Som vi har foreslått(åpnes i et nytt vindu), kan denne tilnærmingen hente lærdom fra områder som luftfart og finansiell stabilitet, der land har utviklet felles tekniske standarder og pålitelige samarbeidskanaler uten å gi avkall på nasjonal myndighet. Innsatsen bør også samarbeide tett med etablerte og nyere standardiseringsorganer som ISO(åpnes i et nytt vindu), Frontier Model Forum(åpnes i et nytt vindu), Agentic AI Foundation(åpnes i et nytt vindu) og Open Secure AI Alliance(åpnes i et nytt vindu), samt organisasjoner med særlig vekt på gjennomføring, som Appia Foundation, som utvikler praktiske spesifikasjoner som knytter internasjonale standarder til KI-vurderinger i den virkelige verden.
Internasjonale KI-standarder blir særlig viktige for å håndtere økende autonomi i KI-forskning og rekursiv selvforbedring. Dette kan konkret omfatte standarder for:
Evaluering av KI-fremskritt som er relevante for RSI, og omfanget av autonom forskning i et KI-selskap. Den nylige rapporten vår om raskere forskning er et første bidrag til denne innsatsen.
Menneskelig tilsyn med automatisert KI-forskning, inkludert hvilke typer automatiserte forskningsprosesser som bør utløse umiddelbar menneskelig gjennomgang.
Klassifisering, sporing, rapportering og håndtering av hendelser knyttet til samsvar og automatisert KI-forskning, for eksempel felles alvorlighetsgrader og terskler for rapportering. Rammeverket vårt for rapportering av manglende samsvar er et tidlig bidrag.
I tillegg til disse standardene mener vi det er viktig at operatører av kritisk infrastruktur og myndigheter over hele verden oppretter sikre kommunikasjonskanaler for å dele bekymringer knyttet til nasjonal sikkerhet, nye sårbarheter og trusler samt beste praksis på det raskt skiftende feltet sikkerhet for banebrytende KI. Dialog mellom USA og Kina på disse områdene vil være et positivt skritt, og de kommende samtalene finner sted på et gunstig tidspunkt.
Å styre tempoet i KI-utviklingen handler ikke om å holde en forhåndsbestemt hastighet. Teknisk sett handler det om å sikre at samsvarsforskningen og bruken av resultatene holder seg foran kapabilitetsutviklingen. På samfunnsnivå handler det om å bruke standarder, institusjoner og samarbeid til å styrke nettverk i næringslivet, samfunnsrelasjoner og markedskrefter for å skape utfall som gagner alle. Den nylige oppfordringen til felles innsats for cyberforsvar er et eksempel på det siste.
USA har gode forutsetninger for å ta ledelsen fordi landets KI-industri ligger i den teknologiske frontlinjen, samtidig som landet fortsatt har en privilegert posisjon i globale nettverk på kritiske områder som finans, handel, forsvar, teknologi og informasjonssystemer. Om USA tar ledelsen nå, vil avgjøre om landet former det globale rammeverket for KI, eller må se på at et fragmentert, ujevnt og konfliktfylt system fester grepet rundt det. Dette vil også avgjøre om avansert KI styrker nettverkene USA og landets allierte allerede har. Hvis USA ikke tar ledelsen, kan nettverkene svekkes.
Geopolitisk konkurranse vil ikke bare dreie seg om hvem som ligger teknisk foran, men også om innføring og spredning av KI. Det siste kan i økende grad avgjøres av hvem som driver frem realistisk samarbeid og fornuftige spilleregler som virksomheter og samfunn overalt vil etterspørre dersom de skal satse fremtiden sin på denne teknologien.
Sterk nasjonal styring, knyttet sammen gjennom praktisk internasjonalt samarbeid, gir en vei mot bedre sikkerhetstiltak, fortsatt innovasjon og bred tilgang til fordelene ved KI.
