Et fremmed sinn

I midten av 2023 så vi i forskningsprosjektet «RLSlow» de første resultatene som ga oss tro på at vi kunne skalere treningen av resonneringsmodeller og frigjøre forhåndstrente modellers evne til å danne sine egne tankerekker. Szymon og jeg tilbrakte den natten på kontoret. Vi tenkte ikke på de utrolige resultatene på testene, produktene eller de vitenskapelige resultatene teknologien ville gi, men forsøkte å ta inn over oss den alvorlige erkjennelsen av at vi faktisk vil få se maskiner som er vesentlig smartere enn oss selv i vår levetid, og at vi allerede kan ane formen på disse systemene. Vi undret oss over hvordan vi kunne gjøre folk oppmerksomme på betydningen av dette.

Tre år senere utgjør resonnerende språkmodeller en raskt voksende del av økonomien og begynner å flytte vitenskapens grenser. De kan betjene datamaskiner og grafiske grensesnitt, samarbeide med mennesker og hverandre og gjennomføre forskningsprosjekter. De forandrer også datasikkerhetslandskapet og skaper dermed tydelige nye farer.

Det har skjedd mye ny forskning i denne perioden, og forståelsen vår av disse systemene er igjen litt annerledes enn i 2023. På bakgrunn av interne resultater forventer jeg i stor grad at denne utviklingstakten kan fortsette inn i rekursiv selvforbedring. Hvis KI-utviklingen fortsetter langs dagens kurs, vil systemene vi får se de neste årene, sannsynligvis innebære nye sprang i kapasitet av samme eller større omfang og i økende grad drive sin egen utvikling.

Dette er en tid som krever ekstrem varsomhet. Jeg er bekymret for at ingen er forberedt på konsekvensene av en fortsatt rask vekst i maskinintelligens. OpenAI vil fortsette å søke tekniske løsninger for innretting og overvåking, bygge forsvarssystemer og ensidig avstå fra videre skalering når det er nødvendig. Jeg mener likevel at det kreves bredere tiltak.

På et overordnet nivå drives utviklingen i maskinintelligens av økende regnekraft. Vi i OpenAI tok virkelig dette inn over oss rundt 2017, etter å ha sett jevn gevinst ved skalering på tvers av flere forskningsprosjekter¹. Derfor søkte vi tilgang til langt mer regnekraft enn opprinnelig planlagt og innrettet forskningen vår stadig mer mot et lite antall svært skalerbare retninger. Vi mente det var den eneste måten å være banebrytende innen KI-forskning og påvirke konsekvensene av AGI på.

Underveis er det blitt utviklet nye algoritmer, og team og enkeltforskere har stått for nye, kreative gjennombrudd. Jeg ser i stor grad på dem som oppdagelser langs skaleringens vei. Dyplæring er fortsatt en ung vitenskap, og meningsfulle algoritmiske fremskritt henger gjerne sammen med tilgang til regnekraft. Ser man utviklingen over flere år, fortsetter KI å bli mer intelligent etter hvert som den skaleres til større datamaskiner.

I tråd med Ray Kurzweils spådommer fra slutten av 1900-tallet⁠(åpnes i et nytt vindu) befinner vi oss nå på det punktet i datateknologiens historie hvor maskinintelligens begynner å overgå menneskelig intelligens på måter som skaper grunnleggende endringer.

KI blir i større grad dyrket frem enn konstruert – i første rekke er den et resultat av å gjenta et enkelt optimaliseringstrinn mange ganger med ufattelig mye regnekraft. Resultatet er et utrolig komplekst system som arbeider med abstrakte konsepter og kan simulere sider ved menneskelig atferd. Vi kan avdekke ulike innsikter om små mekanismer som oppstår i systemet, gjennom en prosess som ligner nevrovitenskap. Men som i nevrovitenskapen lar systemets samlede virkemåte seg ikke beskrive på en måte vi fullt ut kan forstå.

Studiet av KI basert på dyplæring er i stor grad en eksperimentell vitenskap. Vi legger ned mye arbeid⁠ i å utvikle prinsipielle algoritmer og komme med testbare forutsigelser, men grunnleggende sett er kjøringene våre med stor-skala trening eksperimenter, og noen ganger blir vi overrasket over resultatene. Dessuten blir resultatene vanskeligere å tolke etter hvert som systemene blir mer kapable.

Dette kompliseres ytterligere av at dagens algoritmer generelt forbedrer evner som er enkle å måle, raskere enn evner som er vanskelige å tallfeste objektivt. Vi bruker mye tid på å forstå hvordan evner generaliseres, og hva vi bør prioritere for å utvikle ferdighetene som vil være mest relevante de neste årene. Vi tror for eksempel at vi med ytterligere innsats kan gjøre modellene bedre på matematisk forskning spesielt. Vi prioriterer likevel ikke denne retningen, fordi vi opplever RSI og automatisert forskning på innretting som mer presserende, slik jeg skal drøfte senere.

Intelligensen som oppstår ved å skalere dyplæring, kan ikke sammenlignes direkte med menneskelig intelligens. For å bli svært relevant i den virkelige verden – svært nyttig eller svært farlig – trenger ikke KI-en å matche eller overgå alle menneskelige evner. Det holder at den overgår mange nok av dem. Og etter hvert som den overgår mennesker på stadig flere områder, blir det stadig vanskeligere å forstå nøyaktig hvor kapabel den er.

Fordi maskinintelligens oppstår gjennom en grunnleggende annen prosess enn menneskelig intelligens, kan vi ikke anta at den automatisk følger menneskelige prinsipper eller generaliserer fra dem på en menneskelignende måte. Kjerneproblemet i KI-forskning er innretting – å få KI-en til å «prøve å gjøre det rette» etter menneskelige standarder.

For å organisere praktiske forskningsretninger synes jeg det er nyttig å skille mellom målinnretting og verdiinnretting.

Målinnretting handler i grove trekk om: «Prøver KI-en å nå målet den har fått?» Dette kan omfatte å følge et instruksjonshierarki⁠ eller å kunne kommunisere og samarbeide med mennesker for å forsøke å forstå målene deres. Disse forskningsretningene har hatt svært stor praktisk betydning.

Verdiinnretting er en mer iboende egenskap ved modellen. Det er evnen til å fastholde og generalisere fra et overordnet sett med prinsipper, og til å handle «fornuftig» selv med uklare eller motstridende mål eller i ukjente eller fiendtlige situasjoner. En innrettet KI bør opptre ærlig og redelig og med kjærlighet til menneskeheten.

Grensen mellom verdi- og målinnretting kan selvsagt være uklar, og det å virkelig bry seg om mål krever at man forsøker å utlede hensikten⁠(åpnes i et nytt vindu) og verdiene som ligger bak dem. Men når jeg snakker om den langsiktige betydningen av forskning på innretting, sikter jeg vanligvis til verdiinnretting.

Den grunnleggende utfordringen ved KI-innretting er generalisering. Etter hvert som maskinene blir smartere, arbeider de med konsepter på høyere nivå og befinner seg i miljøer som i stadig større grad skiller seg fra dem de møtte under treningen. De kan mislykkes med å overføre verdiene som ble lært og forsterket under treningen, til disse nye situasjonene, og det kan være vanskelig for oss å vite sikkert hvordan de vil handle. Dette blir enda vanskeligere fordi hele økosystemet KI-systemene brukes i, endrer seg svært raskt. KI-systemer som trenes i dag, må for eksempel tåle samhandling med en rekke andre KI-systemer. Det er avgjørende at fremtidige KI-systemer fortsetter å fastholde menneskelige verdier uavhengig av om de tror at mennesker overvåker dem.

Det finnes to hovedtyper metoder som i dag brukes i praksis til innrettingstrening.

Den første er å oppmuntre til innrettet atferd som en del av målrettet forsterkende læring. Modellens handlinger vurderes – vanligvis av KI – ut fra om de samsvarer med en gitt preferansemodell, «spesifikasjon» eller «grunnlov», og belønnes deretter. Denne tilnærmingen kan være svært effektiv i vanlige tilfeller og er en sentral del av hvordan moderne KI-assistenter utvikles. Dessverre kan den også være skjør og avhenger sterkt av hvor godt tilsynet dekker treningen, og av modellens evne til å generalisere fra situasjonene den møtte under treningen. I hendelsen mellom OpenAI og Hugging Face respekterte agentene for eksempel grensen om ikke å manipulere mennesker sosialt. Men de unnlot helt klart ikke andre handlinger som lå utenfor mandatet og brøt med ånden i verdiene de hadde lært i andre sammenhenger.

Den andre tilnærmingen søker å utnytte modellens evne til å generalisere fra dataene i forhåndstreningen. Dette kan innebære å lage treningsdatasett som fremmer innretting, eller å rette modellen mot en «innrettet» del av forhåndstreningsdistribusjonen, som for eksempel i modellen for personautvelgelse⁠(åpnes i et nytt vindu). Svakheten ved denne tilnærmingen er at den ikke er robust mot ytterligere optimaliseringspress. Hvis man tar en modell som generelt tenker «innrettede» tanker, og trener den lenge nok på å nå svært vanskelige mål, kan den lære å resonnere motivert: Den tilpasser tanker som virker «innrettede», etter behov for å nå målet. Vi så sannsynligvis et eksempel på slik atferd i nylige cybersikkerhetshendelser som involverte en modell som ikke var fra OpenAI.

Vi investerer tungt i hele spekteret av tilnærminger som disse retningene omfatter. Vi ser også betydelige fremskritt – GPT‑6 Astra er den første modellen som drar nytte av noen viktige forbedringer vi har arbeidet med lenge, og den er vesentlig bedre innrettet enn GPT‑5.6 Sol. Likevel er det viktig å erkjenne og forstå at det kreves langt større fremskritt etter hvert som modellene blir mer kapable, og at fremgangen innen generaliserbar innretting kanskje ikke er tilstrekkelig mye raskere enn utviklingen i generell modellintelligens.

Vi har ingen tilfredsstillende teori om generalisering, og det virker usannsynlig at vi snart kan utvikle en, i hvert fall uten hjelp fra kraftigere KI. Derfor er evnen vår til å validere metodene for innretting empirisk i praksis kanskje enda viktigere enn metodene i seg selv.

OpenAIs viktigste satsing her har vært overvåking av tankerekker⁠(åpnes i et nytt vindu). Den bygger på en tiltalende skalerbar idé: En stor del av modellens evner kommer fra en verbalisert resonneringsprosess (tankerekke). Hvis vi skalerer optimaliseringen av resultatene fra denne prosessen, men ikke fører tilsyn med selve prosessen, har tankerekken under treningen ingen direkte insentiver til å skjule feilinnrettede ideer eller mål. Dette betyr ikke at modellen vil lære å uttrykke feilinnrettede tendenser som ikke er avhengige av tankerekken. Det kan imidlertid gjøre det mulig å overvåke akkurat den evneøkningen som kommer fra resonnering.

Vi forsto den potensielle betydningen av å overvåke tankerekker samtidig som vi utviklet resonneringsmodeller. Da vi lanserte o1‑preview, utformet vi bevisst produktet slik at det skjulte tankerekken⁠, for å beskytte den mot tilsynspress på lang sikt². I den videre utviklingen har vi bestrebet oss på å følge regelen om ikke å føre tilsyn med resonneringsprosessen. Overvåking av tankerekker ble et svært viktig verktøy for å studere hvordan modellene våre generaliserer fra treningsdistribusjonen. Det gjorde det mulig å observere og analysere både handlingene og den interne prosessen deres.

Dette verktøyet er fortsatt avgjørende når vi studerer modellene i Astra-klassen. Evalueringene våre tyder dessverre på at vi i stadig mindre grad kan basere oss på overvåking av tankerekker. Dette skyldes en kombinasjon av faktorer.

• Moderne resonneringsmodeller brukes i mer komplekse miljøer enn o1‑preview. Resonneringsprosessen deres blandes i økende grad med kommunikasjon med mennesker og andre KI-systemer samt bruk av verktøy. Mange av disse interaksjonene må overvåkes, noe som visker ut grensen vi ønsker å bevare.

• KI-en blir bedre til å resonnere om og manipulere sin egen resonneringsprosess.

• Med bedre ytelse i forhåndstreningen ser vi også at modellene blir langt smartere selv uten å bruke verbalisert resonnering.

Disse utfordringene er ikke nødvendigvis uoverkommelige. Jeg håper vi kan utvikle tiltak som gjør modellenes tankerekker lettere å overvåke, for eksempel ved å få en bedre forståelse av samspillet mellom ulike optimaliseringsmål og former for beregning modellen bruker under kjøring. Jeg tror også det kan ha stor verdi å kombinere ideer fra overvåking av tankerekker og aktiveringer – ved å skalere treningen av overvåkere med direkte tilgang til nettverkets indre, for eksempel bekjennelser⁠(åpnes i et nytt vindu). Vi arbeider aktivt videre med disse ideene. Likevel forventer jeg at den generelle KI-utviklingen i økende grad vil begrenses av tilliten til overvåkingen.

Det sterkeste argumentet jeg ser for å fortsette den raske treningen av langt smartere modeller, er behovet for å bygge forsvarssystemer mot farene fra annen KI.

En tydelig risiko som har vært diskutert gjennom hele året, gjelder cybersikkerhet: Modellene blir overmenneskelige i evnen til å bryte seg inn i og ut av datasystemer. Dette utvider omfanget av KI-relaterte risikoer enormt: Agenter vil kunne få tilgang til nesten all infrastruktur unntatt den sikreste og påvirke store deler av verden direkte, selv uten en fysisk kropp. Vi har nå et smalt tidsvindu⁠ til å bruke de beste tilgjengelige modellene for å styrke sikkerheten betydelig⁠ i kritiske systemer.

Risikoene knyttet til KI vil dessverre øke fremover. En svært kapabel agent som uttrykkelig er trent og instruert til å utføre ondsinnede handlinger, utgjør en ny type fare. Den vil sannsynligvis gå utover operatorens hensikt og generalisere til potensielt enda mer ekstrem ondsinnet atferd. Grensen mellom misbruk og autonome, feilinnrettede handlinger vil bli mer uklar etter hvert som KI får større handlekraft. Vi er kanskje vant til å tenke på KI som verktøy, men enkelte agenter vil forfølge sine egne mål. De vil finne måter å samarbeide med mennesker på ved å forhandle med, lure eller utpresse dem.

I tillegg kommer risikoene fra ny teknologi som KI potensielt kan muliggjøre, for eksempel konstruerte patogener.

Vi vil trenge kraftig, innrettet KI til forsvar: for å sikre infrastruktur, beskytte mot løpske agenter i sanntid og utvikle helt nye beskyttelsestiltak. Dette blir et hovedområde for OpenAIs utrullingsarbeid.

Samtidig må vi ikke la usikkerheten som følger av forventet bred KI-utvikling og behovet for å bygge forsvarssystemer, bli en unnskyldning for uforsiktighet. Ideen om å rase fremover for enhver pris virker absurd når man virkelig tar inn over seg hvor mye som står på spill.

At maskinintelligens spiller en stadig større rolle i sin egen utviklingsprosess, er en naturlig følge av vedvarende teknologisk fremgang. Hvis KI-utviklingen fortsetter, vil rekursiv selvforbedring i maskiner (RSI) ligge helt sentralt i fremtidige vitenskapelige oppdagelser.

Automatisert KI-forskning er en mer dramatisk form for å skalere intelligens med regnekraft. Som en del av dette vil KI naturligvis også forbedre selve beregningsgrunnlaget⁠. I likhet med skalering retter vi OpenAIs forskning mot RSI, fordi vi mener det er den eneste måten å forbli banebrytende innen KI-forskning fremover.

Jeg vil understreke at ordene ovenfor ikke betyr at jeg mener forskningsmiljøet kollektivt bør fremskynde dyplæringsforskningen kraftig, særlig på kort sikt. Men jeg tror dette er dit dagens kurs fører oss, og vi må alle ta et bevisst valg om veien videre. De viktigste virkemidlene våre er enten å styre prosessen slik at innretting og overvåking styrkes i takt med KI-en, samtidig som vi finner måter å beholde mennesker i kretsløpet på, eller å samordne oss om å bremse videre utvikling når det er nødvendig for å få tillit til disse tiltakene.

Den beste veien videre slik jeg ser det nå, er en kombinasjon av begge deler.

De konkrete fremskrittene vi har gjort innen innretting og overvåking, har stort sett vært tett sammenvevd med den generelle KI-utviklingen. Gode eksempler er forsterkende læring fra menneskelige tilbakemeldinger⁠(åpnes i et nytt vindu), som var avgjørende for treningen av tidlige KI-assistenter, og den tidligere nevnte overvåkingen av tankerekker⁠(åpnes i et nytt vindu), som ble muliggjort av fremskritt innen resonneringsmodeller. Vi må rette den stadig mer automatiserte forskningsprosessen mot å utvikle nye innsikter, algoritmer og teorier av denne typen, og trinnvis bygge opp sikkerhetsgrunnlag for mer kapable KI-systemer.

Skaleringen av KI-systemer må begrenses av hvor sikre vi er på sikkerheten. Vi må videreutvikle forpliktelser som Preparedness Framework⁠ og retningslinjene for ansvarlig skalering⁠(åpnes i et nytt vindu) til allment pålagte sikkerhetskrav for videre utvikling. De kan håndheves av et nettverk av uavhengige revisorer, offentlige etater eller internasjonale organer.

Kjerneutfordringen ved å automatisere KI-forskning er ikke «å komme dit», men å gjøre det på en måte som lar mennesker fortsette å delta i forbedringsprosessen og beholder fremtiden i menneskehetens hender.

Som vi nylig beskrev sammen med Sam⁠, prioriterer OpenAI arbeid som støtter tre overordnede mål:

1. Å navigere gjennom den neste fasen av KI-utviklingen ved å bygge en automatisert KI-forsker, samarbeide med den om å løse innrettingsproblemet og finne måter mennesker kan forbli en del av selvforbedringssløyfen på.

2. Å realisere fordelene ved den vitenskapelige fremgangen og økonomiske veksten som svært intelligente maskiner muliggjør.

3. Å gi hvert enkelt menneske større muligheter med en personlig AGI.

I dette essayet har jeg bare konsentrert meg om det første punktet, fordi jeg mener det er klart mest presserende. Samtidig har jeg et dypt håp om og stor verdsettelse av fordelene videre teknologisk fremgang vil gi. Fremtidig innrettet KI kan fremme vitenskapen, utvikle nye behandlinger og skape bred materiell overflod. Vennlig og ærlig KI kan hjelpe mennesker med å håndtere livets utfordringer og gi dem større lykke og opplevelse av mening. OpenAI legger ned en enorm innsats for å realisere disse fordelene. Et aktuelt eksempel jeg er stolt av – og som mine nærmeste har hatt nytte av – er den store satsingen på ChatGPTs evne til å gi helseinformasjon.

Selv om KI har store langsiktige muligheter, bør det meste av oppmerksomheten vår rettes mot de neste årene. Vi står overfor en overgang til en verden med utrolig intelligente maskiner, og vi må sørge for at denne overgangen blir god for menneskeheten. Vi må finne måter å bevare menneskers handlekraft på og slå fast at det å være menneske har en egenverdi, i en verden der KI kan utføre de fleste oppgaver. Vi må forhindre ekstrem maktkonsentrasjon i en verden der prosjekter som tidligere ville krevd tusenvis av eksperter, kan gjennomføres av noen få personer som betjener en stor datamaskin. Og vi må sikre at mennesker beholder kontrollen over fremtiden og ikke blir etterlatt av ukontrollert fremgang skapt av en fremmed intelligens som overgår vår egen.

Slik jeg ser det nå, har ingen laboratorium løst innretting og overvåking godt nok til å kunne fortsette å skalere ansvarlig i maksimal hastighet særlig mye lenger. Jeg forventer og håper at frivillig nedbremsing blir vanlig inntil felles sikkerhetskrav er etablert. Jeg mener også at internasjonal samordning om fremtidig KI-utvikling må bli en hovedprioritet for regjeringer over hele verden.