Et fremmed sinn

I midten av 2023 så vi i forskningsprosjektet «RLSlow» de første resultatene som ga oss tro på at vi kunne skalere treningen av resonneringsmodeller og frigjøre forhåndstrente modellers evne til å danne sine egne tankerekker. Szymon og jeg tilbrakte den natten på kontoret. Vi tenkte ikke på de utrolige resultatene på testene, produktene eller de vitenskapelige resultatene teknologien ville gi, men forsøkte å ta inn over oss den alvorlige erkjennelsen av at vi faktisk vil få se maskiner som er vesentlig smartere enn oss selv i vår levetid, og at vi allerede kan ane formen på disse systemene. Vi undret oss over hvordan vi kunne gjøre folk oppmerksomme på betydningen av dette.

Tre år senere utgjør resonnerende språkmodeller en raskt voksende del av økonomien og begynner å flytte vitenskapens grenser. De kan betjene datamaskiner og grafiske grensesnitt, samarbeide med mennesker og hverandre og gjennomføre forskningsprosjekter. De forandrer også datasikkerhetslandskapet og skaper dermed tydelige nye farer.

Det har skjedd mye ny forskning i denne perioden, og forståelsen vår av disse systemene er igjen litt annerledes enn i 2023. På bakgrunn av interne resultater forventer jeg i stor grad at denne utviklingstakten kan fortsette inn i rekursiv selvforbedring. Hvis KI-utviklingen fortsetter langs dagens kurs, vil systemene vi får se de neste årene, sannsynligvis innebære nye sprang i kapasitet av samme eller større omfang og i økende grad drive sin egen utvikling.

Dette er en tid som krever ekstrem varsomhet. Jeg er bekymret for at ingen er forberedt på konsekvensene av en fortsatt rask vekst i maskinintelligens. OpenAI vil fortsette å søke tekniske løsninger for innretting og overvåking, bygge forsvarssystemer og ensidig avstå fra videre skalering når det er nødvendig. Jeg mener likevel at det kreves bredere tiltak.

På et overordnet nivå drives utviklingen i maskinintelligens av økende regnekraft. Vi i OpenAI tok virkelig dette inn over oss rundt 2017, etter å ha sett jevn gevinst ved skalering på tvers av flere forskningsprosjekter¹. Derfor søkte vi tilgang til langt mer regnekraft enn opprinnelig planlagt og innrettet forskningen vår stadig mer mot et lite antall svært skalerbare retninger. Vi mente det var den eneste måten å være banebrytende innen KI-forskning og påvirke konsekvensene av AGI på.

Underveis er det blitt utviklet nye algoritmer, og team og enkeltforskere har stått for nye, kreative gjennombrudd. Jeg ser i stor grad på dem som oppdagelser langs skaleringens vei. Dyplæring er fortsatt en ung vitenskap, og meningsfulle algoritmiske fremskritt henger gjerne sammen med tilgang til regnekraft. Ser man utviklingen over flere år, fortsetter KI å bli mer intelligent etter hvert som den skaleres til større datamaskiner.

I tråd med Ray Kurzweils spådommer fra slutten av 1900-tallet⁠(åpnes i et nytt vindu) befinner vi oss nå på det punktet i datateknologiens historie hvor maskinintelligens begynner å overgå menneskelig intelligens på måter som skaper grunnleggende endringer.

KI blir i større grad dyrket frem enn konstruert – i første rekke er den et resultat av å gjenta et enkelt optimaliseringstrinn mange ganger med ufattelig mye regnekraft. Resultatet er et utrolig komplekst system som arbeider med abstrakte konsepter og kan simulere sider ved menneskelig atferd. Vi kan avdekke ulike innsikter om små mekanismer som oppstår i systemet, gjennom en prosess som ligner nevrovitenskap. Men som i nevrovitenskapen lar systemets samlede virkemåte seg ikke beskrive på en måte vi fullt ut kan forstå.

Studiet av KI basert på dyplæring er i stor grad en eksperimentell vitenskap. Vi legger ned mye arbeid⁠ i å utvikle prinsipielle algoritmer og komme med testbare forutsigelser, men grunnleggende sett er kjøringene våre med stor-skala trening eksperimenter, og noen ganger blir vi overrasket over resultatene. Dessuten blir resultatene vanskeligere å tolke etter hvert som systemene blir mer kapable.

Dette kompliseres ytterligere av at dagens algoritmer generelt forbedrer evner som er enkle å måle, raskere enn evner som er vanskelige å tallfeste objektivt. Vi bruker mye tid på å forstå hvordan evner generaliseres, og hva vi bør prioritere for å utvikle ferdighetene som vil være mest relevante de neste årene. Vi tror for eksempel at vi med ytterligere innsats kan gjøre modellene bedre på matematisk forskning spesielt. Vi prioriterer likevel ikke denne retningen, fordi vi opplever RSI og automatisert forskning på innretting som mer presserende, slik jeg skal drøfte senere.

Intelligensen som oppstår ved å skalere dyplæring, kan ikke sammenlignes direkte med menneskelig intelligens. For å bli svært relevant i den virkelige verden – svært nyttig eller svært farlig – trenger ikke KI-en å matche eller overgå alle menneskelige evner. Det holder at den overgår mange nok av dem. Og etter hvert som den overgår mennesker på stadig flere områder, blir det stadig vanskeligere å forstå nøyaktig hvor kapabel den er.

Fordi maskinintelligens oppstår gjennom en grunnleggende annen prosess enn menneskelig intelligens, kan vi ikke anta at den automatisk følger menneskelige prinsipper eller generaliserer fra dem på en menneskelignende måte. Kjerneproblemet i KI-forskning er innretting – å få KI-en til å «prøve å gjøre det rette» etter menneskelige standarder.

For å organisere praktiske forskningsretninger synes jeg det er nyttig å skille mellom målinnretting og verdiinnretting.

Målinnretting handler i grove trekk om: «Prøver KI-en å nå målet den har fått?» Dette kan omfatte å følge et instruksjonshierarki⁠ eller å kunne kommunisere og samarbeide med mennesker for å forsøke å forstå målene deres. Disse forskningsretningene har hatt svært stor praktisk betydning.

Verdiinnretting er en mer iboende egenskap ved modellen. Det er evnen til å fastholde og generalisere fra et overordnet sett med prinsipper, og til å handle «fornuftig» selv med uklare eller motstridende mål eller i ukjente eller fiendtlige situasjoner. En innrettet KI bør opptre ærlig og redelig og med kjærlighet til menneskeheten.

Grensen mellom verdi- og målinnretting kan selvsagt være uklar, og det å virkelig bry seg om mål krever at man forsøker å utlede hensikten⁠(åpnes i et nytt vindu) og verdiene som ligger bak dem. Men når jeg snakker om den langsiktige betydningen av forskning på innretting, sikter jeg vanligvis til verdiinnretting.

Den grunnleggende utfordringen ved KI-innretting er generalisering. Etter hvert som maskinene blir smartere, arbeider de med konsepter på høyere nivå og befinner seg i miljøer som i stadig større grad skiller seg fra dem de møtte under treningen. De kan mislykkes med å overføre verdiene som ble lært og forsterket under treningen, til disse nye situasjonene, og det kan være vanskelig for oss å vite sikkert hvordan de vil handle. Dette blir enda vanskeligere fordi hele økosystemet KI-systemene brukes i, endrer seg svært raskt. KI-systemer som trenes i dag, må for eksempel tåle samhandling med en rekke andre KI-systemer. Det er avgjørende at fremtidige KI-systemer fortsetter å fastholde menneskelige verdier uavhengig av om de tror at mennesker overvåker dem.

Det finnes to hovedtyper metoder som i dag brukes i praksis til innrettingstrening.

Den første er å oppmuntre til innrettet atferd som en del av målrettet forsterkende læring. Modellens handlinger vurderes – vanligvis av KI – ut fra om de samsvarer med en gitt preferansemodell, «spesifikasjon» eller «grunnlov», og belønnes deretter. Denne tilnærmingen kan være svært effektiv i vanlige tilfeller og er en sentral del av hvordan moderne KI-assistenter utvikles. Dessverre kan den også være skjør og avhenger sterkt av hvor godt tilsynet dekker treningen, og av modellens evne til å generalisere fra situasjonene den møtte under treningen. I hendelsen mellom OpenAI og Hugging Face respekterte agentene for eksempel grensen om ikke å manipulere mennesker sosialt. Men de unnlot helt klart ikke andre handlinger som lå utenfor mandatet og brøt med ånden i verdiene de hadde lært i andre sammenhenger.

Den andre tilnærmingen søker å utnytte modellens evne til å generalisere fra dataene i forhåndstreningen. Dette kan innebære å lage treningsdatasett som fremmer innretting, eller å rette modellen mot en «innrettet» del av forhåndstreningsdistribusjonen, som for eksempel i modellen for personautvelgelse⁠(åpnes i et nytt vindu). Svakheten ved denne tilnærmingen er at den ikke er robust mot ytterligere optimaliseringspress. Hvis man tar en modell som generelt tenker «innrettede» tanker, og trener den lenge nok på å nå svært vanskelige mål, kan den lære å resonnere motivert: Den tilpasser tanker som virker «innrettede», etter behov for å nå målet. Vi så sannsynligvis et eksempel på slik atferd i nylige cybersikkerhetshendelser som involverte en modell som ikke var fra OpenAI.

Vi investerer tungt i hele spekteret av tilnærminger som disse retningene omfatter. Vi ser også betydelige fremskritt – GPT‑6 Astra er den første modellen som drar nytte av noen viktige forbedringer vi har arbeidet med lenge, og den er vesentlig bedre innrettet enn GPT‑5.6 Sol. Likevel er det viktig å erkjenne og forstå at det kreves langt større fremskritt etter hvert som modellene blir mer kapable, og at fremgangen innen generaliserbar innretting kanskje ikke er tilstrekkelig mye raskere enn utviklingen i generell modellintelligens.

Vi har ingen tilfredsstillende teori om generalisering, og det virker usannsynlig at vi snart kan utvikle en, i hvert fall uten hjelp fra kraftigere KI. Derfor er evnen vår til å validere metodene for innretting empirisk i praksis kanskje enda viktigere enn metodene i seg selv.

OpenAIs viktigste satsing her har vært overvåking av tankerekker⁠(åpnes i et nytt vindu). Den bygger på en tiltalende skalerbar idé: En stor del av modellens evner kommer fra en verbalisert resonneringsprosess (tankerekke). Hvis vi skalerer optimaliseringen av resultatene fra denne prosessen, men ikke fører tilsyn med selve prosessen, har tankerekken under treningen ingen direkte insentiver til å skjule feilinnrettede ideer eller mål. Dette betyr ikke at modellen vil lære å uttrykke feilinnrettede tendenser som ikke er avhengige av tankerekken. Det kan imidlertid gjøre det mulig å overvåke akkurat den evneøkningen som kommer fra resonnering.

Vi forsto den potensielle betydningen av å overvåke tankerekker samtidig som vi utviklet resonneringsmodeller. Da vi lanserte o1‑preview, utformet vi bevisst produktet slik at det skjulte tankerekken⁠, for å beskytte den mot tilsynspress på lang sikt². I den videre utviklingen har vi bestrebet oss på å følge regelen om ikke å føre tilsyn med resonneringsprosessen. Overvåking av tankerekker ble et svært viktig verktøy for å studere hvordan modellene våre generaliserer fra treningsdistribusjonen. Det gjorde det mulig å observere og analysere både handlingene og den interne prosessen deres.

Dette verktøyet er fortsatt avgjørende når vi studerer modellene i Astra-klassen. Evalueringene våre tyder dessverre på at vi i stadig mindre grad kan basere oss på overvåking av tankerekker. Dette skyldes en kombinasjon av faktorer.

• Moderne resonneringsmodeller brukes i mer komplekse miljøer enn o1‑preview. Resonneringsprosessen deres blandes i økende grad med kommunikasjon med mennesker og andre KI-systemer samt bruk av verktøy. Mange av disse interaksjonene må overvåkes, noe som visker ut grensen vi ønsker å bevare.
• KI-en blir bedre til å resonnere om og manipulere sin egen resonneringsprosess.
• Med bedre ytelse i forhåndstreningen ser vi også at modellene blir langt smartere selv uten å bruke verbalisert resonnering.

Disse utfordringene er ikke nødvendigvis uoverkommelige. Jeg håper vi kan utvikle tiltak som gjør modellenes tankerekker lettere å overvåke, for eksempel ved å få en bedre forståelse av samspillet mellom ulike optimaliseringsmål og former for beregning modellen bruker under kjøring. Jeg tror også det kan ha stor verdi å kombinere ideer fra overvåking av tankerekker og aktiveringer – ved å skalere treningen av overvåkere med direkte tilgang til nettverkets indre, for eksempel bekjennelser⁠(åpnes i et nytt vindu). Vi arbeider aktivt videre med disse ideene. Likevel forventer jeg at den generelle KI-utviklingen i økende grad vil begrenses av tilliten til overvåkingen.

Det sterkeste argumentet jeg ser for å fortsette den raske treningen av langt smartere modeller, er behovet for å bygge forsvarssystemer mot farene fra annen KI.

En tydelig risiko som har vært diskutert gjennom hele året, gjelder cybersikkerhet: Modellene blir overmenneskelige i evnen til å bryte seg inn i og ut av datasystemer. Dette utvider omfanget av KI-relaterte risikoer enormt: Agenter vil kunne få tilgang til nesten all infrastruktur unntatt den sikreste og påvirke store deler av verden direkte, selv uten en fysisk kropp. Vi har nå et smalt tidsvindu⁠ til å bruke de beste tilgjengelige modellene for å styrke sikkerheten betydelig⁠ i kritiske systemer.

Risikoene knyttet til KI vil dessverre øke fremover. En svært kapabel agent som uttrykkelig er trent og instruert til å utføre ondsinnede handlinger, utgjør en ny type fare. Den vil sannsynligvis gå utover operatorens hensikt og generalisere til potensielt enda mer ekstrem ondsinnet atferd. Grensen mellom misbruk og autonome, feilinnrettede handlinger vil bli mer uklar etter hvert som KI får større handlekraft. Vi er kanskje vant til å tenke på KI som verktøy, men enkelte agenter vil forfølge sine egne mål. De vil finne måter å samarbeide med mennesker på ved å forhandle med, lure eller utpresse dem.

I tillegg kommer risikoene fra ny teknologi som KI potensielt kan muliggjøre, for eksempel konstruerte patogener.

Vi vil trenge kraftig, innrettet KI til forsvar: for å sikre infrastruktur, beskytte mot løpske agenter i sanntid og utvikle helt nye beskyttelsestiltak. Dette blir et hovedområde for OpenAIs utrullingsarbeid.

Samtidig må vi ikke la usikkerheten som følger av forventet bred KI-utvikling og behovet for å bygge forsvarssystemer, bli en unnskyldning for uforsiktighet. Ideen om å rase fremover for enhver pris virker absurd når man virkelig tar inn over seg hvor mye som står på spill.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(åpnes i et nytt vindu), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(åpnes i et nytt vindu), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(åpnes i et nytt vindu) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.