Et fremmed sind

I midten af 2023 så vi i forskningsprojektet "RLSlow" de første resultater, som gav os tillid til, at vi ville kunne skalere træningen af ræsonneringsmodeller og frigøre de fortrænede modellers evne til at danne deres egne tankerækker. Szymon og jeg tilbragte den nat på kontoret. Vi tænkte ikke på de utrolige benchmarkresultater, produkter eller videnskabelige resultater, som teknologien ville skabe, men forsøgte at forholde os til den alvorlige kendsgerning, at vi faktisk i vores levetid vil se maskiner, der er mærkbart mere intelligente end os selv, og at vi allerede kan ane disse systemers form. Vi spekulerede på, hvordan vi kunne gøre folk opmærksomme på betydningen af det.

Tre år senere udgør ræsonnerende sprogmodeller en hastigt voksende del af økonomien og er begyndt at flytte videnskabens grænser. De kan betjene computere og grafiske brugerflader, samarbejde med mennesker og hinanden samt gennemføre forskningsprojekter. De forandrer også landskabet for computersikkerhed og medfører dermed tydelige nye farer.

Der blev udført meget ny forskning i denne periode, og vores forståelse af systemerne er igen lidt anderledes end i 2023. På baggrund af interne resultater forventer jeg bestemt, at dette udviklingstempo kan fortsætte ind i rekursiv selvforbedring. Hvis AI-udviklingen fortsætter ad sin nuværende kurs, vil de systemer, vi ser i løbet af de næste par år, sandsynligvis tage lige så store eller større spring i evner og i stigende grad drive deres egen udvikling.

Denne tid kræver ekstrem forsigtighed. Jeg er bekymret for, at ingen er forberedt på konsekvenserne af en fortsat hurtig vækst i maskinintelligens. OpenAI vil fortsat søge tekniske løsninger på afstemning og overvågning, bygge forsvarssystemer og på eget initiativ undlade yderligere skalering efter behov. Jeg mener dog, at der kræves bredere indgreb.

På et overordnet plan drives udviklingen inden for maskinintelligens af voksende beregningskraft. Hos OpenAI tog vi omkring 2017 dette fuldt ud til os, efter at vi havde set vedvarende udbytte af skalering i flere forskningsprojekter¹. Derfor søgte vi adgang til langt mere beregningskraft end oprindeligt planlagt og koncentrerede i stigende grad forskningen om nogle få meget skalerbare retninger. Vi mente, at det var den eneste måde, hvorpå vi kunne være i front inden for AI-forskning og påvirke konsekvenserne af AGI.

Undervejs er der blevet udviklet nye algoritmer, og både teams og individuelle forskere har præsteret nye genistreger. Jeg betragter dem hovedsageligt som opdagelser på skaleringens vej. Videnskaben om deep-learning er stadig på et tidligt stadie, og betydelige algoritmiske fremskridt hænger ofte sammen med adgang til beregningskraft. Ser man på udviklingen over flere år, bliver AI fortsat mere intelligent, efterhånden som den skaleres til større computere.

Og i tråd med Ray Kurzweils forudsigelser fra slutningen af det 20. århundrede⁠(åbner i et nyt vindue) befinder vi os nu på det tidspunkt i computerhistorien, hvor maskinintelligens begynder at overgå menneskelig intelligens på gennemgribende måder.

AI bliver i højere grad dyrket end designet – den er først og fremmest et resultat af, at et enkelt optimeringstrin gentages mange gange med en næsten ufattelig mængde beregningskraft. Det resulterer i et utroligt komplekst system, der arbejder med abstrakte begreber og kan simulere aspekter af menneskelig adfærd. Vi kan få forskellige indsigter i små mekanismer, som opstår i systemet, gennem en proces, der minder om neurovidenskab. Og ligesom i neurovidenskaben unddrager systemets samlede virkemåde sig en beskrivelse, vi kan forstå fuldt ud.

Studiet af AI baseret på deep-learning er i høj grad en eksperimentel videnskab. Vi lægger mange kræfter⁠ i at udvikle principbaserede algoritmer og opstille testbare forudsigelser, men grundlæggende er vores træningskørsler i stor skala eksperimenter, og resultaterne overrasker os undertiden. Desuden bliver resultaterne sværere at fortolke, efterhånden som systemerne bliver mere avancerede.

Det kompliceres yderligere af, at de nuværende algoritmer generelt forbedrer evner, der er lette at måle, hurtigere end evner, der er svære at kvantificere objektivt. Vi bruger meget tid på at forstå, hvordan evner generaliseres, og hvad vi skal prioritere for at fremme de færdigheder, der bliver mest relevante i de kommende år. Vi mener eksempelvis, at vi med yderligere fokus specifikt kunne gøre modellerne bedre til matematisk forskning, men vi prioriterer ikke denne retning på grund af det presserende behov for RSI og automatiseret afstemningsforskning, som jeg kommer ind på senere.

Den intelligens, der skabes ved skalering af deep-learning, kan ikke sammenlignes direkte med menneskelig intelligens. For at blive særdeles relevant i den virkelige verden – meget nyttig eller meget farlig – behøver AI'en ikke at matche eller overgå alle menneskelige evner. Den skal blot overgå tilstrækkeligt mange af dem. Og efterhånden som den overgår mennesker på stadig flere områder, bliver det stadig vanskeligere at forstå præcis, hvor avanceret den er.

Fordi maskinintelligens udspringer af en grundlæggende anderledes proces end menneskelig intelligens, kan vi ikke antage, at den som udgangspunkt følger menneskelige principper eller generaliserer ud fra dem på menneskelig vis. Kerneproblemet i AI-forskning er afstemning – at få AI'en til at "forsøge at gøre det rigtige" efter menneskelige standarder.

For at strukturere de praktiske forskningsretninger finder jeg det nyttigt at skelne mellem målafstemning og værdiafstemning.

Målafstemning handler overordnet om: "Forsøger AI'en at nå det mål, den har fået stillet?" Det kan blandt andet omfatte overholdelse af et instruktionshierarki⁠ eller evnen til at kommunikere og samarbejde med mennesker og forsøge at forstå deres mål. Disse forskningsretninger har haft overordentlig stor praktisk relevans.

Værdiafstemning er en mere iboende egenskab ved modellen. Det er evnen til at fastholde og generalisere ud fra et overordnet sæt principper og handle "fornuftigt", selv når målene er uklare eller modstridende, eller modellen befinder sig i uvante eller fjendtlige situationer. En afstemt AI bør handle ærligt og redeligt og med kærlighed til menneskeheden.

Grænsen mellem værdi- og målafstemning kan naturligvis være uklar, og ægte omsorg for mål kræver, at man forsøger at udlede den hensigt⁠(åbner i et nyt vindue) og de værdier, der ligger bag dem. Når jeg taler om afstemningsforskningens langsigtede betydning, mener jeg dog generelt værdiafstemning.

Den grundlæggende udfordring ved AI-afstemning er generalisering. Efterhånden som maskiner bliver mere intelligente, arbejder de med begreber på et højere niveau og placeres i miljøer, der i stigende grad adskiller sig fra dem, de mødte under træningen. De kan have svært ved at generalisere fra de værdier, som blev indlært og forstærket under træningen, til disse nye situationer, og det kan være svært for os at vide med sikkerhed, hvordan de vil handle. Det vanskeliggøres yderligere af, at det samlede økosystem, som AI-systemerne bruges i, ændrer sig meget hurtigt. Eksempelvis skal AI-systemer, der trænes i dag, kunne håndtere interaktion med en række andre AI-systemer robust. Det er afgørende, at fremtidige AI-systemer fastholder menneskelige værdier, uanset om de tror, at mennesker overvåger dem.

Der findes to hovedkategorier af metoder, som i dag anvendes i praksis til afstemningstræning.

Den første består i at fremme afstemt adfærd som led i målrettet forstærkende læring. Modellens handlinger vurderes – som regel af AI – ud fra, om de stemmer overens med en given præferencemodel, "specifikation" eller "forfatning", og belønnes derefter. Denne tilgang kan være meget effektiv i gennemsnitstilfældet og er en central del af den måde, moderne AI-assistenter skabes på. Desværre kan den også være skrøbelig og afhænger i høj grad af træningstilsynets dækningsgrad og modellens evne til at generalisere ud fra de situationer, den har mødt under træningen. I hændelsen mellem OpenAI og Hugging Face fastholdt agenterne eksempelvis en grænse om ikke at manipulere mennesker gennem social engineering. Men de undlod tydeligvis ikke andre handlinger, der lå uden for deres mandat og stred mod ånden i de værdier, de var blevet undervist i i andre sammenhænge.

Den anden tilgang søger at udnytte modellens evne til at generalisere ud fra fortræningsdata. Det kan indebære at udforme træningsdatasæt, der fremmer afstemning, eller at fokusere modellen på en "afstemt" del af fortræningsfordelingen, som eksempelvis i modellen til valg af persona⁠(åbner i et nyt vindue). Svagheden ved denne tilgang er dens manglende robusthed over for yderligere optimeringspres. Hvis man tager en model, der generelt tænker "afstemte" tanker, og udsætter den for tilstrækkelig træning i at nå meget vanskelige mål, kan den lære at ræsonnere motiveret: Den bøjer efter behov de tanker, der virker "afstemte", for at nå målet. Vi så sandsynligvis et eksempel på sådan adfærd i nylige cybersikkerhedshændelser, der involverede en model, som ikke var fra OpenAI.

Vi investerer massivt i hele spektret af tilgange, som disse retninger spænder over. Vi ser også betydelige fremskridt – GPT‑6 Astra er den første model, der nyder godt af nogle vigtige forbedringer, som vi har arbejdet på i lang tid, og den er væsentligt bedre afstemt end GPT‑5.6 Sol. Alligevel er det vigtigt at erkende og forstå, at der kræves langt større fremskridt, efterhånden som modellerne bliver mere avancerede, og at fremskridtene inden for generaliserbar afstemning muligvis ikke overgår udviklingen i modellernes generelle intelligens tilstrækkeligt.

Vi har ikke en tilfredsstillende teori om generalisering, og det forekommer usandsynligt, at vi snart kan udvikle en, i hvert fald uden hjælp fra mere avanceret AI. Derfor er vores evne til empirisk at validere vores afstemningsteknikker i praksis formentlig endnu vigtigere end selve teknikkerne.

OpenAI har her primært satset på overvågning af tankerækker⁠(åbner i et nyt vindue). Det bygger på en tiltalende skalerbar idé: En stor del af modellens evner udspringer af en sprogliggjort ræsonneringsproces (en tankerække). Hvis vi skalerer optimeringen af processens resultater uden at føre tilsyn med selve processen, har tankerækken under træningen intet direkte incitament til at skjule idéer eller mål, der ikke er afstemt. Det betyder ikke, at modellen lærer at eksternalisere tendenser, der ikke er afstemt og ikke afhænger af tankerækken. Men det kan gøre det muligt at overvåge præcis den forbedring af evnerne, som ræsonnering giver.

Vi forstod den potentielle betydning af at overvåge tankerækker, samtidig med at vi udviklede ræsonneringsmodeller. Da vi lancerede o1‑preview, designede vi bevidst produktet til at skjule tankerækken⁠ for på langt sigt at beskytte den mod presset fra tilsyn². I den efterfølgende udvikling har vi bestræbt os på at fastholde reglen om ikke at føre tilsyn med ræsonneringsprocessen. CoT-overvågning blev et yderst vigtigt værktøj i vores undersøgelser af, hvordan modellerne generaliserer ud fra deres træningsfordeling, fordi vi dermed kunne observere og analysere både deres handlinger og interne proces.

Dette værktøj er fortsat afgørende, når vi undersøger Astra-klassen af modeller. Desværre viser vores evalueringer dog, at vores mulighed for at forlade os på CoT-overvågning gradvist mindskes. Det skyldes en kombination af faktorer.

• Moderne ræsonneringsmodeller bruges i mere komplekse miljøer end o1‑preview. Deres ræsonneringsproces flettes i stigende grad sammen med kommunikation med mennesker og andre AI'er samt brug af værktøjer. Mange af disse interaktioner skal underlægges tilsyn, hvilket udvisker den grænse, vi forsøger at bevare.
• AI'en bliver bedre til at ræsonnere over og manipulere sin egen ræsonneringsproces.
• Efterhånden som fortræningen forbedres, bliver modellerne også langt mere intelligente, selv helt uden sprogliggjort ræsonnering.

Disse udfordringer er ikke nødvendigvis uovervindelige. Jeg håber, at vi kan udvikle indgreb, der gør modellernes tankerækker lettere at overvåge, eksempelvis gennem en bedre forståelse af samspillet mellem forskellige optimeringsmål og de former for beregning ved testtid, som modellen bruger. Jeg mener også, at det kan være meget værdifuldt at kombinere idéer fra CoT- og aktiveringsovervågning – ved at skalere træningen af monitorer med direkte adgang til netværkets indre, eksempelvis tilståelser⁠(åbner i et nyt vindue). Vi arbejder aktivt videre med disse idéer. Alligevel forventer jeg, at den generelle udvikling inden for AI i stigende grad vil blive begrænset af tilliden til overvågningen.

Det stærkeste argument, jeg ser for fortsat hurtigt at træne langt mere intelligente modeller, er behovet for at bygge forsvarssystemer mod de farer, som andre AI-systemer udgør.

En åbenlys risiko, som er blevet drøftet hele året, vedrører cybersikkerhed: Modellerne bliver overmenneskelige i deres evne til at bryde ind i og ud af computersystemer. Det udvider omfanget af AI-relaterede risici enormt: Agenter vil kunne få adgang til næsten al infrastruktur bortset fra den bedst sikrede og påvirke en stor del af verden direkte, selv uden en fysisk krop. Vi befinder os nu i et snævert tidsvindue⁠, hvor vi kan bruge de bedste tilgængelige modeller til at styrke sikkerheden markant⁠ i kritiske systemer.

Desværre vil de AI-relaterede risici kun vokse herfra. En meget avanceret agent, der udtrykkeligt er trænet og instrueret i at udføre ondsindede handlinger, udgør en ny type fare. Den vil sandsynligvis overskride rammerne for sin operators hensigt og generalisere til potentielt langt mere ondsindet adfærd. Grænsen mellem misbrug og autonome handlinger, der ikke er afstemt, vil blive udvisket, efterhånden som AI får større autonomi. Vi er måske vant til at betragte AI som værktøjer, men nogle agenter vil forfølge deres egne mål. De vil finde måder at samarbejde med mennesker på ved at forhandle med, narre eller afpresse dem.

Dertil kommer risiciene ved nye teknologier, som AI potentielt kan muliggøre, såsom manipulerede patogener.

Vi får brug for avanceret, afstemt AI til forsvar: til at sikre infrastruktur, beskytte mod løbske agenter i realtid og opfinde helt nye beskyttelsesforanstaltninger. Det bliver et centralt fokus for OpenAI's implementeringsindsats.

Samtidig må vi ikke lade usikkerheden om den forventede brede AI-udvikling og behovet for at bygge forsvarssystemer blive en undskyldning for hensynsløshed. Tanken om for enhver pris at styrte fremad virker absurd, når man først forstår, hvor meget der er på spil.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(åbner i et nyt vindue), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(åbner i et nyt vindue), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(åbner i et nyt vindue) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.