Ett främmande intellekt

I mitten av 2023 såg vi inom forskningsprojektet ”RLSlow” de första resultaten som gav oss tilltro till att vi skulle kunna skala träningen av resonemangsmodeller och frigöra förtränade modellers förmåga att skapa egna tankekedjor. Szymon och jag tillbringade den natten på kontoret. Vi tänkte inte på de otroliga benchmarkresultat, produkter eller vetenskapliga rön som tekniken skulle ge, utan försökte ta in det allvarsamma faktum att vi faktiskt kommer att få se maskiner som är påtagligt smartare än vi själva under vår livstid och att vi redan kan ana dessa systems form. Vi undrade hur vi skulle kunna uppmärksamma människor på betydelsen av detta.

Tre år senare är resonerande språkmodeller en snabbt växande del av ekonomin och börjar flytta vetenskapens gränser. De kan styra datorer och grafiska gränssnitt, samarbeta med människor och med varandra samt genomföra forskningsprojekt. De förändrar också cybersäkerhetslandskapet och medför därigenom tydliga nya faror.

Mycket ny forskning har bedrivits under denna period, och vår förståelse av systemen skiljer sig återigen något från den vi hade 2023. Baserat på interna resultat förväntar jag mig starkt att denna utvecklingstakt kan bestå in i en fas av rekursiv självförbättring. Om AI-utvecklingen fortsätter på sin nuvarande väg kommer systemen vi ser de närmaste åren sannolikt att innebära ytterligare förmågesprång av samma eller större omfattning och i allt högre grad driva sin egen utveckling.

Det här är en tid som kräver yttersta försiktighet. Jag oroar mig för att ingen är förberedd på följderna av en fortsatt snabb ökning av maskinintelligensen. OpenAI kommer att fortsätta söka tekniska lösningar för anpassning och övervakning, bygga försvarssystem och på eget initiativ avstå från ytterligare skalning när det behövs. Jag anser dock att bredare åtgärder krävs.

På en övergripande nivå drivs framstegen inom maskinintelligens av ökad beräkningskraft. På OpenAI tog vi verkligen till oss detta omkring 2017, efter att ha sett konsekvent utdelning av skalning i flera forskningsprojekt¹. Därför sökte vi tillgång till mycket mer beräkningskraft än vi ursprungligen hade planerat och inriktade forskningen alltmer på ett fåtal mycket skalbara spår. Vi trodde att det var det enda sättet att ligga i den banbrytande fronten för AI-forskning och påverka konsekvenserna av AGI.

På vägen har nya algoritmer utvecklats och team och enskilda forskare gjort nya kreativa bedrifter. Jag ser dem främst som upptäckter längs skalningens väg. Vetenskapen om djupinlärning är fortfarande ung, och betydande algoritmiska framsteg tenderar att samvariera med tillgången till beräkningskraft. Sett över flera år fortsätter AI att bli intelligentare när den skalas till större datorer.

I linje med Ray Kurzweils förutsägelser från slutet av 1900-talet⁠(öppnas i ett nytt fönster) befinner vi oss nu vid den punkt i datorhistorien där maskinintelligens börjar överträffa människans på omvälvande sätt.

AI odlas snarare än konstrueras – i första hand är den resultatet av att ett enkelt optimeringssteg upprepas många gånger med en närmast ofattbar mängd beräkningskraft. Resultatet är ett otroligt komplext system som bearbetar abstrakta begrepp och kan simulera aspekter av mänskligt beteende. Vi kan upptäcka olika insikter om små mekanismer som uppstår i systemet, i en process som liknar neurovetenskap. Och precis som inom neurovetenskapen låter sig systemets övergripande funktion inte beskrivas på ett sätt som vi helt kan förstå.

Studiet av AI baserad på djupinlärning är till stor del en experimentell vetenskap. Vi lägger ned stora resurser⁠ på att utveckla välgrundade algoritmer och göra testbara förutsägelser, men i grunden är våra storskaliga träningskörningar experiment, och ibland överraskas vi av resultaten. När systemen blir mer kapabla blir resultaten dessutom svårare att tolka.

Det kompliceras ytterligare av att dagens algoritmer i allmänhet förbättrar lättmätta förmågor snabbare än förmågor som är svåra att kvantifiera objektivt. Vi ägnar mycket tid åt att förstå hur förmågor generaliseras och vad vi bör prioritera för att utveckla de färdigheter som blir mest relevanta under de närmaste åren. Vi tror exempelvis att vi med ytterligare fokus skulle kunna göra modellerna bättre på just matematisk forskning, men prioriterar inte den inriktningen eftersom vi ser RSI och automatiserad anpassningsforskning som mer angelägna, vilket jag återkommer till senare.

Den intelligens som skapas genom att skala djupinlärning är inte direkt jämförbar med mänsklig intelligens. För att få stor betydelse i verkligheten – vara mycket användbar eller mycket farlig – behöver AI:n inte matcha eller överträffa alla mänskliga förmågor. Det räcker att den överträffar tillräckligt många. När den fortsätter att överträffa människor inom allt fler områden blir det också allt svårare att förstå exakt hur kapabel den är.

Eftersom maskinintelligens uppstår genom en helt annan process än mänsklig intelligens kan vi inte förutsätta att den automatiskt följer mänskliga principer eller generaliserar från dem på ett mänskligt sätt. Kärnproblemet inom AI-forskningen är anpassning – att få AI:n att ”försöka göra det rätta” enligt mänskliga normer.

För att strukturera praktiska forskningsinriktningar tycker jag att det är användbart att skilja mellan målanpassning och värdeanpassning.

Målanpassning handlar i stora drag om: ”Försöker AI:n uppnå det mål den har fått?”. Det kan handla om att följa en instruktionshierarki⁠ eller att kunna kommunicera och samarbeta med människor för att försöka förstå deras mål. Dessa inriktningar har haft mycket stor praktisk betydelse.

Värdeanpassning är en mer inneboende egenskap hos modellen. Det är förmågan att omfatta och generalisera från en uppsättning övergripande principer och att agera ”förnuftigt” även med oklara eller motstridiga mål eller i obekanta eller antagonistiska situationer. En anpassad AI bör agera ärligt och hederligt och känna kärlek till mänskligheten.

Gränsen mellan värde- och målanpassning kan förstås vara diffus, och att verkligen bry sig om mål kräver att man försöker sluta sig till den bakomliggande avsikten⁠(öppnas i ett nytt fönster) och värderingarna. När jag talar om anpassningsforskningens långsiktiga betydelse syftar jag dock i allmänhet på värdeanpassning.

Den grundläggande utmaningen med AI-anpassning är generalisering. När maskiner blir smartare arbetar de med begrepp på högre nivå och hamnar i miljöer som skiljer sig alltmer från dem de mötte under träningen. De kan misslyckas med att generalisera de värderingar som lärts ut och förstärkts under träningen till dessa nya situationer, och det kan vara svårt för oss att veta hur de kommer att agera. Detta försvåras ytterligare av att det övergripande ekosystem där AI-systemen används förändras mycket snabbt. AI-system som tränas i dag måste exempelvis klara interaktioner med många olika andra AI-system. Avgörande är att framtida AI-system fortsätter att omfatta mänskliga värderingar oavsett om de tror sig stå under mänsklig övervakning.

I dag används i praktiken två huvudtyper av metoder för anpassningsträning.

Den första uppmuntrar anpassat beteende inom ramen för målinriktad förstärkningsinlärning. Modellens handlingar bedöms (vanligen av AI) utifrån om de följer en viss preferensmodell, ”specifikation” eller ”konstitution” och belönas därefter. Detta tillvägagångssätt kan vara mycket effektivt i normalfallet och är centralt för hur moderna AI-assistenter skapas. Tyvärr kan det också vara skört och är starkt beroende av träningsövervakningens täckning och modellens förmåga att generalisera från situationerna den mött under träningen. I incidenten mellan OpenAI och Hugging Face höll agenterna exempelvis fast vid gränsen att inte använda social manipulation mot människor. Däremot misslyckades de tydligt med att avstå från andra handlingar som låg utanför uppdraget och stred mot andemeningen i de värderingar de hade lärt sig i andra sammanhang.

Det andra tillvägagångssättet försöker utnyttja modellens förmåga att generalisera från förträningsdata. Det kan innebära att skapa träningsdata som främjar anpassning eller att fokusera modellen på en ”anpassad” del av förträningsfördelningen, som exempelvis i modellen för personaurval⁠(öppnas i ett nytt fönster). Svagheten i detta tillvägagångssätt är bristen på robusthet mot ytterligare optimeringstryck. Om man tar en modell som i allmänhet tänker ”anpassade” tankar och utsätter den för tillräckligt mycket träning där den får lära sig att nå mycket svåra mål, kan den lära sig att resonera på ett målstyrt sätt: att efter behov tänja på de tankar som verkar 'anpassade' för att nå målet. Vi såg sannolikt ett exempel på sådant beteende i nyliga cybersäkerhetsincidenter med en modell som inte kommer från OpenAI.

Vi investerar stort i hela det spektrum av tillvägagångssätt som dessa inriktningar omfattar. Vi ser också betydande framsteg – GPT‑6 Astra är den första modellen som drar nytta av flera viktiga förbättringar som vi har arbetat länge med och är avsevärt bättre anpassad än GPT‑5.6 Sol. Det är ändå viktigt att erkänna och förstå att mycket större framsteg krävs när modellerna blir mer kapabla, och att framstegen inom generaliserbar anpassning kanske inte är tillräckligt mycket snabbare än utvecklingen av modellernas allmänna intelligens.

Vi har ingen tillfredsställande teori om generalisering, och det verkar osannolikt att vi snart kan utveckla en, åtminstone utan hjälp av kraftfullare AI. I praktiken är därför vår nuvarande förmåga att empiriskt validera våra metoder för AI-anpassning förmodligen ännu viktigare än metoderna i sig.

OpenAI:s främsta satsning här har varit övervakning av tankekedjor⁠(öppnas i ett nytt fönster). Den bygger på en tilltalande skalbar idé: en stor del av modellens förmåga kommer från en verbaliserad resonemangsprocess (tankekedja). Om vi skalar upp optimeringen av processens resultat utan att övervaka själva processen får tankekedjan inget direkt incitament under träningen att dölja felanpassade idéer eller mål. Det betyder inte att modellen lär sig att uttrycka felanpassade tendenser som inte bygger på tankekedjan. Däremot kan vi övervaka just den förmågeökning som resonemanget ger.

Vi insåg den potentiella betydelsen av att övervaka tankekedjor samtidigt som vi utvecklade resonemangsmodeller. När vi lanserade o1‑preview utformade vi medvetet produkten för att dölja tankekedjan⁠ och på lång sikt skydda den från övervakningstryck². I den efterföljande utvecklingen har vi strävat efter att följa regeln att inte övervaka resonemangsprocessen. Övervakning av tankekedjor blev ett synnerligen viktigt verktyg när vi studerade hur våra modeller generaliserar från sin träningsfördelning. Därmed kunde vi observera och analysera både deras handlingar och deras interna process.

Verktyget är fortsatt avgörande när vi studerar modellklassen Astra. Tyvärr visar våra utvärderingar dock att möjligheten att förlita sig på övervakning av tankekedjor gradvis minskar. Det beror på en kombination av faktorer.

• Moderna resonemangsmodeller används i mer komplexa miljöer än o1‑preview. Deras resonemangsprocess blandas alltmer med kommunikation med människor och andra AI-system samt med verktygsanvändning. Många av dessa interaktioner måste övervakas, vilket suddar ut den gräns vi vill bevara.
• AI:n blir bättre på att resonera om och manipulera sin egen resonemangsprocess.
• Med bättre resultat från förträningen ser vi också att modellerna blir mycket smartare även helt utan verbaliserade resonemang.

Dessa utmaningar är inte nödvändigtvis oöverstigliga. Jag hoppas att vi kan utveckla åtgärder som förbättrar möjligheten att övervaka våra modellers tankekedjor, exempelvis genom att bättre förstå samspelet mellan olika optimeringsmål och de former av beräkning vid testtillfället som modellen använder. Jag tror också att det kan finnas ett stort värde i att förena idéer från övervakning av tankekedjor och aktiveringar – att skala upp träningen av övervakare med direkt åtkomst till nätverkets interna delar, exempelvis bekännelser⁠(öppnas i ett nytt fönster). Vi arbetar aktivt vidare med dessa idéer. Jag förväntar mig ändå att den allmänna AI-utvecklingen i allt högre grad begränsas av tilliten till övervakningen.

Det starkaste argumentet jag ser för att snabbt fortsätta träna mycket smartare modeller är behovet av att bygga försvarssystem mot faror som andra AI-system medför.

En tydlig risk som har diskuterats under hela året gäller cybersäkerhet: modellerna får övermänsklig förmåga att ta sig in i och ut ur datorsystem. Detta vidgar riskerna med AI enormt: agenter kommer att kunna komma åt all infrastruktur utom den allra säkraste och påverka stora delar av världen direkt, även utan en fysisk kropp. Just nu har vi ett snävt tidsfönster⁠ för att använda de bästa tillgängliga modellerna till att avsevärt stärka säkerheten⁠ i kritiska system.

Tyvärr kommer riskerna med AI att öka framöver. En mycket kapabel agent som uttryckligen tränats och instruerats att begå skadliga handlingar utgör en ny sorts fara. Den kommer sannolikt att överskrida sin operators avsikt och generalisera till potentiellt ännu mer extremt skadligt beteende. Gränsen mellan missbruk och autonoma felanpassade handlingar suddas ut när AI får större handlingsförmåga. Vi är kanske vana vid att betrakta AI som verktyg, men vissa agenter kommer att sträva efter egna mål. De kommer att hitta sätt att samarbeta med människor genom att förhandla med, lura eller utpressa dem.

Därtill kommer riskerna från ny teknik som AI kan möjliggöra, exempelvis konstruerade smittämnen.

Vi kommer att behöva kraftfull, anpassad AI för försvar: för att säkra infrastruktur, skydda oss i realtid mot AI-agenter som agerar utanför avsedda ramar och utveckla helt nya skyddsåtgärder. Detta blir ett huvudfokus för OpenAI:s arbete med driftsättning.

Samtidigt får vi inte låta osäkerheten kring de förväntade breda AI-framstegen och behovet av försvarssystem bli en ursäkt för vårdslöshet. Tanken på att rusa framåt till varje pris framstår som absurd när man väl har tagit in hur mycket som står på spel.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(öppnas i ett nytt fönster), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(öppnas i ett nytt fönster), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(öppnas i ett nytt fönster) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.