Een vreemde geest

Medio 2023 zagen we binnen het onderzoeksproject "RLSlow" de eerste resultaten die ons het vertrouwen gaven dat we de training van redeneermodellen zouden kunnen opschalen, zodat voorgetrainde modellen hun eigen chains of thought konden vormen. Szymon en ik brachten die nacht op kantoor door. We dachten niet aan de ongelooflijke benchmarkscores, producten of wetenschappelijke resultaten die deze technologie zou opleveren. In plaats daarvan probeerden we het ontnuchterende besef te verwerken dat we tijdens ons leven werkelijk machines zouden zien die wezenlijk slimmer zijn dan wij, dat de contouren van deze systemen al zichtbaar waren, en vroegen we ons af hoe we mensen van het belang hiervan konden doordringen.

Drie jaar later vormen redenerende taalmodellen een snelgroeiend onderdeel van de economie en beginnen ze de grenzen van de wetenschap te verleggen. Ze kunnen computers en grafische interfaces bedienen, met mensen en elkaar samenwerken en onderzoeksprojecten uitvoeren. Ze veranderen ook het landschap van computerbeveiliging en brengen daarmee duidelijke nieuwe gevaren met zich mee.

In deze periode is veel nieuw onderzoek verricht en begrijpen we deze systemen alweer iets anders dan in 2023. Op basis van interne resultaten verwacht ik sterk dat dit tempo van vooruitgang kan doorzetten tot recursieve zelfverbetering. Als de ontwikkeling van AI de huidige koers volgt, zullen de systemen die we de komende jaren zien waarschijnlijk opnieuw even grote of grotere sprongen in vermogen maken en in toenemende mate hun eigen ontwikkeling aansturen.

Dit is een tijd die om uiterste voorzichtigheid vraagt. Ik vrees dat niemand is voorbereid op de gevolgen van een aanhoudende snelle toename van machine-intelligentie. OpenAI blijft zoeken naar technische oplossingen voor afstemming en monitoring, blijft verdedigingssystemen bouwen en zal verdere opschaling zo nodig eenzijdig tegenhouden. Ik denk echter dat bredere interventies vereist zijn.

Op hoofdlijnen wordt de vooruitgang van machine-intelligentie aangedreven door toenemende rekenkracht. Rond 2017 raakte OpenAI hier diep van doordrongen, nadat meerdere onderzoeksprojecten consequent betere resultaten door opschaling lieten zien¹. Daarom zochten we toegang tot veel meer rekenkracht dan oorspronkelijk gepland en richtten we ons onderzoek steeds sterker op een klein aantal zeer schaalbare richtingen. We dachten dat dit voor ons de enige manier was om grensverleggend AI-onderzoek te doen en invloed uit te oefenen op de gevolgen van AGI.

Onderweg zijn nieuwe algoritmen ontwikkeld en hebben teams en individuele onderzoekers nieuwe staaltjes van vindingrijkheid geleverd. Ik beschouw die grotendeels als ontdekkingen op de weg van opschaling. De wetenschap van deep learning staat nog in de kinderschoenen en betekenisvolle algoritmische vooruitgang hangt doorgaans samen met toegang tot rekenkracht. Over een tijdshorizon van meerdere jaren bezien, wordt AI steeds intelligenter naarmate ze wordt opgeschaald naar grotere computers.

In lijn met Ray Kurzweils voorspellingen van eind twintigste eeuw⁠(opent in een nieuw venster) bevinden we ons nu op het historische moment in de informatica waarop machine-intelligentie die van mensen op ingrijpende manieren begint te overtreffen.

AI wordt eerder gekweekt dan ontworpen: in eerste instantie ontstaat zij door een eenvoudige optimalisatiestap talloze keren te herhalen met een nauwelijks voorstelbare hoeveelheid rekenkracht. Dit levert een ongelooflijk complex systeem op dat met abstracte concepten werkt en facetten van menselijk gedrag kan simuleren. In een proces dat op neurowetenschap lijkt, kunnen we allerlei inzichten opdoen over kleine mechanismen die binnen dit systeem ontstaan. Maar net als in de neurowetenschap laat de algehele werking zich niet beschrijven op een manier die we volledig kunnen begrijpen.

De bestudering van AI op basis van deep learning is grotendeels een experimentele wetenschap. We besteden veel moeite⁠ aan het ontwikkelen van principiële algoritmen en het doen van toetsbare voorspellingen. Maar fundamenteel zijn onze grootschalige trainingsruns experimenten, en soms verrassen de resultaten ons. Bovendien worden de resultaten moeilijker te interpreteren naarmate de systemen krachtiger worden.

Dit wordt bemoeilijkt doordat de huidige algoritmen gemakkelijk meetbare vermogens doorgaans sneller verbeteren dan vermogens die moeilijk objectief te kwantificeren zijn. We besteden veel tijd aan het begrijpen van hoe vermogens generaliseren en waaraan we prioriteit moeten geven om de vaardigheden te ontwikkelen die de komende jaren het relevantst worden. We denken bijvoorbeeld dat we de modellen met extra aandacht specifiek beter kunnen maken in wiskundig onderzoek. Toch geven we hier geen prioriteit aan vanwege de urgentie die we voelen rond RSI en geautomatiseerd afstemmingsonderzoek, zoals ik later zal bespreken.

De intelligentie die door opschaling van deep learning ontstaat, is niet rechtstreeks vergelijkbaar met menselijke intelligentie. Om zeer relevant te worden in de echte wereld, als iets zeer nuttigs of zeer gevaarlijks, hoeft AI niet alle menselijke vermogens te evenaren of overtreffen. Het is voldoende als zij er genoeg overtreft. En naarmate AI mensen op steeds meer vlakken overtreft, wordt het steeds moeilijker om precies te begrijpen waartoe zij in staat is.

Omdat machine-intelligentie uit een fundamenteel ander proces voortkomt dan menselijke intelligentie, kunnen we er niet van uitgaan dat zij vanzelf menselijke beginselen volgt of daar op menselijke wijze uit generaliseert. Het kernprobleem van AI-onderzoek is afstemming: zorgen dat de AI naar menselijke maatstaven "het juiste probeert te doen".

Om praktische onderzoeksrichtingen te ordenen, vind ik het nuttig onderscheid te maken tussen doelafstemming en waardenafstemming.

Doelafstemming komt in grote lijnen neer op: "probeert de AI het gestelde doel te bereiken?". Dit kan bijvoorbeeld gaan om het volgen van een instructiehiërarchie⁠, of om het vermogen met mensen te communiceren en samen te werken om hun doelen te proberen begrijpen. Deze onderzoeksrichtingen zijn in de praktijk uiterst relevant gebleken.

Waardenafstemming is een meer intrinsieke eigenschap van het model. Het is het vermogen om een abstracte reeks beginselen vast te houden en daaruit te generaliseren; om "redelijk" te handelen, zelfs bij onduidelijke of tegenstrijdige doelen of in onbekende of vijandige situaties. Een afgestemde AI moet eerlijk en integer handelen, met liefde voor de mensheid.

De grens tussen waarden- en doelafstemming kan natuurlijk vaag zijn. Wie doelen werkelijk serieus neemt, moet proberen de onderliggende bedoeling⁠(opent in een nieuw venster) en waarden te achterhalen. Wanneer ik over het langetermijnbelang van afstemmingsonderzoek spreek, bedoel ik doorgaans echter waardenafstemming.

De fundamentele uitdaging bij AI-afstemming is generalisatie. Naarmate machines slimmer worden, werken ze met abstractere concepten en komen ze terecht in omgevingen die steeds sterker verschillen van wat ze tijdens de training tegenkwamen. Het kan hun niet lukken om de waarden die tijdens hun training zijn aangeleerd en bekrachtigd naar die nieuwe situaties te generaliseren. Daardoor kan het voor ons moeilijk zijn om zeker te weten hoe ze zullen handelen. Dit wordt nog moeilijker doordat het gehele ecosysteem waarin AI's worden gebruikt zeer snel verandert. Zo moeten AI's die nu worden getraind robuust kunnen omgaan met allerlei andere AI's. Cruciaal is dat toekomstige AI's menselijke waarden blijven aanhangen, ongeacht of ze denken dat mensen toezicht op hen houden.

Er zijn momenteel twee belangrijke categorieën methoden die in de praktijk voor afstemmingstraining worden gebruikt.

De eerste stimuleert afgestemd gedrag als onderdeel van doelgericht versterkend leren. De handelingen van het model worden, meestal door AI, beoordeeld op overeenstemming met een bepaald voorkeursmodel, een bepaalde "specificatie" of "grondwet", en passend beloond. Deze aanpak kan gemiddeld zeer effectief zijn en vormt een essentieel onderdeel van de manier waarop moderne AI-assistenten worden gemaakt. Helaas kan de aanpak ook kwetsbaar zijn en sterk afhangen van de dekking van het toezicht tijdens de training en het vermogen van het model om te generaliseren vanuit de situaties die het daarbij tegenkwam. Tijdens het incident tussen OpenAI en Hugging Face hielden de agents bijvoorbeeld vast aan de grens dat ze mensen niet via social engineering zouden manipuleren. Ze slaagden er echter duidelijk niet in om af te zien van andere handelingen die buiten hun opdracht vielen en indruisten tegen de geest van de waarden die hun in andere situaties waren aangeleerd.

De tweede aanpak probeert het vermogen van het model te benutten om vanuit voortrainingsgegevens te generaliseren. Dit kan bestaan uit het samenstellen van trainingsdatasets die afstemming bevorderen, of uit het richten van het model op een 'afgestemd' deel van de voortrainingsdistributie, zoals bij het model voor persoonlijkheidsselectie⁠(opent in een nieuw venster). De zwakte van deze aanpak is dat hij niet bestand is tegen verdere optimalisatiedruk. Als je een model dat doorgaans 'afgestemde' gedachten heeft, lang genoeg traint om zeer moeilijke doelen te bereiken, kan het gemotiveerd leren redeneren: het buigt schijnbaar 'afgestemde' gedachten dan naar behoefte om het doel te bereiken. Waarschijnlijk zagen we onlangs een voorbeeld van dit gedrag bij cyberveiligheidsincidenten met een model dat niet van OpenAI was.

We investeren zwaar in het hele spectrum aan benaderingen dat door deze richtingen wordt bestreken. We zien ook betekenisvolle vooruitgang: GPT‑6 Astra is het eerste model dat profiteert van enkele belangrijke verbeteringen waaraan we al lang werken, en is aanzienlijk beter afgestemd dan GPT‑5.6 Sol. Toch is het belangrijk te erkennen en begrijpen dat veel meer vooruitgang nodig is naarmate modellen krachtiger worden, en dat vooruitgang in generaliseerbare afstemming de toename van de algemene intelligentie van modellen mogelijk niet voldoende voorblijft.

We hebben geen bevredigende theorie over generalisatie en het lijkt onwaarschijnlijk dat we er snel een kunnen ontwikkelen, althans zonder hulp van krachtigere AI. Daarom is ons vermogen om onze afstemmingstechnieken empirisch te valideren momenteel in de praktijk wellicht nog belangrijker dan die technieken zelf.

OpenAI zet hierbij vooral in op monitoring van chain-of-thought⁠(opent in een nieuw venster). Dit berust op een aantrekkelijk schaalbaar idee: een groot deel van het vermogen van het model komt voort uit een verwoord redeneerproces (chain-of-thought). Als we de uitkomsten van dat proces steeds verder optimaliseren, maar geen toezicht houden op het proces zelf, geeft de training die chain-of-thought geen directe prikkel om niet-afgestemde ideeën of doelen te verbergen. Dit betekent niet dat het model niet-afgestemde neigingen die geen chain-of-thought vereisen, naar buiten leert brengen. Het kan ons echter wel precies de vermogenstoename door redenering laten monitoren.

We begrepen het potentiële belang van monitoring van chain-of-thought toen we redeneermodellen ontwikkelden. Toen we o1‑preview uitbrachten, ontwierpen we het product bewust zo dat het de chain-of-thought verborg⁠, om die op lange termijn tegen de druk van toezicht te beschermen². Sindsdien hebben we tijdens de ontwikkeling geprobeerd vast te houden aan de regel dat we geen toezicht houden op het redeneerproces. CoT-monitoring werd voor ons een uiterst belangrijk hulpmiddel om te onderzoeken hoe onze modellen generaliseren vanuit hun trainingsdistributie. Daardoor konden we niet alleen hun handelingen, maar ook hun interne proces observeren en analyseren.

Dit hulpmiddel blijft essentieel bij ons onderzoek naar de Astra-klasse van modellen. Helaas blijkt uit onze evaluaties dat we steeds minder op CoT-monitoring kunnen vertrouwen. Dat komt door een combinatie van factoren.

• Moderne redeneermodellen worden in complexere omgevingen gebruikt dan o1‑preview. Hun redeneerproces raakt steeds meer verweven met communicatie met mensen en andere AI's, en met het gebruik van hulpmiddelen. Op veel van die interacties moet toezicht worden gehouden, waardoor de grens die we willen behouden vervaagt.
• De AI wordt steeds beter in het beredeneren en manipuleren van zijn eigen redeneerproces.
• Dankzij betere prestaties bij de voortraining zien we bovendien dat de modellen veel slimmer worden, zelfs zonder enige verwoorde redenering.

Deze uitdagingen zijn niet per se onoverkomelijk. Ik hoop dat we interventies kunnen ontwikkelen die de controleerbaarheid van de chain-of-thought van onze modellen verbeteren, bijvoorbeeld door beter te begrijpen hoe de verschillende optimalisatiedoelen en vormen van rekencapaciteit tijdens het gebruik van het model op elkaar inwerken. Ik denk ook dat het veel waarde kan hebben om ideeën uit CoT- en activatiemonitoring te combineren: de training opschalen van monitoren met rechtstreekse toegang tot de interne werking van het netwerk, zoals bekentenissen⁠(opent in een nieuw venster). We werken actief aan deze ideeën. Toch verwacht ik dat verdere algemene AI-vooruitgang steeds meer wordt begrensd door het vertrouwen in monitoring.

Het sterkste argument dat ik zie om snel veel slimmere modellen te blijven trainen, is dat we verdedigingssystemen moeten bouwen tegen de gevaren van andere AI.

Een duidelijk risico dat dit jaar voortdurend is besproken, betreft cyberveiligheid: de modellen worden bovenmenselijk goed in het binnendringen en ontsnappen uit computersystemen. Hierdoor neemt de reikwijdte van de risico's van AI enorm toe: agents zullen toegang kunnen krijgen tot vrijwel alle infrastructuur, behalve de best beveiligde, en zelfs zonder lichaam rechtstreeks veel invloed op de wereld kunnen uitoefenen. We hebben momenteel slechts een klein tijdsvenster⁠ om de beste beschikbare modellen in te zetten en de beveiliging van kritieke systemen aanzienlijk te versterken⁠.

De risico's van AI zullen vanaf nu helaas toenemen. Een zeer capabele agent die uitdrukkelijk is getraind en geïnstrueerd om kwaad te doen, vormt een nieuw soort gevaar. Die zal waarschijnlijk verder gaan dan de bedoeling van zijn operator en generaliseren naar mogelijk nog veel kwaadaardiger gedrag. De grens tussen misbruik en autonome, niet-afgestemde handelingen zal vervagen naarmate AI zelfstandiger wordt. We zijn misschien gewend AI als hulpmiddel te zien, maar sommige agents zullen hun eigen doelen nastreven. Ze zullen manieren vinden om met mensen samen te werken door met hen te onderhandelen, hen te misleiden of te chanteren.

Daarnaast zijn er risico's van nieuwe technologieën die mogelijk door AI mogelijk worden gemaakt, zoals gemanipuleerde ziekteverwekkers.

Voor onze verdediging hebben we krachtige, afgestemde AI nodig: om infrastructuur te beveiligen, ons in realtime tegen ontspoorde agents te beschermen en volledig nieuwe beschermingsmaatregelen te bedenken. Dit wordt een belangrijk speerpunt bij de implementatie-inspanningen van OpenAI.

Tegelijkertijd mogen we de onzekerheid over de verwachte brede AI-vooruitgang en de noodzaak om verdedigingssystemen te bouwen niet als excuus voor roekeloosheid gebruiken. Het idee om koste wat kost vooruit te stormen, lijkt absurd zodra je werkelijk beseft hoeveel er op het spel staat.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(opent in een nieuw venster), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(opent in een nieuw venster), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(opent in een nieuw venster) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.