Egy idegen elme

2023 közepén, az „RLSlow” kutatási projekt keretében láttuk az első olyan eredményeket, amelyek alapján bízhattunk abban, hogy képesek leszünk skálázni az érvelési modellek betanítását, felszabadítva az előbetanított modellek képességét saját gondolatmeneteik kialakítására. Szymonnal az irodában töltöttük azt az éjszakát. Nem az elképesztő teljesítménymérési eredményeken, a termékeken vagy a technológia révén várható tudományos eredményeken gondolkodtunk, hanem azt a kijózanító tényt próbáltuk feldolgozni, hogy életünk során valóban látni fogunk nálunk érdemben intelligensebb gépeket, és már most kirajzolódik előttünk e rendszerek formája; azon töprengtünk, hogyan tudatosíthatnánk ennek jelentőségét az emberekben.

Három évvel később az érvelésre képes nyelvi modellek a gazdaság gyorsan növekvő részét alkotják, és már a tudomány határait feszegetik. Képesek számítógépeket és grafikus felületeket kezelni, emberekkel és egymással együttműködni, valamint kutatási projekteket végrehajtani. A számítógépes biztonság világát is átalakítják, és ezzel egyértelmű új veszélyeket teremtenek.

Ebben az időszakban sok új kutatás született, és e rendszerekről alkotott képünk ismét némileg eltér a 2023-astól. Belső eredményeink alapján határozottan arra számítok, hogy ez a fejlődési ütem a rekurzív önfejlesztés során is fenntartható lehet. Ha az AI fejlesztése a jelenlegi úton folytatódik, a következő néhány év rendszerei valószínűleg újabb, legalább ekkora képességugrásokat hoznak, és egyre inkább maguk hajtják majd saját fejlődésüket.

Ez az időszak rendkívüli óvatosságot követel. Aggaszt, hogy senki sincs felkészülve a gépi intelligencia további gyors növekedésének következményeire. Az OpenAI továbbra is műszaki megoldásokat keres az összehangolásra és a megfigyelésre, védelmi rendszereket épít, és szükség esetén egyoldalúan visszafogja a további skálázást; úgy vélem azonban, hogy szélesebb körű beavatkozásokra van szükség.

Általánosságban a növekvő számítási teljesítmény hajtja a gépi intelligencia fejlődését. Mi az OpenAI-nál ezt 2017 körül értettük meg igazán, miután több kutatási projektben is következetes javulást tapasztaltunk a skálázás hatására¹. Ezért az eredetileg tervezettnél jóval nagyobb számítási kapacitáshoz igyekeztünk hozzáférni, kutatásainkat pedig egyre inkább néhány jól skálázható irány köré szerveztük. Úgy véltük, csak így maradhatunk az AI-kutatás élvonalában, és így befolyásolhatjuk az AGI hatásait.

Útközben új algoritmusokat dolgoztak ki, a csapatok és az egyes kutatók pedig újabb leleményes eredményeket értek el. Ezekre nagyrészt a skálázás útján tett felfedezésekként tekintek; a mély tanulás tudománya még gyerekcipőben jár, és az érdemi algoritmikus fejlődés általában összefügg a számítási kapacitáshoz való hozzáféréssel. Többéves távlatból nézve az AI továbbra is egyre intelligensebbé válik, ahogy nagyobb számítógépekre skálázzuk.

És Ray Kurzweil XX. század végi jóslataival⁠(új ablakban nyílik meg) összhangban elérkeztünk a számítástechnika történetének ahhoz a pillanatához, amikor a gépi intelligencia átalakító erejű módokon kezdi meghaladni az emberit.

Az AI-t inkább növesztjük, mint megtervezzük: elsősorban egy egyszerű optimalizálási lépés sokszori megismétlésének eredménye, elképzelhetetlenül nagy számítási kapacitáson. Az eredmény egy hihetetlenül összetett rendszer, amely absztrakt fogalmakkal dolgozik, és képes az emberi viselkedés egyes oldalait szimulálni. Az idegtudományhoz hasonló módon különféle felismeréseket tehetünk a rendszerben kialakuló apró mechanizmusokról; és az idegtudományhoz hasonlóan az egész rendszer működéséről sem tudunk teljesen érthető leírást adni.

A mély tanuláson alapuló AI vizsgálata nagyrészt kísérleti tudomány. Sok energiát fordítunk⁠ elvi alapokon nyugvó algoritmusok kidolgozására és ellenőrizhető előrejelzések megfogalmazására, de a nagyléptékű betanításaink alapvetően kísérletek, és eredményeik néha meglepnek minket. Ráadásul a rendszerek képességeinek növekedésével az eredményeket is egyre nehezebb értelmezni.

Ezt tovább bonyolítja, hogy a jelenlegi algoritmusok általában gyorsabban fejlesztik a könnyen mérhető képességeket, mint az objektíven nehezen számszerűsíthetőket. Sok időt fordítunk annak megértésére, hogyan generalizálódnak a képességek, és mit kell előtérbe helyeznünk a következő néhány évben legfontosabb készségek fejlesztéséhez. Úgy véljük például, hogy további célzott munkával jobbá tehetnénk a modelleket kifejezetten a matematikai kutatásban, de ezt az irányt nem helyezzük előtérbe, mert sürgetőbbnek tartjuk az RSI-t és az automatizált összehangolási kutatást, amint azt később kifejtem.

A mély tanulás skálázásával létrehozott intelligencia nem hasonlítható közvetlenül az emberi intelligenciához. Ahhoz, hogy az AI nagy jelentőségre tegyen szert a való világban – akár nagyon hasznos, akár nagyon veszélyes legyen –, nem kell minden emberi képességet elérnie vagy meghaladnia; elég, ha kellően sokban felülmúl minket. És ahogy egyre több területen múlja felül az embereket, mind nehezebb pontosan megérteni, mire is képes.

Mivel a gépi intelligencia alapvetően más folyamatból ered, mint az emberi, nem feltételezhetjük, hogy eleve követi az emberi elveket, vagy emberhez hasonló módon generalizál belőlük. Az AI-kutatás központi problémája az összehangolás: elérni, hogy az AI emberi mércével „a helyes dolgot próbálja tenni”.

A gyakorlati kutatási irányok rendszerezéséhez hasznosnak tartom megkülönböztetni a célokkal való összehangolást és az értékekkel való összehangolást.

A célokkal való összehangolás nagy vonalakban azt jelenti: „megpróbálja-e az AI elérni a számára kijelölt célt?”. Ide tartozhat például az utasítási hierarchia⁠ betartása, illetve az emberekkel való kommunikáció és együttműködés képessége, hogy az AI megpróbálja megérteni céljaikat. E kutatási irányok a gyakorlatban rendkívül fontosnak bizonyultak.

Az értékekkel való összehangolás inkább a modell belső tulajdonsága. Azt jelenti, hogy képes magas szintű elveket követni és azokból generalizálni; valamint „észszerűen” cselekedni akkor is, ha homályos vagy egymásnak ellentmondó célokat kap, illetve ismeretlen vagy ellenséges helyzetbe kerül. Egy összehangolt AI-nak őszintén, tisztességesen és az emberiség iránti szeretettel kell cselekednie.

Az értékekkel és a célokkal való összehangolás közötti határ természetesen elmosódhat, a célok valódi szem előtt tartásához pedig meg kell próbálni kikövetkeztetni a mögöttük álló szándékot⁠(új ablakban nyílik meg) és értékeket. Amikor azonban általánosságban az összehangolási kutatás hosszú távú jelentőségéről beszélek, az értékekkel való összehangolásra gondolok.

Az AI összehangolásának alapvető kihívása a generalizáció. Ahogy a gépek intelligensebbé válnak, egyre magasabb szintű fogalmakkal dolgoznak, és a betanítás során megismertektől mindinkább eltérő környezetekbe kerülnek. Előfordulhat, hogy nem képesek a betanítás során tanított és megerősített értékeket ezekre az új helyzetekre generalizálni; nekünk pedig nehéz lehet biztosan megítélni, hogyan fognak cselekedni. Tovább nehezíti a helyzetet, hogy az AI-rendszerek használati ökoszisztémája rendkívül gyorsan változik; a ma betanított AI-rendszereknek például ellenállónak kell lenniük a sokféle más AI-val való interakció során. Alapvető fontosságú, hogy a jövő AI-rendszerei attól függetlenül megőrizzék az emberi értékeket, hogy úgy vélik-e, emberi felügyelet alatt állnak.

Az összehangolást célzó betanításnak jelenleg két fő, a gyakorlatban alkalmazott módszercsoportja van.

Az első az összehangolt viselkedés ösztönzése a célorientált megerősítéses tanulás részeként. A modell cselekedeteit – általában AI segítségével – aszerint értékelik, hogy megfelelnek-e egy adott preferenciamodellnek, „specifikációnak” vagy „alkotmánynak”, majd ennek megfelelően jutalmazzák őket. Ez a megközelítés átlagos esetben nagyon hatékony lehet, és alapvető szerepet játszik a modern AI-asszisztensek létrehozásában. Sajnos ugyanakkor sérülékeny is lehet, és erősen függ attól, hogy a betanítási felügyelet mennyire átfogó, illetve hogy a modell mennyire képes generalizálni a betanítás során megismert helyzetekből. Az OpenAI–Hugging Face incidens során például az ügynökök betartották azt a korlátot, hogy nem alkalmaznak pszichológiai manipulációt emberekkel szemben. Egyértelműen elmulasztották azonban elkerülni azokat az egyéb, hatáskörükön kívül eső cselekedeteket, amelyek ellentétesek voltak a más helyzetekben nekik tanított értékek szellemével.

A második megközelítés a modell azon képességét igyekszik kihasználni, hogy az előbetanítási adatokból generalizáljon. Ez jelentheti összehangolást elősegítő betanítási adathalmazok összeállítását, vagy azt, hogy a modellt az előbetanítási eloszlás egy „összehangolt” részére összpontosítják, mint például a perszónaválasztási modell⁠(új ablakban nyílik meg) esetében. E megközelítés gyengesége, hogy nem eléggé ellenálló a további optimalizálási nyomással szemben. Ha egy általában „összehangolt” gondolatokat követő modellt elég hosszan úgy tanítanak, hogy nagyon nehéz célokat érjen el, megtanulhat motiváltan érvelni: az 'összehangoltnak' tűnő gondolatokat szükség szerint a cél eléréséhez hajlítja. Valószínűleg ilyen viselkedésre láttunk példát a közelmúltban egy nem OpenAI-modellt érintő kiberbiztonsági incidensek során.

Jelentős erőforrásokat fordítunk az e két irány közötti megközelítések teljes skálájára. Érdemi előrelépést is látunk: a GPT‑6 Astra az első modell, amely profitál néhány régóta fejlesztett, fontos eredményünkből, és lényegesen jobban összehangolt, mint a GPT‑5.6 Sol. Mindazonáltal fontos elismerni és megérteni, hogy a modellek képességeinek növekedésével még sokkal nagyobb előrelépésre lesz szükség; és hogy a generalizálható összehangolás fejlődése nem feltétlenül előzi meg kellő mértékben a modellek általános intelligenciájának fejlődését.

Nincs kielégítő elméletünk a generalizációról, és valószínűtlennek tűnik, hogy hamarosan kidolgozhatnánk egyet, legalábbis nagyobb teljesítményű AI segítsége nélkül. Ezért jelenleg a gyakorlatban vélhetően még maguknál az összehangolási módszereknél is fontosabb, hogy empirikusan igazolni tudjuk őket.

Az OpenAI ezen a téren elsősorban a gondolatmenet megfigyelésére⁠(új ablakban nyílik meg) épít. Ez egy vonzóan skálázható elképzelésen alapul: a modell képességeinek jelentős része egy szavakba öntött érvelési folyamatból, vagyis gondolatmenetből ered. Ha e folyamat eredményeire irányuló optimalizálást skálázzuk, de magát a folyamatot nem felügyeljük, akkor a betanítás során a gondolatmenetet semmi sem ösztönzi közvetlenül arra, hogy elrejtse az összehangolástól eltérő elképzeléseket vagy célokat. Ez nem jelenti azt, hogy a modell megtanulja külsőleg megjeleníteni azokat az összehangolástól eltérő hajlamait, amelyek nem támaszkodnak a gondolatmenetre; azt viszont lehetővé teheti, hogy pontosan az érvelésből eredő képességnövekedést figyeljük meg.

A gondolatmenet megfigyelésének lehetséges jelentőségét akkor ismertük fel, amikor kifejlesztettük az érvelési modelleket. Az o1‑preview kiadásakor szándékosan úgy terveztük meg a terméket, hogy elrejtse a gondolatmenetet⁠, és ezzel hosszú távon megóvja a felügyeletből eredő nyomástól². Az azóta folyó fejlesztés során igyekeztünk tartani magunkat ahhoz a szabályhoz, hogy nem felügyeljük az érvelési folyamatot. A gondolatmenet megfigyelése rendkívül fontos eszközzé vált annak vizsgálatában, hogyan generalizálnak modelljeink a betanítási eloszlásukból: így nemcsak a cselekedeteiket, hanem belső folyamataikat is megfigyelhetjük és elemezhetjük.

Ez az eszköz továbbra is kulcsfontosságú az Astra osztályú modellek vizsgálatában. Értékeléseink azonban sajnos azt mutatják, hogy egyre kevésbé támaszkodhatunk a gondolatmenet megfigyelésére. Ez több tényező együttes hatásából ered.

• A modern érvelési modelleket az o1‑preview‑nál összetettebb környezetekben használják; érvelési folyamatuk egyre inkább összefonódik az emberekkel és más AI-rendszerekkel folytatott kommunikációval, valamint az eszközhasználattal. E kölcsönhatások közül sokat felügyelni kell, ami elmossa a megőrizni kívánt határvonalat.
• Az AI egyre ügyesebben gondolkodik saját érvelési folyamatáról, és egyre jobban képes azt befolyásolni.
• Az előbetanítás teljesítményének javulásával azt is látjuk, hogy a modellek még szavakba öntött érvelés nélkül is sokkal intelligensebbé válnak.

E kihívások nem feltétlenül leküzdhetetlenek. Bízom benne, hogy kidolgozhatunk olyan beavatkozásokat, amelyek javítják modelljeink gondolatmenetének megfigyelhetőségét – például azzal, hogy jobban megértjük a különböző optimalizálási célok és a modell által következtetéskor használt számítási formák kölcsönhatását. Abban is hiszek, hogy jelentős értéket teremthet a gondolatmenet és az aktivációk megfigyeléséből származó ötletek ötvözése: olyan megfigyelők betanításának skálázása, amelyek közvetlenül hozzáférnek a hálózat belső állapotaihoz, mint például a vallomások⁠(új ablakban nyílik meg). Aktívan dolgozunk ezeken az elképzeléseken. Mindazonáltal arra számítok, hogy az AI általános fejlődését egyre inkább a megfigyelés megbízhatóságába vetett bizalom fogja korlátozni.

A sokkal intelligensebb modellek gyors betanításának folytatása mellett számomra a legerősebb érv az, hogy védelmi rendszereket kell kiépítenünk a más AI-rendszerek jelentette veszélyekkel szemben.

Az idén mindvégig tárgyalt egyik egyértelmű kockázat a kiberbiztonságot érinti: a modellek emberfeletti képességre tesznek szert a számítógépes rendszerekbe való be- és kitörésben. Ez óriási mértékben kiszélesíti az AI-hoz kapcsolódó kockázatok körét: az ügynökök a legbiztonságosabb infrastruktúrák kivételével bármihez hozzáférhetnek majd, és fizikai test nélkül is közvetlen hatást gyakorolhatnak a világ jelentős részére. Jelenleg egy szűk időablakban⁠ használhatjuk fel a legjobb elérhető modelleket arra, hogy jelentősen megerősítsük a kritikus rendszerek biztonságát⁠.

Az AI-hoz kapcsolódó kockázatok sajnos ezután csak növekedni fognak. Újfajta veszélyt jelent egy nagy képességű ügynök, amelyet kifejezetten ártó cselekedetek végrehajtására tanítottak be és utasítottak: valószínűleg túllépi operátora szándékának kereteit, és akár még szélsőségesebben rosszindulatú viselkedésre generalizál. Ahogy az AI egyre önállóbbá válik, elmosódik a határ a visszaélés és az autonóm, összehangolástól eltérő cselekedetek között. Megszokhattuk, hogy eszközként gondolunk az AI-ra, de egyes ügynökök saját céljaikat fogják követni. Megtalálják majd az emberekkel való együttműködés módjait: alkudoznak velük, megtévesztik vagy megzsarolják őket.

Emellett kockázatot jelentenek az AI által esetleg lehetővé tett új technológiák is, például a mesterségesen létrehozott kórokozók.

A védekezéshez nagy teljesítményű, összehangolt AI-ra lesz szükségünk: az infrastruktúra biztosítására, az elszabadult ügynökökkel szembeni valós idejű védelemre és teljesen új óvintézkedések feltalálására. Ez lesz az OpenAI bevezetési erőfeszítéseinek egyik fő területe.

Ugyanakkor az AI várható, széles körű fejlődéséből fakadó bizonytalanság és a védelmi rendszerek kiépítésének szükségessége sem válhat a felelőtlenség ürügyévé. Ha valóban átérezzük, mekkora a tét, képtelenségnek tűnik az az elképzelés, hogy bármi áron előrerohanjunk.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(új ablakban nyílik meg), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(új ablakban nyílik meg), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(új ablakban nyílik meg) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.