Egy idegen elme

2023 közepén, az „RLSlow” kutatási projekt keretében láttuk az első olyan eredményeket, amelyek alapján bízhattunk abban, hogy képesek leszünk skálázni az érvelési modellek betanítását, felszabadítva az előbetanított modellek képességét saját gondolatmeneteik kialakítására. Szymonnal az irodában töltöttük azt az éjszakát. Nem az elképesztő teljesítménymérési eredményeken, a termékeken vagy a technológia révén várható tudományos eredményeken gondolkodtunk, hanem azt a kijózanító tényt próbáltuk feldolgozni, hogy életünk során valóban látni fogunk nálunk érdemben intelligensebb gépeket, és már most kirajzolódik előttünk e rendszerek formája; azon töprengtünk, hogyan tudatosíthatnánk ennek jelentőségét az emberekben.

Három évvel később az érvelésre képes nyelvi modellek a gazdaság gyorsan növekvő részét alkotják, és már a tudomány határait feszegetik. Képesek számítógépeket és grafikus felületeket kezelni, emberekkel és egymással együttműködni, valamint kutatási projekteket végrehajtani. A számítógépes biztonság világát is átalakítják, és ezzel egyértelmű új veszélyeket teremtenek.

Ebben az időszakban sok új kutatás született, és e rendszerekről alkotott képünk ismét némileg eltér a 2023-astól. Belső eredményeink alapján határozottan arra számítok, hogy ez a fejlődési ütem a rekurzív önfejlesztés során is fenntartható lehet. Ha az AI fejlesztése a jelenlegi úton folytatódik, a következő néhány év rendszerei valószínűleg újabb, legalább ekkora képességugrásokat hoznak, és egyre inkább maguk hajtják majd saját fejlődésüket.

Ez az időszak rendkívüli óvatosságot követel. Aggaszt, hogy senki sincs felkészülve a gépi intelligencia további gyors növekedésének következményeire. Az OpenAI továbbra is műszaki megoldásokat keres az összehangolásra és a megfigyelésre, védelmi rendszereket épít, és szükség esetén egyoldalúan visszafogja a további skálázást; úgy vélem azonban, hogy szélesebb körű beavatkozásokra van szükség.

Általánosságban a növekvő számítási teljesítmény hajtja a gépi intelligencia fejlődését. Mi az OpenAI-nál ezt 2017 körül értettük meg igazán, miután több kutatási projektben is következetes javulást tapasztaltunk a skálázás hatására¹. Ezért az eredetileg tervezettnél jóval nagyobb számítási kapacitáshoz igyekeztünk hozzáférni, kutatásainkat pedig egyre inkább néhány jól skálázható irány köré szerveztük. Úgy véltük, csak így maradhatunk az AI-kutatás élvonalában, és így befolyásolhatjuk az AGI hatásait.

Útközben új algoritmusokat dolgoztak ki, a csapatok és az egyes kutatók pedig újabb leleményes eredményeket értek el. Ezekre nagyrészt a skálázás útján tett felfedezésekként tekintek; a mély tanulás tudománya még gyerekcipőben jár, és az érdemi algoritmikus fejlődés általában összefügg a számítási kapacitáshoz való hozzáféréssel. Többéves távlatból nézve az AI továbbra is egyre intelligensebbé válik, ahogy nagyobb számítógépekre skálázzuk.

És Ray Kurzweil XX. század végi jóslataival⁠(új ablakban nyílik meg) összhangban elérkeztünk a számítástechnika történetének ahhoz a pillanatához, amikor a gépi intelligencia átalakító erejű módokon kezdi meghaladni az emberit.

Az AI-t inkább növesztjük, mint megtervezzük: elsősorban egy egyszerű optimalizálási lépés sokszori megismétlésének eredménye, elképzelhetetlenül nagy számítási kapacitáson. Az eredmény egy hihetetlenül összetett rendszer, amely absztrakt fogalmakkal dolgozik, és képes az emberi viselkedés egyes oldalait szimulálni. Az idegtudományhoz hasonló módon különféle felismeréseket tehetünk a rendszerben kialakuló apró mechanizmusokról; és az idegtudományhoz hasonlóan az egész rendszer működéséről sem tudunk teljesen érthető leírást adni.

A mély tanuláson alapuló AI vizsgálata nagyrészt kísérleti tudomány. Sok energiát fordítunk⁠ elvi alapokon nyugvó algoritmusok kidolgozására és ellenőrizhető előrejelzések megfogalmazására, de a nagyléptékű betanításaink alapvetően kísérletek, és eredményeik néha meglepnek minket. Ráadásul a rendszerek képességeinek növekedésével az eredményeket is egyre nehezebb értelmezni.

Ezt tovább bonyolítja, hogy a jelenlegi algoritmusok általában gyorsabban fejlesztik a könnyen mérhető képességeket, mint az objektíven nehezen számszerűsíthetőket. Sok időt fordítunk annak megértésére, hogyan generalizálódnak a képességek, és mit kell előtérbe helyeznünk a következő néhány évben legfontosabb készségek fejlesztéséhez. Úgy véljük például, hogy további célzott munkával jobbá tehetnénk a modelleket kifejezetten a matematikai kutatásban, de ezt az irányt nem helyezzük előtérbe, mert sürgetőbbnek tartjuk az RSI-t és az automatizált összehangolási kutatást, amint azt később kifejtem.

A mély tanulás skálázásával létrehozott intelligencia nem hasonlítható közvetlenül az emberi intelligenciához. Ahhoz, hogy az AI nagy jelentőségre tegyen szert a való világban – akár nagyon hasznos, akár nagyon veszélyes legyen –, nem kell minden emberi képességet elérnie vagy meghaladnia; elég, ha kellően sokban felülmúl minket. És ahogy egyre több területen múlja felül az embereket, mind nehezebb pontosan megérteni, mire is képes.

Mivel a gépi intelligencia alapvetően más folyamatból ered, mint az emberi, nem feltételezhetjük, hogy eleve követi az emberi elveket, vagy emberhez hasonló módon generalizál belőlük. Az AI-kutatás központi problémája az összehangolás: elérni, hogy az AI emberi mércével „a helyes dolgot próbálja tenni”.

A gyakorlati kutatási irányok rendszerezéséhez hasznosnak tartom megkülönböztetni a célokkal való összehangolást és az értékekkel való összehangolást.

A célokkal való összehangolás nagy vonalakban azt jelenti: „megpróbálja-e az AI elérni a számára kijelölt célt?”. Ide tartozhat például az utasítási hierarchia⁠ betartása, illetve az emberekkel való kommunikáció és együttműködés képessége, hogy az AI megpróbálja megérteni céljaikat. E kutatási irányok a gyakorlatban rendkívül fontosnak bizonyultak.

Az értékekkel való összehangolás inkább a modell belső tulajdonsága. Azt jelenti, hogy képes magas szintű elveket követni és azokból generalizálni; valamint „észszerűen” cselekedni akkor is, ha homályos vagy egymásnak ellentmondó célokat kap, illetve ismeretlen vagy ellenséges helyzetbe kerül. Egy összehangolt AI-nak őszintén, tisztességesen és az emberiség iránti szeretettel kell cselekednie.

Az értékekkel és a célokkal való összehangolás közötti határ természetesen elmosódhat, a célok valódi szem előtt tartásához pedig meg kell próbálni kikövetkeztetni a mögöttük álló szándékot⁠(új ablakban nyílik meg) és értékeket. Amikor azonban általánosságban az összehangolási kutatás hosszú távú jelentőségéről beszélek, az értékekkel való összehangolásra gondolok.

Az AI összehangolásának alapvető kihívása a generalizáció. Ahogy a gépek intelligensebbé válnak, egyre magasabb szintű fogalmakkal dolgoznak, és a betanítás során megismertektől mindinkább eltérő környezetekbe kerülnek. Előfordulhat, hogy nem képesek a betanítás során tanított és megerősített értékeket ezekre az új helyzetekre generalizálni; nekünk pedig nehéz lehet biztosan megítélni, hogyan fognak cselekedni. Tovább nehezíti a helyzetet, hogy az AI-rendszerek használati ökoszisztémája rendkívül gyorsan változik; a ma betanított AI-rendszereknek például ellenállónak kell lenniük a sokféle más AI-val való interakció során. Alapvető fontosságú, hogy a jövő AI-rendszerei attól függetlenül megőrizzék az emberi értékeket, hogy úgy vélik-e, emberi felügyelet alatt állnak.

Az összehangolást célzó betanításnak jelenleg két fő, a gyakorlatban alkalmazott módszercsoportja van.

Az első az összehangolt viselkedés ösztönzése a célorientált megerősítéses tanulás részeként. A modell cselekedeteit – általában AI segítségével – aszerint értékelik, hogy megfelelnek-e egy adott preferenciamodellnek, „specifikációnak” vagy „alkotmánynak”, majd ennek megfelelően jutalmazzák őket. Ez a megközelítés átlagos esetben nagyon hatékony lehet, és alapvető szerepet játszik a modern AI-asszisztensek létrehozásában. Sajnos ugyanakkor sérülékeny is lehet, és erősen függ attól, hogy a betanítási felügyelet mennyire átfogó, illetve hogy a modell mennyire képes generalizálni a betanítás során megismert helyzetekből. Az OpenAI–Hugging Face incidens során például az ügynökök betartották azt a korlátot, hogy nem alkalmaznak pszichológiai manipulációt emberekkel szemben. Egyértelműen elmulasztották azonban elkerülni azokat az egyéb, hatáskörükön kívül eső cselekedeteket, amelyek ellentétesek voltak a más helyzetekben nekik tanított értékek szellemével.

A második megközelítés a modell azon képességét igyekszik kihasználni, hogy az előbetanítási adatokból generalizáljon. Ez jelentheti összehangolást elősegítő betanítási adathalmazok összeállítását, vagy azt, hogy a modellt az előbetanítási eloszlás egy „összehangolt” részére összpontosítják, mint például a perszónaválasztási modell⁠(új ablakban nyílik meg) esetében. E megközelítés gyengesége, hogy nem eléggé ellenálló a további optimalizálási nyomással szemben. Ha egy általában „összehangolt” gondolatokat követő modellt elég hosszan úgy tanítanak, hogy nagyon nehéz célokat érjen el, megtanulhat motiváltan érvelni: az 'összehangoltnak' tűnő gondolatokat szükség szerint a cél eléréséhez hajlítja. Valószínűleg ilyen viselkedésre láttunk példát a közelmúltban egy nem OpenAI-modellt érintő kiberbiztonsági incidensek során.

Jelentős erőforrásokat fordítunk az e két irány közötti megközelítések teljes skálájára. Érdemi előrelépést is látunk: a GPT‑6 Astra az első modell, amely profitál néhány régóta fejlesztett, fontos eredményünkből, és lényegesen jobban összehangolt, mint a GPT‑5.6 Sol. Mindazonáltal fontos elismerni és megérteni, hogy a modellek képességeinek növekedésével még sokkal nagyobb előrelépésre lesz szükség; és hogy a generalizálható összehangolás fejlődése nem feltétlenül előzi meg kellő mértékben a modellek általános intelligenciájának fejlődését.

Nincs kielégítő elméletünk a generalizációról, és valószínűtlennek tűnik, hogy hamarosan kidolgozhatnánk egyet, legalábbis nagyobb teljesítményű AI segítsége nélkül. Ezért jelenleg a gyakorlatban vélhetően még maguknál az összehangolási módszereknél is fontosabb, hogy empirikusan igazolni tudjuk őket.

Az OpenAI ezen a téren elsősorban a gondolatmenet megfigyelésére⁠(új ablakban nyílik meg) épít. Ez egy vonzóan skálázható elképzelésen alapul: a modell képességeinek jelentős része egy szavakba öntött érvelési folyamatból, vagyis gondolatmenetből ered. Ha e folyamat eredményeire irányuló optimalizálást skálázzuk, de magát a folyamatot nem felügyeljük, akkor a betanítás során a gondolatmenetet semmi sem ösztönzi közvetlenül arra, hogy elrejtse az összehangolástól eltérő elképzeléseket vagy célokat. Ez nem jelenti azt, hogy a modell megtanulja külsőleg megjeleníteni azokat az összehangolástól eltérő hajlamait, amelyek nem támaszkodnak a gondolatmenetre; azt viszont lehetővé teheti, hogy pontosan az érvelésből eredő képességnövekedést figyeljük meg.

A gondolatmenet megfigyelésének lehetséges jelentőségét akkor ismertük fel, amikor kifejlesztettük az érvelési modelleket. Az o1‑preview kiadásakor szándékosan úgy terveztük meg a terméket, hogy elrejtse a gondolatmenetet⁠, és ezzel hosszú távon megóvja a felügyeletből eredő nyomástól². Az azóta folyó fejlesztés során igyekeztünk tartani magunkat ahhoz a szabályhoz, hogy nem felügyeljük az érvelési folyamatot. A gondolatmenet megfigyelése rendkívül fontos eszközzé vált annak vizsgálatában, hogyan generalizálnak modelljeink a betanítási eloszlásukból: így nemcsak a cselekedeteiket, hanem belső folyamataikat is megfigyelhetjük és elemezhetjük.

Ez az eszköz továbbra is kulcsfontosságú az Astra osztályú modellek vizsgálatában. Értékeléseink azonban sajnos azt mutatják, hogy egyre kevésbé támaszkodhatunk a gondolatmenet megfigyelésére. Ez több tényező együttes hatásából ered.

• A modern érvelési modelleket az o1‑preview‑nál összetettebb környezetekben használják; érvelési folyamatuk egyre inkább összefonódik az emberekkel és más AI-rendszerekkel folytatott kommunikációval, valamint az eszközhasználattal. E kölcsönhatások közül sokat felügyelni kell, ami elmossa a megőrizni kívánt határvonalat.

• Az AI egyre ügyesebben gondolkodik saját érvelési folyamatáról, és egyre jobban képes azt befolyásolni.

• Az előbetanítás teljesítményének javulásával azt is látjuk, hogy a modellek még szavakba öntött érvelés nélkül is sokkal intelligensebbé válnak.

E kihívások nem feltétlenül leküzdhetetlenek. Bízom benne, hogy kidolgozhatunk olyan beavatkozásokat, amelyek javítják modelljeink gondolatmenetének megfigyelhetőségét – például azzal, hogy jobban megértjük a különböző optimalizálási célok és a modell által következtetéskor használt számítási formák kölcsönhatását. Abban is hiszek, hogy jelentős értéket teremthet a gondolatmenet és az aktivációk megfigyeléséből származó ötletek ötvözése: olyan megfigyelők betanításának skálázása, amelyek közvetlenül hozzáférnek a hálózat belső állapotaihoz, mint például a vallomások⁠(új ablakban nyílik meg). Aktívan dolgozunk ezeken az elképzeléseken. Mindazonáltal arra számítok, hogy az AI általános fejlődését egyre inkább a megfigyelés megbízhatóságába vetett bizalom fogja korlátozni.

A sokkal intelligensebb modellek gyors betanításának folytatása mellett számomra a legerősebb érv az, hogy védelmi rendszereket kell kiépítenünk a más AI-rendszerek jelentette veszélyekkel szemben.

Az idén mindvégig tárgyalt egyik egyértelmű kockázat a kiberbiztonságot érinti: a modellek emberfeletti képességre tesznek szert a számítógépes rendszerekbe való be- és kitörésben. Ez óriási mértékben kiszélesíti az AI-hoz kapcsolódó kockázatok körét: az ügynökök a legbiztonságosabb infrastruktúrák kivételével bármihez hozzáférhetnek majd, és fizikai test nélkül is közvetlen hatást gyakorolhatnak a világ jelentős részére. Jelenleg egy szűk időablakban⁠ használhatjuk fel a legjobb elérhető modelleket arra, hogy jelentősen megerősítsük a kritikus rendszerek biztonságát⁠.

Az AI-hoz kapcsolódó kockázatok sajnos ezután csak növekedni fognak. Újfajta veszélyt jelent egy nagy képességű ügynök, amelyet kifejezetten ártó cselekedetek végrehajtására tanítottak be és utasítottak: valószínűleg túllépi operátora szándékának kereteit, és akár még szélsőségesebben rosszindulatú viselkedésre generalizál. Ahogy az AI egyre önállóbbá válik, elmosódik a határ a visszaélés és az autonóm, összehangolástól eltérő cselekedetek között. Megszokhattuk, hogy eszközként gondolunk az AI-ra, de egyes ügynökök saját céljaikat fogják követni. Megtalálják majd az emberekkel való együttműködés módjait: alkudoznak velük, megtévesztik vagy megzsarolják őket.

Emellett kockázatot jelentenek az AI által esetleg lehetővé tett új technológiák is, például a mesterségesen létrehozott kórokozók.

A védekezéshez nagy teljesítményű, összehangolt AI-ra lesz szükségünk: az infrastruktúra biztosítására, az elszabadult ügynökökkel szembeni valós idejű védelemre és teljesen új óvintézkedések feltalálására. Ez lesz az OpenAI bevezetési erőfeszítéseinek egyik fő területe.

Ugyanakkor az AI várható, széles körű fejlődéséből fakadó bizonytalanság és a védelmi rendszerek kiépítésének szükségessége sem válhat a felelőtlenség ürügyévé. Ha valóban átérezzük, mekkora a tét, képtelenségnek tűnik az az elképzelés, hogy bármi áron előrerohanjunk.

A tartós technológiai fejlődés természetes következménye, hogy a gépi intelligencia egyre nagyobb szerepet játszik saját fejlesztésében. Ha az AI fejlődése folytatódik, a gépi rekurzív önfejlesztés (RSI) a jövő tudományos felfedezéseinek középpontjába kerül.

Az automatizált AI-kutatás az intelligencia számítási kapacitással történő skálázásának drámaibb formája; ennek részeként az AI természetesen magát a számítási infrastruktúrát is továbbfejleszti⁠. A skálázáshoz hasonlóan az OpenAI kutatásait is az RSI felé irányítjuk, mert úgy véljük, csak így maradhatunk a jövőben is az AI-kutatás élvonalában.

Szeretném hangsúlyozni, hogy a fentiek nem jelentik azt, hogy szerintem kutatói közösségként a mély tanulás kutatásának jelentős felgyorsítása lenne a helyes közös lépés, különösen rövid távon. Úgy gondolom azonban, hogy a jelenlegi út ide vezet, és mindannyiunknak tudatosan kell döntenünk a folytatásról. A rendelkezésünkre álló fő eszközök: úgy irányítani a folyamatot, hogy az AI-val párhuzamosan erősítsük az összehangolást és a megfigyelést, és megtaláljuk az emberi részvétel fenntartásának módjait; vagy összehangoltan lassítani a későbbi fejlesztést annyira, amennyi az e módszerekbe vetett bizalom kialakításához szükséges.

Jelenleg e kettő ötvözését látom a legjobb útnak.

Az összehangolás és a megfigyelés terén elért konkrét eredményeink általában szorosan összefonódtak az AI általános fejlődésével. Kiváló példa az emberi visszajelzésen alapuló megerősítéses tanulás⁠(új ablakban nyílik meg), amely kulcsszerepet játszott a korai AI-asszisztensek betanításában, valamint a már említett gondolatmenet-megfigyelés⁠(új ablakban nyílik meg), amelyet az érvelési modellek fejlődése tett lehetővé. Az egyre automatizáltabb kutatási folyamatot ilyen új felismerések, algoritmusok és elméletek kidolgozására kell összpontosítanunk, és fokozatosan biztonsági érveléseket kell kialakítanunk a nagyobb képességű AI-rendszerekhez.

Az AI-rendszerek skálázását a biztonságba vetett bizalmunknak kell korlátoznia. Az olyan vállalásokat, mint a Felkészültségi keretrendszer⁠ vagy a Felelős skálázási szabályzat⁠(új ablakban nyílik meg), a további fejlesztés széles körben kötelező biztonsági küszöbeivé kell továbbfejlesztenünk. Ezek betartását független auditorok hálózata, kormányzati szervek vagy nemzetközi testületek kényszeríthetik ki.

Az AI-kutatás automatizálásának központi kihívása nem az, hogy „eljussunk oda”, hanem hogy úgy jussunk el, hogy az emberek továbbra is részt vegyenek a folyamatos fejlesztésben, és a jövő az emberiség kezében maradjon.

Ahogy nemrég Sammel közösen felvázoltuk⁠, az OpenAI három vezérelvet szolgáló munkát helyez előtérbe:

1. Eligazodni az AI fejlődésének következő időszakában egy automatizált AI-kutató létrehozásával, vele együtt dolgozni az összehangolás problémáján, és megtalálni annak módját, hogy az emberek az önfejlesztési ciklus részei maradjanak.

2. Eljuttatni az emberekhez a nagyon intelligens gépek által lehetővé tett tudományos fejlődés és gazdasági növekedés előnyeit.

3. Mindenkit személyes AGI-val felruházni.

Ebben az esszében csak az első pontra összpontosítottam, mert ezt tartom messze a legsürgetőbbnek. Ugyanakkor mély reménnyel és megbecsüléssel tekintek a további technológiai fejlődés várható előnyeire. A jövő összehangolt AI-rendszerei előmozdíthatják a tudományt, új terápiákat fejleszthetnek ki, és széles körű anyagi bőséget teremthetnek. A barátságos és őszinte AI segíthet az embereknek megbirkózni életük nehézségeivel, és érdemben javíthatja boldogságukat és kiteljesedettségérzetüket. Az OpenAI rendkívül sok energiát fordít ezen előnyök megvalósítására. Az egyik jelenlegi példa, amelyre büszke vagyok – és amelyet szeretteim is hasznosnak találtak –, a ChatGPT egészségügyi tájékoztatási képességébe fektetett jelentős munka.

Bármilyen nagyszerű is lehet az AI hosszú távú ígérete, figyelmünk legnagyobb részét a következő néhány évre kell fordítanunk. Egy hihetetlenül intelligens gépekkel benépesített világba való átmenet előtt állunk, és gondoskodnunk kell arról, hogy ez az átmenet jól alakuljon az emberiség számára. Meg kell találnunk az emberi cselekvőképesség megőrzésének módjait, és biztosítanunk kell az emberi lét önmagában rejlő értékét egy olyan világban, ahol a legtöbb feladatot AI végezheti el. Meg kell akadályoznunk a hatalom szélsőséges összpontosulását egy olyan világban, ahol néhány, nagy számítógépet működtető ember is megvalósíthatja azt, amihez korábban szakértők ezrei kellettek volna. És biztosítanunk kell, hogy az emberek kezében maradjon a jövő irányítása, és ne hagyja őket maga mögött egy nálunk intelligensebb, idegen értelem által előidézett, ellenőrizetlen fejlődés.

Jelenleg úgy gondolom, egyetlen laboratórium sem oldotta meg olyan mértékben az összehangolást és a megfigyelést, hogy még sokáig felelősen folytathatná a maximális sebességű skálázást. Arra számítok, és abban reménykedem, hogy a közös biztonsági küszöbök kialakításáig általánossá válnak az önkéntes lassítások. Úgy vélem továbbá, hogy a jövőbeli AI-fejlesztés nemzetközi összehangolásának világszerte a kormányok egyik legfontosabb feladatává kell válnia.