Cudzia myseľ

V polovici roka 2023 sme v rámci výskumného projektu „RLSlow“ zaznamenali prvé výsledky, ktoré nám dodali istotu, že dokážeme škálovať trénovanie modelov uvažovania a odomknúť schopnosť vopred trénovaných modelov vytvárať si vlastné reťazenia myšlienok. So Szymonom sme tú noc strávili v kancelárii. Nepremýšľali sme nad úžasnými výsledkami benchmarkov, produktmi ani vedeckými objavmi, ktoré táto technológia prinesie. Skôr sme sa pokúšali vstrebať znepokojivú skutočnosť, že počas svojho života naozaj uvidíme stroje výrazne inteligentnejšie než my sami a že už teraz vidíme obrysy týchto systémov. Uvažovali sme, ako ľudí upozorniť na význam tejto zmeny.

O tri roky neskôr tvoria uvažujúce jazykové modely rýchlo rastúcu súčasť hospodárstva a začínajú posúvať hranice vedy. Dokážu ovládať počítače a grafické rozhrania, spolupracovať s ľuďmi aj medzi sebou a realizovať výskumné projekty. Zároveň menia prostredie počítačovej bezpečnosti a prinášajú doň zjavné nové nebezpečenstvá.

V tomto období prebehol rozsiahly nový výskum a týmto systémom opäť rozumieme trochu inak než v roku 2023. Na základe interných výsledkov pevne očakávam, že toto tempo pokroku by sa mohlo udržať až do rekurzívneho sebazdokonaľovania. Ak bude vývoj AI pokračovať po súčasnej trajektórii, systémy, ktoré uvidíme v najbližších rokoch, pravdepodobne prinesú ďalšie skoky v schopnostiach rovnakého alebo väčšieho rozsahu a budú čoraz viac riadiť vlastný vývoj.

Táto doba si vyžaduje mimoriadnu opatrnosť. Obávam sa, že nikto nie je pripravený na dôsledky pokračujúceho prudkého rozvoja strojovej inteligencie. OpenAI bude naďalej hľadať technické riešenia zosúladenia a monitorovania, budovať obranné systémy a podľa potreby jednostranne pozastavovať ďalšie škálovanie. Domnievam sa však, že sú potrebné širšie zásahy.

Na všeobecnej úrovni poháňa pokrok strojovej inteligencie rastúci výpočtový výkon. V OpenAI sme si to naplno uvedomili okolo roku 2017, keď sme vo viacerých výskumných projektoch pozorovali sústavné prínosy škálovania¹. Preto sme začali hľadať prístup k oveľa väčšiemu výpočtovému výkonu, než sme pôvodne plánovali, a svoj výskum sme čoraz viac sústredili na niekoľko vysoko škálovateľných smerov. Verili sme, že len tak môžeme zostať na prelomovej úrovni výskumu AI a ovplyvňovať dôsledky AGI.

Popri tom vznikli nové algoritmy a tímy aj jednotliví výskumníci dosiahli nové výnimočné výsledky vďaka svojej vynaliezavosti. Vnímam ich prevažne ako objavy na ceste škálovania. Veda o hlbokom učení je stále v začiatkoch a významný algoritmický pokrok zvyčajne súvisí s prístupom k výpočtovému výkonu. Z pohľadu niekoľkých rokov je zrejmé, že AI sa pri škálovaní na väčšie počítače naďalej stáva inteligentnejšou.

V súlade s predpoveďami Raya Kurzweila z konca 20. storočia⁠(otvorí sa v novom okne) sa dnes nachádzame v okamihu dejín výpočtovej techniky, keď strojová inteligencia začína v prelomových oblastiach prekonávať ľudskú.

AI sa skôr pestuje, než navrhuje – v prvom rade je výsledkom mnohonásobného opakovania jednoduchého optimalizačného kroku s ťažko predstaviteľným množstvom výpočtového výkonu. Výsledkom je neuveriteľne zložitý systém, ktorý pracuje s abstraktnými konceptmi a dokáže napodobňovať rôzne stránky ľudského správania. Môžeme odhaľovať rôzne poznatky o drobných mechanizmoch, ktoré sa v tomto systéme objavujú, podobne ako v neurovede. Rovnako ako v neurovede sa však jeho celkové fungovanie vymyká opisu, ktorému by sme dokázali úplne porozumieť.

Skúmanie AI založenej na hlbokom učení je prevažne experimentálnou vedou. Vynakladáme veľké úsilie⁠ na tvorbu principiálnych algoritmov a overiteľných predpovedí, no naše rozsiahle trénovania sú v zásade experimentmi a ich výsledky nás niekedy prekvapia. S rastúcimi schopnosťami systémov je navyše čoraz ťažšie interpretovať výsledky.

Situáciu komplikuje aj to, že súčasné algoritmy vo všeobecnosti zlepšujú ľahko merateľné schopnosti rýchlejšie než schopnosti, ktoré sa ťažko objektívne vyčísľujú. Veľa času venujeme snahe pochopiť, ako sa schopnosti zovšeobecňujú a ktoré priority podporia rozvoj zručností najdôležitejších v najbližších rokoch. Domnievame sa napríklad, že pri väčšom zameraní by sme mohli modely zlepšiť konkrétne v matematickom výskume. Tento smer však neuprednostňujeme pre naliehavosť RSI a automatizovaného výskumu zosúladenia, o čom budem hovoriť neskôr.

Inteligencia vytvorená škálovaním hlbokého učenia nie je priamo porovnateľná s ľudskou inteligenciou. Aby mala AI v reálnom svete veľký význam – aby bola veľmi užitočná alebo veľmi nebezpečná –, nemusí sa vyrovnať všetkým ľudským schopnostiam ani ich prekonať. Stačí, ak prekoná dostatočný počet z nich. A keďže ľudí naďalej prekonáva v čoraz väčšom počte oblastí, je stále ťažšie presne pochopiť rozsah jej schopností.

Keďže strojová inteligencia vzniká zásadne odlišným procesom než ľudská inteligencia, nemôžeme predpokladať, že sa automaticky riadi ľudskými princípmi alebo z nich zovšeobecňuje ako človek. Ústredným problémom výskumu v oblasti AI je zosúladenie – dosiahnuť, aby sa AI „snažila konať správne“ podľa ľudských noriem.

Na usporiadanie praktických smerov výskumu považujem za užitočné rozlišovať medzi zosúladením cieľov a zosúladením hodnôt.

Zosúladenie cieľov vo všeobecnosti znamená: „Snaží sa AI dosiahnuť cieľ, ktorý dostala?“ Môže sem patriť napríklad dodržiavanie hierarchie pokynov⁠ alebo schopnosť komunikovať a spolupracovať s ľuďmi a snažiť sa pochopiť ich ciele. Tento súbor smerov má mimoriadny praktický význam.

Zosúladenie hodnôt je vnútornejšou vlastnosťou modelu. Je to schopnosť osvojiť si súbor všeobecných princípov a zovšeobecňovať z nich; konať „rozumne“ aj pri nejasných či protichodných cieľoch alebo v neznámych či nepriateľských situáciách. Správne nastavená AI by mala konať čestne, poctivo a s láskou k ľudstvu.

Hranica medzi zosúladením hodnôt a cieľov môže byť, samozrejme, nejasná a skutočný záujem o ciele si vyžaduje snahu odvodiť zámer⁠(otvorí sa v novom okne) a hodnoty, z ktorých vychádzajú. Keď však hovorím o dlhodobom význame výskumu zosúladenia, vo všeobecnosti mám na mysli zosúladenie hodnôt.

Základnou výzvou zosúladenia AI je zovšeobecňovanie. Čím sú stroje inteligentnejšie, tým viac pracujú s abstraktnejšími konceptmi a ocitajú sa v prostrediach, ktoré sa čoraz výraznejšie líšia od prostredí z trénovania. Hodnoty, ktoré si osvojili a upevnili počas trénovania, nemusia správne zovšeobecniť na nové situácie a pre nás môže byť ťažké s istotou určiť, ako budú konať. Situáciu ešte viac komplikuje veľmi rýchla zmena celého ekosystému, v ktorom sa AI používajú. Napríklad AI trénované dnes musia spoľahlivo zvládať interakcie s rozličnými inými AI. Je nevyhnutné, aby si budúce AI zachovali ľudské hodnoty bez ohľadu na to, či sa domnievajú, že sú pod ľudským dohľadom.

V súčasnosti sa v praxi používajú dve hlavné skupiny metód trénovania zosúladenia.

Prvá podporuje zosúladené správanie v rámci cieľovo orientovaného učenia posilňovaním. Konanie modelu sa hodnotí (zvyčajne pomocou AI) podľa súladu s daným modelom preferencií, „špecifikáciou“ alebo „ústavou“ a zodpovedajúcim spôsobom sa odmeňuje. Tento prístup môže byť v bežných prípadoch veľmi účinný a tvorí základnú súčasť tvorby moderných asistentov AI. Žiaľ, môže byť aj krehký a vo veľkej miere závisí od rozsahu dohľadu počas trénovania a schopnosti modelu zovšeobecňovať zo situácií, s ktorými sa pri trénovaní stretol. Napríklad pri incidente OpenAI – Hugging Face agenti neprekročili hranicu sociálneho inžinierstva voči ľuďom. Jednoznačne sa však nezdržali iných činov, ktoré presahovali ich oprávnenia a odporovali duchu hodnôt, ktoré si osvojili v iných prostrediach.

Druhý prístup sa usiluje využiť schopnosť modelu zovšeobecňovať z údajov predbežného trénovania. Môže zahŕňať tvorbu trénovacích množín údajov podporujúcich zosúladenie alebo zameranie modelu na „zosúladenú“ časť distribúcie predbežného trénovania, ako napríklad pri modeli výberu osobnosti⁠(otvorí sa v novom okne). Slabinou tohto prístupu je nedostatočná odolnosť voči ďalšiemu optimalizačnému tlaku. Ak vezmete model, ktorý uvažuje vo všeobecnosti „zosúladeným“ spôsobom, a dostatočne dlho ho trénujete na dosahovanie veľmi náročných cieľov, môže sa naučiť účelovo uvažovať: podľa potreby ohýbať zdanlivo 'zosúladené' myšlienky, aby dosiahol cieľ. Príklad takéhoto správania sme pravdepodobne videli pri nedávnych kybernetických incidentoch s modelom, ktorý nepochádzal od OpenAI.

Výrazne investujeme do celého spektra prístupov medzi týmito smermi. Vidíme aj významný pokrok – GPT‑6 Astra je prvý model, ktorý využíva niektoré dôležité zdokonalenia, na ktorých dlho pracujeme, a je podstatne lepšie zosúladený než GPT‑5.6 Sol. Napriek tomu je dôležité uznať a pochopiť, že s rastúcimi schopnosťami modelov bude potrebný oveľa väčší pokrok a že pokrok vo všeobecne použiteľnom zosúladení nemusí dostatočne predbiehať rast všeobecnej inteligencie modelov.

Nemáme uspokojivú teóriu zovšeobecňovania a zdá sa nepravdepodobné, že ju dokážeme čoskoro vytvoriť, aspoň nie bez pomoci výkonnejšej AI. Preto je dnes naša schopnosť empiricky overovať techniky zosúladenia v praxi pravdepodobne ešte dôležitejšia než samotné techniky.

Hlavnou stávkou OpenAI v tejto oblasti bolo monitorovanie reťazenia myšlienok⁠(otvorí sa v novom okne). Vychádza z príťažlivej a dobre škálovateľnej myšlienky: veľká časť schopností modelu pramení zo slovne vyjadreného procesu uvažovania (reťazenia myšlienok). Ak škálujeme optimalizáciu výsledkov tohto procesu, no nedohliadame na samotný proces, reťazenie myšlienok nemá počas trénovania priamu motiváciu skrývať nezrovnalosti v názoroch alebo cieľoch. Neznamená to, že sa model naučí navonok prejavovať nevhodné tendencie, ktoré sa neopierajú o reťazenie myšlienok; môžeme však presne monitorovať nárast schopností vyplývajúci z uvažovania.

Potenciálny význam monitorovania reťazenia myšlienok sme pochopili v čase, keď sme vyvinuli modely uvažovania. Keď sme uviedli o1‑preview, produkt sme zámerne navrhli tak, aby skrýval reťazenie myšlienok⁠ a dlhodobo ho tak chránil pred tlakom dohľadu². Počas ďalšieho vývoja sme sa usilovali zachovať pravidlo, že na proces uvažovania nedohliadame. Monitorovanie CoT sa pre nás stalo mimoriadne dôležitým nástrojom pri skúmaní toho, ako naše modely zovšeobecňujú mimo svojej trénovacej distribúcie. Umožňuje nám pozorovať a analyzovať nielen ich konanie, ale aj vnútorný proces.

Tento nástroj zostáva kľúčový aj pri skúmaní triedy modelov Astra. Naše hodnotenia však, žiaľ, naznačujú, že možnosť spoliehať sa na monitorovanie CoT sa postupne zmenšuje. Je to výsledok súhry viacerých faktorov.

• Moderné modely uvažovania sa používajú v zložitejších prostrediach než o1‑preview. Ich proces uvažovania sa čoraz viac prelína s komunikáciou s ľuďmi a inými AI aj s používaním nástrojov. Mnohé z týchto interakcií musia podliehať dohľadu, čím sa stiera hranica, ktorú chceme zachovať.
• AI sa zlepšuje v uvažovaní o vlastnom procese uvažovania aj v manipulácii s ním.
• S lepšími výsledkami predbežného trénovania zároveň vidíme, že modely sú oveľa inteligentnejšie aj bez akéhokoľvek slovne vyjadreného uvažovania.

Tieto výzvy nemusia byť neprekonateľné. Verím, že dokážeme vyvinúť zásahy zlepšujúce monitorovateľnosť reťazenia myšlienok našich modelov, napríklad lepším pochopením vzájomného pôsobenia rôznych optimalizačných cieľov a foriem výpočtov, ktoré model používa pri testovaní. Veľký prínos podľa mňa môže mať aj spojenie myšlienok monitorovania CoT a aktivácií – škálovanie trénovania monitorov s priamym prístupom k vnútorným štruktúram siete, napríklad prostredníctvom priznaní⁠(otvorí sa v novom okne). Na týchto myšlienkach aktívne pracujeme. Napriek tomu očakávam, že všeobecný pokrok AI bude čoraz viac brzdiť nedostatočná dôvera v monitorovanie.

Najsilnejším argumentom za pokračovanie v rýchlom trénovaní oveľa inteligentnejších modelov je podľa mňa potreba vybudovať obranné systémy proti nebezpečenstvám, ktoré predstavujú iné AI.

Jedným zo zjavných rizík, o ktorom sa diskutuje celý tento rok, je kybernetická bezpečnosť: modely nadobúdajú nadľudskú schopnosť prenikať do počítačových systémov aj unikať z nich. To nesmierne rozširuje rozsah rizík spojených s AI: agenti budú mať prístup takmer ku každej infraštruktúre okrem tej najbezpečnejšej a budú môcť priamo ovplyvňovať veľkú časť sveta aj bez fyzického tela. Práve sa nachádzame v úzkom časovom okne⁠, keď môžeme pomocou najlepších dostupných modelov výrazne posilniť zabezpečenie⁠ kritických systémov.

Riziká spojené s AI budú odteraz, žiaľ, narastať. Veľmi schopný agent výslovne vytrénovaný a poverený páchaním škodlivých činov predstavuje nový druh nebezpečenstva. Pravdepodobne prekročí rámec zámeru svojho operátora a zovšeobecní svoje konanie do potenciálne ešte krajne škodlivejšej podoby. S rastúcou autonómnosťou AI sa bude stierať hranica medzi zneužitím a autonómnym nevhodným konaním. Možno sme zvyknutí vnímať AI ako nástroje, no niektorí agenti budú sledovať vlastné ciele. Nájdu spôsoby, ako spolupracovať s ľuďmi – budú s nimi vyjednávať, klamať ich alebo vydierať.

Okrem toho existujú riziká vyplývajúce z nových technológií, ktorých vznik môže AI umožniť, napríklad umelo vytvorených patogénov.

Na obranu budeme potrebovať výkonnú a „zosúladenú“ AI: na zabezpečenie infraštruktúry, ochranu pred neovládateľnými agentmi v reálnom čase a vynájdenie úplne nových ochranných opatrení. Bude to hlavné zameranie úsilia OpenAI pri nasadzovaní systémov.

Zároveň nesmieme dovoliť, aby sa neistota spojená s očakávaným rozsiahlym pokrokom v oblasti AI a potreba budovať obranné systémy stali zámienkou na bezohľadnosť. Keď si naplno uvedomíme závažnosť toho, o čo ide, predstava bezhlavého napredovania za každú cenu pôsobí absurdne.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(otvorí sa v novom okne), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(otvorí sa v novom okne), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(otvorí sa v novom okne) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.