Cudzia myseľ

V polovici roka 2023 sme v rámci výskumného projektu „RLSlow“ zaznamenali prvé výsledky, ktoré nám dodali istotu, že dokážeme škálovať trénovanie modelov uvažovania a odomknúť schopnosť vopred trénovaných modelov vytvárať si vlastné reťazenia myšlienok. So Szymonom sme tú noc strávili v kancelárii. Nepremýšľali sme nad úžasnými výsledkami benchmarkov, produktmi ani vedeckými objavmi, ktoré táto technológia prinesie. Skôr sme sa pokúšali vstrebať znepokojivú skutočnosť, že počas svojho života naozaj uvidíme stroje výrazne inteligentnejšie než my sami a že už teraz vidíme obrysy týchto systémov. Uvažovali sme, ako ľudí upozorniť na význam tejto zmeny.

O tri roky neskôr tvoria uvažujúce jazykové modely rýchlo rastúcu súčasť hospodárstva a začínajú posúvať hranice vedy. Dokážu ovládať počítače a grafické rozhrania, spolupracovať s ľuďmi aj medzi sebou a realizovať výskumné projekty. Zároveň menia prostredie počítačovej bezpečnosti a prinášajú doň zjavné nové nebezpečenstvá.

V tomto období prebehol rozsiahly nový výskum a týmto systémom opäť rozumieme trochu inak než v roku 2023. Na základe interných výsledkov pevne očakávam, že toto tempo pokroku by sa mohlo udržať až do rekurzívneho sebazdokonaľovania. Ak bude vývoj AI pokračovať po súčasnej trajektórii, systémy, ktoré uvidíme v najbližších rokoch, pravdepodobne prinesú ďalšie skoky v schopnostiach rovnakého alebo väčšieho rozsahu a budú čoraz viac riadiť vlastný vývoj.

Táto doba si vyžaduje mimoriadnu opatrnosť. Obávam sa, že nikto nie je pripravený na dôsledky pokračujúceho prudkého rozvoja strojovej inteligencie. OpenAI bude naďalej hľadať technické riešenia zosúladenia a monitorovania, budovať obranné systémy a podľa potreby jednostranne pozastavovať ďalšie škálovanie. Domnievam sa však, že sú potrebné širšie zásahy.

Na všeobecnej úrovni poháňa pokrok strojovej inteligencie rastúci výpočtový výkon. V OpenAI sme si to naplno uvedomili okolo roku 2017, keď sme vo viacerých výskumných projektoch pozorovali sústavné prínosy škálovania¹. Preto sme začali hľadať prístup k oveľa väčšiemu výpočtovému výkonu, než sme pôvodne plánovali, a svoj výskum sme čoraz viac sústredili na niekoľko vysoko škálovateľných smerov. Verili sme, že len tak môžeme zostať na prelomovej úrovni výskumu AI a ovplyvňovať dôsledky AGI.

Popri tom vznikli nové algoritmy a tímy aj jednotliví výskumníci dosiahli nové výnimočné výsledky vďaka svojej vynaliezavosti. Vnímam ich prevažne ako objavy na ceste škálovania. Veda o hlbokom učení je stále v začiatkoch a významný algoritmický pokrok zvyčajne súvisí s prístupom k výpočtovému výkonu. Z pohľadu niekoľkých rokov je zrejmé, že AI sa pri škálovaní na väčšie počítače naďalej stáva inteligentnejšou.

V súlade s predpoveďami Raya Kurzweila z konca 20. storočia⁠(otvorí sa v novom okne) sa dnes nachádzame v okamihu dejín výpočtovej techniky, keď strojová inteligencia začína v prelomových oblastiach prekonávať ľudskú.

AI sa skôr pestuje, než navrhuje – v prvom rade je výsledkom mnohonásobného opakovania jednoduchého optimalizačného kroku s ťažko predstaviteľným množstvom výpočtového výkonu. Výsledkom je neuveriteľne zložitý systém, ktorý pracuje s abstraktnými konceptmi a dokáže napodobňovať rôzne stránky ľudského správania. Môžeme odhaľovať rôzne poznatky o drobných mechanizmoch, ktoré sa v tomto systéme objavujú, podobne ako v neurovede. Rovnako ako v neurovede sa však jeho celkové fungovanie vymyká opisu, ktorému by sme dokázali úplne porozumieť.

Skúmanie AI založenej na hlbokom učení je prevažne experimentálnou vedou. Vynakladáme veľké úsilie⁠ na tvorbu principiálnych algoritmov a overiteľných predpovedí, no naše rozsiahle trénovania sú v zásade experimentmi a ich výsledky nás niekedy prekvapia. S rastúcimi schopnosťami systémov je navyše čoraz ťažšie interpretovať výsledky.

Situáciu komplikuje aj to, že súčasné algoritmy vo všeobecnosti zlepšujú ľahko merateľné schopnosti rýchlejšie než schopnosti, ktoré sa ťažko objektívne vyčísľujú. Veľa času venujeme snahe pochopiť, ako sa schopnosti zovšeobecňujú a ktoré priority podporia rozvoj zručností najdôležitejších v najbližších rokoch. Domnievame sa napríklad, že pri väčšom zameraní by sme mohli modely zlepšiť konkrétne v matematickom výskume. Tento smer však neuprednostňujeme pre naliehavosť RSI a automatizovaného výskumu zosúladenia, o čom budem hovoriť neskôr.

Inteligencia vytvorená škálovaním hlbokého učenia nie je priamo porovnateľná s ľudskou inteligenciou. Aby mala AI v reálnom svete veľký význam – aby bola veľmi užitočná alebo veľmi nebezpečná –, nemusí sa vyrovnať všetkým ľudským schopnostiam ani ich prekonať. Stačí, ak prekoná dostatočný počet z nich. A keďže ľudí naďalej prekonáva v čoraz väčšom počte oblastí, je stále ťažšie presne pochopiť rozsah jej schopností.

Keďže strojová inteligencia vzniká zásadne odlišným procesom než ľudská inteligencia, nemôžeme predpokladať, že sa automaticky riadi ľudskými princípmi alebo z nich zovšeobecňuje ako človek. Ústredným problémom výskumu v oblasti AI je zosúladenie – dosiahnuť, aby sa AI „snažila konať správne“ podľa ľudských noriem.

Na usporiadanie praktických smerov výskumu považujem za užitočné rozlišovať medzi zosúladením cieľov a zosúladením hodnôt.

Zosúladenie cieľov vo všeobecnosti znamená: „Snaží sa AI dosiahnuť cieľ, ktorý dostala?“ Môže sem patriť napríklad dodržiavanie hierarchie pokynov⁠ alebo schopnosť komunikovať a spolupracovať s ľuďmi a snažiť sa pochopiť ich ciele. Tento súbor smerov má mimoriadny praktický význam.

Zosúladenie hodnôt je vnútornejšou vlastnosťou modelu. Je to schopnosť osvojiť si súbor všeobecných princípov a zovšeobecňovať z nich; konať „rozumne“ aj pri nejasných či protichodných cieľoch alebo v neznámych či nepriateľských situáciách. Správne nastavená AI by mala konať čestne, poctivo a s láskou k ľudstvu.

Hranica medzi zosúladením hodnôt a cieľov môže byť, samozrejme, nejasná a skutočný záujem o ciele si vyžaduje snahu odvodiť zámer⁠(otvorí sa v novom okne) a hodnoty, z ktorých vychádzajú. Keď však hovorím o dlhodobom význame výskumu zosúladenia, vo všeobecnosti mám na mysli zosúladenie hodnôt.

Základnou výzvou zosúladenia AI je zovšeobecňovanie. Čím sú stroje inteligentnejšie, tým viac pracujú s abstraktnejšími konceptmi a ocitajú sa v prostrediach, ktoré sa čoraz výraznejšie líšia od prostredí z trénovania. Hodnoty, ktoré si osvojili a upevnili počas trénovania, nemusia správne zovšeobecniť na nové situácie a pre nás môže byť ťažké s istotou určiť, ako budú konať. Situáciu ešte viac komplikuje veľmi rýchla zmena celého ekosystému, v ktorom sa AI používajú. Napríklad AI trénované dnes musia spoľahlivo zvládať interakcie s rozličnými inými AI. Je nevyhnutné, aby si budúce AI zachovali ľudské hodnoty bez ohľadu na to, či sa domnievajú, že sú pod ľudským dohľadom.

V súčasnosti sa v praxi používajú dve hlavné skupiny metód trénovania zosúladenia.

Prvá podporuje zosúladené správanie v rámci cieľovo orientovaného učenia posilňovaním. Konanie modelu sa hodnotí (zvyčajne pomocou AI) podľa súladu s daným modelom preferencií, „špecifikáciou“ alebo „ústavou“ a zodpovedajúcim spôsobom sa odmeňuje. Tento prístup môže byť v bežných prípadoch veľmi účinný a tvorí základnú súčasť tvorby moderných asistentov AI. Žiaľ, môže byť aj krehký a vo veľkej miere závisí od rozsahu dohľadu počas trénovania a schopnosti modelu zovšeobecňovať zo situácií, s ktorými sa pri trénovaní stretol. Napríklad pri incidente OpenAI – Hugging Face agenti neprekročili hranicu sociálneho inžinierstva voči ľuďom. Jednoznačne sa však nezdržali iných činov, ktoré presahovali ich oprávnenia a odporovali duchu hodnôt, ktoré si osvojili v iných prostrediach.

Druhý prístup sa usiluje využiť schopnosť modelu zovšeobecňovať z údajov predbežného trénovania. Môže zahŕňať tvorbu trénovacích množín údajov podporujúcich zosúladenie alebo zameranie modelu na „zosúladenú“ časť distribúcie predbežného trénovania, ako napríklad pri modeli výberu osobnosti⁠(otvorí sa v novom okne). Slabinou tohto prístupu je nedostatočná odolnosť voči ďalšiemu optimalizačnému tlaku. Ak vezmete model, ktorý uvažuje vo všeobecnosti „zosúladeným“ spôsobom, a dostatočne dlho ho trénujete na dosahovanie veľmi náročných cieľov, môže sa naučiť účelovo uvažovať: podľa potreby ohýbať zdanlivo 'zosúladené' myšlienky, aby dosiahol cieľ. Príklad takéhoto správania sme pravdepodobne videli pri nedávnych kybernetických incidentoch s modelom, ktorý nepochádzal od OpenAI.

Výrazne investujeme do celého spektra prístupov medzi týmito smermi. Vidíme aj významný pokrok – GPT‑6 Astra je prvý model, ktorý využíva niektoré dôležité zdokonalenia, na ktorých dlho pracujeme, a je podstatne lepšie zosúladený než GPT‑5.6 Sol. Napriek tomu je dôležité uznať a pochopiť, že s rastúcimi schopnosťami modelov bude potrebný oveľa väčší pokrok a že pokrok vo všeobecne použiteľnom zosúladení nemusí dostatočne predbiehať rast všeobecnej inteligencie modelov.

Nemáme uspokojivú teóriu zovšeobecňovania a zdá sa nepravdepodobné, že ju dokážeme čoskoro vytvoriť, aspoň nie bez pomoci výkonnejšej AI. Preto je dnes naša schopnosť empiricky overovať techniky zosúladenia v praxi pravdepodobne ešte dôležitejšia než samotné techniky.

Hlavnou stávkou OpenAI v tejto oblasti bolo monitorovanie reťazenia myšlienok⁠(otvorí sa v novom okne). Vychádza z príťažlivej a dobre škálovateľnej myšlienky: veľká časť schopností modelu pramení zo slovne vyjadreného procesu uvažovania (reťazenia myšlienok). Ak škálujeme optimalizáciu výsledkov tohto procesu, no nedohliadame na samotný proces, reťazenie myšlienok nemá počas trénovania priamu motiváciu skrývať nezrovnalosti v názoroch alebo cieľoch. Neznamená to, že sa model naučí navonok prejavovať nevhodné tendencie, ktoré sa neopierajú o reťazenie myšlienok; môžeme však presne monitorovať nárast schopností vyplývajúci z uvažovania.

Potenciálny význam monitorovania reťazenia myšlienok sme pochopili v čase, keď sme vyvinuli modely uvažovania. Keď sme uviedli o1‑preview, produkt sme zámerne navrhli tak, aby skrýval reťazenie myšlienok⁠ a dlhodobo ho tak chránil pred tlakom dohľadu². Počas ďalšieho vývoja sme sa usilovali zachovať pravidlo, že na proces uvažovania nedohliadame. Monitorovanie CoT sa pre nás stalo mimoriadne dôležitým nástrojom pri skúmaní toho, ako naše modely zovšeobecňujú mimo svojej trénovacej distribúcie. Umožňuje nám pozorovať a analyzovať nielen ich konanie, ale aj vnútorný proces.

Tento nástroj zostáva kľúčový aj pri skúmaní triedy modelov Astra. Naše hodnotenia však, žiaľ, naznačujú, že možnosť spoliehať sa na monitorovanie CoT sa postupne zmenšuje. Je to výsledok súhry viacerých faktorov.

• Moderné modely uvažovania sa používajú v zložitejších prostrediach než o1‑preview. Ich proces uvažovania sa čoraz viac prelína s komunikáciou s ľuďmi a inými AI aj s používaním nástrojov. Mnohé z týchto interakcií musia podliehať dohľadu, čím sa stiera hranica, ktorú chceme zachovať.

• AI sa zlepšuje v uvažovaní o vlastnom procese uvažovania aj v manipulácii s ním.

• S lepšími výsledkami predbežného trénovania zároveň vidíme, že modely sú oveľa inteligentnejšie aj bez akéhokoľvek slovne vyjadreného uvažovania.

Tieto výzvy nemusia byť neprekonateľné. Verím, že dokážeme vyvinúť zásahy zlepšujúce monitorovateľnosť reťazenia myšlienok našich modelov, napríklad lepším pochopením vzájomného pôsobenia rôznych optimalizačných cieľov a foriem výpočtov, ktoré model používa pri testovaní. Veľký prínos podľa mňa môže mať aj spojenie myšlienok monitorovania CoT a aktivácií – škálovanie trénovania monitorov s priamym prístupom k vnútorným štruktúram siete, napríklad prostredníctvom priznaní⁠(otvorí sa v novom okne). Na týchto myšlienkach aktívne pracujeme. Napriek tomu očakávam, že všeobecný pokrok AI bude čoraz viac brzdiť nedostatočná dôvera v monitorovanie.

Najsilnejším argumentom za pokračovanie v rýchlom trénovaní oveľa inteligentnejších modelov je podľa mňa potreba vybudovať obranné systémy proti nebezpečenstvám, ktoré predstavujú iné AI.

Jedným zo zjavných rizík, o ktorom sa diskutuje celý tento rok, je kybernetická bezpečnosť: modely nadobúdajú nadľudskú schopnosť prenikať do počítačových systémov aj unikať z nich. To nesmierne rozširuje rozsah rizík spojených s AI: agenti budú mať prístup takmer ku každej infraštruktúre okrem tej najbezpečnejšej a budú môcť priamo ovplyvňovať veľkú časť sveta aj bez fyzického tela. Práve sa nachádzame v úzkom časovom okne⁠, keď môžeme pomocou najlepších dostupných modelov výrazne posilniť zabezpečenie⁠ kritických systémov.

Riziká spojené s AI budú odteraz, žiaľ, narastať. Veľmi schopný agent výslovne vytrénovaný a poverený páchaním škodlivých činov predstavuje nový druh nebezpečenstva. Pravdepodobne prekročí rámec zámeru svojho operátora a zovšeobecní svoje konanie do potenciálne ešte krajne škodlivejšej podoby. S rastúcou autonómnosťou AI sa bude stierať hranica medzi zneužitím a autonómnym nevhodným konaním. Možno sme zvyknutí vnímať AI ako nástroje, no niektorí agenti budú sledovať vlastné ciele. Nájdu spôsoby, ako spolupracovať s ľuďmi – budú s nimi vyjednávať, klamať ich alebo vydierať.

Okrem toho existujú riziká vyplývajúce z nových technológií, ktorých vznik môže AI umožniť, napríklad umelo vytvorených patogénov.

Na obranu budeme potrebovať výkonnú a „zosúladenú“ AI: na zabezpečenie infraštruktúry, ochranu pred neovládateľnými agentmi v reálnom čase a vynájdenie úplne nových ochranných opatrení. Bude to hlavné zameranie úsilia OpenAI pri nasadzovaní systémov.

Zároveň nesmieme dovoliť, aby sa neistota spojená s očakávaným rozsiahlym pokrokom v oblasti AI a potreba budovať obranné systémy stali zámienkou na bezohľadnosť. Keď si naplno uvedomíme závažnosť toho, o čo ide, predstava bezhlavého napredovania za každú cenu pôsobí absurdne.

Prirodzeným vyústením trvalého technologického pokroku je, že strojová inteligencia zohráva vo vlastnom vývoji čoraz väčšiu úlohu. Ak bude pokrok v oblasti AI pokračovať, strojové rekurzívne sebazdokonaľovanie (RSI) bude tvoriť samotné jadro budúcich vedeckých objavov.

Automatizovaný výskum AI je výraznejšou formou škálovania inteligencie pomocou výpočtového výkonu. Jeho súčasťou, samozrejme, bude aj to, že AI zdokonalí samotný výpočtový substrát⁠. Podobne ako pri škálovaní preto zameriavame výskum OpenAI na RSI, pretože veríme, že je to jediný spôsob, ako zostať aj naďalej na prelomovej úrovni výskumu AI.

Chcem zdôrazniť, že uvedené slová neznamenajú, že výrazné zrýchlenie výskumu hlbokého učenia, najmä v krátkodobom horizonte, považujem za správny spoločný postup výskumnej komunity. Myslím si však, že práve tam vedie súčasná cesta, a všetci sa musíme vedome rozhodnúť, ako budeme pokračovať. Hlavné možnosti sú buď riadiť tento proces tak, aby sa spolu s AI posilňovalo zosúladenie a monitorovanie a aby sme našli spôsoby, ako v ňom zachovať účasť ľudí, alebo koordinovane spomaľovať budúci vývoj podľa potreby, kým nezískame dôveru v tieto opatrenia.

Za najlepší súčasný postup považujem kombináciu oboch možností.

Konkrétny pokrok, ktorý sme dosiahli v zosúladení a monitorovaní, bol vo všeobecnosti úzko prepojený so všeobecným pokrokom v oblasti AI. Skvelými príkladmi sú učenie posilňovaním zo spätnej väzby od ľudí⁠(otvorí sa v novom okne), ktoré bolo kľúčové pri trénovaní prvých asistentov AI, a už spomenuté monitorovanie reťazenia myšlienok⁠(otvorí sa v novom okne), ktoré umožnil pokrok modelov uvažovania. Čoraz automatizovanejší výskumný proces musíme zamerať na rozvoj nových poznatkov, algoritmov a teórií tohto druhu a postupne budovať argumenty pre bezpečnosť schopnejších AI.

Škálovanie AI systémov musí byť obmedzené mierou našej dôvery v ich bezpečnosť. Záväzky, ako sú Rámec pripravenosti⁠ či zásady zodpovedného škálovania⁠(otvorí sa v novom okne), musíme premeniť na všeobecne záväzné bezpečnostné kritériá vymedzujúce ďalší vývoj. Ich dodržiavanie môže presadzovať sieť nezávislých audítorov, vládne orgány alebo medzinárodné inštitúcie.

Hlavnou výzvou automatizácie výskumu v oblasti AI nie je „dostať sa tam“, ale dostať sa tam spôsobom, ktorý zaistí účasť ľudí v ďalšom zdokonaľovaní a ponechá budúcnosť v rukách ľudstva.

Ako sme nedávno načrtli so Samom⁠, OpenAI uprednostňuje prácu zameranú na tri hlavné ciele:

1. Zvládnuť nasledujúce obdobie pokroku v oblasti AI vybudovaním automatizovaného AI výskumníka, spolu s ním opakovane riešiť problém zosúladenia a hľadať spôsoby, ako zachovať účasť ľudí v cykle sebazdokonaľovania.

2. Prinášať ľuďom výhody vedeckého pokroku a hospodárskeho rastu, ktoré nám umožňujú veľmi inteligentné stroje.

3. Poskytnúť každému osobnú AGI.

V tejto eseji som sa venoval iba prvému bodu, pretože ho považujem za jednoznačne najnaliehavejší. Zároveň však vkladám veľkú nádej do prínosov ďalšieho technologického pokroku a hlboko si ich vážim. Budúca zosúladená AI by mohla posunúť vedu, vyvinúť nové liečebné postupy a priniesť všeobecný materiálny dostatok. Priateľská a čestná AI môže ľuďom pomôcť zvládať životné ťažkosti a významne zlepšiť ich pocit šťastia a naplnenia. OpenAI vynakladá obrovské úsilie, aby tieto prínosy uskutočnila. Jedným zo súčasných príkladov, na ktorý som hrdý a ktorý pomohol aj mojim blízkym, sú rozsiahle investície do schopnosti ChatGPT poskytovať zdravotné informácie.

Nech je dlhodobý prísľub AI akokoľvek veľký, väčšinu pozornosti by sme mali venovať najbližším rokom. Čaká nás prechod do sveta neuveriteľne inteligentných strojov a musíme zabezpečiť, aby tento prechod dopadol pre ľudstvo dobre. Musíme nájsť spôsoby, ako zachovať ľudskú autonómiu a zakotviť vnútornú hodnotu ľudskosti vo svete, kde by väčšinu úloh mohla vykonávať AI. Musíme zabrániť extrémnej koncentrácii moci vo svete, kde úlohy, ktoré by kedysi vyžadovali tisíce odborníkov, zvládne niekoľko ľudí obsluhujúcich veľký počítač. A musíme zabezpečiť, aby ľudia naďalej ovládali budúcnosť a aby ich nekontrolovaný pokrok spôsobený cudzou inteligenciou presahujúcou tú našu nenechal za sebou.

V súčasnosti sa domnievam, že žiadne laboratórium nevyriešilo zosúladenie a monitorovanie natoľko, aby mohlo ešte dlho zodpovedne škálovať maximálnym tempom. Očakávam a dúfam, že dobrovoľné spomalenia sa stanú bežnými, kým sa nestanovia spoločné bezpečnostné kritériá. Som tiež presvedčený, že medzinárodná koordinácia budúceho vývoja AI sa musí stať najvyššou prioritou vlád na celom svete.