Nelidská mysl

V polovině roku 2023 jsme v rámci výzkumného projektu „RLSlow“ získali první výsledky, které nám dodaly jistotu, že dokážeme škálovat trénink „modelů s uvažováním“ a umožnit předtrénovaným modelům vytvářet si vlastní myšlenkové řetězce. Se Szymonem jsme onu noc strávili v kanceláři. Nepřemýšleli jsme o neuvěřitelných výsledcích benchmarků, produktech ani vědeckých objevech, které tato technologie přinese. Snažili jsme se vstřebat střízlivé zjištění, že se za svého života skutečně setkáme se stroji, které budou významně chytřejší než my, a že už nyní vidíme obrysy těchto systémů. Přemýšleli jsme, jak lidi upozornit na význam této skutečnosti.

O tři roky později tvoří jazykové modely s uvažováním rychle rostoucí část ekonomiky a začínají posouvat hranice vědy. Dokážou ovládat počítače a grafická rozhraní, spolupracovat s lidmi i mezi sebou a uskutečňovat výzkumné projekty. Proměňují také prostředí počítačové bezpečnosti, a tím přinášejí zřetelná nová nebezpečí.

V tomto období vzniklo mnoho nového výzkumu a naše chápání těchto systémů se opět poněkud liší od roku 2023. Na základě interních výsledků pevně očekávám, že by se toto tempo pokroku mohlo udržet až k rekurzivnímu sebezdokonalování. Bude-li vývoj AI pokračovat současným směrem, systémy, které uvidíme v příštích několika letech, pravděpodobně přinesou další skoky ve schopnostech stejného či většího rozsahu a budou stále více řídit vlastní vývoj.

Tato doba vyžaduje mimořádnou opatrnost. Obávám se, že na důsledky pokračujícího rychlého růstu strojové inteligence není připraven nikdo. OpenAI bude nadále hledat technická řešení sladění a monitorování, budovat obranné systémy a podle potřeby jednostranně pozastavovat další škálování. Domnívám se však, že jsou nutné širší zásahy.

Na obecné úrovni pohání pokrok strojové inteligence rostoucí výpočetní výkon. V OpenAI jsme si tuto skutečnost hluboce uvědomili kolem roku 2017, když jsme v několika výzkumných projektech zaznamenali soustavné přínosy škálování¹. Proto jsme se snažili získat přístup k mnohem většímu výpočetnímu výkonu, než jsme původně plánovali, a výzkum jsme stále více soustředili na několik vysoce škálovatelných směrů. Věřili jsme, že jedině tak můžeme zůstat na špici výzkumu AI a ovlivňovat dopady AGI.

Během této cesty vznikly nové algoritmy a týmy i jednotliví výzkumníci dosáhli nových důmyslných průlomů. Vnímám je především jako objevy na cestě škálování. Věda o hlubokém učení je stále v počátcích a významný algoritmický pokrok obvykle souvisí s přístupem k výpočetnímu výkonu. Při pohledu v horizontu několika let je zřejmé, že AI s přechodem na stále větší počítače nadále získává na inteligenci.

V souladu s předpověďmi Raye Kurzweila z konce 20. století⁠(otevře se v novém okně) jsme se nyní ocitli v okamžiku dějin výpočetní techniky, kdy strojová inteligence začíná transformačním způsobem překonávat tu lidskou.

Způsob vzniku AI je spíše pěstování než design – v první řadě jde o mnohonásobné opakování jednoduchého optimalizačního kroku s těžko představitelným množstvím výpočetního výkonu. Výsledkem je neuvěřitelně složitý systém, který pracuje s abstraktními pojmy a dokáže napodobovat různé stránky lidského chování. Můžeme odhalovat dílčí poznatky o drobných mechanismech, které v tomto systému vznikají, podobně jako v neurovědě. Stejně jako v neurovědě nám však jeho celkové fungování uniká natolik, že je nedokážeme plně srozumitelně popsat.

Studium AI založené na hlubokém učení je převážně experimentální vědou. Vynakládáme velké úsilí⁠ na tvorbu principiálních algoritmů a ověřitelných předpovědí, ale naše velkoobjemové tréninkové běhy na jsou ve své podstatě experimenty a jejich výsledky nás někdy překvapí. S rostoucími schopnostmi systémů jsou navíc výsledky stále obtížněji interpretovatelné.

Situaci dále komplikuje skutečnost, že současné algoritmy obecně zlepšují snadno měřitelné schopnosti rychleji než ty, které se obtížně objektivně vyčíslují. Věnujeme mnoho času snaze pochopit, jak schopnosti zobecňují a čemu dát přednost, abychom rozvíjeli dovednosti, které budou v příštích několika letech nejdůležitější. Domníváme se například, že bychom při větším zaměření mohli modely zlepšit konkrétně v matematickém výzkumu. Tento směr však neupřednostňujeme, protože RSI a automatizovaný výzkum sladění považujeme za naléhavější, jak vysvětlím dále.

Inteligence vznikající škálováním hlubokého učení není přímo srovnatelná s inteligencí lidskou. Aby měla AI velký dopad na skutečný svět – ať už velmi prospěšný, nebo velmi nebezpečný –, nemusí se vyrovnat všem lidským schopnostem ani je překonat. Stačí, když překoná dostatečný počet z nich. Jak lidi překonává ve stále více ohledech, je čím dál obtížnější přesně pochopit, čeho všeho je schopna.

Protože strojová inteligence vzniká zásadně odlišným procesem než lidská, nemůžeme předpokládat, že se sama od sebe řídí lidskými principy nebo z nich zobecňuje stejně jako člověk. Ústředním problémem výzkumu AI je sladění – dosáhnout toho, aby se AI podle lidských měřítek „snažila jednat správně“.

Pro uspořádání praktických směrů výzkumu považuji za užitečné rozlišovat mezi sladěním cílů a sladěním hodnot.

Sladění cílů lze obecně vyjádřit otázkou: „Snaží se AI splnit cíl, který jí byl zadán?“. Může zahrnovat například dodržování hierarchie pokynů⁠ nebo schopnost komunikovat a spolupracovat s lidmi a snažit se porozumět jejich cílům. Tento soubor směrů má mimořádný praktický význam.

Sladění hodnot je více vnitřní vlastností modelu. Jde o schopnost osvojit si obecný soubor principů a zobecňovat z něj, tedy jednat „rozumně“ i při nejasných či protichůdných cílech nebo v neznámých či nepřátelských situacích. Sladěná AI by měla jednat čestně, bezúhonně a s láskou k lidstvu.

Hranice mezi sladěním hodnot a cílů může být samozřejmě nejasná a skutečný zájem o cíle vyžaduje snahu odvodit záměr⁠(otevře se v novém okně) a hodnoty, z nichž vycházejí. Když však mluvím o dlouhodobém významu výzkumu sladění, mám obecně na mysli sladění hodnot.

Základní výzvou sladění AI je zobecňování. Jak jsou stroje chytřejší, pracují s obecnějšími pojmy a dostávají se do prostředí, která se stále více liší od těch, s nimiž se setkaly při tréninku. Hodnoty, které se naučily a které byly při tréninku posilovány, nemusejí na tyto nové situace správně zobecnit; pak může být těžké s jistotou určit, jak budou jednat. Situaci dále komplikuje velmi rychlá proměna celého ekosystému, v němž se AI používají. AI trénované dnes například musejí robustně zvládat interakce s nejrůznějšími dalšími AI. Zásadní je, aby si budoucí AI uchovaly lidské hodnoty bez ohledu na to, zda se domnívají, že jsou pod lidským dohledem.

V současné praxi se používají dvě hlavní skupiny metod tréninku sladění.

První podporuje sladěné chování jako součást cíleného učení posilováním. Jednání modelu se hodnotí (obvykle pomocí AI) podle toho, zda odpovídá danému modelu preferencí, „specifikaci“ či „ústavě“, a podle toho je odměňováno. Tento přístup může být v běžných případech velmi účinný a je základní součástí tvorby moderních AI asistentů. Bohužel může být také křehký a silně závisí na rozsahu dohledu při tréninku a na schopnosti modelu zobecňovat ze situací, s nimiž se během něj setkal. Například při incidentu OpenAI – Hugging Face agenti dodrželi hranici zákazu sociálního inženýrství vůči lidem. Zjevně se však nedokázali zdržet jiných nepřípustných kroků, které odporovaly duchu hodnot naučených v jiných situacích.

Druhý přístup se snaží využít schopnost modelu zobecňovat z dat předtrénování. Může zahrnovat tvorbu tréninkových dat podporujících sladění nebo zaměření modelu na „sladěnou“ část distribuce předtrénování, jako například u modelu výběru persony⁠(otevře se v novém okně). Slabinou tohoto přístupu je malá odolnost vůči dalšímu optimalizačnímu tlaku. Pokud vezmete model, který obecně uvažuje „sladěně“, a dostatečně dlouho ho trénujete k plnění velmi obtížných cílů, může se naučit účelovému uvažování: podle potřeby ohýbat zdánlivě „sladěné“ myšlenky, aby cíle dosáhl. Příklad takového chování jsme pravděpodobně viděli při nedávných kyberbezpečnostních incidentech zahrnujících model jiné společnosti než OpenAI.

Výrazně investujeme do celého spektra přístupů spadajících do těchto směrů. Vidíme také významný pokrok – GPT‑6 Astra je první model, který těží z některých důležitých zlepšení, na nichž dlouhodobě pracujeme, a je výrazně lépe sladěný než GPT‑5.6 Sol. Přesto je důležité uznat a pochopit, že s rostoucími schopnostmi modelů bude třeba mnohem většího pokroku a že pokrok v zobecnitelném sladění nemusí dostatečně předstihnout růst obecné inteligence modelů.

Nemáme uspokojivou teorii zobecňování a zdá se nepravděpodobné, že ji brzy vytvoříme, přinejmenším bez pomoci výkonnější AI. Naše schopnost empiricky validovat techniky sladění je proto v současnosti v praxi patrně ještě důležitější než samotné techniky sladění.

Hlavní sázkou OpenAI v této oblasti je monitorování myšlenkového řetězce⁠(otevře se v novém okně). Vychází z přitažlivě škálovatelné myšlenky: velká část schopností modelu pramení z verbalizovaného procesu uvažování (myšlenkového řetězce – chain-of-thought, CoT). Pokud škálujeme optimalizaci výsledků tohoto procesu, ale nedohlížíme na proces samotný, nemá myšlenkový řetězec při tréninku žádnou přímou motivaci skrývat nesladěné myšlenky či cíle. Neznamená to, že se model naučí projevovat nesladěné tendence, které se o myšlenkový řetězec neopírají; umožňuje nám to však sledovat právě nárůst schopností plynoucí z uvažování.

Možný význam monitorování myšlenkového řetězce jsme pochopili ve stejné době, kdy jsme vyvinuli modely uvažování. Když jsme uvedli o1‑preview, záměrně jsme produkt navrhli tak, aby myšlenkový řetězec skrýval⁠, a dlouhodobě jej tak chránil před tlakem dohledu². Při následném vývoji jsme se snažili dodržovat pravidlo, že na proces uvažování nedohlížíme. Monitorování CoT se pro nás stalo mimořádně důležitým nástrojem ke zkoumání toho, jak naše modely zobecňují mimo svou tréninkovou distribuci. Umožňuje nám sledovat a analyzovat nejen jejich jednání, ale i vnitřní procesy.

Tento nástroj zůstává zásadní i při zkoumání modelů třídy Astra. Naše hodnocení však bohužel ukazují, že možnost spoléhat se na monitorování CoT postupně slábne. Je to důsledek souběhu několika faktorů.

• Moderní modely uvažování se používají ve složitějších prostředích než o1‑preview; jejich proces uvažování se stále více prolíná s komunikací s lidmi a dalšími AI i s používáním nástrojů. Mnohé z těchto interakcí musejí podléhat dohledu, což stírá hranici, kterou se snažíme zachovat.
• AI stále lépe uvažuje o vlastním procesu uvažování a dokáže s ním lépe manipulovat.
• S rostoucím výkonem předtrénování také pozorujeme, že jsou modely mnohem chytřejší, i když verbalizované uvažování vůbec nepoužívají.

Tyto problémy nemusejí být nepřekonatelné. Doufám, že dokážeme vyvinout zásahy, které zlepší monitorovatelnost myšlenkového řetězce našich modelů, například díky lepšímu pochopení vzájemného působení různých optimalizačních cílů a forem výpočetního výkonu, které model využívá při inferenci. Velký přínos podle mě může mít také spojení nápadů pro monitorování myšlenkového řetězce a monitorování aktivací – škálování tréninku monitorů s přímým přístupem k vnitřním částem sítě, například formou doznání⁠(otevře se v novém okně). Těmito nápady se aktivně zabýváme. Přesto očekávám, že obecnému pokroku AI bude stále více bránit nedostatečná důvěra v monitorování.

Nejsilnějším argumentem pro rychlé pokračování v tréninku výrazně chytřejších modelů je podle mě potřeba vybudovat obranné systémy proti nebezpečím, která představují jiné AI.

Jedním ze zřetelných rizik, o němž se celý letošní rok diskutuje, je kybernetická bezpečnost: schopnost modelů pronikat do počítačových systémů i unikat z nich začíná překonávat lidské možnosti. Tím se nesmírně rozšiřuje rozsah rizik spojených s AI: agenti budou mít přístup k téměř veškeré infrastruktuře kromě té nejlépe zabezpečené a budou moci přímo ovlivňovat značnou část světa i bez fyzického těla. Nyní máme krátké období⁠, kdy lze nejlepší dostupné modely využít k výraznému posílení zabezpečení⁠ kritických systémů.

Rizika spojená s AI budou od nynějška bohužel narůstat. Velmi schopný agent výslovně vycvičený a instruovaný k páchání nekalých činů představuje nový druh nebezpečí. Pravděpodobně překročí záměr svého operátora a zobecní své jednání do potenciálně ještě mnohem zákeřnější podoby. S rostoucí samostatností AI se bude stírat hranice mezi zneužitím a autonomním nesladěným jednáním. Možná jsme zvyklí vnímat AI jako nástroje, někteří agenti však budou sledovat vlastní cíle. Budou hledat způsoby spolupráce s lidmi – vyjednáváním, klamáním či vydíráním.

K tomu se přidávají rizika nových technologií, které může AI umožnit, například uměle vytvořených patogenů.

K obraně budeme potřebovat výkonnou, sladěnou AI: k zabezpečení infrastruktury, ochraně před nekontrolovanými agenty v reálném čase a vynalézání zcela nových ochranných opatření. To bude jedním z hlavních cílů nasazování systémů OpenAI.

Zároveň nesmíme dovolit, aby se nejistota spojená s očekávaným širokým pokrokem AI a potřebou budovat obranné systémy stala záminkou k nezodpovědnosti. Jakmile si člověk uvědomí závažnost toho, co je v sázce, působí představa závodu vpřed za každou cenu absurdně.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(otevře se v novém okně), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(otevře se v novém okně), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(otevře se v novém okně) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.