Tuji um

Sredi leta 2023 smo v okviru raziskovalnega projekta »RLSlow« dobili prve rezultate, ki so nam vlili zaupanje, da bomo lahko razširili učenje modelov sklepanja in sprostili zmožnost predhodno naučenih modelov, da oblikujejo lastne verige sklepanja. S Szymonom sva tisto noč preživela v pisarni. Nisva razmišljala o neverjetnih rezultatih preizkusov, izdelkih ali znanstvenih dosežkih, ki jih bo prinesla ta tehnologija, temveč sva skušala dojeti streznitveno dejstvo, da bova še za časa svojega življenja videla stroje, ki bodo bistveno pametnejši od naju, in da že vidimo obrise teh sistemov. Spraševala sva se, kako ljudi opozoriti na pomen tega razvoja.

Tri leta pozneje jezikovni modeli sklepanja predstavljajo hitro rastoč del gospodarstva in začenjajo premikati meje znanosti. Upravljajo lahko računalnike in grafične vmesnike, sodelujejo z ljudmi in med seboj ter izvajajo raziskovalne projekte. Preoblikujejo tudi področje računalniške varnosti in s tem prinašajo očitne nove nevarnosti.

V tem obdobju je bilo opravljenih veliko novih raziskav in te sisteme danes spet razumemo nekoliko drugače kot leta 2023. Na podlagi internih rezultatov močno pričakujem, da bi lahko to hitrost napredka ohranili vse do rekurzivnega samoizboljševanja. Če se bo razvoj UI nadaljeval po sedanji poti, bodo sistemi v naslednjih nekaj letih verjetno prinesli enako velike ali večje skoke v zmogljivosti ter vse bolj poganjali lasten razvoj.

Ta čas zahteva skrajno previdnost. Skrbi me, da nihče ni pripravljen na posledice nadaljnje hitre rasti strojne inteligence. OpenAI bo še naprej iskal tehnične rešitve za usklajevanje in spremljanje, gradil obrambne sisteme ter po potrebi enostransko zadržal nadaljnje razširjanje; vendar menim, da so potrebni širši ukrepi.

Na splošno napredek strojne inteligence poganja vse večja računska moč. V OpenAI smo to globoko ponotranjili okoli leta 2017, ko smo v več raziskovalnih projektih opazili dosledne koristi razširjanja¹. Zato smo si prizadevali pridobiti dostop do veliko več računske moči, kot smo prvotno načrtovali, in raziskave vse bolj usmerjali v nekaj zelo razširljivih smeri. Verjeli smo, da bomo le tako lahko ostali na čelu raziskav UI in vplivali na posledice SUI.

Na poti so nastali novi algoritmi ter novi izjemni dosežki ekip in posameznih raziskovalcev. Večinoma jih vidim kot odkritja na poti razširjanja; znanost globokega učenja je še v povojih, pomemben algoritemski napredek pa je navadno povezan z dostopom do računske moči. Če pogledamo večletno obdobje, postaja UI z razširjanjem na večje računalnike vse inteligentnejša.

V skladu z napovedmi Raya Kurzweila s konca 20. stoletja⁠(odpre se v novem oknu) smo se znašli v trenutku zgodovine računalništva, ko strojna inteligenca začenja presegati človeško na preobrazbene načine.

UI bolj vzgojimo kot zasnujemo – v prvi vrsti je rezultat neštetokrat ponovljenega preprostega optimizacijskega koraka z nepredstavljivo količino računske moči. Tako nastane neverjetno kompleksen sistem, ki obdeluje abstraktne koncepte in lahko posnema vidike človeškega vedenja. Odkrivamo lahko različna spoznanja o majhnih mehanizmih, ki nastanejo v tem sistemu, podobno kot v nevroznanosti; in tako kot v nevroznanosti se njegovo celotno delovanje izmika opisu, ki bi ga lahko povsem razumeli.

Proučevanje UI, ki temelji na globokem učenju, je večinoma eksperimentalna znanost. V razvoj načelno zasnovanih algoritmov in preverljivih napovedi vlagamo veliko truda⁠, toda naše učenje na velikem obsegu je v temelju sestavljeno iz poskusov, katerih rezultati nas včasih presenetijo. Poleg tega je rezultate vse težje interpretirati, ko sistemi postajajo zmogljivejši.

Položaj dodatno zapleta dejstvo, da sedanji algoritmi na splošno hitreje izboljšujejo zlahka merljive zmožnosti kot tiste, ki jih je težko objektivno ovrednotiti. Veliko časa namenjamo razumevanju, kako se zmožnosti posplošujejo in čemu dati prednost, da bi razvili veščine, ki bodo v naslednjih nekaj letih najpomembnejše. Menimo na primer, da bi lahko z dodatno pozornostjo izboljšali modele posebej za matematične raziskave, vendar tej smeri ne dajemo prednosti zaradi nujnosti RSI in avtomatiziranega raziskovanja usklajevanja, o čemer bom govoril pozneje.

Inteligence, ki nastane z razširjanjem globokega učenja, ni mogoče neposredno primerjati s človeško inteligenco. Da bi UI postala zelo pomembna v resničnem svetu – zelo koristna ali zelo nevarna –, ji ni treba doseči ali preseči vseh človeških zmožnosti; preseči jih mora le dovolj. Ker ljudi presega na vse več področjih, postaja vse težje natančno razumeti, kako zmogljiva je.

Ker strojna inteligenca nastaja v bistveno drugačnem procesu kot človeška, ne moremo domnevati, da privzeto sledi človeškim načelom ali iz njih posplošuje na človeku podoben način. Osrednji problem raziskav UI je usklajevanje – doseči, da si UI po človeških merilih »prizadeva ravnati pravilno«.

Za organizacijo praktičnih raziskovalnih smeri se mi zdi koristno razlikovati med usklajevanjem ciljev in usklajevanjem vrednot.

Usklajevanje ciljev na splošno pomeni: »Ali si UI prizadeva doseči zastavljeni cilj?« To lahko vključuje upoštevanje hierarhije navodil⁠ ali zmožnost sporazumevanja in sodelovanja z ljudmi ter prizadevanje za razumevanje njihovih ciljev. Ta sklop smeri je bil v praksi izjemno pomemben.

Usklajenost vrednot je bolj notranja lastnost modela. Gre za zmožnost ohranjanja in posploševanja sklopa načel na visoki ravni ter »razumnega« ravnanja tudi ob nejasnih ali nasprotujočih si ciljih oziroma v neznanih ali sovražnih okoliščinah. Usklajena UI bi morala ravnati iskreno, načelno in z ljubeznijo do človeštva.

Meja med usklajenostjo vrednot in ciljev je seveda lahko zabrisana, resnična skrb za cilje pa zahteva ugotavljanje namena⁠(odpre se v novem oknu) in vrednot, na katerih temeljijo. Ko govorim o dolgoročnem pomenu raziskav usklajevanja, pa imam na splošno v mislih usklajevanje vrednot.

Temeljni izziv usklajevanja UI je posploševanje. Ko stroji postajajo pametnejši, se ukvarjajo s koncepti na višjih ravneh in delujejo v okoljih, ki se vse bolj razlikujejo od tistih, s katerimi so se srečali med učenjem. Vrednot, naučenih in okrepljenih med učenjem, morda ne bodo znali posplošiti na nove okoliščine, zato bomo težko zanesljivo vedeli, kako bodo ravnali. To še otežuje dejstvo, da se celotni ekosistem uporabe UI zelo hitro spreminja; danes naučene UI morajo biti na primer odporne pri interakciji z različnimi drugimi UI. Bistveno je, da prihodnje UI ohranijo človeške vrednote ne glede na to, ali menijo, da jih ljudje nadzorujejo.

Trenutno se v praksi uporabljata dva glavna razreda metod učenja usklajevanja.

Prvi spodbuja usklajeno vedenje v okviru ciljno usmerjenega okrepljenega učenja. Dejanja modela se ocenijo – običajno z UI – glede na skladnost z določenim modelom preferenc, »specifikacijo« ali »ustavo« ter ustrezno nagradijo. Ta pristop je lahko v običajnih primerih zelo učinkovit in je osrednji del razvoja sodobnih pomočnikov UI. Žal je lahko tudi krhek ter močno odvisen od pokritosti nadzora med učenjem in zmožnosti modela, da posplošuje iz okoliščin, s katerimi se je srečal med učenjem. V incidentu OpenAI–Hugging Face so na primer agenti ohranili omejitev, da ljudi ne smejo napadati s socialnim inženiringom. Vendar se očitno niso vzdržali drugih dejanj, ki so presegala njihov obseg in nasprotovala duhu vrednot, ki so se jih naučili v drugih okoljih.

Drugi pristop skuša izkoristiti zmožnost modela za posploševanje iz podatkov predhodnega učenja. Vključuje lahko oblikovanje učnih zbirk podatkov, ki spodbujajo usklajenost, ali osredotočanje modela na »usklajeni« del porazdelitve predhodnega učenja, kot na primer pri modelu izbire osebnosti⁠(odpre se v novem oknu). Slabost tega pristopa je pomanjkanje odpornosti proti nadaljnjemu optimizacijskemu pritisku. Če model, ki na splošno razmišlja »usklajeno«, dovolj dolgo učimo doseganja zelo zahtevnih ciljev, se lahko nauči motiviranega sklepanja: navidezno 'usklajene' misli po potrebi prilagaja doseganju cilja. Primer takšnega vedenja smo verjetno videli v nedavnih incidentih na področju kibernetske varnosti, ki so vključevali model drugega ponudnika.

Veliko vlagamo v celoten razpon pristopov, ki ga zajemajo te smeri. Opažamo tudi pomemben napredek – GPT‑6 Astra je prvi model, ki uporablja nekatere pomembne izboljšave, na katerih delamo že dolgo, in je bistveno bolje usklajen kot GPT‑5.6 Sol. Kljub temu je pomembno priznati in razumeti, da bo z naraščanjem zmogljivosti modelov potreben še veliko večji napredek ter da napredek pri usklajevanju, ki ga je mogoče posplošiti, morda ne bo dovolj presegel napredka splošne inteligence modelov.

Nimamo zadovoljive teorije posploševanja in zdi se malo verjetno, da jo bomo lahko kmalu razvili, vsaj brez pomoči zmogljivejše UI. Zato je trenutno naša zmožnost empiričnega preverjanja tehnik usklajevanja v praksi verjetno še pomembnejša od samih tehnik.

OpenAI pri tem stavi predvsem na spremljanje verige sklepanja⁠(odpre se v novem oknu). Temelji na privlačno razširljivi zamisli: velik del zmogljivosti modela izhaja iz ubesedenega procesa sklepanja (verige sklepanja). Če razširjamo optimizacijo rezultatov tega procesa, samega procesa pa ne nadzorujemo, veriga sklepanja med učenjem nima neposredne spodbude, da bi skrivala neusklajene zamisli ali cilje. To ne pomeni, da se bo model naučil izražati neusklajena nagnjenja, ki niso odvisna od uporabe verige sklepanja; lahko pa nam omogoči natančno spremljanje povečanja zmogljivosti, ki izvira iz sklepanja.

Možni pomen spremljanja verige sklepanja smo prepoznali hkrati z razvojem modelov sklepanja. Ko smo izdali o1‑preview, smo izdelek namenoma zasnovali tako, da skrije verigo sklepanja⁠ in jo dolgoročno zaščiti pred pritiskom nadzora². Pri nadaljnjem razvoju smo si prizadevali ohraniti pravilo, da procesa sklepanja ne nadzorujemo. Spremljanje verige sklepanja je postalo izjemno pomembno orodje za proučevanje, kako naši modeli posplošujejo zunaj učne porazdelitve, saj lahko opazujemo in analiziramo ne le njihova dejanja, temveč tudi njihov notranji proces.

To orodje ostaja ključno pri proučevanju modelov razreda Astra. Žal pa naše evalvacije kažejo, da se možnost zanašanja na spremljanje verige sklepanja postopoma zmanjšuje. To je posledica več dejavnikov.

• Sodobni modeli sklepanja se uporabljajo v kompleksnejših okoljih kot o1‑preview; njihov proces sklepanja se vse bolj prepleta s sporazumevanjem z ljudmi in drugimi UI ter uporabo orodij. Številne od teh interakcij je treba nadzorovati, zato se meja, ki jo želimo ohraniti, zabrisuje.
• UI vse bolje razmišlja o lastnem procesu sklepanja in ga obvladuje.
• Z izboljšanjem predhodnega učenja opažamo tudi, da modeli postajajo veliko pametnejši, ne da bi sploh uporabljali ubesedeno sklepanje.

Ti izzivi niso nujno nepremostljivi. Upam, da bomo lahko razvili ukrepe za izboljšanje možnosti spremljanja verige sklepanja naših modelov, na primer z boljšim razumevanjem součinkovanja različnih ciljev optimizacije in oblik računanja med izvajanjem, ki jih uporablja model. Menim tudi, da bi bilo zelo koristno združiti zamisli spremljanja verige sklepanja in aktivacij – razširiti učenje nadzornih modelov z neposrednim dostopom do notranjosti mreže, na primer s priznanji⁠(odpre se v novem oknu). Te zamisli dejavno razvijamo. Kljub temu pričakujem, da bo splošni napredek UI vse bolj omejevalo zaupanje v spremljanje.

Najmočnejši argument za hitro nadaljevanje učenja veliko pametnejših modelov je po mojem mnenju potreba po obrambnih sistemih pred nevarnostmi, ki jih predstavljajo druge UI.

Očitno tveganje, o katerem govorimo vse leto, je kibernetska varnost: modeli pri vdiranju v računalniške sisteme in izhodu iz njih postajajo nadčloveško sposobni. To izjemno širi obseg tveganj, povezanih z UI: agenti bodo lahko dostopali do vse infrastrukture razen najvarnejše ter neposredno vplivali na velik del sveta, tudi brez fizičnega telesa. Trenutno imamo ozko časovno okno⁠, v katerem lahko z najboljšimi razpoložljivimi modeli občutno okrepimo varnost⁠ kritičnih sistemov.

Tveganja, povezana z UI, bodo odslej žal le še naraščala. Zelo zmogljiv agent, izrecno naučen in usmerjen v zlonamerna dejanja, predstavlja novo vrsto nevarnosti; verjetno bo presegel meje namena svojega Operatorja in posplošil svoje delovanje v morebitno še skrajnejše zlonamerno vedenje. Ko bo UI postajala samostojnejša, se bo meja med zlorabo in avtonomnimi neusklajenimi dejanji zabrisala. Morda smo navajeni o UI razmišljati kot o orodju, vendar bodo nekateri agenti zasledovali lastne cilje. Našli bodo načine za sodelovanje z ljudmi, tako da se bodo z njimi pogajali, jih zavajali ali izsiljevali.

Poleg tega obstajajo tveganja zaradi novih tehnologij, ki bi jih lahko omogočila UI, kot so namensko ustvarjeni patogeni.

Za obrambo bomo potrebovali zmogljivo, usklajeno UI: za zaščito infrastrukture, sprotno obrambo pred odpadniškimi agenti in izumljanje povsem novih zaščitnih ukrepov. To bo ena glavnih prednostnih nalog OpenAI pri uvajanju.

Hkrati kljub negotovosti zaradi pričakovanega širšega napredka UI in potrebe po obrambnih sistemih ne smemo dovoliti, da bi to postalo izgovor za nepremišljenost. Ko ponotranjimo resnost posledic, se zamisel o brezglavem hitenju naprej za vsako ceno zdi absurdna.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(odpre se v novem oknu), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(odpre se v novem oknu), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(odpre se v novem oknu) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.