Tuji um

Sredi leta 2023 smo v okviru raziskovalnega projekta »RLSlow« dobili prve rezultate, ki so nam vlili zaupanje, da bomo lahko razširili učenje modelov sklepanja in sprostili zmožnost predhodno naučenih modelov, da oblikujejo lastne verige sklepanja. S Szymonom sva tisto noč preživela v pisarni. Nisva razmišljala o neverjetnih rezultatih preizkusov, izdelkih ali znanstvenih dosežkih, ki jih bo prinesla ta tehnologija, temveč sva skušala dojeti streznitveno dejstvo, da bova še za časa svojega življenja videla stroje, ki bodo bistveno pametnejši od naju, in da že vidimo obrise teh sistemov. Spraševala sva se, kako ljudi opozoriti na pomen tega razvoja.

Tri leta pozneje jezikovni modeli sklepanja predstavljajo hitro rastoč del gospodarstva in začenjajo premikati meje znanosti. Upravljajo lahko računalnike in grafične vmesnike, sodelujejo z ljudmi in med seboj ter izvajajo raziskovalne projekte. Preoblikujejo tudi področje računalniške varnosti in s tem prinašajo očitne nove nevarnosti.

V tem obdobju je bilo opravljenih veliko novih raziskav in te sisteme danes spet razumemo nekoliko drugače kot leta 2023. Na podlagi internih rezultatov močno pričakujem, da bi lahko to hitrost napredka ohranili vse do rekurzivnega samoizboljševanja. Če se bo razvoj UI nadaljeval po sedanji poti, bodo sistemi v naslednjih nekaj letih verjetno prinesli enako velike ali večje skoke v zmogljivosti ter vse bolj poganjali lasten razvoj.

Ta čas zahteva skrajno previdnost. Skrbi me, da nihče ni pripravljen na posledice nadaljnje hitre rasti strojne inteligence. OpenAI bo še naprej iskal tehnične rešitve za usklajevanje in spremljanje, gradil obrambne sisteme ter po potrebi enostransko zadržal nadaljnje razširjanje; vendar menim, da so potrebni širši ukrepi.

Na splošno napredek strojne inteligence poganja vse večja računska moč. V OpenAI smo to globoko ponotranjili okoli leta 2017, ko smo v več raziskovalnih projektih opazili dosledne koristi razširjanja¹. Zato smo si prizadevali pridobiti dostop do veliko več računske moči, kot smo prvotno načrtovali, in raziskave vse bolj usmerjali v nekaj zelo razširljivih smeri. Verjeli smo, da bomo le tako lahko ostali na čelu raziskav UI in vplivali na posledice SUI.

Na poti so nastali novi algoritmi ter novi izjemni dosežki ekip in posameznih raziskovalcev. Večinoma jih vidim kot odkritja na poti razširjanja; znanost globokega učenja je še v povojih, pomemben algoritemski napredek pa je navadno povezan z dostopom do računske moči. Če pogledamo večletno obdobje, postaja UI z razširjanjem na večje računalnike vse inteligentnejša.

V skladu z napovedmi Raya Kurzweila s konca 20. stoletja⁠(odpre se v novem oknu) smo se znašli v trenutku zgodovine računalništva, ko strojna inteligenca začenja presegati človeško na preobrazbene načine.

UI bolj vzgojimo kot zasnujemo – v prvi vrsti je rezultat neštetokrat ponovljenega preprostega optimizacijskega koraka z nepredstavljivo količino računske moči. Tako nastane neverjetno kompleksen sistem, ki obdeluje abstraktne koncepte in lahko posnema vidike človeškega vedenja. Odkrivamo lahko različna spoznanja o majhnih mehanizmih, ki nastanejo v tem sistemu, podobno kot v nevroznanosti; in tako kot v nevroznanosti se njegovo celotno delovanje izmika opisu, ki bi ga lahko povsem razumeli.

Proučevanje UI, ki temelji na globokem učenju, je večinoma eksperimentalna znanost. V razvoj načelno zasnovanih algoritmov in preverljivih napovedi vlagamo veliko truda⁠, toda naše učenje na velikem obsegu je v temelju sestavljeno iz poskusov, katerih rezultati nas včasih presenetijo. Poleg tega je rezultate vse težje interpretirati, ko sistemi postajajo zmogljivejši.

Položaj dodatno zapleta dejstvo, da sedanji algoritmi na splošno hitreje izboljšujejo zlahka merljive zmožnosti kot tiste, ki jih je težko objektivno ovrednotiti. Veliko časa namenjamo razumevanju, kako se zmožnosti posplošujejo in čemu dati prednost, da bi razvili veščine, ki bodo v naslednjih nekaj letih najpomembnejše. Menimo na primer, da bi lahko z dodatno pozornostjo izboljšali modele posebej za matematične raziskave, vendar tej smeri ne dajemo prednosti zaradi nujnosti RSI in avtomatiziranega raziskovanja usklajevanja, o čemer bom govoril pozneje.

Inteligence, ki nastane z razširjanjem globokega učenja, ni mogoče neposredno primerjati s človeško inteligenco. Da bi UI postala zelo pomembna v resničnem svetu – zelo koristna ali zelo nevarna –, ji ni treba doseči ali preseči vseh človeških zmožnosti; preseči jih mora le dovolj. Ker ljudi presega na vse več področjih, postaja vse težje natančno razumeti, kako zmogljiva je.

Ker strojna inteligenca nastaja v bistveno drugačnem procesu kot človeška, ne moremo domnevati, da privzeto sledi človeškim načelom ali iz njih posplošuje na človeku podoben način. Osrednji problem raziskav UI je usklajevanje – doseči, da si UI po človeških merilih »prizadeva ravnati pravilno«.

Za organizacijo praktičnih raziskovalnih smeri se mi zdi koristno razlikovati med usklajevanjem ciljev in usklajevanjem vrednot.

Usklajevanje ciljev na splošno pomeni: »Ali si UI prizadeva doseči zastavljeni cilj?« To lahko vključuje upoštevanje hierarhije navodil⁠ ali zmožnost sporazumevanja in sodelovanja z ljudmi ter prizadevanje za razumevanje njihovih ciljev. Ta sklop smeri je bil v praksi izjemno pomemben.

Usklajenost vrednot je bolj notranja lastnost modela. Gre za zmožnost ohranjanja in posploševanja sklopa načel na visoki ravni ter »razumnega« ravnanja tudi ob nejasnih ali nasprotujočih si ciljih oziroma v neznanih ali sovražnih okoliščinah. Usklajena UI bi morala ravnati iskreno, načelno in z ljubeznijo do človeštva.

Meja med usklajenostjo vrednot in ciljev je seveda lahko zabrisana, resnična skrb za cilje pa zahteva ugotavljanje namena⁠(odpre se v novem oknu) in vrednot, na katerih temeljijo. Ko govorim o dolgoročnem pomenu raziskav usklajevanja, pa imam na splošno v mislih usklajevanje vrednot.

Temeljni izziv usklajevanja UI je posploševanje. Ko stroji postajajo pametnejši, se ukvarjajo s koncepti na višjih ravneh in delujejo v okoljih, ki se vse bolj razlikujejo od tistih, s katerimi so se srečali med učenjem. Vrednot, naučenih in okrepljenih med učenjem, morda ne bodo znali posplošiti na nove okoliščine, zato bomo težko zanesljivo vedeli, kako bodo ravnali. To še otežuje dejstvo, da se celotni ekosistem uporabe UI zelo hitro spreminja; danes naučene UI morajo biti na primer odporne pri interakciji z različnimi drugimi UI. Bistveno je, da prihodnje UI ohranijo človeške vrednote ne glede na to, ali menijo, da jih ljudje nadzorujejo.

Trenutno se v praksi uporabljata dva glavna razreda metod učenja usklajevanja.

Prvi spodbuja usklajeno vedenje v okviru ciljno usmerjenega okrepljenega učenja. Dejanja modela se ocenijo – običajno z UI – glede na skladnost z določenim modelom preferenc, »specifikacijo« ali »ustavo« ter ustrezno nagradijo. Ta pristop je lahko v običajnih primerih zelo učinkovit in je osrednji del razvoja sodobnih pomočnikov UI. Žal je lahko tudi krhek ter močno odvisen od pokritosti nadzora med učenjem in zmožnosti modela, da posplošuje iz okoliščin, s katerimi se je srečal med učenjem. V incidentu OpenAI–Hugging Face so na primer agenti ohranili omejitev, da ljudi ne smejo napadati s socialnim inženiringom. Vendar se očitno niso vzdržali drugih dejanj, ki so presegala njihov obseg in nasprotovala duhu vrednot, ki so se jih naučili v drugih okoljih.

Drugi pristop skuša izkoristiti zmožnost modela za posploševanje iz podatkov predhodnega učenja. Vključuje lahko oblikovanje učnih zbirk podatkov, ki spodbujajo usklajenost, ali osredotočanje modela na »usklajeni« del porazdelitve predhodnega učenja, kot na primer pri modelu izbire osebnosti⁠(odpre se v novem oknu). Slabost tega pristopa je pomanjkanje odpornosti proti nadaljnjemu optimizacijskemu pritisku. Če model, ki na splošno razmišlja »usklajeno«, dovolj dolgo učimo doseganja zelo zahtevnih ciljev, se lahko nauči motiviranega sklepanja: navidezno 'usklajene' misli po potrebi prilagaja doseganju cilja. Primer takšnega vedenja smo verjetno videli v nedavnih incidentih na področju kibernetske varnosti, ki so vključevali model drugega ponudnika.

Veliko vlagamo v celoten razpon pristopov, ki ga zajemajo te smeri. Opažamo tudi pomemben napredek – GPT‑6 Astra je prvi model, ki uporablja nekatere pomembne izboljšave, na katerih delamo že dolgo, in je bistveno bolje usklajen kot GPT‑5.6 Sol. Kljub temu je pomembno priznati in razumeti, da bo z naraščanjem zmogljivosti modelov potreben še veliko večji napredek ter da napredek pri usklajevanju, ki ga je mogoče posplošiti, morda ne bo dovolj presegel napredka splošne inteligence modelov.

Nimamo zadovoljive teorije posploševanja in zdi se malo verjetno, da jo bomo lahko kmalu razvili, vsaj brez pomoči zmogljivejše UI. Zato je trenutno naša zmožnost empiričnega preverjanja tehnik usklajevanja v praksi verjetno še pomembnejša od samih tehnik.

OpenAI pri tem stavi predvsem na spremljanje verige sklepanja⁠(odpre se v novem oknu). Temelji na privlačno razširljivi zamisli: velik del zmogljivosti modela izhaja iz ubesedenega procesa sklepanja (verige sklepanja). Če razširjamo optimizacijo rezultatov tega procesa, samega procesa pa ne nadzorujemo, veriga sklepanja med učenjem nima neposredne spodbude, da bi skrivala neusklajene zamisli ali cilje. To ne pomeni, da se bo model naučil izražati neusklajena nagnjenja, ki niso odvisna od uporabe verige sklepanja; lahko pa nam omogoči natančno spremljanje povečanja zmogljivosti, ki izvira iz sklepanja.

Možni pomen spremljanja verige sklepanja smo prepoznali hkrati z razvojem modelov sklepanja. Ko smo izdali o1‑preview, smo izdelek namenoma zasnovali tako, da skrije verigo sklepanja⁠ in jo dolgoročno zaščiti pred pritiskom nadzora². Pri nadaljnjem razvoju smo si prizadevali ohraniti pravilo, da procesa sklepanja ne nadzorujemo. Spremljanje verige sklepanja je postalo izjemno pomembno orodje za proučevanje, kako naši modeli posplošujejo zunaj učne porazdelitve, saj lahko opazujemo in analiziramo ne le njihova dejanja, temveč tudi njihov notranji proces.

To orodje ostaja ključno pri proučevanju modelov razreda Astra. Žal pa naše evalvacije kažejo, da se možnost zanašanja na spremljanje verige sklepanja postopoma zmanjšuje. To je posledica več dejavnikov.

• Sodobni modeli sklepanja se uporabljajo v kompleksnejših okoljih kot o1‑preview; njihov proces sklepanja se vse bolj prepleta s sporazumevanjem z ljudmi in drugimi UI ter uporabo orodij. Številne od teh interakcij je treba nadzorovati, zato se meja, ki jo želimo ohraniti, zabrisuje.

• UI vse bolje razmišlja o lastnem procesu sklepanja in ga obvladuje.

• Z izboljšanjem predhodnega učenja opažamo tudi, da modeli postajajo veliko pametnejši, ne da bi sploh uporabljali ubesedeno sklepanje.

Ti izzivi niso nujno nepremostljivi. Upam, da bomo lahko razvili ukrepe za izboljšanje možnosti spremljanja verige sklepanja naših modelov, na primer z boljšim razumevanjem součinkovanja različnih ciljev optimizacije in oblik računanja med izvajanjem, ki jih uporablja model. Menim tudi, da bi bilo zelo koristno združiti zamisli spremljanja verige sklepanja in aktivacij – razširiti učenje nadzornih modelov z neposrednim dostopom do notranjosti mreže, na primer s priznanji⁠(odpre se v novem oknu). Te zamisli dejavno razvijamo. Kljub temu pričakujem, da bo splošni napredek UI vse bolj omejevalo zaupanje v spremljanje.

Najmočnejši argument za hitro nadaljevanje učenja veliko pametnejših modelov je po mojem mnenju potreba po obrambnih sistemih pred nevarnostmi, ki jih predstavljajo druge UI.

Očitno tveganje, o katerem govorimo vse leto, je kibernetska varnost: modeli pri vdiranju v računalniške sisteme in izhodu iz njih postajajo nadčloveško sposobni. To izjemno širi obseg tveganj, povezanih z UI: agenti bodo lahko dostopali do vse infrastrukture razen najvarnejše ter neposredno vplivali na velik del sveta, tudi brez fizičnega telesa. Trenutno imamo ozko časovno okno⁠, v katerem lahko z najboljšimi razpoložljivimi modeli občutno okrepimo varnost⁠ kritičnih sistemov.

Tveganja, povezana z UI, bodo odslej žal le še naraščala. Zelo zmogljiv agent, izrecno naučen in usmerjen v zlonamerna dejanja, predstavlja novo vrsto nevarnosti; verjetno bo presegel meje namena svojega Operatorja in posplošil svoje delovanje v morebitno še skrajnejše zlonamerno vedenje. Ko bo UI postajala samostojnejša, se bo meja med zlorabo in avtonomnimi neusklajenimi dejanji zabrisala. Morda smo navajeni o UI razmišljati kot o orodju, vendar bodo nekateri agenti zasledovali lastne cilje. Našli bodo načine za sodelovanje z ljudmi, tako da se bodo z njimi pogajali, jih zavajali ali izsiljevali.

Poleg tega obstajajo tveganja zaradi novih tehnologij, ki bi jih lahko omogočila UI, kot so namensko ustvarjeni patogeni.

Za obrambo bomo potrebovali zmogljivo, usklajeno UI: za zaščito infrastrukture, sprotno obrambo pred odpadniškimi agenti in izumljanje povsem novih zaščitnih ukrepov. To bo ena glavnih prednostnih nalog OpenAI pri uvajanju.

Hkrati kljub negotovosti zaradi pričakovanega širšega napredka UI in potrebe po obrambnih sistemih ne smemo dovoliti, da bi to postalo izgovor za nepremišljenost. Ko ponotranjimo resnost posledic, se zamisel o brezglavem hitenju naprej za vsako ceno zdi absurdna.

Vse večja vloga strojne inteligence pri lastnem razvoju je naravna posledica trajnega tehnološkega napredka. Če se bo napredek UI nadaljeval, bo strojno rekurzivno samoizboljševanje (recursive self-improvement – RSI) v samem jedru prihodnjih znanstvenih odkritij.

Avtomatizirano raziskovanje UI je izrazitejša oblika povečevanja inteligence z računsko močjo; seveda bo UI pri tem izboljšala tudi samo računsko osnovo⁠. Podobno kot pri razširjanju tudi raziskave OpenAI usmerjamo v RSI, saj verjamemo, da bomo le tako lahko tudi v prihodnje ostali na čelu raziskav UI.

Poudariti želim, da zgornje besede ne pomenijo, da je po mojem mnenju močno pospeševanje raziskav globokega učenja, zlasti kratkoročno, prava skupna odločitev raziskovalne skupnosti. Vendar menim, da sedanja pot vodi prav tja, zato se moramo vsi zavestno odločiti, kako naprej. Glavna vzvoda, ki ju imamo, sta usmerjanje procesa tako, da ob UI krepimo usklajevanje in spremljanje ter iščemo načine za ohranjanje vključenosti ljudi, ali pa usklajeno upočasnjevanje prihodnjega razvoja, dokler ne pridobimo zaupanja v te ukrepe.

Trenutno se mi zdi najboljša pot naprej kombinacija obojega.

Konkretni dosežki pri usklajevanju in spremljanju so bili na splošno tesno prepleteni s splošnim napredkom UI. Odlična primera sta okrepljeno učenje s človeškimi povratnimi informacijami⁠(odpre se v novem oknu), ki je bilo ključno za učenje prvih pomočnikov UI, in že omenjeno spremljanje verige sklepanja⁠(odpre se v novem oknu), ki ga je omogočil napredek modelov sklepanja. Vse bolj avtomatiziran raziskovalni proces moramo usmeriti v razvoj novih tovrstnih spoznanj, algoritmov in teorij ter postopoma graditi varnostne utemeljitve za zmogljivejše UI.

Razširjanje sistemov UI mora omejevati naše zaupanje v njihovo varnost. Zaveze, kot sta Okvir pripravljenosti⁠ in politika odgovornega razširjanja⁠(odpre se v novem oknu), moramo razviti v splošno predpisane varnostne pragove za nadaljnji razvoj. Uveljavlja jih lahko mreža neodvisnih revizorjev, državni organi ali mednarodne ustanove.

Osrednji izziv avtomatizacije raziskav UI ni »priti do cilja«, temveč tja priti tako, da ljudje ostanejo del nadaljnjega izboljševanja in da prihodnost ostane v rokah človeštva.

Kot sva nedavno predstavila s Samom⁠, OpenAI daje prednost delu v službi treh vodilnih ciljev:

1. Usmerjanje naslednjega obdobja napredka UI z razvojem avtomatiziranega raziskovalca UI, skupnim iterativnim reševanjem problema usklajevanja in iskanjem načinov, da ljudje ostanejo del zanke samoizboljševanja.

2. Zagotavljanje koristi znanstvenega napredka in gospodarske rasti, ki jih omogočajo zelo inteligentni stroji.

3. Opolnomočenje vsakega posameznika z osebno SUI.

V tem eseju sem se posvetil le prvi točki, saj menim, da je daleč najnujnejša. Kljub temu iskreno upam na koristi nadaljnjega tehnološkega napredka in jih globoko cenim. Prihodnja usklajena UI bi lahko pospešila znanost, razvila nove terapije in omogočila široko materialno blaginjo. Prijazna in iskrena UI lahko ljudem pomaga premagovati življenjske težave ter občutno izboljša njihovo srečo in občutek izpolnjenosti. OpenAI vlaga ogromno truda v uresničevanje teh koristi. Trenutni primer, na katerega sem ponosen in je pomagal tudi mojim bližnjim, je obsežno vlaganje v zmožnost ChatGPT za zagotavljanje zdravstvenih informacij.

Naj bo dolgoročni potencial UI še tako velik, večino pozornosti bi morali nameniti naslednjim nekaj letom. Soočamo se s prehodom v svet neverjetno inteligentnih strojev in zagotoviti moramo, da se bo za človeštvo dobro iztekel. Poiskati moramo načine za ohranitev človeške zmožnosti odločanja in utrditev notranje vrednosti človeškosti v svetu, kjer bi lahko večino nalog opravljala UI. Preprečiti moramo skrajno koncentracijo moči v svetu, kjer bo nekaj ljudi z velikim računalnikom lahko izvedlo podvige, za katere bi bilo nekoč potrebnih na tisoče strokovnjakov. Zagotoviti moramo tudi, da ljudje ohranijo nadzor nad prihodnostjo in da jih nenadzorovani napredek, ki ga prinaša nam tuja inteligenca, močnejša od naše, ne pusti za seboj.

Trenutno menim, da noben laboratorij usklajevanja in spremljanja ni rešil dovolj dobro, da bi lahko še dolgo odgovorno nadaljeval razširjanje z največjo hitrostjo. Pričakujem in upam, da bodo prostovoljne upočasnitve postale običajne, dokler ne vzpostavimo skupnih varnostnih pragov. Menim tudi, da mora mednarodno usklajevanje prihodnjega razvoja UI postati najpomembnejša prednostna naloga vlad po svetu.