Svetimas protas

2023 m. viduryje, vykdydami tyrimų projektą „RLSlow“, gavome pirmuosius rezultatus, suteikusius pasitikėjimo, kad galėsime didinti protavimo modelių mokymo mastą ir atskleisti iš anksto išmokytų modelių gebėjimą kurti savo minčių grandines. Tą naktį su Szymonu praleidome biure galvodami ne apie neįtikėtinus testų rezultatus, produktus ar mokslo atradimus, kuriuos suteiks ši technologija, o mėgindami suvokti blaivinantį faktą: dar per savo gyvenimą iš tiesų išvysime už mus reikšmingai išmanesnes mašinas, jau dabar matome šių sistemų kontūrus ir svarstome, kaip atkreipti žmonių dėmesį į šio reiškinio svarbą.

Po trejų metų protaujantys kalbos modeliai yra sparčiai auganti ekonomikos dalis ir pradeda plėsti mokslo ribas. Jie geba valdyti kompiuterius ir grafines sąsajas, bendradarbiauti su žmonėmis bei tarpusavyje ir vykdyti tyrimų projektus. Jie taip pat keičia kompiuterių saugumo aplinką ir dėl to kelia aiškių naujų pavojų.

Per šį laikotarpį atlikta daug naujų tyrimų, todėl šias sistemas vėl suprantame kiek kitaip nei 2023 m. Remdamasis vidiniais rezultatais tvirtai tikiuosi, kad toks pažangos tempas galėtų išlikti ir pereinant prie rekursyviojo savęs tobulinimo. Jei DI plėtra ir toliau eis dabartiniu keliu, per kelerius artimiausius metus tikriausiai išvysime sistemų, kurių gebėjimai vėl šoktels tiek pat ar dar daugiau ir kurios vis labiau skatins savo pačių raidą.

Šiuo metu būtinas ypatingas atsargumas. Nerimauju, kad niekas nėra pasirengęs tolesnio spartaus mašininio intelekto augimo pasekmėms. OpenAI ir toliau ieškos techninių suderinimo bei stebėjimo sprendimų, kurs gynybos sistemas ir prireikus vienašališkai stabdys tolesnį masto didinimą, tačiau manau, kad reikia platesnių priemonių.

Apskritai mašininio intelekto pažangą skatina didėjanti skaičiavimo galia. OpenAI tai giliai suvokėme maždaug 2017 m., keliuose tyrimų projektuose pamatę nuoseklią masto didinimo naudą¹. Todėl siekėme gauti kur kas daugiau skaičiavimo išteklių, nei iš pradžių planavome, ir tyrimus vis labiau telkėme į kelias itin lengvai išplečiamas kryptis. Manėme, kad tik taip galėsime išlikti DI tyrimų priešakyje ir daryti įtaką AGI poveikiui.

Pakeliui buvo sukurta naujų algoritmų, o komandos ir pavieniai tyrėjai pademonstravo naujų išradingumo proveržių. Daugiausia juos laikau atradimais masto didinimo kelyje: giliojo mokymosi mokslas tebėra ankstyvoje stadijoje, o reikšminga algoritmų pažanga paprastai siejasi su prieiga prie skaičiavimo išteklių. Žvelgiant į kelerių metų perspektyvą, DI ir toliau tampa išmanesnis, nes jo mastas didinamas pasitelkiant didesnius kompiuterius.

Kaip ir numatyta XX a. pabaigos Ray’aus Kurzweilo prognozėse⁠(atsidaro naujame lange), atsidūrėme tokiame kompiuterijos istorijos taške, kai mašininis intelektas ima žmonių intelektą pranokti pasaulį keičiančiais būdais.

DI yra labiau auginamas nei projektuojamas – pirmiausia jis atsiranda daugybę kartų kartojant paprastą optimizavimo žingsnį su sunkiai įsivaizduojamu skaičiavimo išteklių kiekiu. Taip gaunama nepaprastai sudėtinga sistema, gebanti operuoti abstrakčiomis sąvokomis ir imituoti žmogaus elgesio aspektus. Galime atrasti įvairių įžvalgų apie šioje sistemoje atsirandančius mažus mechanizmus, panašiai kaip neuromoksle, tačiau, kaip ir neuromoksle, viso jos veikimo neįstengiame iki galo suprantamai aprašyti.

Giliuoju mokymusi pagrįsto DI tyrimai daugiausia yra eksperimentinis mokslas. Dedame daug pastangų⁠ kurdami principais pagrįstus algoritmus ir patikrinamas prognozes, tačiau iš esmės mūsų didelio masto mokymai yra eksperimentai, kurių rezultatai kartais mus nustebina. Be to, sistemoms tampant pajėgesnėms, rezultatus vis sunkiau interpretuoti.

Padėtį dar labiau apsunkina tai, kad dabartiniai algoritmai paprastai sparčiau gerina lengvai išmatuojamus gebėjimus nei tuos, kuriuos sunku objektyviai įvertinti. Daug laiko skiriame bandydami suprasti, kaip gebėjimai apibendrinami ir kam teikti pirmenybę ugdant įgūdžius, kurie bus svarbiausi per kelerius artimiausius metus. Pavyzdžiui, manome, kad sutelkę daugiau dėmesio galėtume pagerinti modelių gebėjimą atlikti būtent matematikos tyrimus, tačiau šiai krypčiai neteikiame pirmenybės, nes RSI ir automatizuoti suderinimo tyrimai, kuriuos aptarsiu vėliau, mums atrodo skubesni.

Didinant giliojo mokymosi mastą sukuriamas intelektas nėra tiesiogiai palyginamas su žmogaus intelektu. Kad DI taptų labai reikšmingas realiame pasaulyje – itin naudingas ar labai pavojingas, – jam nereikia prilygti žmogui ar jį pranokti visais gebėjimais; pakanka pranokti pakankamai daug jų. Jam pranokstant žmones vis daugiau sričių, darosi vis sunkiau tiksliai suprasti, kokie iš tiesų yra jo gebėjimai.

Kadangi mašininis intelektas kyla iš visiškai kitokio proceso nei žmogaus intelektas, negalime manyti, kad jis savaime laikysis žmonių principų ar apibendrins juos taip, kaip žmogus. Pagrindinė DI tyrimų problema yra suderinimas – siekis, kad DI pagal žmonių standartus „stengtųsi elgtis teisingai“.

Praktinėms tyrimų kryptims susisteminti man naudinga skirti tikslų suderinimą ir vertybių suderinimą.

Tikslų suderinimas bendrąja prasme reiškia: „ar DI stengiasi pasiekti jam iškeltą tikslą?“. Tai gali apimti, pavyzdžiui, nurodymų hierarchijos⁠ laikymąsi arba gebėjimą bendrauti ir bendradarbiauti su žmonėmis, mėginant suprasti jų tikslus. Šios kryptys praktiškai buvo itin aktualios.

Vertybių suderinimas yra labiau vidinė modelio savybė. Tai gebėjimas vadovautis bendrais principais ir juos apibendrinti, elgtis „protingai“ net gavus neaiškius ar prieštaringus tikslus arba atsidūrus nepažįstamose ar priešiškose situacijose. Suderintas DI turėtų veikti sąžiningai, principingai ir su meile žmonijai.

Žinoma, riba tarp vertybių ir tikslų suderinimo gali būti neaiški, o norint nuoširdžiai rūpintis tikslais reikia mėginti suprasti už jų slypinčius ketinimus⁠(atsidaro naujame lange) ir vertybes. Tačiau kalbėdamas apie ilgalaikę suderinimo tyrimų svarbą paprastai turiu omenyje vertybių suderinimą.

Esminis DI suderinimo iššūkis yra apibendrinimas. Mašinoms tampant išmanesnėms, jos ima dirbti su aukštesnio lygmens sąvokomis ir patenka į aplinkas, kurios vis labiau skiriasi nuo sutiktų mokymo metu. Joms gali nepavykti mokymo metu įdiegtų ir sustiprintų vertybių pritaikyti naujoms situacijoms, o mums gali būti sunku numatyti, kaip jos pasielgs. Padėtį dar labiau sunkina tai, kad visa DI naudojimo ekosistema labai sparčiai kinta; pavyzdžiui, šiandien mokomos DI sistemos turi būti atsparios sąveikaudamos su įvairiomis kitomis DI sistemomis. Svarbiausia, kad ateities DI sistemos ir toliau laikytųsi žmonių vertybių, nepaisydamos to, ar mano esančios žmonių prižiūrimos.

Šiuo metu praktiškai taikomi suderinimo mokymo metodai skirstomi į dvi pagrindines grupes.

Pirmasis metodas skatina suderintą elgesį vykdant į tikslą orientuotą skatinamąjį mokymąsi. Modelio veiksmai vertinami (paprastai DI) pagal tai, ar atitinka tam tikrą nuostatų modelį, „specifikaciją“ ar „konstituciją“, ir už tai tinkamai atlyginama. Įprastais atvejais šis metodas gali būti labai veiksmingas ir yra esminė šiuolaikinių DI asistentų kūrimo dalis. Deja, jis gali būti neatsparus ir labai priklauso nuo mokymo priežiūros aprėpties bei modelio gebėjimo apibendrinti per mokymą sutiktas situacijas. Pavyzdžiui, per OpenAI ir „Hugging Face“ incidentą agentai neperžengė ribos ir nesiėmė socialinės inžinerijos prieš žmones. Tačiau jie akivaizdžiai nesusilaikė nuo kitų į užduoties ribas nepatekusių veiksmų, kurie prieštaravo kitomis aplinkybėmis išmoktų vertybių esmei.

Antruoju metodu siekiama pasinaudoti modelio gebėjimu apibendrinti išankstinio mokymo duomenis. Tam gali būti kuriami suderinimą skatinantys mokymo duomenų rinkiniai arba modelio dėmesys telkiamas į „suderintą“ išankstinio mokymo skirstinio dalį, kaip, pavyzdžiui, personos atrankos modelyje⁠(atsidaro naujame lange). Šio metodo silpnybė – neatsparumas tolesniam optimizavimo spaudimui. Jei modelį, kurio mintys paprastai yra „suderintos“, pakankamai ilgai mokysite siekti labai sudėtingų tikslų, jis gali išmokti motyvuotai protauti: prireikus iškreipti iš pažiūros 'suderintas' mintis, kad pasiektų tikslą. Tokio elgesio pavyzdį tikriausiai matėme per naujausius kibernetinio saugumo incidentus, susijusius su ne OpenAI modeliu.

Daug investuojame į visą šių krypčių apimamą metodų spektrą. Taip pat matome reikšmingą pažangą – GPT‑6 Astra yra pirmasis modelis, kuriam naudingi kai kurie svarbūs patobulinimai, prie kurių ilgai dirbome, ir jis suderintas gerokai geriau nei GPT‑5.6 Sol. Vis dėlto svarbu pripažinti ir suprasti, kad modeliams tampant pajėgesniems reikės daug didesnės pažangos, o plačiai pritaikomo suderinimo pažanga gali nepakankamai lenkti bendro modelių intelekto augimą.

Neturime patenkinamos apibendrinimo teorijos ir mažai tikėtina, kad netrukus ją sukursime, bent jau be galingesnio DI pagalbos. Todėl šiuo metu mūsų gebėjimas empiriškai patvirtinti suderinimo metodus praktiškai yra net svarbesnis už pačius metodus.

Pagrindinė OpenAI viltis šioje srityje – minčių grandinės stebėjimas⁠(atsidaro naujame lange). Jis grindžiamas patraukliai išplečiama idėja: didelę modelio gebėjimų dalį lemia žodžiais išreikštas protavimo procesas (minčių grandinė). Jei didiname to proceso rezultatų optimizavimo mastą, bet neprižiūrime paties proceso, mokymo metu minčių grandinė negauna tiesioginės paskatos slėpti nesuderintas idėjas ar tikslus. Tai nereiškia, kad modelis išmoks išreikšti nesuderintas tendencijas, kurioms minčių grandinė nereikalinga, tačiau leidžia tiksliai stebėti protavimo suteikiamą gebėjimų augimą.

Minčių grandinės stebėjimo reikšmę supratome tuo pat metu, kai kūrėme protavimo modelius. Išleisdami OpenAI o1‑preview sąmoningai sukūrėme produktą taip, kad jis slėptų minčių grandinę⁠ ir ilgainiui apsaugotų ją nuo priežiūros spaudimo². Nuo tada kurdami stengiamės laikytis taisyklės neprižiūrėti protavimo proceso. CoT stebėjimas mums tapo itin svarbiu įrankiu tiriant, kaip modeliai apibendrina už mokymo duomenų skirstinio ribų: galime stebėti ir analizuoti ne tik jų veiksmus, bet ir vidinį procesą.

Šis įrankis tebėra labai svarbus tiriant Astra klasės modelius. Deja, mūsų vertinimai rodo, kad galimybė kliautis CoT stebėjimu palaipsniui mažėja. Tai lemia kelių veiksnių derinys.

• Šiuolaikiniai protavimo modeliai naudojami sudėtingesnėse aplinkose nei OpenAI o1‑preview; jų protavimo procesas vis labiau persipina su bendravimu su žmonėmis bei kitomis DI sistemomis ir įrankių naudojimu. Daugelį šių sąveikų būtina prižiūrėti, todėl riba, kurią siekiame išsaugoti, tampa neaiški.
• DI vis geriau geba analizuoti ir valdyti savo paties protavimo procesą.
• Gerėjant išankstinio mokymo rezultatams taip pat matome, kad modeliai tampa daug išmanesni net visiškai nenaudodami žodžiais išreikšto protavimo.

Šie iššūkiai nebūtinai yra neįveikiami. Tikiuosi, kad galime sukurti priemonių, kurios pagerintų mūsų modelių minčių grandinės stebimumą, pavyzdžiui, geriau supratę skirtingų optimizavimo tikslų ir modelio naudojamų skaičiavimo bandymo metu formų sąveiką. Taip pat manau, kad gali būti labai vertinga derinti CoT ir aktyvacijų stebėjimo idėjas – didinti tiesioginę prieigą prie tinklo vidinių struktūrų turinčių stebėtojų mokymo mastą, pavyzdžiui, pasitelkiant prisipažinimus⁠(atsidaro naujame lange). Aktyviai plėtojame šias idėjas. Vis dėlto tikiuosi, kad bendrą DI pažangą vis labiau ribos pasitikėjimas stebėjimu.

Stipriausias argumentas, kurį matau už tolesnį spartų gerokai išmanesnių modelių mokymą, yra būtinybė kurti gynybos sistemas nuo kitų DI keliamų pavojų.

Visus šiuos metus aptariama aiški kibernetinio saugumo rizika: modelių gebėjimas įsilaužti į kompiuterių sistemas ir iš jų ištrūkti tampa antžmogiškas. Tai nepaprastai išplečia su DI siejamų rizikų mastą: agentai galės pasiekti beveik bet kokią, išskyrus saugiausią, infrastruktūrą ir tiesiogiai paveikti didelę pasaulio dalį net neturėdami fizinio kūno. Šiuo metu turime siaurą galimybių langą⁠ geriausiems prieinamiems modeliams panaudoti ir kritinių sistemų saugumui gerokai sustiprinti⁠.

Deja, nuo šiol su DI siejama rizika tik didės. Labai pajėgus agentas, specialiai išmokytas ir nurodytas vykdyti piktavališkus veiksmus, kelia naujo pobūdžio pavojų: tikėtina, kad jis peržengs savo Operator ketinimų ribas ir apibendrindamas pereis prie galbūt dar piktybiškesnio elgesio. DI įgyjant daugiau savarankiškumo, riba tarp piktnaudžiavimo ir autonomiškų nesuderintų veiksmų taps neaiški. Galbūt esame įpratę DI laikyti įrankiais, tačiau kai kurie agentai sieks savų tikslų. Jie ras būdų bendradarbiauti su žmonėmis – derėsis, juos apgaudinės ar šantažuos.

Be to, kyla rizikų dėl naujų technologijų, kurias gali padėti sukurti DI, pavyzdžiui, dirbtinai sukurtų patogenų.

Gynybai reikės galingo, suderinto DI: infrastruktūrai apsaugoti, realiuoju laiku gintis nuo nevaldomų agentų ir visiškai naujoms apsaugos priemonėms išrasti. Tai bus vienas svarbiausių OpenAI diegimo veiklos prioritetų.

Kartu, nepaisydami numatomos plačios DI pažangos keliamo neapibrėžtumo ir būtinybės kurti gynybos sistemas, negalime leisti, kad tai taptų neatsakingumo pateisinimu. Suvokus, kokie rimti yra statymai, mintis bet kokia kaina veržtis pirmyn atrodo absurdiška.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(atsidaro naujame lange), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(atsidaro naujame lange), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(atsidaro naujame lange) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.