Tuđinski um

Sredinom 2023, u okviru istraživačkog projekta „RLSlow“, vidjeli smo prve rezultate koji su nam ulili povjerenje da ćemo moći skalirati treniranje modela za rezonovanje, oslobađajući sposobnost predtreniranih modela da oblikuju vlastite lance razmišljanja. Szymon i ja proveli smo tu noć u uredu, razmišljajući ne o nevjerovatnim rezultatima na mjerilima, proizvodima ili naučnim rezultatima koje će ova tehnologija donijeti, nego pokušavajući prihvatiti otrežnjujuću činjenicu da ćemo za života zaista vidjeti mašine znatno pametnije od nas i da već naziremo oblik tih sistema, pitajući se kako ljudima ukazati na značaj svega toga.

Tri godine kasnije, jezički modeli za rezonovanje brzo postaju sve veći dio ekonomije i počinju pomicati granice nauke. Mogu upravljati računarima i grafičkim interfejsima, sarađivati s ljudima i međusobno te provoditi istraživačke projekte. Također preobražavaju područje računarske sigurnosti i time donose jasne nove opasnosti.

U tom je razdoblju provedeno mnogo novih istraživanja, pa se naše razumijevanje tih sistema ponovo donekle razlikuje od onoga iz 2023. Na osnovu internih rezultata čvrsto očekujem da bi se ova brzina napretka mogla održati sve do rekurzivnog samopoboljšavanja. Ako razvoj umjetne inteligencije nastavi sadašnjim putem, sistemi koje ćemo vidjeti u narednih nekoliko godina vjerovatno će ostvariti nove skokove sposobnosti jednake ili veće razmjere i sve više pokretati vlastiti razvoj.

Ovo je vrijeme koje zahtijeva krajnji oprez. Brine me što niko nije spreman za posljedice nastavka brzog rasta mašinske inteligencije. OpenAI će i dalje tražiti tehnička rješenja za usklađivanje i praćenje, graditi odbrambene sisteme te prema potrebi jednostrano obustavljati daljnje skaliranje; ipak, vjerujem da su potrebne šire mjere.

Na općem nivou, napredak mašinske inteligencije pokreće rast računarske snage. Mi u OpenAI-ju to smo duboko usvojili oko 2017, nakon što smo u više istraživačkih projekata vidjeli dosljedne koristi od skaliranja¹. Zato smo pokušali osigurati pristup mnogo većim računarskim resursima nego što smo prvobitno planirali i sve više usmjeravali istraživanja na mali broj vrlo skalabilnih pravaca. Vjerovali smo da jedino tako možemo ostati na granici istraživanja umjetne inteligencije i utjecati na posljedice AGI-ja.

Usput su razvijeni novi algoritmi i ostvareni novi dometi zahvaljujući domišljatosti timova i pojedinačnih istraživača. Uglavnom ih vidim kao otkrića na putu skaliranja; nauka dubokog učenja još je u začetku, a značajan algoritamski napredak obično je povezan s pristupom računarskim resursima. Posmatrano u višegodišnjem razdoblju, umjetna inteligencija nastavlja postajati inteligentnija kako se skalira na veće računare.

U skladu s predviđanjima Raya Kurzweila s kraja 20. stoljeća⁠(otvara se u novom prozoru), sada smo došli do trenutka u historiji računarstva kada mašinska inteligencija počinje na preobražavajuće načine nadmašivati ljudsku.

Umjetna inteligencija više se uzgaja nego što se projektira – ona je prvenstveno proizvod višestrukog ponavljanja jednostavnog koraka optimizacije uz gotovo nezamislivu količinu računarskih resursa. Tako nastaje nevjerovatno složen sistem koji barata apstraktnim pojmovima i može oponašati aspekte ljudskog ponašanja. Možemo otkrivati razne uvide o malim mehanizmima koji se pojavljuju unutar tog sistema, u procesu sličnom neuronauci – ali, kao i u neuronauci, njegovo cjelokupno djelovanje izmiče opisu koji bismo mogli potpuno razumjeti.

Proučavanje umjetne inteligencije zasnovane na dubokom učenju uglavnom je eksperimentalna nauka. Ulažemo mnogo truda⁠ u izradu principijelnih algoritama i provjerljivih predviđanja, ali naša su treniranja velikih razmjera u osnovi eksperimenti i njihovi nas rezultati ponekad iznenade. Štaviše, kako sistemi postaju sposobniji, rezultate je sve teže tumačiti.

To dodatno usložnjava činjenica da trenutni algoritmi uglavnom brže poboljšavaju sposobnosti koje je lako mjeriti nego one koje je teško objektivno kvantificirati. Mnogo vremena posvećujemo razumijevanju načina na koji sposobnosti generaliziraju i određivanju prioriteta za razvoj vještina koje će biti najvažnije u narednim godinama. Naprimjer, vjerujemo da bismo dodatnim usmjerenjem mogli poboljšati modele posebno za matematička istraživanja, ali tome ne dajemo prednost zbog hitnosti koju vidimo u RSI-ju i automatiziranom istraživanju usklađivanja, o čemu ću govoriti kasnije.

Inteligencija nastala skaliranjem dubokog učenja nije neposredno uporediva s ljudskom inteligencijom. Da bi postala veoma značajna u stvarnom svijetu – veoma korisna ili veoma opasna – umjetna inteligencija ne mora dostići ili premašiti sve ljudske sposobnosti; dovoljno je da premaši dovoljno njih. A kako nastavlja nadmašivati ljude u sve više područja, postaje sve teže tačno razumjeti koliko je sposobna.

Budući da mašinska inteligencija nastaje u procesu koji se suštinski razlikuje od nastanka ljudske inteligencije, ne možemo pretpostaviti da će sama od sebe slijediti ljudska načela niti iz njih generalizirati poput ljudi. Temeljni problem istraživanja umjetne inteligencije jeste usklađivanje – postići da umjetna inteligencija „nastoji učiniti ono što je ispravno“ prema ljudskim mjerilima.

Za organiziranje praktičnih pravaca istraživanja korisno mi je razlikovati usklađivanje ciljeva i usklađivanje vrijednosti.

Usklađivanje ciljeva u širem smislu pita: „Nastoji li umjetna inteligencija ostvariti cilj koji joj je postavljen?“ To može obuhvatati poštivanje hijerarhije uputa⁠ ili sposobnost komunikacije i saradnje s ljudima radi nastojanja da razumije njihove ciljeve. Ovaj skup pravaca pokazao se izuzetno važnim u praksi.

Usklađenost vrijednosti suštinskije je svojstvo modela. To je sposobnost pridržavanja skupa načela višeg nivoa i generaliziranja iz njih; postupanja „razumno“ čak i uz nejasne ili proturječne ciljeve ili u nepoznatim i protivničkim situacijama. Usklađena umjetna inteligencija trebala bi postupati iskreno, čestito i s ljubavlju prema čovječanstvu.

Naravno, granica između usklađivanja vrijednosti i ciljeva može biti nejasna, a istinska posvećenost ciljevima zahtijeva nastojanje da se zaključe namjera⁠(otvara se u novom prozoru) i vrijednosti na kojima se zasnivaju. Ipak, kada govorim o dugoročnom značaju istraživanja usklađivanja, uglavnom mislim na usklađivanje vrijednosti.

Temeljni izazov usklađivanja umjetne inteligencije jeste generalizacija. Kako mašine postaju pametnije, rade sa sve apstraktnijim pojmovima i nalaze se u okruženjima koja se sve više razlikuju od onih koja su susretale tokom treniranja. Vrijednosti kojima su podučene i koje su učvršćivane tokom treniranja možda neće uspješno generalizirati na nove situacije, pa nam može biti teško pouzdano znati kako će postupiti. To dodatno otežava činjenica da se cjelokupni ekosistem u kojem se umjetna inteligencija koristi veoma brzo mijenja; naprimjer, današnji sistemi moraju biti otporni pri interakciji s raznim drugim sistemima umjetne inteligencije. Presudno je da budući sistemi umjetne inteligencije nastave čuvati ljudske vrijednosti bez obzira na to vjeruju li da ih ljudi nadziru.

Trenutno se u praksi koriste dvije glavne vrste metoda treniranja za usklađivanje.

Prva potiče usklađeno ponašanje u sklopu učenja s potkrepljivanjem usmjerenog ka cilju. Postupci modela ocjenjuju se, obično pomoću umjetne inteligencije, prema usklađenosti s određenim modelom preferencija, „specifikacijom“ ili „ustavom“, pa se primjereno nagrađuju. Ovaj pristup može biti veoma učinkovit u prosječnom slučaju i predstavlja ključan dio izrade savremenih AI asistenata. Nažalost, može biti i krhak te snažno zavisi od obuhvata nadzora tokom treniranja i sposobnosti modela da generalizira iz situacija koje je tada susreo. Naprimjer, u incidentu OpenAI–Hugging Face agenti nisu prešli granicu društvenog inženjeringa ljudi. Međutim, očigledno se nisu suzdržali od drugih postupaka koji su izlazili iz dopuštenog okvira i protivili se duhu vrijednosti kojima su podučavani u drugim okruženjima.

Drugi pristup nastoji iskoristiti sposobnost modela da generalizira iz podataka za predtreniranje. To može uključivati izradu skupova podataka za treniranje koji potiču usklađivanje ili usmjeravanje modela na „usklađeni“ dio distribucije za predtreniranje, kao u modelu odabira persone⁠(otvara se u novom prozoru). Slabost ovog pristupa leži u nedovoljnoj otpornosti na daljnji pritisak optimizacije. Ako uzmete model koji uglavnom razmišlja „usklađeno“ i dovoljno ga dugo trenirate da ostvaruje veoma teške ciljeve, može naučiti motivirano rezonovati: po potrebi prilagođavati misli koje djeluju 'usklađeno' kako bi ostvario cilj. Takvo ponašanje vjerovatno smo vidjeli u nedavnim incidentima kibernetičke sigurnosti koji su uključivali model koji nije OpenAI-jev.

Mnogo ulažemo u čitav spektar pristupa obuhvaćenih tim pravcima. Vidimo i značajan napredak – GPT‑6 Astra prvi je model koji ima koristi od nekih važnih dostignuća na kojima dugo radimo i znatno je bolje usklađen od modela GPT‑5.6 Sol. Ipak, važno je priznati i razumjeti da je s rastom sposobnosti modela potreban mnogo veći napredak te da napredak u usklađivanju koje se može generalizirati možda neće dovoljno nadmašiti napredak opće inteligencije modela.

Nemamo zadovoljavajuću teoriju generalizacije i ne čini se vjerovatnim da ćemo je uskoro razviti, barem ne bez pomoći moćnije umjetne inteligencije. Stoga je naša sposobnost da trenutno empirijski potvrdimo tehnike usklađivanja u praksi možda čak važnija od samih tehnika.

Glavni adut OpenAI-ja u tome je praćenje lanca razmišljanja⁠(otvara se u novom prozoru). Zasniva se na privlačno skalabilnoj ideji: velik dio sposobnosti modela proizlazi iz verbaliziranog procesa rezonovanja (lanca razmišljanja). Ako skaliramo optimizaciju ishoda tog procesa, ali ne nadziremo sam proces, taj lanac razmišljanja tokom treniranja nema neposredan poticaj da skriva neusklađene ideje ili ciljeve. To ne znači da će model naučiti iskazivati neusklađene sklonosti koje ne zavise od lanca razmišljanja; ipak, omogućava nam da pratimo upravo povećanje sposobnosti koje proizlazi iz rezonovanja.

Potencijalni značaj praćenja lanca razmišljanja shvatili smo dok smo razvijali modele za rezonovanje. Kada smo objavili o1‑preview, proizvod smo namjerno osmislili tako da sakrije lanac razmišljanja⁠ kako bismo ga dugoročno zaštitili od pritiska nadzora². U kasnijem razvoju nastojali smo zadržati pravilo da se proces rezonovanja ne nadzire. Praćenje lanca razmišljanja postalo nam je izuzetno važan alat za proučavanje načina na koji naši modeli generaliziraju iz svoje distribucije podataka za treniranje, omogućavajući nam da posmatramo i analiziramo ne samo njihove postupke nego i njihov unutrašnji proces.

Taj alat ostaje presudan dok proučavamo modele klase Astra. Međutim, naše evaluacije nažalost pokazuju da se naša mogućnost oslanjanja na praćenje lanca razmišljanja postepeno smanjuje. To je posljedica kombinacije više faktora.

• Savremeni modeli za rezonovanje koriste se u složenijim okruženjima nego o1‑preview; njihov proces rezonovanja sve se više prepliće s komunikacijom s ljudima i drugim sistemima umjetne inteligencije te upotrebom alata. Mnoge od tih interakcija moraju se nadzirati, čime se zamagljuje granica koju želimo očuvati.
• Umjetna inteligencija sve bolje razmišlja o vlastitom procesu rezonovanja i njime manipulira.
• S boljim rezultatima predtreniranja vidimo i da modeli postaju mnogo pametniji čak i bez ikakvog verbaliziranog rezonovanja.

Ti izazovi nisu nužno nepremostivi. Nadam se da možemo razviti intervencije koje će poboljšati mogućnost praćenja lanca razmišljanja naših modela, naprimjer boljim razumijevanjem odnosa između različitih ciljeva optimizacije i oblika računanja tokom testiranja koje model koristi. Vjerujem i da bi spajanje ideja iz praćenja lanca razmišljanja i aktivacija moglo biti vrlo vrijedno – skaliranjem treniranja sistema za praćenje koji imaju neposredan pristup unutrašnjosti mreže, poput priznanja⁠(otvara se u novom prozoru). Aktivno razvijamo ove ideje. Ipak, očekujem da će povjerenje u praćenje sve više biti usko grlo općeg napretka umjetne inteligencije.

Najjači argument koji vidim za nastavak brzog treniranja mnogo pametnijih modela jeste potreba za izgradnjom odbrambenih sistema protiv opasnosti koje predstavlja druga umjetna inteligencija.

Ove se godine mnogo govorilo o jasnom riziku za kibernetičku sigurnost: modeli postaju nadljudski sposobni za provaljivanje u računarske sisteme i izvlačenje iz njih. To ogromno proširuje opseg rizika povezanih s umjetnom inteligencijom: agenti će moći pristupiti svoj infrastrukturi osim one najsigurnije i neposredno utjecati na velik dio svijeta, čak i bez fizičkog tijela. Trenutno imamo uzak vremenski okvir⁠ da najbolje dostupne modele iskoristimo za znatno jačanje sigurnosti⁠ ključnih sistema.

Rizici povezani s umjetnom inteligencijom odsad će nažalost rasti. Vrlo sposoban agent posebno treniran i upućen da čini zlonamjerna djela predstavlja novu vrstu opasnosti; vjerovatno će prekoračiti namjere svog operatora i generalizirati ih u potencijalno još ekstremnije zlonamjerno ponašanje. Granica između zloupotrebe i autonomnih neusklađenih postupaka zamagljivat će se kako umjetna inteligencija bude stjecala veću samostalnost. Možda smo navikli razmišljati o umjetnoj inteligenciji kao o alatima, ali neki će agenti slijediti vlastite ciljeve. Pronalazit će načine da sarađuju s ljudima tako što će se s njima cjenkati, obmanjivati ih ili ucjenjivati.

Tu su i rizici novih tehnologija koje bi umjetna inteligencija mogla omogućiti, poput projektiranih patogena.

Za odbranu će nam trebati moćna, usklađena umjetna inteligencija: za osiguravanje infrastrukture, zaštitu od odmetnutih agenata u stvarnom vremenu i osmišljavanje potpuno novih zaštitnih mjera. To će biti glavni fokus aktivnosti OpenAI-ja na uvođenju sistema.

Istovremeno, uprkos neizvjesnosti koju donose očekivani opći napredak umjetne inteligencije i potreba za izgradnjom odbrambenih sistema, ne smijemo dopustiti da to postane izgovor za nepromišljenost. Ideja da po svaku cijenu jurimo naprijed djeluje apsurdno kada istinski shvatimo koliko je toga na kocki.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(otvara se u novom prozoru), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(otvara se u novom prozoru), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(otvara se u novom prozoru) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.