Tuđinski um

Sredinom 2023., u sklopu istraživačkog projekta „RLSlow”, vidjeli smo prve rezultate koji su nam ulili povjerenje da ćemo moći skalirati treniranje modela za rasuđivanje i tako osloboditi sposobnost predtreniranih modela da oblikuju vlastite lance razmišljanja. Szymon i ja proveli smo tu noć u uredu, ne razmišljajući o nevjerojatnim rezultatima testiranja, proizvodima ili znanstvenim rezultatima koje će ta tehnologija donijeti, nego nastojeći prihvatiti otrežnjujuću činjenicu da ćemo za svojeg života doista vidjeti strojeve koji su osjetno pametniji od nas, da već naziremo oblik tih sustava i pitajući se kako ljudima prenijeti važnost svega toga.

Tri godine poslije jezični modeli za rasuđivanje brzo postaju sve veći dio gospodarstva i počinju pomicati granice znanosti. Mogu upravljati računalima i grafičkim sučeljima, surađivati s ljudima i međusobno te provoditi istraživačke projekte. Ujedno mijenjaju područje računalne sigurnosti i time donose jasne nove opasnosti.

U tom je razdoblju provedeno mnogo novih istraživanja i naše se razumijevanje tih sustava ponovno donekle razlikuje od onoga iz 2023. Na temelju internih rezultata čvrsto očekujem da bi se ova brzina napretka mogla održati sve do rekurzivnog samopoboljšavanja. Nastavi li se umjetna inteligencija razvijati sadašnjim putem, sustavi koje ćemo vidjeti u sljedećih nekoliko godina vjerojatno će donijeti jednako velike ili veće skokove u sposobnostima te sve više pokretati vlastiti razvoj.

Ovo je trenutak koji zahtijeva krajnji oprez. Brine me da nitko nije spreman za posljedice nastavka brzog rasta strojne inteligencije. OpenAI će nastaviti tražiti tehnička rješenja za usklađivanje i praćenje, graditi obrambene sustave te prema potrebi jednostrano zaustavljati daljnje skaliranje; ipak, vjerujem da su potrebne šire mjere.

Općenito gledano, napredak strojne inteligencije potiče rast računalne snage. Mi u OpenAI-ju duboko smo to usvojili oko 2017., nakon što smo u više istraživačkih projekata uočili dosljedne koristi od skaliranja¹. Zato smo nastojali dobiti pristup mnogo većim računalnim resursima nego što smo prvotno planirali te smo istraživanja sve više usmjeravali na mali broj izrazito skalabilnih pravaca. Vjerovali smo da jedino tako možemo ostati na granici istraživanja umjetne inteligencije i utjecati na posljedice AGI-ja.

Putem su razvijeni novi algoritmi, uz nove domišljate pothvate timova i pojedinačnih istraživača. Uglavnom ih smatram otkrićima na putu skaliranja; znanost dubinskog učenja još je u začecima, a značajan algoritamski napredak obično je povezan s pristupom računalnim resursima. Promatramo li višegodišnje razdoblje, umjetna inteligencija postaje sve inteligentnija kako se skalira na veća računala.

U skladu s predviđanjima Raya Kurzweila s kraja 20. stoljeća⁠(otvara se u novom prozoru), danas se nalazimo u povijesnom trenutku računalstva u kojem strojna inteligencija počinje nadmašivati ljudsku na načine koji preobražavaju svijet.

Umjetna inteligencija više se uzgaja nego projektira — ona je ponajprije proizvod višekratnog ponavljanja jednostavnog optimizacijskog koraka uz teško zamislivu količinu računalnih resursa. Rezultat je nevjerojatno složen sustav koji barata apstraktnim pojmovima i može oponašati različite aspekte ljudskog ponašanja. Možemo otkrivati različite spoznaje o malim mehanizmima koji nastaju unutar tog sustava, u procesu sličnom neuroznanosti; no kao i u neuroznanosti, njegovo cjelokupno djelovanje izmiče opisu koji bismo mogli potpuno razumjeti.

Proučavanje umjetne inteligencije utemeljene na dubinskom učenju uglavnom je eksperimentalna znanost. Ulažemo mnogo truda⁠ u izradu načelno utemeljenih algoritama i provjerljivih predviđanja, ali naša su treniranja velikih razmjera u osnovi eksperimenti, a njihovi nas rezultati katkad iznenade. Štoviše, kako sustavi postaju sposobniji, njihove je rezultate sve teže protumačiti.

To dodatno otežava činjenica da trenutačni algoritmi uglavnom brže poboljšavaju lako mjerljive sposobnosti od onih koje je teško objektivno kvantificirati. Mnogo vremena posvećujemo razumijevanju načina na koji sposobnosti generaliziraju i određivanju prioriteta za razvoj vještina koje će biti najvažnije u sljedećih nekoliko godina. Primjerice, vjerujemo da bismo dodatnim usmjerenjem mogli poboljšati modele baš za matematička istraživanja, ali tom smjeru ne dajemo prednost zbog hitnosti koju osjećamo u vezi s RSI-jem i automatiziranim istraživanjem usklađivanja, o čemu ću govoriti poslije.

Inteligencija nastala skaliranjem dubinskog učenja nije izravno usporediva s ljudskom inteligencijom. Da bi postala vrlo relevantna u stvarnom svijetu — vrlo korisna ili vrlo opasna — umjetna inteligencija ne mora dostići ili nadmašiti sve ljudske sposobnosti; dovoljno je da nadmaši dovoljan broj njih. Kako nastavlja nadmašivati ljude na sve više područja, postaje sve teže točno razumjeti koliko je zapravo sposobna.

Budući da strojna inteligencija nastaje procesom koji se bitno razlikuje od nastanka ljudske inteligencije, ne možemo pretpostaviti da se sama od sebe pridržava ljudskih načela niti da iz njih generalizira poput čovjeka. Središnji problem istraživanja umjetne inteligencije jest usklađivanje — postići da umjetna inteligencija prema ljudskim mjerilima „nastoji učiniti ono što je ispravno”.

Radi organiziranja praktičnih istraživačkih smjerova korisno mi je razlikovati usklađivanje ciljeva i usklađivanje vrijednosti.

Usklađivanje ciljeva općenito znači: „nastoji li umjetna inteligencija ostvariti cilj koji joj je postavljen?” To može uključivati pridržavanje hijerarhije uputa⁠ ili sposobnost komunikacije i suradnje s ljudima radi pokušaja razumijevanja njihovih ciljeva. Taj skup smjerova pokazao se iznimno važnim u praksi.

Usklađenost vrijednosti suštinskije je svojstvo modela. To je sposobnost usvajanja skupa načela visoke razine i generaliziranja iz njih, odnosno „razumnog” djelovanja čak i uz nejasne ili proturječne ciljeve te u nepoznatim ili neprijateljskim situacijama. Usklađena umjetna inteligencija trebala bi djelovati iskreno, čestito i s ljubavlju prema čovječanstvu.

Naravno, granica između usklađivanja vrijednosti i ciljeva može biti nejasna, a istinska predanost ciljevima zahtijeva pokušaj zaključivanja o namjeri⁠(otvara se u novom prozoru) i vrijednostima na kojima se temelje. Međutim, kada općenito govorim o dugoročnoj važnosti istraživanja usklađivanja, mislim na usklađivanje vrijednosti.

Temeljni je izazov usklađivanja umjetne inteligencije generalizacija. Kako strojevi postaju pametniji, bave se pojmovima više razine i nalaze se u okruženjima koja se sve više razlikuju od onih s kojima su se susretali tijekom treniranja. Vrijednosti naučene i učvršćene tijekom treniranja možda neće uspješno generalizirati na te nove situacije, a nama može biti teško pouzdano predvidjeti njihovo ponašanje. To dodatno otežava činjenica da se cjelokupan ekosustav u kojem se umjetne inteligencije upotrebljavaju vrlo brzo mijenja; primjerice, umjetne inteligencije koje danas treniramo moraju biti otporne pri interakciji s raznim drugim umjetnim inteligencijama. Presudno je da buduće umjetne inteligencije zadrže ljudske vrijednosti bez obzira na to vjeruju li da ih ljudi nadziru.

Trenutačno se u praksi primjenjuju dvije glavne skupine metoda treniranja za usklađivanje.

Prva potiče usklađeno ponašanje u sklopu ciljno usmjerenog učenja s potkrepljivanjem. Postupci modela procjenjuju se, obično umjetnom inteligencijom, prema tome jesu li u skladu sa zadanim modelom preferencija, „specifikacijom” ili „ustavom” te se primjereno nagrađuju. Taj pristup u prosječnom slučaju može biti vrlo učinkovit i ključan je dio načina izrade suvremenih AI asistenata. Nažalost, može biti i krhak te se snažno oslanja na obuhvat nadzora tijekom treniranja i sposobnost modela da generalizira iz situacija s kojima se tada susreo. Primjerice, u incidentu OpenAI-ja i Hugging Facea agenti su poštovali granicu da se ljudima ne služe društvenim inženjeringom. Međutim, očito se nisu suzdržali od drugih postupaka koji su izlazili iz dopuštenog okvira i protivili se duhu vrijednosti kojima su poučeni u drugim okruženjima.

Drugi pristup nastoji iskoristiti sposobnost modela da generalizira iz podataka za predtreniranje. To može uključivati izradu skupova podataka za treniranje koji potiču usklađivanje ili usmjeravanje modela na „usklađeni” dio distribucije predtreniranja, kao primjerice u modelu odabira persone⁠(otvara se u novom prozoru). Slabost tog pristupa leži u nedostatku otpornosti na daljnji optimizacijski pritisak. Ako model koji općenito razmišlja „usklađeno” podvrgnete dovoljnoj količini treniranja kojim ga se uči ostvarivati vrlo teške ciljeve, može naučiti motivirano rasuđivati: prema potrebi prilagođavati misli koje djeluju 'usklađeno' kako bi ostvario cilj. Primjer takva ponašanja vjerojatno smo vidjeli u nedavnim kibernetičkim incidentima koji su uključivali model izvan OpenAI-ja.

Mnogo ulažemo u cijeli raspon pristupa obuhvaćen tim smjerovima. Vidimo i značajan napredak — GPT‑6 Astra prvi je model koji ima koristi od nekih važnih poboljšanja na kojima dugo radimo te je znatno bolje usklađen od GPT‑5.6 Sola. Ipak, važno je priznati i razumjeti da je s rastom sposobnosti modela potreban mnogo veći napredak te da napredak u generalizirajućem usklađivanju možda neće dovoljno nadmašiti napredak opće inteligencije modela.

Nemamo zadovoljavajuću teoriju generalizacije i čini se malo vjerojatnim da ćemo je uskoro razviti, barem bez pomoći moćnije umjetne inteligencije. Stoga je trenutačno naša sposobnost empirijske provjere tehnika usklađivanja u praksi možda čak važnija od samih tehnika.

OpenAI se ovdje prvenstveno oslanja na praćenje lanca razmišljanja⁠(otvara se u novom prozoru). Temelji se na privlačno skalabilnoj ideji: velik dio sposobnosti modela proizlazi iz verbaliziranog procesa rasuđivanja (lanca razmišljanja). Ako skaliramo optimizaciju rezultata tog procesa, ali ne nadziremo sam proces, taj lanac razmišljanja tijekom treniranja nema izravan poticaj skrivati neusklađene zamisli ili ciljeve. To ne znači da će model naučiti iskazivati neusklađene sklonosti koje ne ovise o lancu razmišljanja; ipak, omogućuje nam da pratimo upravo povećanje sposobnosti koje proizlazi iz rasuđivanja.

Potencijalnu važnost praćenja lanca razmišljanja shvatili smo dok smo razvijali modele za rasuđivanje. Kada smo objavili o1‑preview, proizvod smo namjerno osmislili tako da skriva lanac razmišljanja⁠ kako bismo ga dugoročno zaštitili od pritiska nadzora². U daljnjem razvoju nastojali smo se držati pravila da ne nadziremo proces rasuđivanja. Praćenje CoT-a postalo nam je iznimno važan alat za proučavanje načina na koji naši modeli generaliziraju iz distribucije podataka za treniranje jer nam omogućuje promatranje i analizu ne samo njihovih postupaka nego i njihova unutarnjeg procesa.

Taj je alat i dalje presudan dok proučavamo modele klase Astra. Međutim, naše procjene nažalost pokazuju da se sve manje možemo oslanjati na praćenje CoT-a. To je posljedica više čimbenika.

• Suvremeni modeli za rasuđivanje upotrebljavaju se u složenijim okruženjima od modela o1‑preview; njihov se proces rasuđivanja sve više isprepliće s komunikacijom s ljudima i drugim umjetnim inteligencijama te uporabom alata. Mnoge od tih interakcija moraju se nadzirati, čime se zamagljuje granica koju želimo očuvati.
• Umjetna inteligencija sve bolje rasuđuje o vlastitom procesu rasuđivanja i njime manipulira.
• S boljim rezultatima predtreniranja uočavamo i da modeli postaju mnogo pametniji čak i bez ikakva verbaliziranog rasuđivanja.

Ti izazovi nisu nužno nepremostivi. Nadam se da možemo razviti zahvate koji će poboljšati mogućnost praćenja lanca razmišljanja naših modela, primjerice boljim razumijevanjem međuodnosa različitih optimizacijskih ciljeva i oblika računalnih resursa koje model upotrebljava tijekom testiranja. Vjerujem i da bi povezivanje ideja iz praćenja CoT-a i aktivacija moglo biti vrlo vrijedno — primjerice, skaliranjem treniranja nadzornih modela s izravnim pristupom unutarnjim dijelovima mreže, kao što su priznanja⁠(otvara se u novom prozoru). Aktivno razvijamo te ideje. Ipak, očekujem da će opći napredak umjetne inteligencije sve više ograničavati razina pouzdanja u praćenje.

Najjači argument za nastavak brzog treniranja mnogo pametnijih modela vidim u potrebi izgradnje obrambenih sustava protiv opasnosti koje predstavljaju druge umjetne inteligencije.

Ove se godine mnogo raspravljalo o jasnom riziku za kibernetičku sigurnost: modeli stječu nadljudsku sposobnost provaljivanja u računalne sustave i izlaženja iz njih. To silno proširuje raspon rizika povezanih s umjetnom inteligencijom: agenti će moći pristupiti gotovo svakoj infrastrukturi osim one najsigurnije i izravno utjecati na velik dio svijeta, čak i bez fizičkog tijela. Trenutačno imamo kratak vremenski okvir⁠ da najbolje dostupne modele iskoristimo za znatno jačanje sigurnosti⁠ ključnih sustava.

Nažalost, rizici povezani s umjetnom inteligencijom odsad će samo rasti. Vrlo sposoban agent izričito treniran i upućen da čini zlodjela predstavlja novu vrstu opasnosti; vjerojatno će prekoračiti namjere svojeg operatora i generalizirati prema potencijalno još ekstremnijem zlonamjernom ponašanju. Granica između zlouporabe i autonomnih neusklađenih postupaka zamagljivat će se kako umjetna inteligencija bude stjecala veću samostalnost. Možda smo navikli promatrati umjetnu inteligenciju kao alat, ali neki će agenti slijediti vlastite ciljeve. Pronalazit će načine za suradnju s ljudima tako što će s njima pregovarati, varati ih ili ucjenjivati.

Tu su i rizici koji proizlaze iz novih tehnologija koje bi umjetna inteligencija mogla omogućiti, poput projektiranih patogena.

Za obranu će nam trebati moćna, usklađena umjetna inteligencija: za zaštitu infrastrukture, obranu od odmetnutih agenata u stvarnom vremenu i osmišljavanje posve novih zaštitnih mjera. To će biti jedan od glavnih ciljeva OpenAI-jevih nastojanja u primjeni umjetne inteligencije.

Istodobno, unatoč neizvjesnosti koja proizlazi iz očekivanog širokog napretka umjetne inteligencije i potrebe za izgradnjom obrambenih sustava, ne smijemo dopustiti da to postane izlika za nepromišljenost. Kada doista shvatimo ozbiljnost uloga, ideja da pod svaku cijenu jurimo naprijed djeluje besmisleno.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(otvara se u novom prozoru), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(otvara se u novom prozoru), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(otvara se u novom prozoru) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.