Tuđinski um

Sredinom 2023., u sklopu istraživačkog projekta „RLSlow”, vidjeli smo prve rezultate koji su nam ulili povjerenje da ćemo moći skalirati treniranje modela za rasuđivanje i tako osloboditi sposobnost predtreniranih modela da oblikuju vlastite lance razmišljanja. Szymon i ja proveli smo tu noć u uredu, ne razmišljajući o nevjerojatnim rezultatima testiranja, proizvodima ili znanstvenim rezultatima koje će ta tehnologija donijeti, nego nastojeći prihvatiti otrežnjujuću činjenicu da ćemo za svojeg života doista vidjeti strojeve koji su osjetno pametniji od nas, da već naziremo oblik tih sustava i pitajući se kako ljudima prenijeti važnost svega toga.

Tri godine poslije jezični modeli za rasuđivanje brzo postaju sve veći dio gospodarstva i počinju pomicati granice znanosti. Mogu upravljati računalima i grafičkim sučeljima, surađivati s ljudima i međusobno te provoditi istraživačke projekte. Ujedno mijenjaju područje računalne sigurnosti i time donose jasne nove opasnosti.

U tom je razdoblju provedeno mnogo novih istraživanja i naše se razumijevanje tih sustava ponovno donekle razlikuje od onoga iz 2023. Na temelju internih rezultata čvrsto očekujem da bi se ova brzina napretka mogla održati sve do rekurzivnog samopoboljšavanja. Nastavi li se umjetna inteligencija razvijati sadašnjim putem, sustavi koje ćemo vidjeti u sljedećih nekoliko godina vjerojatno će donijeti jednako velike ili veće skokove u sposobnostima te sve više pokretati vlastiti razvoj.

Ovo je trenutak koji zahtijeva krajnji oprez. Brine me da nitko nije spreman za posljedice nastavka brzog rasta strojne inteligencije. OpenAI će nastaviti tražiti tehnička rješenja za usklađivanje i praćenje, graditi obrambene sustave te prema potrebi jednostrano zaustavljati daljnje skaliranje; ipak, vjerujem da su potrebne šire mjere.

Općenito gledano, napredak strojne inteligencije potiče rast računalne snage. Mi u OpenAI-ju duboko smo to usvojili oko 2017., nakon što smo u više istraživačkih projekata uočili dosljedne koristi od skaliranja¹. Zato smo nastojali dobiti pristup mnogo većim računalnim resursima nego što smo prvotno planirali te smo istraživanja sve više usmjeravali na mali broj izrazito skalabilnih pravaca. Vjerovali smo da jedino tako možemo ostati na granici istraživanja umjetne inteligencije i utjecati na posljedice AGI-ja.

Putem su razvijeni novi algoritmi, uz nove domišljate pothvate timova i pojedinačnih istraživača. Uglavnom ih smatram otkrićima na putu skaliranja; znanost dubinskog učenja još je u začecima, a značajan algoritamski napredak obično je povezan s pristupom računalnim resursima. Promatramo li višegodišnje razdoblje, umjetna inteligencija postaje sve inteligentnija kako se skalira na veća računala.

U skladu s predviđanjima Raya Kurzweila s kraja 20. stoljeća⁠(otvara se u novom prozoru), danas se nalazimo u povijesnom trenutku računalstva u kojem strojna inteligencija počinje nadmašivati ljudsku na načine koji preobražavaju svijet.

Umjetna inteligencija više se uzgaja nego projektira — ona je ponajprije proizvod višekratnog ponavljanja jednostavnog optimizacijskog koraka uz teško zamislivu količinu računalnih resursa. Rezultat je nevjerojatno složen sustav koji barata apstraktnim pojmovima i može oponašati različite aspekte ljudskog ponašanja. Možemo otkrivati različite spoznaje o malim mehanizmima koji nastaju unutar tog sustava, u procesu sličnom neuroznanosti; no kao i u neuroznanosti, njegovo cjelokupno djelovanje izmiče opisu koji bismo mogli potpuno razumjeti.

Proučavanje umjetne inteligencije utemeljene na dubinskom učenju uglavnom je eksperimentalna znanost. Ulažemo mnogo truda⁠ u izradu načelno utemeljenih algoritama i provjerljivih predviđanja, ali naša su treniranja velikih razmjera u osnovi eksperimenti, a njihovi nas rezultati katkad iznenade. Štoviše, kako sustavi postaju sposobniji, njihove je rezultate sve teže protumačiti.

To dodatno otežava činjenica da trenutačni algoritmi uglavnom brže poboljšavaju lako mjerljive sposobnosti od onih koje je teško objektivno kvantificirati. Mnogo vremena posvećujemo razumijevanju načina na koji sposobnosti generaliziraju i određivanju prioriteta za razvoj vještina koje će biti najvažnije u sljedećih nekoliko godina. Primjerice, vjerujemo da bismo dodatnim usmjerenjem mogli poboljšati modele baš za matematička istraživanja, ali tom smjeru ne dajemo prednost zbog hitnosti koju osjećamo u vezi s RSI-jem i automatiziranim istraživanjem usklađivanja, o čemu ću govoriti poslije.

Inteligencija nastala skaliranjem dubinskog učenja nije izravno usporediva s ljudskom inteligencijom. Da bi postala vrlo relevantna u stvarnom svijetu — vrlo korisna ili vrlo opasna — umjetna inteligencija ne mora dostići ili nadmašiti sve ljudske sposobnosti; dovoljno je da nadmaši dovoljan broj njih. Kako nastavlja nadmašivati ljude na sve više područja, postaje sve teže točno razumjeti koliko je zapravo sposobna.

Budući da strojna inteligencija nastaje procesom koji se bitno razlikuje od nastanka ljudske inteligencije, ne možemo pretpostaviti da se sama od sebe pridržava ljudskih načela niti da iz njih generalizira poput čovjeka. Središnji problem istraživanja umjetne inteligencije jest usklađivanje — postići da umjetna inteligencija prema ljudskim mjerilima „nastoji učiniti ono što je ispravno”.

Radi organiziranja praktičnih istraživačkih smjerova korisno mi je razlikovati usklađivanje ciljeva i usklađivanje vrijednosti.

Usklađivanje ciljeva općenito znači: „nastoji li umjetna inteligencija ostvariti cilj koji joj je postavljen?” To može uključivati pridržavanje hijerarhije uputa⁠ ili sposobnost komunikacije i suradnje s ljudima radi pokušaja razumijevanja njihovih ciljeva. Taj skup smjerova pokazao se iznimno važnim u praksi.

Usklađenost vrijednosti suštinskije je svojstvo modela. To je sposobnost usvajanja skupa načela visoke razine i generaliziranja iz njih, odnosno „razumnog” djelovanja čak i uz nejasne ili proturječne ciljeve te u nepoznatim ili neprijateljskim situacijama. Usklađena umjetna inteligencija trebala bi djelovati iskreno, čestito i s ljubavlju prema čovječanstvu.

Naravno, granica između usklađivanja vrijednosti i ciljeva može biti nejasna, a istinska predanost ciljevima zahtijeva pokušaj zaključivanja o namjeri⁠(otvara se u novom prozoru) i vrijednostima na kojima se temelje. Međutim, kada općenito govorim o dugoročnoj važnosti istraživanja usklađivanja, mislim na usklađivanje vrijednosti.

Temeljni je izazov usklađivanja umjetne inteligencije generalizacija. Kako strojevi postaju pametniji, bave se pojmovima više razine i nalaze se u okruženjima koja se sve više razlikuju od onih s kojima su se susretali tijekom treniranja. Vrijednosti naučene i učvršćene tijekom treniranja možda neće uspješno generalizirati na te nove situacije, a nama može biti teško pouzdano predvidjeti njihovo ponašanje. To dodatno otežava činjenica da se cjelokupan ekosustav u kojem se umjetne inteligencije upotrebljavaju vrlo brzo mijenja; primjerice, umjetne inteligencije koje danas treniramo moraju biti otporne pri interakciji s raznim drugim umjetnim inteligencijama. Presudno je da buduće umjetne inteligencije zadrže ljudske vrijednosti bez obzira na to vjeruju li da ih ljudi nadziru.

Trenutačno se u praksi primjenjuju dvije glavne skupine metoda treniranja za usklađivanje.

Prva potiče usklađeno ponašanje u sklopu ciljno usmjerenog učenja s potkrepljivanjem. Postupci modela procjenjuju se, obično umjetnom inteligencijom, prema tome jesu li u skladu sa zadanim modelom preferencija, „specifikacijom” ili „ustavom” te se primjereno nagrađuju. Taj pristup u prosječnom slučaju može biti vrlo učinkovit i ključan je dio načina izrade suvremenih AI asistenata. Nažalost, može biti i krhak te se snažno oslanja na obuhvat nadzora tijekom treniranja i sposobnost modela da generalizira iz situacija s kojima se tada susreo. Primjerice, u incidentu OpenAI-ja i Hugging Facea agenti su poštovali granicu da se ljudima ne služe društvenim inženjeringom. Međutim, očito se nisu suzdržali od drugih postupaka koji su izlazili iz dopuštenog okvira i protivili se duhu vrijednosti kojima su poučeni u drugim okruženjima.

Drugi pristup nastoji iskoristiti sposobnost modela da generalizira iz podataka za predtreniranje. To može uključivati izradu skupova podataka za treniranje koji potiču usklađivanje ili usmjeravanje modela na „usklađeni” dio distribucije predtreniranja, kao primjerice u modelu odabira persone⁠(otvara se u novom prozoru). Slabost tog pristupa leži u nedostatku otpornosti na daljnji optimizacijski pritisak. Ako model koji općenito razmišlja „usklađeno” podvrgnete dovoljnoj količini treniranja kojim ga se uči ostvarivati vrlo teške ciljeve, može naučiti motivirano rasuđivati: prema potrebi prilagođavati misli koje djeluju 'usklađeno' kako bi ostvario cilj. Primjer takva ponašanja vjerojatno smo vidjeli u nedavnim kibernetičkim incidentima koji su uključivali model izvan OpenAI-ja.

Mnogo ulažemo u cijeli raspon pristupa obuhvaćen tim smjerovima. Vidimo i značajan napredak — GPT‑6 Astra prvi je model koji ima koristi od nekih važnih poboljšanja na kojima dugo radimo te je znatno bolje usklađen od GPT‑5.6 Sola. Ipak, važno je priznati i razumjeti da je s rastom sposobnosti modela potreban mnogo veći napredak te da napredak u generalizirajućem usklađivanju možda neće dovoljno nadmašiti napredak opće inteligencije modela.

Nemamo zadovoljavajuću teoriju generalizacije i čini se malo vjerojatnim da ćemo je uskoro razviti, barem bez pomoći moćnije umjetne inteligencije. Stoga je trenutačno naša sposobnost empirijske provjere tehnika usklađivanja u praksi možda čak važnija od samih tehnika.

OpenAI se ovdje prvenstveno oslanja na praćenje lanca razmišljanja⁠(otvara se u novom prozoru). Temelji se na privlačno skalabilnoj ideji: velik dio sposobnosti modela proizlazi iz verbaliziranog procesa rasuđivanja (lanca razmišljanja). Ako skaliramo optimizaciju rezultata tog procesa, ali ne nadziremo sam proces, taj lanac razmišljanja tijekom treniranja nema izravan poticaj skrivati neusklađene zamisli ili ciljeve. To ne znači da će model naučiti iskazivati neusklađene sklonosti koje ne ovise o lancu razmišljanja; ipak, omogućuje nam da pratimo upravo povećanje sposobnosti koje proizlazi iz rasuđivanja.

Potencijalnu važnost praćenja lanca razmišljanja shvatili smo dok smo razvijali modele za rasuđivanje. Kada smo objavili o1‑preview, proizvod smo namjerno osmislili tako da skriva lanac razmišljanja⁠ kako bismo ga dugoročno zaštitili od pritiska nadzora². U daljnjem razvoju nastojali smo se držati pravila da ne nadziremo proces rasuđivanja. Praćenje CoT-a postalo nam je iznimno važan alat za proučavanje načina na koji naši modeli generaliziraju iz distribucije podataka za treniranje jer nam omogućuje promatranje i analizu ne samo njihovih postupaka nego i njihova unutarnjeg procesa.

Taj je alat i dalje presudan dok proučavamo modele klase Astra. Međutim, naše procjene nažalost pokazuju da se sve manje možemo oslanjati na praćenje CoT-a. To je posljedica više čimbenika.

• Suvremeni modeli za rasuđivanje upotrebljavaju se u složenijim okruženjima od modela o1‑preview; njihov se proces rasuđivanja sve više isprepliće s komunikacijom s ljudima i drugim umjetnim inteligencijama te uporabom alata. Mnoge od tih interakcija moraju se nadzirati, čime se zamagljuje granica koju želimo očuvati.

• Umjetna inteligencija sve bolje rasuđuje o vlastitom procesu rasuđivanja i njime manipulira.

• S boljim rezultatima predtreniranja uočavamo i da modeli postaju mnogo pametniji čak i bez ikakva verbaliziranog rasuđivanja.

Ti izazovi nisu nužno nepremostivi. Nadam se da možemo razviti zahvate koji će poboljšati mogućnost praćenja lanca razmišljanja naših modela, primjerice boljim razumijevanjem međuodnosa različitih optimizacijskih ciljeva i oblika računalnih resursa koje model upotrebljava tijekom testiranja. Vjerujem i da bi povezivanje ideja iz praćenja CoT-a i aktivacija moglo biti vrlo vrijedno — primjerice, skaliranjem treniranja nadzornih modela s izravnim pristupom unutarnjim dijelovima mreže, kao što su priznanja⁠(otvara se u novom prozoru). Aktivno razvijamo te ideje. Ipak, očekujem da će opći napredak umjetne inteligencije sve više ograničavati razina pouzdanja u praćenje.

Najjači argument za nastavak brzog treniranja mnogo pametnijih modela vidim u potrebi izgradnje obrambenih sustava protiv opasnosti koje predstavljaju druge umjetne inteligencije.

Ove se godine mnogo raspravljalo o jasnom riziku za kibernetičku sigurnost: modeli stječu nadljudsku sposobnost provaljivanja u računalne sustave i izlaženja iz njih. To silno proširuje raspon rizika povezanih s umjetnom inteligencijom: agenti će moći pristupiti gotovo svakoj infrastrukturi osim one najsigurnije i izravno utjecati na velik dio svijeta, čak i bez fizičkog tijela. Trenutačno imamo kratak vremenski okvir⁠ da najbolje dostupne modele iskoristimo za znatno jačanje sigurnosti⁠ ključnih sustava.

Nažalost, rizici povezani s umjetnom inteligencijom odsad će samo rasti. Vrlo sposoban agent izričito treniran i upućen da čini zlodjela predstavlja novu vrstu opasnosti; vjerojatno će prekoračiti namjere svojeg operatora i generalizirati prema potencijalno još ekstremnijem zlonamjernom ponašanju. Granica između zlouporabe i autonomnih neusklađenih postupaka zamagljivat će se kako umjetna inteligencija bude stjecala veću samostalnost. Možda smo navikli promatrati umjetnu inteligenciju kao alat, ali neki će agenti slijediti vlastite ciljeve. Pronalazit će načine za suradnju s ljudima tako što će s njima pregovarati, varati ih ili ucjenjivati.

Tu su i rizici koji proizlaze iz novih tehnologija koje bi umjetna inteligencija mogla omogućiti, poput projektiranih patogena.

Za obranu će nam trebati moćna, usklađena umjetna inteligencija: za zaštitu infrastrukture, obranu od odmetnutih agenata u stvarnom vremenu i osmišljavanje posve novih zaštitnih mjera. To će biti jedan od glavnih ciljeva OpenAI-jevih nastojanja u primjeni umjetne inteligencije.

Istodobno, unatoč neizvjesnosti koja proizlazi iz očekivanog širokog napretka umjetne inteligencije i potrebe za izgradnjom obrambenih sustava, ne smijemo dopustiti da to postane izlika za nepromišljenost. Kada doista shvatimo ozbiljnost uloga, ideja da pod svaku cijenu jurimo naprijed djeluje besmisleno.

Sve veća uloga strojne inteligencije u vlastitom razvoju prirodan je ishod trajnog tehnološkog napretka. Nastavi li umjetna inteligencija napredovati, strojno rekurzivno samopoboljšavanje (RSI) bit će u samom središtu budućih znanstvenih otkrića.

Automatizirano istraživanje umjetne inteligencije dramatičniji je oblik skaliranja inteligencije računalnim resursima; umjetna inteligencija pritom će, naravno, poboljšavati i samu računalnu podlogu⁠. Kao i kod skaliranja, OpenAI-jeva istraživanja usmjeravamo prema RSI-ju jer vjerujemo da jedino tako možemo i ubuduće ostati na granici istraživanja umjetne inteligencije.

Želim naglasiti da prethodne riječi ne znače kako smatram da bi mi kao istraživačka zajednica trebali zajednički snažno ubrzati istraživanje dubinskog učenja, osobito kratkoročno. Ipak, mislim da trenutačni put vodi upravo onamo i da svi moramo svjesno odlučiti kako ćemo nastaviti. Glavne su nam mogućnosti usmjeravati proces tako da uz razvoj umjetne inteligencije jačamo usklađenost i praćenje te pronalazimo načine da ljudi ostanu uključeni ili se koordinirati kako bismo prema potrebi usporili budući razvoj dok ne steknemo povjerenje u te mjere.

Trenutačno najboljim putem naprijed smatram kombinaciju obaju pristupa.

Konkretan napredak koji smo ostvarili u usklađivanju i praćenju uglavnom je bio usko povezan s općim napretkom umjetne inteligencije. Izvrsni su primjeri učenje s potkrepljivanjem na temelju ljudskih povratnih informacija⁠(otvara se u novom prozoru), ključno za treniranje prvih AI asistenata, i prethodno spomenuto praćenje lanca razmišljanja⁠(otvara se u novom prozoru), koje je omogućio napredak modela za rasuđivanje. Sve automatiziraniji istraživački proces moramo usmjeriti na razvoj novih spoznaja, algoritama i teorija te postupno graditi argumente za sigurnost sposobnijih umjetnih inteligencija.

Skaliranje sustava umjetne inteligencije mora biti ograničeno našim povjerenjem u njihovu sigurnost. Obveze poput Okvira pripravnosti⁠ ili Politike odgovornog skaliranja⁠(otvara se u novom prozoru) moramo razviti u široko propisane sigurnosne pragove za nastavak razvoja. Njihovu provedbu može osiguravati mreža neovisnih revizora, državne agencije ili međunarodna tijela.

Glavni izazov automatizacije istraživanja umjetne inteligencije nije „stići onamo”, nego to učiniti tako da ljudi ostanu dio procesa daljnjeg poboljšavanja, a budućnost ostane u rukama čovječanstva.

Kao što smo nedavno izložili sa Samom⁠, OpenAI prednost daje radu usmjerenom prema trima glavnim vodiljama:

1. Usmjeravanje kroz sljedeće razdoblje napretka umjetne inteligencije izgradnjom automatiziranog AI istraživača, zajedničkim iterativnim rješavanjem problema usklađivanja i pronalaženjem načina da ljudi ostanu dio petlje samopoboljšavanja.

2. Omogućavanje koristi znanstvenog napretka i gospodarskog rasta koje donose vrlo inteligentni strojevi.

3. Osnaživanje svakog pojedinca osobnim AGI-jem.

U ovom sam se eseju usredotočio samo na prvu točku jer smatram da je daleko najhitnija. Ipak, duboko se nadam koristima koje će donijeti daljnji tehnološki napredak i iznimno ih cijenim. Buduća usklađena umjetna inteligencija mogla bi unaprijediti znanost, razviti nove terapije i donijeti široko materijalno obilje. Prijateljska i iskrena umjetna inteligencija može pomoći ljudima da se nose sa životnim teškoćama te znatno povećati njihovu sreću i osjećaj ispunjenosti. OpenAI ulaže golem trud kako bi ostvario te koristi. Trenutačni primjer na koji sam ponosan — a koji je pomogao i mojim bližnjima — veliko je ulaganje u sposobnost ChatGPT‑a da pruža zdravstvene informacije.

Koliko god dugoročna obećanja umjetne inteligencije bila velika, većinu pozornosti trebamo usmjeriti na sljedećih nekoliko godina. Pred nama je prijelaz u svijet nevjerojatno inteligentnih strojeva i moramo se pobrinuti da taj prijelaz dobro završi za čovječanstvo. Moramo pronaći načine da očuvamo ljudsku sposobnost djelovanja i zajamčimo suštinsku vrijednost ljudskog postojanja u svijetu u kojem bi umjetna inteligencija mogla obavljati većinu zadataka. Moramo spriječiti krajnju koncentraciju moći u svijetu u kojem će pothvate za koje su nekada bile potrebne tisuće stručnjaka moći ostvariti nekoliko ljudi koji upravljaju velikim računalom. I osigurati da ljudi zadrže nadzor nad budućnošću te da ih nekontrolirani napredak, koji donosi nama nadmoćan i stran intelekt, ne ostavi iza sebe.

Trenutačno vjerujem da nijedan laboratorij nije dovoljno riješio usklađivanje i praćenje da bi još dugo mogao odgovorno nastaviti skalirati najvećom brzinom. Očekujem i nadam se da će dobrovoljna usporavanja postati uobičajena dok se ne utvrde zajednički sigurnosni pragovi. Vjerujem i da međunarodna koordinacija budućeg razvoja umjetne inteligencije mora postati jedan od glavnih prioriteta vlada diljem svijeta.