Unapređenje nezavisnih istraživanja o usklađivanju UI-a

Kako UI sistemi postaju sve sposobniji i autonomniji, istraživanje usklađenosti mora pratiti tempo i povećavati raznolikost. U OpenAI-u, značajno ulažemo u istraživanja usklađenosti i sigurnosti na granici razvoja jer je to ključno za našu misiju. Također vjerujemo da osiguranje sigurnosti i koristi AGI-ja za sve ne može postići nijedna pojedinačna organizacija, te želimo podržati nezavisna istraživanja i konceptualne pristupe koji se mogu provoditi izvan graničnih laboratorija. Vjerujemo da se budućnost umjetne inteligencije neće odvijati tačno onako kako bilo ko predviđa i da bi mnogo više ljudi trebalo imati udjela u oblikovanju ishoda.

Danas objavljujemo grant od 7,5 miliona USD za The Alignment Project⁠(otvara se u novom prozoru), globalni fond za nezavisna istraživanja usklađenosti koji je osnovao UK AI Security Institute (UK AISI). Renaissance Philanthropy podržava upravljanje grantom. Ovaj doprinos pomaže da The Alignment Project postane jedan od najvećih namjenskih napora za finansiranje nezavisnog istraživanja usklađenosti do danas i jača širi, nezavisni ekosistem.

Granični laboratoriji poput OpenAI-a nalaze se u jedinstvenoj poziciji da se bave istraživanjem usklađenosti koje zavisi od pristupa graničnim modelima i značajnim računalnim resursima—radom koji je nezavisnim istraživačima često teško istražiti. Veliki dio naših internih napora na usklađivanju posvećujemo razvoju skalabilnih metoda kako bi napredak u usklađivanju išao u korak s napretkom sposobnosti. Vjerujemo da iterativna implementacija—postepeno povećavanje sposobnosti uz istovremeno jačanje zaštitnih mjera—pomaže da se problemi rano uoče i daje nam konkretne dokaze o tome šta funkcioniše u praksi, te da odgovoran razvoj zahtijeva značajan rad na usklađivanju i sigurnosti koji je usko integrisan s izgradnjom i implementacijom modela.

Paralelno sa tim, oblast ima koristi od kontinuiranog ulaganja u nezavisna, istraživačka istraživanja—što može proširiti prostor ideja i otkriti nove smjerove. Nezavisno istraživanje ostaje ključno; u mnogim vrstama korisnih istraživanja laboratoriji ne zadržavaju komparativnu prednost. Zdrav ekosistem usklađivanja zavisi od nezavisnih timova koji testiraju raznovrsne pretpostavke, razvijaju alternativne okvire i istražuju konceptualne, teorijske i ideje 'plavog neba' koje se možda ne uklapaju uredno u plan rada bilo koje organizacije.

I budući da napredak ka AGI-ju može u konačnici zavisiti od fundamentalnih proboja koji mijenjaju oblik problema usklađivanja i koji su pristupi najkorisniji, važno je podržati istraživanja koja bi bila značajna čak i ako se ispostavi da današnje dominantne metode ne skaliraju na način na koji očekujemo. U tim svjetovima, posebno je važno imati snažan vanjski ekosistem koji obavlja temeljni, konceptualni i nekorelirani rad. Problem usklađenosti i sigurnosti AI-ja je od neviđene važnosti, i potrebni su nam svi na raspolaganju jer još ne znamo koji će se pristupi pokazati najtrajnijima dok sposobnosti nastavljaju napredovati.

Naš grant—približno 5,6 miliona GBP po trenutnim kursnim stopama—će sufinansirati The Alignment Project⁠(otvara se u novom prozoru) zajedno sa drugim javnim, filantropskim i industrijskim podržavaocima. Ukupni fond premašuje 27 miliona GBP i osmišljen je da podrži širok portfelj istraživačkih projekata usklađivanja širom svijeta, obuhvatajući teme raznolike kao što su teorija računarske složenosti, ekonomska teorija i teorija igara, kognitivna nauka te teorija informacija i kriptografija. Pojedinačni projekti se obično finansiraju u iznosu od 50.000 GBP do 1 milion GBP, a mogu također dobiti opcionalni pristup računalnim resursima i stručnu podršku.

Naše finansiranje ne stvara novi program niti proces odabira, niti utiče na postojeći proces; ono povećava broj već provjerenih, visokokvalitetnih projekata⁠(otvara se u novom prozoru) koji se mogu finansirati u trenutnoj rundi.

UK AISI je dobro pozicioniran da usmjeri sredstva za usklađivanje u ovom obimu i rasponu. Donosi uspostavljenu međusektorsku koaliciju koja obuhvata vladu, akademsku zajednicu, filantropiju i industriju, zajedno s procesom dodjele grantova koji je već u toku i velikim brojem prijedloga koji su prošli stručnu recenziju. Kao istraživačka organizacija vlade Ujedinjenog Kraljevstva unutar Odjela za nauku, inovacije i tehnologiju (DSIT), također ima mandat usmjeren na ozbiljne rizike umjetne inteligencije i iskustvo u vođenju programa finansiranja istraživanja.

Budući da se budućnost uI-ja neće odvijati tačno onako kako iko predviđa—i može napredovati vrlo brzo—vjerujemo da su demokratizacija, „otpornost AI-ja“ i iterativno raspoređivanje ključni. Dok nastavljamo unapređivati naša istraživanja usklađenosti i sigurnosti na granici u OpenAI, napredak će imati koristi od robusnog, raznolikog, nezavisnog ekosistema koji slijedi komplementarne pristupe kako se sposobnosti razvijaju. Ova donacija je jedan korak ka tom cilju. Radujemo se nastavku saradnje sa širom istraživačkom zajednicom dok se oblast razvija.