Unapređenje nezavisnog istraživanja usklađenosti AI

Kako AI sistemi postaju sposobniji i autonomniji, istraživanje usklađenosti mora i da drži korak i da se širi u raznovrsnosti. U OpenAI-ju snažno ulažemo u granična istraživanja usklađenosti i bezbednosti jer su ključna za našu misiju. Takođe verujemo da se obezbeđivanje da AGI bude bezbedan i koristan za sve ne može postići ni u jednoj jedinoj organizaciji i želimo da podržimo nezavisna istraživanja i konceptualne pristupe koji se mogu razvijati van graničnih laboratorija.

Danas objavljujemo grant od 7,5 miliona dolara za The Alignment Project⁠(отвара се у новом прозору), globalni fond za nezavisno istraživanje usklađenosti koji je osnovao UK AI Security Institute (UK AISI). Renaissance Philanthropy podržava administraciju ovog granta. Ovaj doprinos pomaže da The Alignment Project postane jedan od najvećih namenski usmerenih napora finansiranja nezavisnog istraživanja usklađenosti do sada i jača širi, nezavisni ekosistem.

Granične laboratorije kao što je OpenAI nalaze se u jedinstvenom položaju da sprovode istraživanje usklađenosti koje zavisi od pristupa graničnim modelima i značajnim računarskim resursima — radu koji je nezavisnim istraživačima često teško da istraže. Veliki deo naših internih napora na usklađenosti posvećujemo razvoju skalabilnih metoda kako bi napredak usklađenosti držao korak s napretkom sposobnosti. Verujemo da iterativno uvođenje — postepeno povećavanje sposobnosti uz jačanje zaštitnih mera — pomaže da se problemi rano uoče i daje nam konkretne dokaze o tome šta funkcioniše u praksi, kao i da odgovoran razvoj zahteva značajan rad na usklađenosti i bezbednosti koji je tesno integrisan s izgradnjom i primenom modela.

Paralelno s tim, ovoj oblasti koristi kontinuirano ulaganje u nezavisna, istraživačka istraživanja — koja mogu proširiti prostor ideja i otkriti nove pravce. Nezavisno istraživanje ostaje suštinsko; u mnogim vrstama korisnog istraživanja laboratorije ne zadržavaju komparativnu prednost. Zdrav ekosistem usklađenosti zavisi od nezavisnih timova koji testiraju različite pretpostavke, razvijaju alternativne okvire i istražuju konceptualne, teorijske i ambiciozne ideje koje se možda ne uklapaju uredno u mapu puta bilo koje pojedinačne organizacije.

A pošto napredak ka AGI-ju može na kraju zavisiti od fundamentalnih proboja koji menjaju oblik problema usklađenosti i određuju koji su pristupi najkorisniji, važno je podržati istraživanje koje bi bilo važno čak i ako se ispostavi da današnje dominantne metode ne skaliraju onako kako očekujemo. U takvim svetovima postaje naročito važno imati snažan spoljašnji ekosistem koji radi na temeljnim, konceptualnim i nekoreliranim pristupima. Problem usklađenosti i bezbednosti AI-ja od neviđene je važnosti i svi moraju da se uključe jer još ne znamo koji će se pristupi pokazati najotpornijim dok sposobnosti nastavljaju da napreduju.

Naš grant — približno 5,6 miliona funti po trenutnim kursevima — sufinansiraće The Alignment Project⁠(отвара се у новом прозору) zajedno s drugim javnim, filantropskim i industrijskim finansijerima. Ukupan fond premašuje 27 miliona funti i osmišljen je da podrži širok portfolio projekata istraživanja usklađenosti širom sveta, koji obuhvata teme raznolike kao što su teorija računske složenosti, ekonomska teorija i teorija igara, kognitivna nauka, te teorija informacija i kriptografija. Pojedinačni projekti se obično finansiraju iznosima od 50.000 funti do 1 milion funti, a mogu dobiti i opcioni pristup računarskim resursima i ekspertskoj podršci.

Naše finansiranje ne stvara novi program ni proces odabira, niti utiče na postojeći proces; ono povećava broj već proverenih, visokokvalitetnih projekata⁠(отвара се у новом прозору) koji mogu biti finansirani u aktuelnom krugu.

UK AISI je u dobroj poziciji da usmeri finansiranje usklađenosti u ovom obimu i rasponu. Okuplja uspostavljenu međusektorsku koaliciju koja obuhvata vladu, akademsku zajednicu, filantropiju i industriju, zajedno sa procesom dodele grantova koji je već pokrenut i velikim brojem predloga koji su prošli stručnu evaluaciju. Kao istraživačka organizacija vlade Ujedinjenog Kraljevstva u okviru Department for Science, Innovation and Technology (DSIT), ima i mandat usmeren na ozbiljne rizike AI-ja i iskustvo u vođenju programa finansiranja istraživanja.

Zato što se budućnost AI-ja neće odvijati tačno onako kako bilo ko predviđa — i može napredovati veoma brzo — verujemo da su demokratizacija, „otpornost AI-ja“ i iterativno uvođenje od suštinskog značaja. Dok u OpenAI-ju nastavljamo da unapređujemo naša granična istraživanja usklađenosti i bezbednosti, napredak će imati koristi od snažnog, raznovrsnog, nezavisnog ekosistema koji razvija komplementarne pristupe kako sposobnosti napreduju. Ovaj grant je jedan korak ka tom cilju. Radujemo se nastavku saradnje sa širom istraživačkom zajednicom kako oblast bude napredovala.