Pokrok v nezávislém výzkumu sladění umělé inteligence

Tím, jak se AI systémy stávají schopnějšími a autonomnějšími, musí výzkum souladu držet krok a zároveň rozšiřovat svou diverzitu. Ve společnosti OpenAI výrazně investujeme do průlomového výzkumu souladu a bezpečnosti, protože je to pro naše poslání klíčové. Také věříme, že zajištění bezpečnosti a přínosu obecné umělé inteligence pro všechny nelze dosáhnout pouze prostřednictvím jediné organizace. Chceme proto podporovat nezávislý výzkum a koncepční přístupy, které lze realizovat i mimo špičkové laboratoře. Jsme přesvědčeni, že budoucnost AI se nevyvine přesně tak, jak někdo předpovídá, a že na utváření výsledku by mělo mít vliv mnohem více lidí.

Dnes oznamujeme grant ve výši 7,5 milionu dolarů pro The Alignment Project⁠(otevře se v novém okně), globální fond pro nezávislý výzkum souladu vytvořený britským Institutem pro bezpečnost AI (UK AI Security Institute). Administrativu grantu podporuje Renaissance Philanthropy. Díky tomuto příspěvku se z The Alignment Project stává jedna z největších dosavadních specializovaných finančních iniciativ na podporu nezávislého výzkumu souladu, která také posiluje širší, nezávislý ekosystém.

Průkopnické laboratoře, jako je OpenAI, mají jedinečné postavení k tomu, aby se věnovaly výzkumu souladu, který závisí na přístupu k frontier modelům a významnému výpočetnímu výkonu. Tedy na práci, jejíž výzkum je pro nezávislé výzkumníky často složitý. Velkou část našeho interního úsilí o soulad věnujeme vývoji škálovatelných metod tak, aby pokrok ve sladění držel krok s pokrokem ve schopnostech. Věříme v iterativní nasazování, tedy postupné zvyšování schopností při současném posilování ochranných opatření. To pomáhá včas odhalovat problémy a poskytuje nám konkrétní důkazy toho, co v praxi funguje, a že odpovědný vývoj vyžaduje významnou práci na sladění a bezpečnosti, která je úzce integrována s tvorbou a nasazováním modelu.

Zároveň tento obor těží z trvalých investic do nezávislých, průzkumných výzkumů, které mohou rozšířit prostor pro nové myšlenky a odhalit nové směry. Nezávislý výzkum zůstává nezbytný; v mnoha druzích užitečného bádání nemají laboratoře komparativní výhodu. Zdravý ekosystém souladu závisí na nezávislých týmech, které testují různorodé předpoklady, vyvíjejí alternativní rámce a zkoumají konceptuální, teoretické a vizionářské nápady, které se nemusí úhledně shodovat s plánem žádné jediné organizace.

A protože pokrok směrem k obecné umělé inteligenci (AGI) může nakonec záviset na zásadních průlomech, které změní podobu problému sladění a určí, které přístupy jsou nejužitečnější, je důležité podporovat výzkum, který by měl význam i v případě, že se ukáže, že dnešní dominantní metody se neškálují dle očekávání. V těchto prostředích je obzvláště důležité mít silný externí ekosystém, který provádí základní, koncepční a nesouvisející práci. Problém sladění a bezpečnosti umělé inteligence má bezprecedentní význam a potřebujeme zapojení všech, protože zatím nevíme, které přístupy se s dalším rozvojem schopností ukážou jako nejodolnější.

Náš grant, přibližně 5,6 milionu £ při současných směnných kurzech, bude spolufinancovat projekt The Alignment Project⁠(otevře se v novém okně) spolu s dalšími veřejnými, filantropickými a průmyslovými podporovateli. Celkový fond přesahuje 27 milionů liber a je určen k podpoře širokého portfolia výzkumných projektů v oblasti sladění po celém světě. Tyto projekty zahrnují témata od teorie výpočetní složitosti, ekonomické teorie a teorie her, kognitivní vědy až po teorii informací a kryptografii. Jednotlivé projekty jsou obvykle financovány částkou od 50 000 £ do 1 000 000 £ a mohou také získat volitelný přístup k výpočetním zdrojům a odborné podpoře.

Naše financování nevytváří nový program ani výběrový proces, ani neovlivňuje stávající proces; zvyšuje počet již prověřených, vysoce kvalitních projektů⁠(otevře se v novém okně), které mohou být financovány v aktuálním kole.

Britský institut AISI má dobrou pozici k tomu, aby v tomto měřítku a rozsahu přímo řídil financování harmonizace. Představuje zavedenou mezioborovou koalici zahrnující státní správu, akademickou sféru, filantropii a průmysl, spolu s již běžícím grantovým procesem a velkým souborem návrhů, které prošly odborným posouzením. Jako výzkumná organizace britské vlády v rámci Ministerstva pro vědu, inovace a technologie (DSIT) má také mandát zaměřený na závažná rizika umělé inteligence a má zkušenosti s realizací programů financování výzkumu.

Protože se budoucnost AI nebude vyvíjet přesně tak, jak někdo předpovídá (a může postupovat velmi rychle), věříme, že demokratizace, „odolnost AI“ a iterativní nasazení jsou nezbytné. Zatímco ve společnosti OpenAI nadále rozvíjíme náš výzkum průkopnického souladu a bezpečnosti, pokrok bude těžit z robustního, rozmanitého a nezávislého ekosystému, který bude se zlepšujícími se schopnostmi prosazovat doplňující se přístupy. Tento grant je jedním krokem k dosažení tohoto cíle. S tím, jak se bude obor rozvíjet, tak se těšíme na pokračující spolupráci s širší výzkumnou komunitou.