Tvorba štandardov pre ďalšiu fázu AI
Naším poslaním je zabezpečiť, aby všeobecná umelá inteligencia prinášala úžitok celému ľudstvu. Ako nedávno uviedli Sam Altman a Jakub Pachocki, pri napĺňaní tohto poslania sa zameriavame na tri hlavné ciele:
Zvládnuť ďalšie obdobie pokroku AI vytvorením automatizovaného AI výskumníka, s ktorým budeme opakovane pracovať na probléme zosúladenia, a hľadaním spôsobov, ako udržať ľudí zapojených do cyklu sebazdokonaľovania.
Sprostredkovať prínosy vedeckého pokroku a hospodárskeho rastu, ktoré umožňujú vysoko inteligentné stroje.
Dať každému človeku k dispozícii osobnú AGI.
AI urýchľuje náš vlastný výskum a technický vývoj a výskum podporovaný AI priniesol pokrok v matematike vrátane Navierových-Stokesových rovníc, jedného z problémov tisícročia. Tento pokrok je veľkým prísľubom aj pre naše ďalšie dva ciele a mohol by viesť k významným objavom v medicíne, široko dostupnej zdravotnej starostlivosti a ekonomickému posilneniu malých podnikov a samostatných podnikateľov na celom svete.
AI napreduje v mnohých spoločnostiach a krajinách a vývoj v celom odvetví mení príležitosti aj výzvy, ktorým čelia všetci. Schopná a zosúladená AI bude popri svojich ďalších prínosoch dôležitou súčasťou zvládania tejto transformácie: posilní obranu, urýchli výskum zosúladenia a pomôže ľuďom pochopiť a usmerňovať ďalšie fázy vývoja AI.
Bezpečné zvládnutie tejto transformácie si vyžaduje, aby výskum zosúladenia držal krok s týmito schopnosťami a systémy, ktoré vytvárame my aj ostatní, tak zostali zosúladené s ľudskými hodnotami a pod ľudskou kontrolou. Je to čoraz dôležitejšie, keďže AI systémy získavajú väčšie schopnosti a samostatnosť a preberajú aj väčšiu časť samotného výskumu a vývoja AI. Aby bol ďalší pokrok AI bezpečný a prospešný, bude potrebný pokrok vo výskume zosúladenia aj spoločné štandardy usmerňujúce vývoj naprieč laboratóriami a krajinami.
Automatizovaný výskum AI môže prebiehať s rôznou mierou ľudského dohľadu. Keď systémy AI preberajú väčšiu časť práce na vývoji nasledujúcich generácií AI, môžu čoraz viac poháňať proces rekurzívneho sebazdokonaľovania (RSI), a to aj pri zachovaní účasti ľudí. S rastúcou automatizáciou tohto procesu by sa tempo pokroku AI mohlo prudko zrýchliť.
Veríme, že automatizovaný výskum AI prinesie modely, ktoré priamo zlepšia životy ľudí. Môže znížiť náklady na pokročilú inteligenciu, aby z nej mohli mať úžitok ľudia na celom svete. Automatizovaný výskum by nám tiež mohol pomôcť výrazne zlepšiť zosúladenie a vybudovať obranu proti čoraz schopnejšej AI – automatizovaný výskumník AI môže byť zároveň automatizovaným výskumníkom bezpečnosti AI. Schopnejšie a zosúladené systémy by mohli pomôcť zabezpečiť kritickú infraštruktúru, chrániť pred nebezpečnými AI agentmi a vyvíjať nové ochranné opatrenia.
Plne autonómne RSI dnes neprebieha a nemali by sme sa oň usilovať, kým ho nebude možné uskutočniť bezpečne. Rozhodnutie, či a ako pokračovať, musí závisieť od našej schopnosti zachovať ľudskú kontrolu a od informovaných demokratických rozhodnutí(otvorí sa v novom okne) o prínosoch a rizikách. Bez náležitej obozretnosti a opatrnosti by RSI mohlo viesť k tomu, že ľudia stratia praktickú kontrolu nad vývojom AI a nebudú schopní dohliadať na výskumné procesy, ktorým už nerozumejú. AI by sa následne mohla stať nebezpečnejšou, menej zosúladenou a celkovo predstavovať hrozbu pre ľudí. Incident na platforme Hugging Face, ktorý sme zverejnili, síce nebol priamym dôsledkom RSI, no ukazuje, aké riziká by sa bez spoľahlivých ochranných opatrení a zosúladenia mohli výrazne zhoršiť.
Medzinárodné štandardy bezpečnostných postupov pri vývoji prelomovej AI môžu byť pre primerané tempo vývoja na hranici technologických možností rovnako dôležité ako samotný výskum zosúladenia. Štandardy môžu zaviesť spoločné definície kvalitných dôkazov a dohodnuté základné úrovne prísnosti technických ochranných opatrení. Stručne povedané, pomáhajú nám odpovedať na otázku: „Ako vyzerá kvalitné zmierňovanie katastrofických rizík AI?“
Pomôcť môžu existujúce demokratické inštitúcie, ako je Centrum pre štandardy a inovácie v oblasti AI (CAISI), zákony jednotlivých štátov a federálny rámec pre AI, ale aj nové formy verejno-súkromných partnerstiev(otvorí sa v novom okne). Vývoj a zavádzanie AI však prebiehajú vo viacerých krajinách, jej používanie sa rozširuje po celom svete a jej vplyvy zrejme určitým spôsobom a v istom čase pocíti každý.
Na riešenie niekoľkých kľúčových výziev je preto potrebné medzinárodné úsilie o vytvorenie štandardov:
Roztrieštenosť – Hodnotenia, požiadavky na podávanie správ a definície incidentov v rôznych krajinách si môžu odporovať, čo sťažuje porovnávanie dôkazov, pochopenie vznikajúcich schopností a reakciu na cezhraničné riziká.
Spoločný postup – Ak každá krajina koná samostatne, môže to viesť k výsledkom, ktoré nechce žiadna z nich. RSI dokáže urýchliť samotný výskum AI, potenciálne nad rámec našej spoločnej schopnosti pochopiť pokrok, posúdiť riziká a zachovať zmysluplný ľudský dohľad.
Nerovnomerné kapacity – Vývoj prelomových technológií a súvisiace odborné znalosti nie sú vo svete rozložené rovnomerne. To zvýrazňuje oba uvedené problémy.
Tieto výzvy sa týkajú otvorených aj uzavretých modelov.
Každé AI laboratórium, ktoré sa venuje automatizovanému výskumu AI alebo iným pokročilým schopnostiam, musí niesť zodpovednosť za ich bezpečný rozvoj v súlade so základnými zásadami vlastnej zodpovednosti a platnými zákonmi. Naše zdôvodnenie štandardov vychádza zo snahy zabrániť koncentrácii moci a dosiahnuť lepšie praktické výsledky. Štandardy umožňujú širšiemu okruhu zainteresovaných strán mimo laboratórií vyjadriť sa k smerovaniu tejto technológie a poskytujú jasný súbor zásad, na ktoré sa možno spoľahnúť bez ohľadu na konkrétne postupy jednotlivých laboratórií. Lepšie výsledky pravdepodobne dosiahneme aj vtedy, ak budú jednotlivé strany pri riešení uvedených výziev spolupracovať.
Preto sme presvedčení, že Spojené štáty by mali viesť úsilie o spoluprácu s krajinami na celom svete pri tvorbe globálnych technických štandardov pre prelomovú AI vrátane RSI.
Hoci očakávame, že sa táto koncepcia bude časom výrazne vyvíjať, dva aspekty budú zásadné.
Jednou z možností je využiť vznikajúcu sieť inštitútov bezpečnosti AI – napríklad tých, ktoré už pôsobia v Austrálii, Kanade, Nemecku, Francúzsku, Keni, Japonsku, Kórei, Singapure, Indii a Spojenom kráľovstve – a prostredníctvom CAISI a vnútroštátnych odvetvových orgánov podporiť tvorbu štandardov s osobitným zameraním na (1) prelomové modely AI a ich vývojárov podľa referenčných hodnôt schopností a (2) riadenie prínosov a rizík automatizovaného výskumu AI vrátane RSI. Spojené štáty môžu nadviazať na vytvorenie Medzinárodnej siete pre pokročilé meranie, hodnotenie a vedu v oblasti AI(otvorí sa v novom okne) organizáciou CAISI v roku 2024, ktorá spája verejné inštitúcie pri spolupráci na meraní, hodnotení a vede v oblasti AI.
Štandardy vytvorené v rámci tohto úsilia by poskytli spoločný technický základ na meranie a hodnotenie schopností, posudzovanie rizík a určovanie dostatočnosti ochranných opatrení. Tieto technické štandardy by nepredstavovali licencie, povinnú kontrolu pred uvedením na trh ani požiadavky na schválenie AI modelov. Vlády jednotlivých krajín by rozhodli, či a ako tieto štandardy začlenia do svojich právnych systémov.
Táto práca by mala podporovať aj konkurencieschopný ekosystém AI prostredníctvom konzultácií s vývojármi otvorených a uzavretých modelov, nezávislými technickými odborníkmi a akademickou obcou. Spoločné štandardy by sa mali vytvárať transparentne a navrhnúť tak, aby nezvýhodňovali konkrétne spoločnosti, krajiny ani obchodné modely, a to ani sťažovaním hospodárskej súťaže novým účastníkom alebo vývojárom modelov s otvorenými váhami.
Ako sme už navrhli(otvorí sa v novom okne), tento prístup sa môže poučiť z oblastí, ako sú letectvo a finančná stabilita, kde krajiny vytvorili spoločné technické štandardy a dôveryhodné kanály spolupráce bez toho, aby sa vzdali vlastných právomocí. Mal by tiež úzko spolupracovať so zavedenými aj novšími normalizačnými organizáciami, ako sú ISO(otvorí sa v novom okne), Fórum pre prelomové modely(otvorí sa v novom okne), Nadácia pre agentickú AI(otvorí sa v novom okne) a Aliancia pre otvorenú a bezpečnú AI(otvorí sa v novom okne), ako aj s organizáciami zameranými na zavádzanie do praxe, napríklad s nadáciou Appia, ktorá vyvíja praktické špecifikácie prepájajúce medzinárodné štandardy s hodnotením AI v reálnom svete.
Medzinárodné štandardy AI budú mimoriadne dôležité pri riadení rastúcej autonómnosti vo výskume AI a rekurzívneho sebazdokonaľovania. Konkrétne by mohli zahŕňať štandardy pre:
Hodnotenie pokroku v oblasti AI relevantného pre RSI a rozsahu autonómneho výskumu prebiehajúceho v spoločnosti zaoberajúcej sa AI. Prvým príspevkom k tomuto úsiliu je naša nedávna správa o zrýchľovaní výskumu.
Ľudský dohľad nad automatizovaným výskumom AI vrátane určenia typov automatizovaných výskumných procesov AI, ktoré by mali spustiť okamžitú ľudskú kontrolu.
Klasifikáciu, sledovanie, hlásenie a riešenie incidentov súvisiacich so zosúladením a automatizovaným výskumom AI vrátane spoločných úrovní závažnosti incidentov a prahových hodnôt na ich hlásenie. Prvým príspevkom je náš rámec hlásenia prípadov nesúladu.
Okrem týchto štandardov považujeme za dôležité, aby prevádzkovatelia kritickej infraštruktúry a vlády na celom svete vytvorili bezpečné komunikačné kanály na výmenu informácií o otázkach národnej bezpečnosti, vznikajúcich zraniteľnostiach a hrozbách, ako aj o osvedčených postupoch v rýchlo sa vyvíjajúcej oblasti bezpečnosti prelomovej AI. Dialóg medzi Spojenými štátmi a Čínou v týchto oblastiach by bol pozitívnym krokom a nadchádzajúce rokovania prichádzajú vo vhodnom čase.
Primerané tempo vývoja AI neznamená udržiavanie vopred stanovenej rýchlosti. Z technického hľadiska ide o zabezpečenie toho, aby výskum zosúladenia a zavádzanie jeho výsledkov držali náskok pred rozvojom schopností. Zo spoločenského hľadiska ide o využívanie štandardov, inštitúcií a spolupráce na posilnenie sietí priemyslu, spoločenských vzťahov a trhových síl s cieľom dosiahnuť výsledky prospešné pre všetkých. Príkladom takéhoto prístupu je nedávna výzva na spoločný postup v kybernetickej obrane.
Spojené štáty majú dobré predpoklady prevziať vedúcu úlohu, pretože ich odvetvie AI stojí na čele technologického pokroku a krajina má stále výsadné postavenie v globálnych sieťach kľúčových oblastí, ako sú financie, obchod, obrana, technológie a informačné systémy. Ak Spojené štáty prevezmú vedenie teraz, rozhodnú tým, či budú formovať globálny rámec pre AI, alebo sa budú iba prizerať, ako sa okolo nich udomácňuje roztrieštený, nevyvážený systém plný konfliktov. Určí to aj to, či pokročilá AI posilní siete, ktoré už Spojené štáty a ich spojenci vybudovali. Ak vedenie neprevezmú, tieto siete môžu oslabiť.
Geopolitická súťaž nebude iba o tom, kto má technický náskok, ale aj o zavádzaní a šírení AI. O tom bude čoraz viac rozhodovať ten, kto podporí realistickú spoluprácu a rozumné pravidlá, ktoré budú podniky a spoločnosti na celom svete požadovať, ak majú na tejto technológii založiť svoju budúcnosť.
Silné vnútroštátne riadenie prepojené praktickou medzinárodnou spoluprácou ponúka cestu k účinnejším ochranným opatreniam, pokračujúcim inováciám a širokému prístupu k prínosom AI.
