Tvorba standardů pro další fázi AI
Naším posláním je zajistit, aby obecná umělá inteligence přinášela prospěch celému lidstvu. Jak nedávno uvedl Sam Altman společně s Jakubem Pachockým, při naplňování tohoto poslání se zaměřujeme na tři hlavní cíle:
Zvládnout další období rozvoje AI vytvořením automatizovaného výzkumníka AI, jeho využitím k opakovanému řešení problému sladění a hledáním způsobů, jak zachovat zapojení lidí do procesu sebezdokonalování.
Zprostředkovat přínosy vědeckého pokroku a hospodářského růstu, které umožní vysoce inteligentní stroje.
Poskytnout každému vlastní osobní AGI.
AI urychluje náš vlastní výzkum a technický vývoj a výzkum využívající AI přinesl pokrok v matematice, mimo jiné u problému Navierových–Stokesových rovnic pro cenu tisíciletí. Tento pokrok je velkým příslibem i pro naše další dva cíle a mohl by vést k významným objevům v medicíně, široce dostupné zdravotní péči a ekonomickému posílení malých podniků a samostatných podnikatelů po celém světě.
AI se rozvíjí v mnoha firmách a zemích a pokrok v celém oboru mění příležitosti i výzvy, kterým všichni čelí. Schopná a sladěná AI bude vedle svých dalších přínosů důležitou součástí zvládnutí této proměny: posílí obranu, urychlí výzkum sladění a pomůže lidem pochopit a usměrňovat další fáze vývoje AI.
Bezpečné zvládnutí této proměny vyžaduje, aby výzkum sladění držel krok s těmito schopnostmi a systémy, které vytváříme my i ostatní, tak zůstaly v souladu s lidskými hodnotami a pod lidskou kontrolou. To nabývá na významu s tím, jak jsou systémy AI schopnější a autonomnější, včetně situací, kdy přebírají větší část samotného výzkumu a vývoje AI. Aby další rozvoj AI zůstal bezpečný a prospěšný, bude nutný jak pokrok ve výzkumu sladění, tak společné standardy, které budou řídit vývoj napříč laboratořemi a zeměmi.
Automatizovaný výzkum AI může probíhat s různou mírou lidského dohledu. S tím, jak systémy AI přebírají větší část práce na vývoji dalších generací AI, mohou stále více pohánět proces rekurzivního sebezdokonalování (RSI), i když se na něm lidé nadále podílejí. S rostoucí automatizací tohoto procesu by se tempo rozvoje AI mohlo prudce zrychlit.
Věříme, že automatizovaný výzkum AI přinese modely, které lidem přímo zlepší život. Může snížit náklady na pokročilou inteligenci, aby z ní mohli těžit lidé na celém světě. Automatizovaný výzkum by nám také mohl pomoci výrazně zlepšit sladění a vybudovat obranu proti stále schopnější AI – automatizovaný výzkumník AI může být zároveň automatizovaným výzkumníkem bezpečnosti AI. Schopnější a sladěné systémy by mohly pomoci zabezpečit kritickou infrastrukturu, bránit se nebezpečným agentům AI a vyvíjet nová ochranná opatření.
Plně autonomní RSI dnes neprobíhá a neměli bychom o něj usilovat, dokud jej nebude možné provádět bezpečně. Rozhodnutí, zda a jak postupovat, musí záviset na naší schopnosti zachovat lidskou kontrolu a na informovaných demokratických rozhodnutích(otevře se v novém okně) o přínosech a rizicích. Pokud by RSI probíhalo bez náležité péče a obezřetnosti, lidé by mohli ztratit faktickou kontrolu nad vývojem AI a nebyli by schopni dohlížet na výzkumné procesy, kterým už nerozumějí. AI by se pak mohla stát nebezpečnější, méně sladěnou a celkově představovat pro lidi hrozbu. Incident na platformě Hugging Face, který jsme zveřejnili, sice nebyl přímým důsledkem RSI, ale ukazuje, jaké druhy rizik by se bez důsledných ochranných opatření a sladění mohly stát mnohem závažnějšími.
Mezinárodní standardy bezpečnostních postupů při vývoji průkopnické AI mohou být pro řízení tempa na technologické špičce stejně důležité jako samotný výzkum sladění. Standardy mohou zavést společné definice vysoce kvalitních důkazů a dohodnuté základní požadavky na důslednost technických ochranných opatření. Stručně řečeno nám pomáhají odpovědět na otázku: „Jak vypadá kvalitní zmírňování katastrofických rizik AI?“
Pomoci mohou stávající demokratické instituce, jako je Centrum pro standardy a inovace v oblasti AI (CAISI), zákony jednotlivých států i federální rámec pro AI, stejně jako nové formy partnerství veřejného a soukromého sektoru(otevře se v novém okně). Vývoj a zavádění AI však probíhají v mnoha zemích, její přijímání je globální a její dopady v určité podobě a době pravděpodobně pocítí každý.
K řešení několika zásadních výzev je proto zapotřebí mezinárodní úsilí o vytvoření standardů:
Roztříštěnost – Hodnocení, požadavky na podávání zpráv a definice incidentů v různých zemích si mohou odporovat, což ztěžuje porovnávání důkazů, pochopení nově vznikajících schopností a reakci na přeshraniční rizika.
Společný postup – Pokud každá země jedná samostatně, může to vést k výsledkům, které nechce žádná z nich. RSI může urychlit samotný výzkum AI, potenciálně až za hranici naší společné schopnosti chápat pokrok, posuzovat rizika a zachovat smysluplný lidský dohled.
Nerovnoměrné kapacity – Vývoj průkopnických technologií a související odborné znalosti nejsou ve světě rozloženy rovnoměrně. To oba výše uvedené problémy prohlubuje.
Tyto výzvy se týkají otevřených i uzavřených modelů.
Je třeba zdůraznit, že každá laboratoř AI, která se věnuje automatizovanému výzkumu AI nebo jiným pokročilým schopnostem, musí převzít odpovědnost za jejich bezpečný rozvoj v souladu se základními principy vlastní odpovědnosti a platnými zákony. Naše podpora standardů vychází ze snahy zabránit koncentraci moci a dosáhnout lepších praktických výsledků. Standardy umožňují většímu počtu zainteresovaných stran mimo laboratoře ovlivnit další vývoj této technologie a nabízejí viditelný soubor zásad, o který se lze opřít bez ohledu na konkrétní postupy jednotlivých laboratoří. Lepších výsledků navíc pravděpodobně dosáhneme, pokud budou zúčastněné strany při řešení výše uvedených výzev spolupracovat.
Proto se domníváme, že by Spojené státy měly vést společné úsilí se zeměmi z celého světa o vytvoření globálních technických standardů pro průkopnickou AI, včetně RSI.
Ačkoli očekáváme, že se tato koncepce bude postupem času výrazně vyvíjet, dva aspekty budou zásadní.
Jednou z možností je využít vznikající síť institutů pro bezpečnost AI – například těch, které již působí v Austrálii, Kanadě, Německu, Francii, Keni, Japonsku, Koreji, Singapuru, Indii a Spojeném království – a prostřednictvím CAISI a národních oborových organizací usnadnit tvorbu standardů se zvláštním zaměřením na (1) průkopnické modely AI a jejich vývojáře, posuzované podle referenčních ukazatelů schopností, a (2) řízení přínosů a rizik automatizovaného výzkumu AI, včetně RSI. Spojené státy mohou navázat na skutečnost, že CAISI v roce 2024 vytvořilo Mezinárodní síť pro měření, hodnocení a vědecký výzkum pokročilé AI(otevře se v novém okně), která sdružuje veřejné instituce ke spolupráci na měření, hodnocení a vědeckém výzkumu AI.
Standardy vytvořené v rámci tohoto úsilí by poskytly společný technický základ pro měření a hodnocení schopností, posuzování rizik a ověřování dostatečnosti ochranných opatření. Tyto technické standardy by nebyly licencemi, povinným přezkumem před uvedením ani požadavky na schválení modelů AI. Vlády jednotlivých států by rozhodovaly, zda a jak tyto standardy začlení do svých právních systémů.
Tato činnost by měla rovněž podpořit konkurenceschopný ekosystém AI prostřednictvím konzultací s vývojáři open modelů a uzavřených modelů, nezávislými technickými odborníky a akademickou sférou. Společné standardy by měly vznikat transparentně a být navrženy tak, aby nezvýhodňovaly konkrétní firmy, země ani obchodní modely, například tím, že by novým účastníkům trhu nebo vývojářům modelů s otevřenými vahami ztěžovaly konkurenci.
Jak jsme již navrhli(otevře se v novém okně), tento přístup se může inspirovat oblastmi, jako jsou letectví a finanční stabilita, kde země vytvořily společné technické standardy a důvěryhodné kanály spolupráce, aniž by se vzdaly vlastní pravomoci. Měl by také úzce spolupracovat se zavedenými i novějšími standardizačními orgány, jako jsou ISO(otevře se v novém okně), Fórum průkopnických modelů(otevře se v novém okně), Nadace pro agentní AI(otevře se v novém okně) a Aliance pro otevřenou a bezpečnou AI(otevře se v novém okně), a také s organizacemi zaměřenými na zavádění do praxe, například s Nadací Appia, která vytváří praktické specifikace propojující mezinárodní standardy s hodnocením AI v reálném světě.
Mezinárodní standardy pro AI budou obzvlášť důležité při řízení rostoucí autonomie ve výzkumu AI a rekurzivního sebezdokonalování. Konkrétně by mohly zahrnovat standardy pro:
Hodnocení pokroku AI relevantního pro RSI a rozsahu autonomního výzkumu probíhajícího v rámci společnosti zabývající se AI. Prvním příspěvkem k tomuto úsilí je naše nedávná zpráva o urychlování výzkumu.
Lidský dohled nad automatizovaným výzkumem AI, včetně určení, jaké druhy automatizovaných výzkumných procesů AI mají vést k okamžitému lidskému přezkumu.
Klasifikaci, sledování, hlášení a řešení incidentů souvisejících se sladěním a automatizovaným výzkumem AI, například společné úrovně závažnosti incidentů a hranice pro povinné hlášení. Prvním příspěvkem je náš rámec pro hlášení nesladěnosti.
Vedle těchto standardů bude podle nás důležité, aby provozovatelé kritické infrastruktury a vlády po celém světě vytvořili bezpečné komunikační kanály ke sdílení obav týkajících se národní bezpečnosti, nově vznikajících zranitelností a hrozeb a osvědčených postupů v rychle se vyvíjející oblasti bezpečnosti průkopnické AI. Dialog mezi Spojenými státy a Čínou v těchto oblastech by byl pozitivním krokem a nadcházející jednání se konají v příhodnou dobu.
Řízení tempa vývoje AI neznamená udržovat předem stanovenou rychlost. Z technického hlediska jde o to, aby výzkum sladění a zavádění jeho výsledků držely náskok před rozvojem schopností. Ze společenského hlediska jde o využití standardů, institucí a spolupráce k posílení sítí v průmyslu, společenských vazeb a tržních sil tak, aby vedly k výsledkům prospěšným pro všechny. Nedávná výzva ke společnému postupu v kybernetické obraně je příkladem druhého přístupu.
Spojené státy mají dobré předpoklady k vedení, protože jejich odvětví AI stojí na technologické špičce a země má stále výsadní postavení v globálních sítích v klíčových oblastech, jako jsou finance, obchod, obrana, technologie a informační systémy. Pokud se Spojené státy ujmou vedení nyní, rozhodnou tím, zda budou utvářet globální rámec pro AI, nebo jen přihlížet, jak se kolem nich prosazuje roztříštěný, nerovnoměrný a konfliktní systém. Rozhodne to také o tom, zda pokročilá AI posílí sítě, které již Spojené státy a jejich spojenci mají. Pokud se vedení neujmou, mohou je oslabit.
Geopolitické soupeření nebude jen o tom, kdo má technický náskok, ale také o přijímání a šíření AI. O tom druhém bude stále více rozhodovat ten, kdo prosadí realistickou spolupráci a rozumná pravidla, která budou firmy i společnosti po celém světě požadovat, mají-li na této technologii založit svou budoucnost.
Důsledná správa na národní úrovni propojená praktickou mezinárodní spoluprací nabízí cestu k účinnějším ochranným opatřením, pokračujícím inovacím a širokému přístupu k přínosům AI.
