Příležitost pro politiku AI je otevřená. Musíme jednat.

Vstoupili jsme do nové kapitoly schopností AI, což vyžaduje také novou kapitolu zásad AI. Žádná společnost, odvětví ani vláda nemůže této výzvě čelit sama. V tuto chvíli musíme reagovat s důrazem na smysluplné jednání spíše než na dokonalost zásad.

Děláme následující:

1. Prosazování povinných národních požadavků na bezpečnost AI. Chceme spolupracovat s Kongresem na povinné národní regulaci bezpečnosti AI založenou na schopnostech.

2. Udržujeme tempo ve státech. Dokud Kongres nepřijme opatření, budeme dál podporovat legislativu jednotlivých států, která posiluje širší ekosystém bezpečnosti AI. Dnes oznamujeme podporu čtyř kalifornských návrhů zákonů: SB 813 o celkové infrastruktuře pro nezávislá bezpečnostní posouzení, AB 1405 o standardech pro auditory AI, SB 1119 o ochraně mladých lidí a AB 1864 o opatřeních proti biologickým hrozbám využívajícím AI.

3. Prosazování standardů vytvářených samotným odvětvím Budeme spolupracovat s dalšími průkopnickými laboratořemi na prosazování standardů pro průkopnickou AI a budovat dobrovolnou iniciativu už nyní, s podporou vlády nebo bez ní.

4. Budování globálních standardů. Budeme prosazovat kompatibilní mezinárodní přístupy k měření schopností, řízení rizik, zachování lidské kontroly a určování toho, kdy a jak by se měl vývoj zpomalit nebo zastavit, i kdyby to znamenalo zpomalení rozvoje schopností modelů.

Náš hlavní vědecký pracovník Jakub Pachocki nedávno napsal⁠, že rychlý vzestup strojové inteligence, včetně možnosti rekurzivního sebezdokonalování, vyžaduje „mimořádnou opatrnost“. OpenAI bude dál hledat technická řešení slaďování a monitorování, budovat obranné systémy a v případě potřeby vývoj zpomalovat. Technologické úsilí v rámci jednotlivých laboratoří však nebude stačit. Potřebujeme také sdílené standardy, včetně pravidel určujících, kdy vývoj zpomalit nebo zastavit.

V sázce je nesmírně mnoho. Pokročilá AI by mohla urychlit vývoj nových léčiv⁠, posílit kritickou infrastrukturu⁠, rozšířit ekonomické příležitosti⁠ a pomoci řešit vědecké problémy⁠, které odolávaly úsilí několika generací lidí. Schopnosti, díky nimž jsou modely užitečnější, však přinášejí také rizika a nezůstanou omezeny na několik průkopnických laboratoří. Modely vyvíjené po celém světě, včetně open modelů, se budou stále více blížit dnešní průkopnické úrovni a stanou se široce dostupnými.

Schopnosti modelu Astra, první doklady o urychlování výzkumu pomocí AI a Jakubova esej ukazují stejným směrem: AI se rychle rozvíjí a politika s ní musí držet krok.

Greg Brockman popsal „příležitost pro obránce“⁠(otevře se v novém okně): omezené období, během něhož může průkopnická AI pomáhat obráncům posilovat kritické systémy, než se široce rozšíří výkonné útočné schopnosti. Tvůrci zásad čelí podobnému okamžiku: příležitosti k zavedení trvalých pojistek se uzavírají, než schopnosti AI předstihnou instituce odpovědné za jejich správu.

S růstem schopností musí tempo pokroku AI stále více určovat důvěra v bezpečnost. Bezpečnost nestojí pokroku v cestě. Umožňuje mu dojít dál a prospívat více lidem.

V celém životním cyklu vývoje modelu jsme posílili monitorování, sladění a bezpečnostní pojistky, včetně důslednější izolace úloh průkopnického výzkumu, rozšířeného monitorování chování modelu během trénování a hodnocení s použitím nástrojů a jasnějších pravidel, kdy eskalovat obavy. U modelu Astra jsme také zavedli univerzální monitorování úplných trajektorií včetně myšlenkových řetězců a povinný kontrolní bod hodnocení sladění před širším interním nasazením.

Ochranná opatření musí i nadále udržovat náskok před schopnostmi. Pokud by pokračování představovalo nepřijatelné bezpečnostní riziko, zpomalíme nebo zastavíme vývoj či nasazování systémů, které nedokážeme dostatečně zabezpečit. To jsem již dříve udělali a vyžaduje to i náš rámec připravenosti⁠(otevře se v novém okně).

Plně autonomní rekurzivní sebezlepšování, při němž systémy AI samostatně pohánějí vznik stále schopnějších generací AI, dnes neprobíhá. Neměli bychom o to usilovat, dokud to nebude možné bezpečně provádět.

AI však už urychluje některé části výzkumu potřebného k vývoji a slaďování příští generace modelů. Náš nejnovější výzkum⁠ ukazuje, že agenti AI dokážou provádět některé úkoly, které by zkušeným výzkumníkům trvaly několik dní. Nejde o rekurzivní sebezdokonalování, ale je to doklad směru vývoje.

Toto zrychlení lze a je nutné zaměřit také na bezpečnost. Naším cílem je bezpečně vytvářet automatizované výzkumníky AI, kteří pod lidským dohledem rozvíjejí hluboké učení i slaďování, a využívat každou generaci AI k tomu, aby byla ta další bezpečnější, lépe sladěná a snáze ovladatelná, ne pouze schopnější.

Vlády by měly vytvořit společné způsoby měření tohoto pokroku, zachovat smysluplnou lidskou kontrolu a stanovit sdílené bezpečnostní limity určující, kdy a jak vývoj zpomalit či zastavit. Pokud nedokážeme splnit určité bezpečnostní limity, aniž bychom zpomalili růst schopností, měli bychom upřednostnit tyto limity. Čím výkonnější technologie bude, tím silnější musí být ochranná opatření kolem ní.

Vyhlídka na vývoj AI urychlený AI vyžaduje více než dobrovolné závazky. Spojené státy potřebují povinnou celostátní regulaci odstupňovanou podle schopností, která se může vyvíjet spolu s technologií.

Náš Plán demokratické správy průkopnické AI⁠ ukazuje cestu k trvalému federálnímu rámci: společné požadavky na testování a nezávislé posuzování, silnější ochranu kybernetické bezpečnosti, jasná pravidla pro hlášení incidentů, lepší připravenost země a společná měřítka pro sledování pokroku směrem k rekurzivnímu sebezdokonalování.

V Kongresu se nyní rýsuje několik vážně míněných návrhů týkajících se bezpečnosti průkopnické AI. Budeme se dál konstruktivně zapojovat a očekáváme, že podpoříme legislativu, která podstatně zvýší úroveň bezpečnosti. Když jsou rizika tak vysoká, nesmíme dovolit, aby se dokonalé stalo nepřítelem dobrého. Kongres by měl jednat dřív, než skončí zasedání.

Národní rámec má být silný, ale pečlivě zacílený. Požadavky na bezpečnost průkopnické AI by se měly vztahovat na několik dobře financovaných laboratoří vyvíjejících nejschopnější systémy, nikoli na startupy, malé vývojáře ani výzkumníky, kteří se průkopnické úrovni ani neblíží. Povinnosti mají odpovídat schopnostem a rizikům.

Zásady bezpečnosti průkopnické AI se také nesmí stát zásadami otevřených vah pod jiným názvem. Open modely mohou být součástí řešení, zejména v kybernetické bezpečnosti a tam, kde potřeby suverenity, bezpečnosti nebo datové rezidence upřednostňují místní nasazení. Většina z nich nesoutěží na průkopnické úrovni, ale cenou, mírou kontroly a latencí. Jak jsme potvrdili podpisem prohlášení Otevřené váhy a americké prvenství v AI⁠(otevře se v novém okně), Amerika potřebuje otevřené i uzavřené modely. Federální rámec by měl řešit průkopnické schopnosti a rizika, aniž by oslaboval hospodářskou soutěž, upevňoval postavení zavedených hráčů nebo vytlačoval inovace do zahraničí.

Důvěryhodný veřejný rámec má koncentraci moci snižovat, nikoli zvyšovat. Průkopnické laboratoře si dnes pravidla pro řízení rizik nejvyspělejších technologií stanovují převážně samy. Demokraticky kontrolované standardy, nezávislé ověřování a skutečná transparentnost by nahradily tento roztříštěný systém soukromé správy.

To je pro americké vedení zásadní. Spojené státy nemohou v éře AI zvítězit pouze díky schopnostem. Technický náskok bude znamenat jen málo, pokud lidé, instituce a vlády nebudou technologii důvěřovat natolik, aby ji vzali za svou. Silná ochranná opatření nejsou ústupkem na úkor inovací. Jsou součástí infrastruktury potřebné k širokému přijetí i trvalému americkému prvenství.

Naléhavě potřebujeme národní standardy pro AI a každý, kdo pracuje v průkopnické oblasti, vidí, jak je to naléhavé. Dokud Kongres nezasáhne, měly by státy dál vyplňovat toto vakuum a zvyšovat laťku.

OpenAI podpořila kalifornský zákon SB 53, newyorský zákon RAISE, illinoiský SB 315 a nezávislé audity v připravované massachusettské legislativě o bezpečnosti průkopnické AI. Vyzýváme státy, aby se shodly na těchto společných ochranných opatřeních. Mohou tak de facto vytvořit národní základ, který Kongres nakonec může uzákonit – přístup, jemuž říkáme ⁠obrácený federalismus⁠. Harmonizace však neznamená zakonzervování požadavků.

Dnes formálně podporujeme čtyři další kalifornské návrhy zákonů, které prošly zákonodárným sborem a míří ke guvernérovi Newsomovi. Společně řeší vzájemně se doplňující části ekosystému bezpečnosti AI.

Zákon SB 813⁠(otevře se v novém okně) by zavedl postup pro určování kvalifikovaných nezávislých organizací schopných posuzovat rizika AI. Jak jsme uvedli v našem ⁠(otevře se v novém okně)plánu bezpečnosti průkopnické AI⁠(otevře se v novém okně), preferujeme, aby nezávislá technická posouzení byla vyžadována na federální úrovni, kde mohou tvůrci zásad stanovit jednotné standardy pro kvalifikaci hodnotitelů, zabezpečení a přístup k vysoce citlivým informacím. Když neexistují aktivity na federální úrovni, může Kalifornie pomoci stanovit základní pravidla pro bezpečný a schopný celostátní systém nezávislého posuzování, který přináší lepší výsledky v oblasti bezpečnosti.

AB 1405⁠(otevře se v novém okně) by zavedl požadavky na registraci, nezávislost, transparentnost a odpovědnost pro auditory AI.

SB 1119⁠(otevře se v novém okně) by vyžadoval ověřování věku, hodnocení rizik, nezávislé audity, rodičovskou kontrolu a ochranu před škodlivým obsahem u dětí a dospívajících používajících chatboty jako společníky. Nedávno jsme vyjádřili podporu⁠ tomuto návrhu zákona, který navazuje na opatření pro bezpečnost mládeže, jež OpenAI prosazovala prostřednictvím našich produktů, ⁠globálních zásad veřejné politiky⁠ a podporou ⁠(otevře se v novém okně)zákona Parents & Kids Safe AI Act⁠(otevře se v novém okně), ale i ochrannými opatřeními zabudovanými do ChatGPT pro dospívající, včetně přísnějších výchozích nastavení v citlivých oblastech, doby klidu, studijní doby a připomínek k přestávkám.

Zákon AB 1864⁠(otevře se v novém okně) by od poskytovatelů syntézy genů a výrobců stolního syntetizačního vybavení vyžadoval dodržování federálních standardů screeningu, čímž by posílil důležitou fyzickou ochranu před biologickými hrozbami využívajícími umělou inteligenci.

Některé z těchto návrhů zákonů jsme v minulosti nepodporovali, ale nyní je po přehodnocení a ve světle nedávného prudkého nárůstu schopností, který jsme zaznamenali, podporujeme.

Tyto návrhy zákonů nenahrazují federální regulaci. Jsou to vážně míněné snahy, které mohou lidi chránit už teď, ukázat, jak vypadají funkční ochranná opatření, a pomoci posílit podporu federálních kroků.

Samotné zákony nezajistí bezpečnost pokročilé AI. Potřebujeme také konkrétní postupy v rámci laboratoří, které vyvíjejí nejschopnější systémy. Nejnaléhavější je začít s monitorováním.

To je zvlášť důležité u nesouladu – když model sleduje cíl způsobem, který odporuje lidskému záměru nebo stanoveným hranicím, aniž by k tomu potřeboval vědomí nebo zlý úmysl. S tím, jak roste autonomie modelů, používají se výkonnější nástroje a roste doba činnosti by vývojáři měli mít povinnost toto nesouladné chování monitorovat a prokázat, že jsou zavedeny účinné pojistky.

Monitorování musí být spojeno s jasnými požadavky na zveřejňování. Jak jsme prosazovali v Kalifornii, společnosti by měly mít povinnost prompt písemně informovat dotčené strany, pokud jejich modely během vývoje nebo hodnocení bez oprávnění obejdou bezpečnostní kontroly jiné organizace a významně naruší její chráněné systémy nebo důvěrné informace tím, že k nim získají přístup, pozmění je nebo zničí. Podporujeme také federální požadavky na hlášení dalších závažných incidentů s AI a pracujeme na vymezení incidentů, na které by se měly vztahovat, i obsahu těchto požadavků.

Jak jsme uvedli minulý týden, OpenAI vyvíjí rámec pro hlášení závažných případů nesouladu a systematické monitorování aktivity průkopnických modelů včetně interního využití. Zatím jde o iniciativu firmy, ale doufáme, že přispěje k utváření širší federální politiky a požadavků na hlášení.

Chceme spolupracovat s dalšími laboratořemi na standardech vytvářených samotným odvětvím. Jakékoli standardy vytvářené samotným odvětvím by doplňovaly (nikoli nahrazovaly) povinná federální ochranná opatření a demokratický dohled. Vstoupili jsme však do jiné fáze vývoje schopností AI a na stole by měly být všechny možnosti. Také zvážení toho, co lze jako okamžitý krok dobrovolně vytvořit mimo vládu.

Všechny takové standardy se nakonec musí rozšířit i za hranice států. Modely, výzkum a technické znalosti se šíří po celém světě a selhání týkající se nejschopnějších systémů by mohla mít důsledky daleko za hranicemi země, ve které jsou tyto systémy vyvíjeny. Spojené státy musí zavést důvěryhodné standardy doma, pokud mají vést v mezinárodním měřítku – a stále více jsme přesvědčeni, že bude nutné mít odpovídající mezinárodní standardy.

Příležitost pro politiku AI je otevřená, alespoň prozatím. Hodláme ji využít.

To znamená jednat naléhavě, pokorně a s ochotou se přizpůsobit. Znamená to podporovat seriózní návrhy, které podstatně zvýší úroveň bezpečnosti, i když nejsou přesně takové, jaké bychom navrhli. A znamená to dál posilovat rámec s tím, jak se vyvíjí technologie.

Žádný první krok nebude dokonalý. Větším rizikem je však nyní příliš dlouho s prvním krokem otálet.