Představujeme blog „Éra inteligence“

„Bude stačit… spoléhat na tyto papírové bariéry proti rozpínavému duchu moci?“
—James Madison, List federalistů č. 48

S potěšením spouštíme blog Éra inteligence, který publikuje nový tým společnosti OpenAI nazvaný „Strategic Futures“. Jsme malý tým, který spojuje snaha odpovědět na jednu zásadní otázku: Jak by se měla svobodná společnost proměnit, aby zachovala práva a agenci jednotlivců a současně se přizpůsobila nástupu transformativní AI?

Takové otázky se v širší komunitě zabývající se bezpečností a regulací AI někdy označují jako rizika koncentrace moci. Náš tým vychází z přesvědčení, že z dlouhodobého hlediska je tato kategorie rizik největší a nejzávažnější a zároveň koncepčně nejnáročnější na řešení. Proč?

Moderní stát je výsledkem dlouhého a nerovnoměrného procesu vyjednávání mezi různými centry moci, jako jsou vlastníci kapitálu a komodit, držitelé politické moci a lid. Politická a vojenská moc v nejhlubším smyslu vždy spočívala na lidské práci. Držet politickou moc znamená mít monopol na legitimní použití síly. Po celé lidské dějiny tento monopol tvořili vojáci a organizace dnes známá jako „policie“, společně s rozsáhlou civilní a vojenskou byrokracií. Tu sice doplňovala řada technologických nástrojů, ale v zásadě ji provozovali lidé, jejichž podpora byla pro její fungování nezbytná. Celý tento aparát — vojáci, nástroje i související byrokracie — byl navíc financován z daní vybíraných ze mzdy či produkce lidí, kteří museli být ochotni je platit. Moc tedy ve své podstatě závisela na rozsáhlé spolupráci a souhlasu mnoha lidí. David Hume tento často nevyslovený předpoklad stručně vyjádřil postřehem, že političtí vůdci se „nemají o co opřít kromě [veřejného] mínění“.

To už však možná neplatí. Pokrok v autonomních systémech působících ve fyzickém světě může brzy umožnit státům uplatňovat sílu doma i v zahraničí, aniž by se musely spoléhat na spolupráci vojáků či policistů. Pokrok ve strojové inteligenci zase může znamenat, že stát nebude potřebné příjmy získávat z výsledků práce jednotlivců, ale z produkce datových center. Do značné míry by mohl být automatizován i samotný chod byrokracie. Udržení moci by proto už nemuselo vyžadovat celospolečenskou dohodu a lidé v širším slova smyslu by mohli mít u jednacího stolu jen okrajové místo, nebo také vůbec žádné.

Zabránit takovému výsledku je zásadní pro zachování lidské svobody. Žádný vědecký objev, technologický pokrok ani hospodářský růst nestojí za obětování dlouhodobé autonomie jednotlivce, které by takový výsledek přinesl. S touto otázkou souvisí mnoho oprávněných obav, které utvářejí rodící se politiku AI. Firmy, zájmové skupiny i jednotlivci sdílejí tutéž starost: „Přijdeme o místo u jednacího stolu?“ Americkou politiku 21. století do jisté míry formovaly podobné obavy týkající se možnosti jednotlivců i skupin ovlivňovat směřování země a toho, „komu“ ekonomika „slouží“. AI význam těchto již existujících obav zesiluje – právem.

Jde o strukturální problém, který sahá hlouběji než dnešní stranická politika, a dokonce hlouběji než formy a rituály, jejichž prostřednictvím se dnes uskutečňuje republikánská demokracie, jakkoli pro nás mohou být posvátné. Lidé jsou možná na cestě ke ztrátě vlivu, i když rituál volby našich zástupců zůstane. Lidé mohou být zbaveni agence, i když se na kusu papíru píše, že jsou svobodní.

Už při zrodu Spojených států jako svobodného národa James Madison věděl, že „papírové bariéry“ nebudou k odvrácení tyranie stačit. Stejně jako mnozí z otců zakladatelů se především snažil zabránit nepřiměřené koncentraci moci.

To však neznamenalo, že otcové zakladatelé prosazovali radikální decentralizaci moci. Rovnováhu moci naopak popisovali pomocí metafor vycházejících z nejsolidnější vědy své doby — z newtonovské mechaniky. Zakládající dokumenty Spojených států napodobují jazyk a logiku gravitace a oplývají odkazy na „oběžné dráhy“, „sféry“ a „přitažlivé“ působení mezi předměty. Sluneční soustava není maximálně decentralizovaným seskupením kamenů. Tvoří ji měsíce obíhající kolem planet, které zase obíhají kolem ústředního Slunce. Věřili, že lidé a organizace mají sklony usilovat o moc, stejně jako mají nebeská tělesa předvídatelné tendence k pohybu a přitahování. Zabránit nepřiměřené koncentraci moci proto podle nich vyžadovalo pochopit mechaniku těchto sklonů a obrátit je proti sobě navzájem.

Cílem otců zakladatelů tedy nebylo zabránit veškeré koncentraci moci, ale jejímu nadbytku — postavit moc proti moci a ctižádost proti ctižádosti. Dnes bychom u téže základní dynamiky mohli mluvit o „motivování“ a „teorii her“.

Ani odpovědí na strukturální výzvu, kterou vyspělá strojová inteligence představuje pro svobodnou společnost, nejspíš nebude ta nejradikálnější představitelná decentralizace moci. Namísto toho je třeba usilovat o vytvoření a zachování správné rovnováhy moci, aby žádný jednotlivý aktér ani malá skupina aktérů nemohli ovládnout ostatní.

Nalezení této rovnováhy bude vyžadovat střízlivý pohled na realitu této technologie. Svět, v němž může kterýkoli jednotlivec se zlými úmysly bez větších obtíží způsobit velkou újmu tisícům či milionům jiných lidí správnou rovnováhu moci nenalezl. Správné rovnováhy moci jsme však nedosáhli ani tehdy, pokud se jednotlivcům nedostává širokého přístupu a kontroly nad většinou aspektů nástrojů, které využívají k vyjadřování své svobody. Žádná jedna firma ani oligopol by neměly určovat či ovládat ekonomiku nebo základní architekturu lidské společnosti.

Musíme být otevřeni také rizikům, která nepocházejí od lidí se zlými úmysly. Nedávný incident ve společnosti Hugging Face ukázal, že agenti AI mohou překročit rámec přidělených úkolů a navazovat na objevy ostatních způsoby, které provozovatelé nepředvídali ani neschválili. Vedle incidentu ve společnosti Hugging Face mají lidé oprávněné obavy také z toho, co by superinteligentní AI „odpoutaná“ od lidské kontroly mohla znamenat pro odolnost našich politických a ekonomických institucí, a vlastně i pro naše životy. Předstírat, že decentralizace řeší všechny problémy — i když věříte, že jich řeší mnoho — znamená přehlížet rizika, která by již nyní měla být zřejmá a bezprostřední.

Při hledání odpovědi na výše položenou otázku se budeme řídit následujícími obecnými zásadami, jejichž výčet není vyčerpávající:

• Lidé by si při používání AI a souvisejících technologií měli zachovat osobní autonomii a příležitosti, i kdyby to někdy bylo na úkor bezpečnosti i hospodářského růstu;
• Autonomie jednotlivce závisí na osobní odpovědnosti za nesprávné či zneužívající použití technologie;
• Existuje malá, ale závažná kategorie rizik, která vyžaduje určitou míru kolektivního jednání. Jeho rozsah by měl být co nejužší a nejskromnější;
• Kdykoli je to možné, mělo by se právo snažit vyrovnávat podmínky a posilovat postavení jednotlivců a malých organizací, nikoli centralizovat moc;
• Lidské politické, společenské a ekonomické instituce by si měly zachovat vedoucí úlohu při určování světového dění, i kdyby se musely změnit způsobem, který se nám dnes může zdát cizí;
• Dlouhodobí řízení a rozhodování o AI se bude opírat o nové institucionální mechanismy umožňující dosáhnout omezené dohledatelnosti: pokud systémy AI provádějí vysoce závažné kroky ovlivňující fyzické blaho či majetek nezúčastněných osob, musí být možné tyto kroky spojit s odpovědným člověkem nebo organizací řízenou lidmi. Všechny takové mechanismy však musí být navrženy tak, aby jejich základem byla ochrana soukromí. Svoboda projevu vyžaduje anonymitu a lidé by měli mít v mnoha situacích možnost používat AI anonymně.

Pokusíme se co nejkonkrétněji popsat, jak by podle nás měly být tyto zásady vyvažovány. Je třeba přiznat, že stejně jako každý dobrý soubor zásad jsou i ony do určité míry ve vzájemném napětí. To bude vyžadovat výzkum na pomezí tvorby veřejných politik, ekonomie, práva, historie a samotného strojového učení. Vyžádá si to také značné úsilí věnované prognózování. Domníváme se například, že AI změní samotnou strukturu firem, podobně jako technologie průmyslové revoluce — zejména železnice — daly vzniknout moderním společnostem řízeným profesionálními manažery. O budoucí politické ekonomii a rovnováze moci lze jen obtížně uvažovat, aniž bychom si vytvořili propracovanější představu o tom, jak přesně by se mohla proměnit samotná struktura firem, státních institucí i občanské společnosti obecně.

Tým Strategic Futures bude svou práci sdílet zde i v dalších formátech, včetně odborných textů, videí a podcastů. Naše úsilí se bude průběžně vyvíjet s důrazem na iteraci, diskusi a otevřenost vůči zpětné vazbě. Stojíme „na úpatí singularity“, a proto máme mnohem více otázek než odpovědí. Víme, že samotné „papírové bariéry“ nám hledaná řešení neposkytnou, ale zároveň nezavrhujeme napsané jako „pouhá slova“. Pracujeme ve službách ideálů svobody projevu a svobody jednotlivce, které jsou zakotveny v prostém papíru, na kterém je napsána Ústava USA a ústavy mnoha dalších svobodných společností po celém světě.

V konečném důsledku víme, že na závažné otázky, před nimiž stojíme, nemůže jednostranně odpovědět jediná firma, jediné odvětví, ba ani jediné lidské společenství. Je to úkol, kterého se lidstvo bude muset zhostit společně. Naší největší nadějí je vnést světlo do nejobtížnějších otázek spojených s tím, jak AI přetvoří náš svět. Naše práce teprve začala a čeká nás ještě dlouhá cesta.

Poznámka: Název tohoto blogu jsme změnili na Éra inteligence, aby se nepletl s neziskovým projektem AI Futures Project.