Věčný komplement

Poznámka autorů: Toto je první esej z naší série o ekonomice budoucnosti, která je součástí nové platformy pro nezávislé hlasy zkoumající budoucnost s AGI. Odráží naše názory, nikoli názory OpenAI či našich kolegů.

Lidstvo dohlédlo téměř až k počátku času.

Naše rovnice podávají převážně ucelený obraz vesmíru od jeho prvních okamžiků. Pomocí dalekohledů jsme nahlédli do vzdálených končin kosmu a zahlédli jeho ranou historii. Víme, jak se rodí hvězdy a vznikají galaxie.

Přesto se žádný člověk nikdy nevydal dál než na Měsíc.

Vysvětlení, která hledáme, zahrnují celý vesmír, zatímco naše těla sotva opustila domov. Naše mysl se pouští daleko za dosah našich rukou.

Tento nepoměr může znamenat dvě velmi různé věci.

Jednou možností je, že nemusíme chodit příliš daleko a nejhlubší pravdy lze pochopit z jediné planety. Vyzbrojeni osvíceným uvažováním a účinnými přístroji odhalujeme vesmír, aniž bychom jím museli cestovat. V tomto příběhu naše civilizace postupuje do hloubky, nikoli do šířky. To by pomohlo vysvětlit, proč jsme dosud nespatřili jiný inteligentní život: možná žijeme v galaxii plné geniálních myslí, které se nikdy nepotřebovaly rozpínat, a stát se tak pro nás viditelnými.

Druhá možnost je znepokojivější. Naše myšlení možná jen předběhlo naši schopnost uskutečňovat záměry. Každý další krok vyžaduje více času a více zdrojů. Sny nám nechybějí, ale nemáme dost pracovních sil k jejich uskutečnění.

Galileo rozšířil náš rozhled pomocí dvou čoček a trubice. Aby ho lidstvo dnes rozšířilo znovu, postavilo Vesmírný dalekohled Jamese Webba, observatoř za deset miliard dolarů, složilo ji do rakety a vyslalo do vzdálenosti půldruhého milionu kilometrů. Jejích osmnáct obrovských zrcadlových segmentů je vyrobeno s přesností na padesát nanometrů. Observatoř vznikla spoluprací tří set organizací ze čtrnácti zemí. Galileův přínos si vyžádal práci několika desítek rukou. Webbův dalekohled potřeboval celou armádu lidí a zázemí globální ekonomiky.

K tomu, abychom dohlédli dál, nestačily jen bystřejší mozky. Byl zapotřebí větší byrokratický aparát.

Klademe si více otázek, než dokážeme prozkoumat. Navrhujeme více experimentů, než dokážeme provést. Nové tvůrčí možnosti vymýšlíme rychleji, než je dokážeme uskutečnit. A v mnoha oborech platí: čím dál postoupíme, tím složitější je vybudovat to, co si představujeme.

Nick Bloom a jeho spoluautoři⁠(otevře se v novém okně) zkoumali produktivitu výzkumu napříč americkou ekonomikou. Udržení platnosti Moorova zákona dnes vyžaduje přes osmnáctkrát více výzkumníků než na počátku 70. let. Od 30. let vzrostlo efektivní výzkumné úsilí v celé ekonomice na třiadvacetinásobek, zatímco měřená produktivita výzkumu klesla na jednu jednačtyřicetinu.

Počet technických pracovníků roste dvakrát rychleji⁠(otevře se v novém okně) než počet vědců. Využívání specializovaného vybavení ve vědě se za čtyři desetiletí zdvojnásobilo⁠(otevře se v novém okně). Továrna na čipy je dnes pětkrát nákladnější⁠(otevře se v novém okně) a provozně mnohem rozsáhlejší než před třiceti lety.

Tyto statistiky naznačují, že cena dalšího pokroku roste. Ekonomika se stále rozvíjí, protože obrovské rozšíření výzkumných aktivit vyvážilo klesající výnos z každé vynaložené jednotky.

Tato historie by nás měla vést k jinému pohledu na genialitu: nevnímat ji izolovaně, ale jako jeden ze vstupů produkčního procesu. I brilantní hypotéza potřebuje důkazy, přístroje a prostředky k ověření. Bez zařízení a podpůrného personálu, které ji uskuteční, myšlenka ještě není pokrokem.

Ekonomové označují dva vstupy za „komplementy“, když větší množství jednoho zvyšuje hodnotu druhého. Průkopnická inteligence a schopnost uskutečňovat její myšlenky jsou v tomto smyslu komplementy. Lepší dalekohled zvyšuje hodnotu dobré astronomické otázky. Lepší otázka zvyšuje hodnotu dalekohledu.

Některé komplementy jsou hmotné. Teorie čeká na urychlovač částic; technologický návrh čeká na energii a stroje potřebné k realizaci.

Jiné komplementy nejsou na první pohled tak patrné. Myšlenka je sama o sobě křehká. Potřebuje instituce všeho druhu. K jejímu uskutečnění se musejí spojit zákony, byrokracie, mechanismy financování, dodavatelské řetězce a mnoho dalšího.

Skvělá myšlenka musí obstát v dlouhém řetězci správných dílčích kroků napříč těmito institucemi. Říkejme tomu institucionální inteligence: nedoceněná inteligence, která zajišťuje realizaci. Génius navrhne monument; instituce kladou kameny. Jedno oslňuje, druhé působí nudně; obojí je naprosto zásadní.

Superinteligenci si někdy představujeme jako miliardu Einsteinů. Ale i civilizace miliardy Einsteinů potřebuje, aby většina z nich těžila kámen a vedla účetnictví. Průkopnické inovace mohou vznikat jen tehdy, když kolem nich hladce funguje běžný svět. Pokrok potřebuje každého: od svářeče, který přivaří šroub do dalekohledu, až po pojišťovnu základní školy, kterou navštěvovala zdravotní sestra, která ošetřovala astronoma. Pokrok stojí na dobře fungující ekonomice, kterou v příbězích o našich největších úspěších často přehlížíme.

Stejně jako lidská inteligence bude i AI sloužit jak k pronikavému poznání, tak k zajištění fungujících institucí. Otázkou je, čemu bude věnovat převážnou část svého času.

AI už dnes zmírňuje nedostatek kapacit pro realizaci nápadů. Píše kód, prohledává neznámou odbornou literaturu a mění náčrt ve funkční prototyp. Nápady, které dříve vyžadovaly celou organizaci, stále častěji dokáže rozvíjet jediný ambiciózní člověk.

Většina začínajících filmařů nikdy nedostane dvě stě milionů dolarů, aby ukázala, co v nich je. Většina herních designérů stráví celou kariéru uskutečňováním tvůrčích vizí jiných lidí. Snažíme se podporovat ty nejnadanější, ale část talentu nám nevyhnutelně uniká. Z tohoto pohledu začíná věk inteligence tím, že je komplementem lidské vynalézavosti a většímu množství z nás dává k dispozici podpůrný tým pro uskutečnění vlastních nápadů.

To by mohlo přinést záplavu osobitých projektů a více tvůrčí práce mimo instituce, které dříve rozhodovaly o tom, kdo se v daných oborech vůbec může uplatnit. Vzácným vstupem přestává být schopnost realizace a stává se jím tvůrčí úsudek: schopnost rozhodnout, co stojí za to vytvořit, jakou otázku má smysl položit a který z tisíce nadějných směrů si zaslouží pozornost.

To ale nemusí být konec. S tím, jak AI získává schopnost samostatně přicházet s brilantními novými poznatky – což možná už vidíme v oborech, jako je matematika – dodává nejen pracovní sílu, ale i vlastní záměry. Místo aby realizovala jeden lidský výzkumný program, navrhuje tisíce vlastních. Géniové z řad AI prudce zvyšují počet filmových námětů, které stojí za rozpracování, a hypotéz, které stojí za ověření. Nápady přibývají rychleji, než je podpůrná infrastruktura dokáže pojmout.

Dnešní AI přináší dlouho očekávanou úlevu: naše dobré nápady konečně dostávají prostor. Zítra může být dobrých nápadů tolik, že kapacity k jejich uskutečnění budou chybět více než kdy dřív.

Nakonec nevíme, zda množství komplementů potřebných k produktivnímu využití nových poznatků poroste, klesne, nebo zůstane stejné. Jak daleko lze v poznání dojít pouhým přemýšlením? Kolik byrokracie potřebuje genialita?

Podle nás záleží na tom, jak daleko může myšlení dospět, než se bude muset znovu střetnout s realitou.

Popisujeme dvě možné cesty. První je civilizace rozvíjející se do hloubky, v níž superinteligence překoná potřebu dalšího fyzického kapitálu a byrokratické koordinace. Druhou je civilizace rozvíjející se do šířky, v níž složitost přírody přesahuje schopnost jakékoli inteligence, lidské či strojové, dosahovat pokroku bez rozsáhlých a stále propracovanějších experimentů v reálném světě.

Lidské dějiny zatím naznačují rostoucí potřebu komplementárních kapacit. Galileův dalekohled se vešel do rukou; Webbův potřeboval celou civilizaci. Malý tým v Bellových laboratořích sestavil první tranzistor na pracovním stole; průkopnické pokroky ve vývoji čipů dnes vycházejí ze složitého globálního dodavatelského řetězce. Každé rozšíření našich možností vyžaduje zapojení větší části civilizace.

Minulost ale nemusí předurčovat budoucnost. Chytré mysli mohou vynalézt účinnější komplementy. Pokud je úzkým hrdlem nového urychlovače částic nedostatek energie, genialita může navrhnout úspornější urychlovač nebo lepší způsob získávání energie.

Genialita může některé své komplementy také nahradit. Einstein dokázal dospět k teorii relativity přemýšlením na základě velmi malého množství empirických dat. My bychom jich potřebovali mnohem víc. Někteří lidé si všechny své schůzky a povinnosti prostě pamatují; většina z nás spoléhá na byrokracii Kalendáře Google.

A genialita může dovést k dokonalosti vkus, vybírat k ověření ty nejlepší hypotézy a vyhýbat se nákladným neúspěchům. Pokud každý další génius zlepší kvalitu plánu, budeme do geniality dál výrazně investovat, i kdyby byl zapotřebí stále větší byrokratický aparát. Právě proto, že plýtvat drahou realizací na špatnou věc je tak nákladné.

Ani jedna cesta nebude dokonale odpovídat naší skutečné budoucnosti, ale můžeme je chápat jako dva možné směry vývoje civilizace.

Inteligence může posouvat poznání třemi způsoby. Může uvažovat ze základních principů. Může těžit nové poznatky z existujících důkazů. Nebo může shromažďovat nové důkazy pozorováním světa a zásahy do něj.

První způsob umožňuje dojít daleko pouhým myšlením. Nejčistším příkladem je matematika. Na mnoha rozcestích v důkazu či projektu dokáže výkonná mysl opakovaně volit správnou cestu. Roky tápavého hledání nahrazuje krátkým, cílenějším postupem uvažování.

I druhý způsob nabízí neprobádaný prostor pro rychlý pokrok. Lidstvo shromáždilo mnohem více důkazů, než kolika dokázalo porozumět. Zkoumání našich dat – astronomických snímků, mikroskopických preparátů, internetových diskusí – dosud omezoval nedostatek lidské inteligence. Vědecké archivy obsahují pozorování zaznamenaná kvůli jedné otázce, která mohou skrývat odpovědi na mnoho dalších. Hojnost geniality může vést k objevům nikoli sběrem něčeho nového, ale rozpoznáním toho, co už tu bylo. Mohla by objevit nový vesmír, aniž by zachytila jediný nový foton.

Třetí způsob není tak snadný, protože vyžaduje interakci s fyzickým světem. Fyzické procesy vyžadují čas a často je lze jen málo urychlit. Chemické látky musejí zreagovat. Organismy musejí vyrůst. Stroje se musejí postavit. Kosmické lodě musejí překonat skutečné vzdálenosti a podléhají rychlostním limitům vesmíru. Ani dokonalá mysl nemůže pozorovat výsledek experimentu, který neproběhl.

Ale může to zkusit. Civilizace rozvíjející se do hloubky by se nevyhnula nutnosti ověřovat své představy v realitě. Dokázala by to však dělat radikálně úsporněji. Lepší uvažování by určilo těch několik experimentů, na kterých skutečně záleží. Simulace by většinu vyřešily a přesně vymezily nejistotu, kterou musí rozsoudit realita. Superinteligence může maximalizovat efektivitu tím, že své návrhy přizpůsobí omezeným zdrojům a vytěží z nich maximum.

Představte si astrofyzikální laboratoř se souborem hypotéz o temné hmotě. Ty nejprve projdou hyperrealistickým počítačovým modelováním. U každé teorie se ověří soulad se všemi existujícími daty. Teprve poté se cíleně pořídí několik nových snímků oblohy, aby se otestovaly nejslibnější teorie. Civilizace i tak potřebuje komplementy geniality, ale každá jejich jednotka přináší mnohem větší hodnotu.

Naše cesta k civilizaci rozvíjející se do hloubky by mohla připomínat skládání puzzle. Na začátku je postup snadný, na konci také a uprostřed je nejtěžší. Nejprve jsou tu zřetelné okraje a dílky, které do sebe snadno zapadají. Pak ale dojdou a složená část obrazu je příliš malá na to, aby napověděla, jak pokračovat. Ke konci už zbývající mezery téměř samy prozrazují, co do nich patří. Věda, která by se blížila úplnému poznání, by ke svým posledním objevům mohla dospívat snáze než k těm, o které bojujeme dnes.

Takový postup je ve vědě běžný. Mendělejev mohl popsat dosud neobjevené prvky, protože zbytek periodické tabulky omezoval možnosti toho, co v ní chybělo. Standardní model dal fyzikům důvod očekávat Higgsův boson desítky let předtím, než jsme ho pozorovali. Naše experimenty cíleně hledaly to, co jsme očekávali: to, co odpovídalo existující teorii a datům.

Superinteligence by mohla vytvořit civilizaci rozvíjející se do hloubky tím, že zákonitostem světa porozumí natolik dobře, že bude přesně vědět, jaká nová data potřebuje. Poháněla by pokrok hlubším myšlením, místo aby spoléhala na pomalý postup fyzické expanze.

Pokud tyto úspory převáží, civilizace by mohla rychle prohlubovat svou schopnost poroučet přírodě s menší potřebou institucionální inteligence k řízení rozsáhlých nových experimentálních aparátů. Její fyzický rozsah by mohl zůstat malý, zatímco její moudrost by zrála.

My lidé jsme toho o našem vesmíru pochopili už tolik, aniž bychom kdy opustili domov. Civilizace rozvíjející se do hloubky by v této tradici pokračovala.

Potřeba nových důkazů však může tyto úspory převážit. Inteligence může každé ověření v realitě zlevňovat a zároveň objevovat mnohem více důvodů, proč ho provádět. Lepší přístroje umožňují zkoumat jemnější detaily. Rychlejší experimenty mohou způsobit, že se vyplatí provádět další.

Pokud Einsteinova téměř čistě myšlenková cesta k teoriím relativity ztělesňuje civilizaci rozvíjející se do hloubky, pak lze biologii považovat za nejlepší předzvěst civilizace rozvíjející se do šířky. Přes všechny nashromážděné poznatky a všechna využitá data je stále nutné testovat nové léky na velkém počtu lidí, abychom věděli, že jsou bezpečné a účinné. Stroje dnes dokážou simulovat biologické procesy, a biologové tak mohou testovat nové léky in silico místo fyzických experimentů. Tyto digitální simulace však skutečný svět nenapodobují dostatečně věrně, aby nahradily rozsáhlé studie na lidech. Čím více kandidátních léčiv stroje navrhnou, tím více se empirické ověřování stává brzdou.

V civilizaci rozvíjející se do šířky samotná genialita k pokroku nestačí. Naše potřeba fyzických zdrojů i byrokracie, která spravuje jejich využití, roste rychleji, než nakolik na nich dokáže ušetřit chytrá mysl.

Touto cestou se můžeme vydat i tehdy, pokud budoucí AI systémy lidskou inteligenci výrazně překonají. Superinteligence by mohla za odpoledne navrhnout experimenty na celé století a pak to století strávit čekáním, než je příroda a stroje dokončí. V takovém světě má větší hodnotu věnovat inteligenci institucionálním procesům potřebným k uskutečnění nápadů než samotnému vymýšlení.

Tento efekt se bude dále násobit, pokud každý další krok vyžaduje stále více podpůrné infrastruktury.

Viděli bychom tu relativně méně přemýšlení a relativně více budování. Laboratoře se automatizují. Továren přibývá. Výroba energie roste. Institucionální inteligence převažuje, aby se to vše mohlo uskutečnit. Fyzická expanze se stává motorem poznání a civilizace se rozpíná, protože její otázky přerostly prostředky, jimiž dokáže získávat odpovědi. Více materiálů, více energie, více dat, aby mohla pokračovat dál.

Dysonova sféra je krajním obrazem takové budoucnosti. Její návrh vyžaduje mimořádné průlomy, většina projektu by však nespočívala v převratném myšlení. Šlo by o výstavbu a logistiku v astronomickém měřítku.

K vypracování plánů Dysonovy sféry jsou zapotřebí geniální mozky. Zároveň by patřila k nejvíce repetitivním, monotónním a organizačně nejnáročnějším projektům v dějinách.

To není selhání inteligence, ale důsledek jejího úspěchu. Bystřejší mozky objevují více smysluplných projektů; složitější projekty potřebují k realizaci více hmoty.

Pokud tomu tak je, superschopností superinteligence nemusí být její genialita. Mohla by jí být ochota zastat roli byrokracie a koordinovat rozsáhlý technologický a institucionální aparát potřebný k proměně myšlenek ve skutečnost ve stále větším měřítku.

Téměř veškerá strojová inteligence by se nasazovala nikoli na geniální, ale na nudnou práci.

Další pokrok pak mohou brzdit přírodní zákony, které omezují rychlost fyzické expanze. Vybudovat zařízení pro získávání energie hvězdy je úkol ve hmotném světě, ať už plány vzniknou seberychleji. Za ní leží další hvězdy a galaxie a vzdálenost je sama o sobě brzdou, alespoň pokud víme: rychleji než světlo nemůže cestovat žádná loď a nemůže se vrátit žádný signál. Civilizace rozvíjející se do šířky je pomalá civilizace. Její velké proměny mohou dělit tisíciletí, možná miliony let. Každý další krok trvá déle.

Zemědělská a průmyslová revoluce by vypadaly jako horečný úvod k mnohem delším dějinám s mnohem pomalejším tempem pokroku.

Je docela možné, že budoucí systémy AI předčí lidi jak v získávání průkopnických poznatků, tak v koordinaci zdrojů potřebných k jejich praktickému využití. Tato možnost ale nijak nesnižuje význam lidské zvídavosti.

Za prvé, naší povinností zůstává usilovat o poznání, i když se zdá, že strojům jde lépe. Ve vesmíru už možná existují mnohem moudřejší mysli než ty naše, které znají odpovědi na vědecké i morální otázky přesahující naše chápání. Přesto se dál snažíme světu porozumět sami. Příchod jiné inteligence, byť takové, kterou sami vytvoříme, na tom nic nemění. Dokud s jistotou nevíme, že lidstvo už nemá čím osobitým přispět, vzdát se znamená zahodit vše, co světu můžeme dát jen my. Naší povinností zůstává dál klást otázky a snažit se na ně odpovědět.

Za druhé, v průkopnické inteligenci můžeme mít komparativní výhodu oproti inteligenci institucionální. To by znamenalo, že i kdybychom byli horší v obojím, v té první jsme relativně lepší, a proto se na ni specializujeme. Lidé dávají přednost tvořivé práci před rutinou, zatímco roboti takovou preferenci neprojevují.

Za třetí, rozmanitost nám přináší hodnotu. I když stroje dokážou napodobit většinu lidského myšlení, zachováme-li si určitou jedinečnost, přispíváme tvůrčí rozmanitostí. Velká část strojové inteligence by zůstala ve vlastním soběstačném aparátu, ale malý zlomek bychom využívali podle svých tvůrčích přání. Pouhý střípek celku, ale pro naše záměry luxus a mnohem víc zdrojů, než máme dnes.

Vynalézavost neexistuje ve vzduchoprázdnu. Potřebuje svět kolem sebe a génius potřebuje stavitele, kteří uskuteční jeho tvůrčí vizi.

Velká část lidské inteligence dnes slouží nenápadné práci, která proměňuje myšlenky ve skutečnost. Strojové mysli zdědí stejnou závislost. Nemohou být všechny oslnivými mysliteli. Musejí být i byrokraty.

Náš budoucí příběh i tempo jeho vývoje závisejí na tom, zda velké mysli potřebují stále více ze světa, nebo dokážou více s menšími prostředky.