Večno dopolnilo

Opomba avtorjev: To je prvi esej v najini seriji o gospodarstvu prihodnosti, ki je del nove platforme za neodvisne glasove, ki raziskujejo prihodnost s SUI. Odraža najina stališča, ne stališč OpenAI ali najinih sodelavcev.

Človeštvo je s pogledom seglo skoraj do začetka časa.

Naše enačbe pripovedujejo večinoma skladno zgodbo o vesolju od njegovih prvih trenutkov. S teleskopi smo pogledali v daljave vesolja in uzrli njegovo zgodnjo zgodovino. Poznamo rojstvo zvezd in nastanek galaksij.

Toda noben človek še nikoli ni potoval dlje od Lune.

Razlage, ki jih iščemo, zajemajo vesolje, naša telesa pa so komaj zapustila dom. Naši umi se podajajo daleč onkraj dosega naših rok.

To neskladje bi lahko pomenilo dve zelo različni stvari.

Ena možnost je, da nam ni treba prav daleč in da lahko najgloblje resnice dojamemo z enega samega planeta. Z razsvetljenim sklepanjem in učinkovitimi instrumenti razkrivamo vesolje, ne da bi potovali po njem. V tej zgodbi naša civilizacija napreduje v globino namesto v širino. To bi pomagalo pojasniti, zakaj še nismo opazili drugega inteligentnega življenja: morda živimo v galaksiji, polni izjemnih umov, ki se jim nikoli ni bilo treba širiti in s tem postati opazni za nas.

Druga možnost je bolj zastrašujoča. Naši umi so morda preprosto prehiteli naše izvedbene zmogljivosti. Vsak naslednji korak zahteva več časa in več virov. Sanj nam ne manjka, manjka pa nam ljudi, da bi jih uresničili.

Galileo je z dvema lečama in cevjo razširil naš pogled. Da bi ga danes znova razširilo, je človeštvo zgradilo vesoljski teleskop James Webb, deset milijard dolarjev vreden observatorij, zložen v raketo in poslan milijon milj daleč. Njegovih osemnajst ogromnih zrcalnih segmentov je izdelanih z natančnostjo petdesetih nanometrov. Observatorij je nastal s sodelovanjem tristo organizacij iz štirinajstih držav. Galilejev dosežek je zahteval nekaj deset parov rok. Webb jih je potreboval celo vojsko, za njo pa svetovno gospodarstvo.

Da bi videli dlje, nismo potrebovali le bistrejših umov. Potrebovali smo večjo birokracijo.

Zastavljamo si več vprašanj, kot jih lahko raziščemo. Zasnujemo več poskusov, kot jih lahko izvedemo. Ustvarjalne možnosti si zamišljamo hitreje, kot jih lahko uresničimo. Na številnih področjih velja: dlje ko napredujemo, bolj zapleteno je zgraditi to, kar si zamislimo.

Nick Bloom in njegovi soavtorji⁠(odpre se v novem oknu) so preučevali raziskovalno produktivnost v ameriškem gospodarstvu. Za ohranjanje Moorovega zakona danes potrebujemo več kot osemnajstkrat toliko raziskovalcev kot v zgodnjih sedemdesetih letih. Dejanski raziskovalni vložek v celotnem gospodarstvu se je od tridesetih let prejšnjega stoletja povečal triindvajsetkrat, izmerjena raziskovalna produktivnost pa se je zmanjšala na enainštiridesetino.

Število tehničnega osebja raste dvakrat hitreje⁠(odpre se v novem oknu) kot število znanstvenikov. Uporaba specializirane opreme v znanosti se je v štirih desetletjih podvojila⁠(odpre se v novem oknu). Tovarna čipov je danes petkrat dražja⁠(odpre se v novem oknu) in veliko bolj razvejana kot pred tridesetimi leti.

Ti podatki nakazujejo, da je nadaljnji napredek vse dražji. Gospodarstvo še vedno napreduje, ker je izjemna rast raziskovalne dejavnosti nadomestila vse manjši donos posamezne enote vložka.

Ta zgodovina bi nas morala spodbuditi k drugačnemu razmišljanju o genialnosti: ne kot o nečem ločenem od sveta, temveč kot o enem od vložkov v proizvodni proces. Tudi sijajna hipoteza potrebuje dokaze, instrumente in sredstva za preverjanje. Ideja še ne pomeni napredka, če ni naprav in podpornega osebja, ki bi jo uresničili.

Ekonomisti dva proizvodna dejavnika imenujejo komplementa, kadar več enega poveča vrednost drugega. Prelomna inteligenca in zmožnost uresničevanja njenih idej se v tem smislu dopolnjujeta. Boljši teleskop poveča vrednost dobrega astronomskega vprašanja. Boljše vprašanje poveča vrednost teleskopa.

Nekatera dopolnila so fizična. Teorija čaka na pospeševalnik delcev, tehnološki načrt pa na energijo in stroje za izvedbo.

Druga dopolnila je težje opaziti s prostim očesom. Ideja je sama po sebi krhka. Potrebuje najrazličnejše institucije. Pri uresničevanju ideje se prepletajo zakoni, birokracija, mehanizmi financiranja, dobavne verige in še marsikaj.

Odlična ideja mora v teh institucijah prestati dolgo verigo pravilnih dejanj na posameznih ravneh. Poimenujmo to institucionalna inteligenca: neopevana inteligenca izvedbe. Genialnost zasnuje spomenik, institucije polagajo kamenje. Eno je sijajno, drugo se zdi dolgočasno; oboje je nujno potrebno.

Superinteligenco si včasih predstavljamo kot milijardo Einsteinov. Toda tudi civilizacija milijarde Einsteinov potrebuje večino teh ljudi za delo v kamnolomih in vodenje računovodstva. Prelomne inovacije so mogoče le, če običajni svet okoli njih deluje brezhibno. Napredek potrebuje vsakogar: od varilca vijaka za teleskop do zavarovalnice osnovne šole, ki jo je obiskovala medicinska sestra, ki je skrbela za astronoma. Napredek temelji na živahnem gospodarstvu, ki ga v pripovedih o svojih največjih dosežkih pogosto spregledamo.

Tako kot človeška inteligenca bo tudi umetna inteligenca usmerjena tako v sijajna spoznanja kot v institucionalno usposobljenost. Vprašanje je, čemu bo namenila večino svojega časa.

Umetna inteligenca že blaži pomanjkanje izvedbenih zmogljivosti. Piše kodo, preiskuje neznano literaturo in skico spreminja v delujoč prototip. Idej, ki so nekoč zahtevale celo organizacijo, se lahko vse pogosteje loti en sam ambiciozen človek.

Večina nadobudnih filmskih ustvarjalcev nikoli ne dobi dvesto milijonov dolarjev, da bi pokazali, kaj zmorejo. Večina oblikovalcev iger vso kariero uresničuje ustvarjalne vizije drugih. Skušamo podpirati najbolj nadarjene, a del talentov neizogibno spregledamo. S tega vidika se doba inteligence začenja kot dopolnilo človeški iznajdljivosti: več ljudem daje podporno osebje za uresničevanje lastnih idej.

Tako bi lahko nastala množica samosvojih projektov, več ustvarjalnih del pa bi nastajalo zunaj institucij, ki so prej odločale o tem, kdo lahko deluje na teh področjih. Redek dejavnik tako ni več izvedba, temveč okus: sposobnost presoditi, kaj je vredno ustvariti, katero vprašanje zastaviti in katero od tisoč obetavnih smeri ubrati.

Toda zgodba se tu morda ne konča. Ko umetna inteligenca postaja sposobna sama priti do sijajnih novih spoznanj, kar morda že opažamo na področjih, kot je matematika, ne zagotavlja več le dela, temveč tudi zastavlja cilje. Namesto da bi izvajala en človeški raziskovalni program, jih zasnuje na tisoče svojih. Geniji umetne inteligence silovito povečajo število filmskih zamisli, vrednih razvoja, in hipotez, vrednih preverjanja. Ideje se množijo hitreje, kot jim lahko sledi podporna infrastruktura.

Današnja umetna inteligenca ponuja dolgo pričakovano olajšanje: naše dobre ideje končno dobijo priložnost. Jutri bo dobrih idej morda toliko, da nam bo izvedbenih zmogljivosti primanjkovalo bolj kot kdaj prej.

Navsezadnje ne vemo, ali bo dopolnilnih virov, potrebnih za produktivno uporabo novih spoznanj, vse več, vse manj ali enako. Kolikšen intelektualni napredek je mogoče doseči zgolj z razmišljanjem? Koliko birokracije potrebuje genialnost?

Meniva, da je odgovor odvisen od tega, kako daleč lahko seže misel, preden mora znova stopiti v stik z resničnostjo.

Opisujeva dve možni poti. Prva je civilizacija globine, v kateri superinteligenca preseže potrebo po dodatnem fizičnem kapitalu in birokratskem usklajevanju. Druga je civilizacija širine, v kateri kompleksnost narave presega zmožnost katerekoli inteligence, človeške ali strojne, da bi napredovala brez velikih in vse bolj zapletenih poskusov v resničnem svetu.

Dosedanja človeška zgodovina nakazuje naraščajočo potrebo po dopolnilnih zmogljivostih. Galileo je teleskop lahko držal v rokah; Webb je potreboval civilizacijo. Majhna ekipa v Bellovih laboratorijih je prvi tranzistor sestavila na delovni mizi; prelomni napredki pri čipih danes izvirajo iz zapletene svetovne dobavne verige. Za vsak nov premik meja je potrebna podpora še večjega dela civilizacije.

Toda zgodovina ne določa nujno naše usode. Bistri umi lahko iznajdejo učinkovitejša dopolnila. Če je energija ozko grlo novega pospeševalnika delcev, lahko genialen um zasnuje varčnejši pospeševalnik ali boljši način pridobivanja energije.

Genialnost lahko nekatera svoja dopolnila tudi nadomesti. Einstein se je do relativnosti lahko dokopal z razmišljanjem na podlagi zelo malo empiričnih podatkov. Mi bi jih potrebovali veliko več. Nekateri si preprosto zapomnijo vse svoje obveznosti; večina se zanaša na birokracijo Google Koledarja.

Genialnost lahko tudi izostri okus do skrajnosti, izbere najboljše hipoteze za preverjanje in se izogne potratnim neuspehom. Če vsak dodatni genij izboljša načrt, bi tudi ob potrebi po vse večji birokraciji še vedno veliko vlagali v genialnost, prav zato, ker je izvedba predraga, da bi jo zapravljali za napačne stvari.

Nobena od teh poti ne bo povsem opisala naše dejanske prihodnosti, lahko pa ju razumemo kot dve možni smeri razvoja naše civilizacije.

Inteligenca lahko znanje širi na tri načine. Lahko sklepa na podlagi načel. Lahko izpelje nova spoznanja iz obstoječih dokazov. Lahko pa zbira nove dokaze z opazovanjem sveta in poseganjem vanj.

S prvim načinom je mogoče priti daleč že zgolj z razmišljanjem. Matematika je najčistejši primer. Na številnih razpotjih pri dokazu ali projektu se lahko izjemen um vedno znova pravilno odloči. Leta negotovega iskanja nadomesti s kratkim, bolj usmerjenim zaporedjem sklepanja.

Tudi drugi način ponuja še neizkoriščene možnosti za hiter napredek. Človeštvo je zbralo veliko več dokazov, kot jih je razumelo. Preučevanje naših podatkov, od astronomskih posnetkov in mikroskopskih preparatov do spletnih komentarjev, je omejevalo pomanjkanje človeške inteligence. Znanstveni arhivi vsebujejo opažanja, zabeležena za odgovor na eno vprašanje, ki bi lahko skrivala odgovore na številna druga. Obilje genialnosti lahko prinese odkritja ne z zbiranjem novega, temveč s prepoznavanjem tistega, kar je že bilo tam. Morda lahko odkrije novo vesolje, ne da bi zajelo en sam nov foton.

Tretji način ni tako preprost, saj zahteva stik s fizičnim svetom. Fizični procesi potrebujejo čas in pogosto jih lahko le malo pospešimo. Kemikalije morajo reagirati. Organizmi morajo zrasti. Stroje je treba zgraditi. Vesoljska plovila morajo premagati dejanske razdalje, pri tem pa jih omejujejo vesoljske hitrostne omejitve. Niti popoln um ne more opazovati rezultata poskusa, ki se še ni zgodil.

Lahko pa poskusi. Civilizacija globine se ne bi izognila potrebi po preverjanju v resničnosti. Pri tem bi postala korenito varčnejša. Boljše sklepanje bi prepoznalo tistih nekaj poskusov, ki so resnično pomembni. Simulacije bi razrešile večino vprašanj in natančno določile negotovost, ki jo mora odpraviti resničnost. Superinteligenca lahko doseže največjo učinkovitost tako, da načrte prilagodi omejenim virom in iz njih iztrži kar največ.

Predstavljajte si astrofizikalni laboratorij z nizom hipotez o temni snovi. Te najprej preverijo s hiperrealističnim računalniškim modeliranjem. Pri vsaki teoriji preverijo skladnost z vsemi obstoječimi podatki. Šele nato naredijo nekaj novih, ciljno izbranih posnetkov neba, da preverijo najobetavnejše teorije. Civilizacija še vedno potrebuje dopolnila genialnosti, vendar vsaka enota prinese veliko več vrednosti.

Naša pot do civilizacije globine bi lahko spominjala na sestavljanje sestavljanke. Napredovanje je preprosto na začetku in na koncu, najtežje pa na sredini. Sprva zlahka prepoznamo robove in najdemo ujemajoče se koščke. Nato teh zmanjka, sestavljene slike pa je premalo, da bi nas vodila pri preostanku. Proti koncu nam preostale vrzeli skoraj same povedo, kaj spada vanje. Skoraj dovršena znanost bi do zadnjih odkritij morda prišla lažje kot do tistih, za katera se trudimo danes.

To je v znanosti ustaljen pojav. Mendelejev je lahko opisal še neodkrite elemente, ker je preostanek periodnega sistema omejeval možnosti za manjkajoče dele. Standardni model je fizikom dal razloge za pričakovanje Higgsovega bozona desetletja pred njegovim opažanjem. Naši poskusi so bili usmerjeni v iskanje tistega, kar smo pričakovali: tistega, kar je bilo skladno z obstoječo teorijo in podatki.

Superinteligenca bi lahko ustvarila civilizacijo globine, če bi vzorce sveta razumela tako dobro, da bi natančno vedela, katere nove podatke potrebuje. Napredek bi poganjala z globljim razmišljanjem, ne da bi se zanašala na počasno fizično širjenje.

Če bi takšni prihranki prevladali, bi civilizacija lahko hitro poglabljala svoje obvladovanje narave, ob manjši potrebi po institucionalni inteligenci za upravljanje obsežnih novih eksperimentalnih sistemov. Njen fizični odtis bi lahko ostal majhen, medtem ko bi njena modrost zorela.

Ljudje smo o svojem vesolju razumeli že toliko, ne da bi sploh zapustili dom. Civilizacija globine bi nadaljevala to tradicijo.

Toda potreba po novih dokazih lahko te prihranke preseže. Inteligenca lahko poceni vsako preverjanje v resničnosti, obenem pa odkrije še veliko več razlogov zanj. Boljši instrumenti odpirajo nova, še podrobnejša področja raziskovanja. Hitrejši poskusi lahko upravičijo dodatne poskuse.

Če Einsteinova skoraj povsem miselna pot do teorij relativnosti ponazarja civilizacijo globine, biologija morda najbolje napoveduje civilizacijo širine. Kljub vsemu zbranemu znanju in vsem podatkom, ki smo jih uporabili, moramo nova zdravila še vedno preizkusiti na velikem številu ljudi, da ugotovimo, ali so varna in učinkovita. Stroji lahko danes simulirajo biološke procese, zato lahko biologi nova zdravila preizkušajo in silico namesto s fizičnimi poskusi, vendar te digitalne simulacije resničnega sveta ne posnemajo dovolj zvesto, da bi nadomestile obsežna preskušanja na ljudeh. Več ko stroji predlagajo kandidatov za zdravila, večje ozko grlo postaja empirično preverjanje.

V civilizaciji širine sama genialnost za napredek ni dovolj. Naša potreba po fizičnih virih in birokraciji za upravljanje njihove uporabe raste hitreje, kot lahko bister um varčuje z enimi ali drugimi.

To bi lahko bila naša pot, tudi če bi prihodnji sistemi umetne inteligence močno presegli človeško inteligenco. Superinteligenca bi lahko v enem popoldnevu zasnovala stoletje poskusov, nato pa stoletje čakala, da narava in stroji opravijo svoje. V takšnem svetu je koristneje vlagati inteligenco v institucionalne procese, potrebne za uresničevanje idej, kot v samo snovanje idej.

Učinek se bo stopnjeval, če bo vsak nadaljnji korak zahteval vse več podporne infrastrukture.

Tu bi bilo razmeroma manj razmišljanja in razmeroma več gradnje. Laboratoriji se avtomatizirajo. Tovarne se množijo. Proizvodnja energije raste. Da bi se vse to uresničilo, prevlada institucionalna inteligenca. Fizično širjenje postane gonilo znanja, civilizacija pa se širi, ker so njena vprašanja prerasla sredstva za pridobivanje odgovorov. Več materialov, več energije, več podatkov za nadaljevanje.

Dysonova sfera je skrajna podoba takšne prihodnosti. Njeno načrtovanje zahteva izjemne preboje, a večina projekta ne bi temeljila na prebojnih zamislih. Šlo bi za gradnjo in logistiko v astronomskem obsegu.

Za načrte Dysonove sfere so potrebni izjemni umi. Obenem bi bil to eden najbolj ponavljajočih se, monotonih in organizacijsko zahtevnih projektov, kar smo se jih kdaj lotili.

To ni neuspeh inteligence, temveč posledica njenega uspeha. Bistrejši umi odkrijejo več projektov, vrednih truda; zahtevnejši projekti pa za izvedbo potrebujejo več snovi.

Če to drži, supermoč superinteligence morda ni njena genialnost. Morda je to njena pripravljenost prevzeti vlogo birokracije in usklajevati ogromen tehnološki in institucionalni ustroj, potreben za uresničevanje idej v vse večjem obsegu.

Skoraj vsa strojna inteligenca ne bi bila namenjena genialnim, temveč dolgočasnim opravilom.

Naravne omejitve hitrosti fizičnega širjenja bi tedaj lahko postale ozko grlo nadaljnjega napredka. Gradnja naprav za zajemanje energije zvezde je projekt v snovnem svetu, ne glede na to, kako hitro nastanejo načrti. Onkraj nje so druge zvezde in galaksije, razdalja pa je, kolikor vemo, omejitev sama po sebi: nobeno plovilo ne more potovati in noben signal se ne more vrniti hitreje od svetlobe. Civilizacija širine je počasna civilizacija. Med njenimi velikimi spremembami bi lahko minila tisočletja, morda celo milijoni let. Vsak naslednji korak traja dlje.

Kmetijska in industrijska revolucija bi bili videti kot mrzličen uvod v veliko daljšo zgodovino z veliko počasnejšim napredkom.

Prav mogoče je, da bodo prihodnji sistemi umetne inteligence presegli ljudi tako pri ustvarjanju prelomnih spoznanj kot pri usklajevanju virov, potrebnih za njihovo praktično uporabo. Toda ta možnost ne zmanjšuje pomena človeške radovednosti.

Prvič, še vedno smo dolžni iskati spoznanja, tudi če se zdi, da gre strojem to bolje od rok. V vesolju morda že obstajajo umi, veliko modrejši od naših, z odgovori na znanstvena in moralna vprašanja, ki presegajo naše razumevanje. Kljub temu skušamo svet razumeti sami. Prihod druge inteligence, tudi takšne, ki jo ustvarimo sami, tega ne spremeni. Dokler ne vemo zagotovo, da človeštvo ne more prispevati ničesar več edinstvenega, z odnehanjem zavržemo vse, kar lahko svetu dodamo le mi. Naša dolžnost ostaja, da sprašujemo in skušamo odgovoriti.

Drugič, pri prelomni inteligenci imamo morda primerjalno prednost pred institucionalno inteligenco. To bi pomenilo, da smo, četudi smo pri obeh slabši, pri prvi razmeroma boljši in se zanjo specializiramo. Ljudje raje ustvarjamo kot opravljamo rutinsko delo, roboti pa takšne preference ne izražajo.

Tretjič, raznolikost nam prinaša koristi. Tudi če lahko stroji posnemajo večino človeškega razmišljanja, lahko z ohranjanjem nekaj edinstvenosti prispevamo k ustvarjalni raznolikosti. Velik del strojne inteligence bi ostal v lastnem samozadostnem ustroju, majhen delež pa bi uporabljali mi, po svojih ustvarjalnih vzgibih. Drobec celote, a za naše potrebe razkošen in veliko večji od virov, ki jih imamo danes.

Iznajdljivost ne živi v osami. Potrebuje svet, genialnost pa potrebuje graditelje, da uresničijo njeno ustvarjalno vizijo.

Velik del človeške inteligence danes namenjamo neopevanemu delu pretvarjanja idej v resničnost. Strojni umi bodo podedovali isto odvisnost. Ne morejo biti vsi veliki misleci. Biti morajo tudi birokrati.

Naša prihodnja zgodba in hitrost njenega napredka sta odvisni od tega, ali veliki umi potrebujejo več sveta ali pa z manj dosežejo več.