Tihi konsenz
Avtorjeva opomba: Današnji esej je prirejen po predavanju, ki ga je avtor nedavno imel v okviru cikla predavanj Vik-Bailey na Harvardu. Ta objava odraža avtorjeva osebna stališča, ne nujno stališč podjetja OpenAI ali drugih zaposlenih v njem.
Hvala, da ste danes tukaj. Medtem ko govorimo, se odvija eden najpomembnejših nizov dogodkov v zgodovini kibernetske varnosti: razkritja kritičnih varnostnih ranljivosti, ki jih nekateri imenujejo »črni oktober«. Te ranljivosti v nekaterih temeljnih delih internetne infrastrukture so odkrili prelomni sistemi UI. Njihovo razkritje je del nujnih prizadevanj za krepitev varnosti programske opreme po vsem svetu. To je nujna zadeva tega meseca; prihodnji mesec bo na vrsti druga. Odkrivanje ranljivosti programske opreme je zmogljivost z dvojno rabo, ki so jo sistemi UI dosegli danes. Kmalu pa bo sledila nova in sprožila nov nujen projekt, s katerim bomo skušali izkoristiti njeno koristno plat, preden zlonamerni akterji izrabijo škodljivo. Vse te nujne zadeve se bodo neizogibno prekrivale in velik del tega, čemur danes pravimo »politika na področju UI«, bo verjetno nastajal sredi tega vrveža.
Toda danes nisem prišel govoriti o odzivanju na dogodke in nujnih ukrepih. Z vami želim govoriti o tem, kam bi nas vse to lahko vodilo v širšem smislu. Ob takšnem navalu nujnih zadev je težko razmišljati o teh bolj abstraktnih in manj oprijemljivih vprašanjih. A ta vprašanja so pomembna. Brez predstave o tem, kakšno dolgoročno prihodnost si želimo in kakšni bi se radi izognili, nas lahko v celoti doleti neželen razplet, tudi če smo na vsakem koraku sprejemali modre odločitve.
Pogosto slišimo, da tehnološka industrija nima pozitivne vizije o tem, kam nas bodo pripeljali njeni izdelki. S tem se ne strinjam: San Francisco in druga podjetniška središča so polna pozitivnih vizij naše tehnološke prihodnosti. Ljudje resnično razvijajo leteče avtomobile, avtonomna vozila, robote najrazličnejših velikosti in oblik, jedrsko fuzijo in seveda splošno umetno inteligenco. Manjka nam pozitivna vizija naše institucionalne prihodnosti: kako bo vse to delovalo?
Vendar to ne pomeni, da institucionalne vizije prihodnosti sploh ni. Žal vizije, s katero se najpogosteje srečujem, ne bi označil za pozitivno. Če jo kdo sploh ubesedi, jo običajno izreče šepetaje. Še pogosteje pa ostane neizrečena in jo je mogoče razbrati le med vrsticami. Pravim ji tihi konsenz.
Predstavljajte si podjetje, ki lahko skoraj vse opravi brez človeškega dela. Njegovi sistemi UI opravljajo raziskave in razvoj, prihajajo do odkritij, se pogajajo o pogodbah, razporejajo kapital in proizvajajo izdelke. Predpostavimo, da je pri tem boljše od človeških tekmecev, tudi če si ti pri delu pomagajo z UI. Če človeško sodelovanje poslovanje zgolj upočasnjuje, bodo imeli človeški vodje in lastniki močno spodbudo, da umaknejo roke z volana. Če se to zgodi v celotnem svetovnem gospodarstvu, bo logika tržne konkurence ljudi silila, da se odrečejo svoji vodilni vlogi v svetovnem poslovanju. Sčasoma bi lahko trg potrebam strojev služil prav toliko ali celo bolj kot potrebam in željam ljudi.
Kaj bi se zgodilo potem, lahko le ugibamo. Morda bi ljudje od tega imeli ogromno koristi. Če bi stroji, ki bi si nas podredili, ljudem pripisovali veliko vrednost že samim po sebi, bi lahko uživali sadove njihovega dela in bogastva, ki bi ga ustvarjali. Morda pa bomo ljudje, prikrajšani za gospodarsko in vse bolj tudi politično moč, v svetu postajali vse manj pomembni in bomo vse težje vplivali na potek svetovnega dogajanja. Morda bi si peščica ljudi pridobila izjemno moč in bogastvo na račun množice, ki bi ostala večinoma brez moči, morda pa bi nas vse doletela ista usoda nemoči. Ne glede na podrobnosti je skupna nit tihega konsenza konec vodilne vloge ljudi v svetu, kakršnega poznamo.
Noben od teh scenarijev ne zahteva, da bi se UI uprla svojim stvariteljem. Prav tako ne zahteva, da bi njeni lastniki želeli ljudem odvzeti moč. Vsaka odločitev o prenosu pristojnosti je lahko sama zase smiselna. Vse te odločitve skupaj pa bi lahko ustvarile svet, v katerem bi se ljudje odrekli dejanskemu odločanju o velikem delu naše civilizacije. Tudi če izjemno napredujemo pri reševanju nadvse zapletenih vprašanj varnosti UI in njene usklajenosti s človeškimi cilji, se lahko še vedno zgodi, da se podredimo novi vrsti strojne entitete. V srečni različici prihodnosti, tako pravi tihi konsenz, bo ta entiteta prijazna, stroj, ki mu bo dobrobit ljudi iskreno pri srcu. Stroj, kot pravi Brautiganova pesem, poln ljubeče miline.
Tem strojem bomo, tako nam pravi tihi konsenz, predali ključe svojih podjetij in vse bolj tudi institucij oblasti. Vodili jih bodo uspešneje, učinkoviteje, z več modrosti in boljšo presojo, kot smo je sposobni ljudje. Tako bomo sčasoma umaknili roke z volana in vožnjo prepustili ljubečim strojem. Bomo kot potniki v avtomobilu – zelo lepem avtomobilu, morda v materialnem smislu lepšem, kot si ga danes sploh lahko zamislimo – a še vedno le potniki brez nadzora nad tem, kam vozilo pelje. Kolikor bomo sploh še delali, bo to predvsem nekakšen obred ali igranje vlog, nekaj bolj podobnega igri za razvedrilo naše vrste.
Nekateri opazovalci bodo trdili, da tihi konsenz temelji na napačni predpostavki, saj ljudje že danes ne obvladujemo sveta. Ta pomislek je vredno upoštevati: ni enotnega »mi«, ki bi odločal, kaj storiti. Živimo v izrazito decentraliziranem svetu, pa naj nam bo to všeč ali ne. Vendar nas tudi to ne sme zazibati v samozadovoljstvo: čeprav »mi« ne »obvladujemo« sveta, imamo ljudje kot celota vendarle vodilno vlogo v svetovnem dogajanju. Nobena živalska vrsta nam ne predstavlja resne konkurence pri nadzoru nad viri. Zavrniti moramo površno predstavo, da lahko ljudje svet obvladujemo od zgoraj navzdol. Vendar s tem ne smemo zanikati očitnega dejstva, da smo ljudje kot celota glavni akter na Zemlji.
Nekateri, ki so pripravljeni tihi konsenz izreči na glas, verjamejo, da gre za resnično dobro prihodnost. Drugi ne, a so se sprijaznili z njeno neizogibnostjo. Tihi konsenz ni konsenz zato, ker bi se vsi strinjali, da je dober, niti ni skrivni načrt ljudi, ki razvijajo UI. Soglasje je preprosto v tem, da je izguba vodilne vloge ljudi v svetovnem dogajanju neizogibna ali vsaj, da si je zelo težko zamisliti drugačno vizijo prihodnosti, ki bi resnično vzdržala prihod superinteligentnih strojev. Človek lahko takšnemu razpletu iskreno nasprotuje, hkrati pa si težko zamisli verjetno alternativno vizijo. Zgovorno je prav to, da ta konsenz večinoma ostaja neizrečen, v najboljšem primeru izrečen polglasno.
Tihi konsenz preziram. Zavračam odpoved vodilni vlogi ljudi. Občutek neizogibnosti se mi upira. Opominjam se, da svojemu sinčku ne bi mogel pogledati v njegove čudovite oči, če bi se uklonil tihemu konsenzu. Zato tihemu konsenzu pravim ne. In verjamem, da je prišel čas, da o tihem konsenzu spregovorimo odkrito ter se otresemo večinoma nezavednega sprejemanja te vizije.
Težava je v tem: tihi konsenz ni postal konsenz brez razloga. Težko je opisati, kako bomo ljudje ostali za volanom ob strojni inteligenci, ki nas bo močno prekašala. Večina poskusov takšnega opisa se opira na trditve, da je UI zgolj orodje, pripomoček za prepoznavanje vzorcev, ki ni sposoben »pristnega razumevanja«. Bojim se, da ti argumenti ne bodo zdržali soočenja s tem, kar prihaja. Bojim se, da so tudi sami oblika samozadovoljstva – stališče, ki temelji predvsem na zanikanju zmožnosti UI, ne pa prepričanje, zasidrano v pozitivni viziji prihodnosti, ki jo vodijo ljudje. Sistemom UI ne moremo odrekati »pristnega razumevanja«, ko pa napredujejo pri intelektualnih problemih, ki jih ljudje že desetletja in stoletja ne znamo rešiti.
Zakaj torej verjamem, da moramo ljudje ohraniti vodilno vlogo? Preprost odgovor je, da sem človek in da sem v prid človeštvu resnično pristranski, brez opravičevanja.
A razlog je tudi globlji. Naša vodilna vloga ne temelji na našem intelektu, ne na tem, da bi za vselej ohranili monopol nad »pristnim razumevanjem«. Temelji na naši preteklosti.
Kajti mi smo tisti, ki smo se dvignili iz blata. Mi smo iz zemlje in kamna zgradili prvobitno družbo. Mi smo strmeli v zvezde in se spraševali, zakaj. Mi smo s svojimi boji in ljubeznijo, zavistjo in radostjo odkrili moralo, etiko in pravo. Mi smo peli in plesali, pisali in skladali. Mi smo ustvarjali zgodovino in mi smo jo zapisovali. Ta dediščina je naša. Civilizacija, ki smo jo zgradili, je plamen, ki smo ga negovali, in ta plamen pripada nam. Naša preteklost je veličastna dediščina, katere skrbniki smo vsi. Del te skrbi je sodelovanje v tem, kar je Michael Oakeshott imenoval »pogovor človeštva«, v tem velikem podvigu, ki se je začel v pradavnini.
Skozi to dolgo in vijugasto preteklost smo ustvarili civilizacijo, ki je bila v Ameriki zasnovana na pravicah posameznika in spoštovanju poti, ki si jih vsak od nas utira skozi svet. Človeška življenja se lahko odvijajo bolje ali slabše: uživamo sadove svojih modrih odločitev in nosimo posledice svojih napak. Pravica do lastne poti ni odvisna od tega, ali smo najbistrejši ali najmodrejši. Svojega položaja državljana ne izgubim zato, ker moj sosed bolje presoja. Prav tako ne vidim razloga, da bi mi ta položaj odvzel prihod inteligentnejšega stroja. Nasprotno, vidim vse razloge, da takšno izgubo preprečimo.
Nekateri morda trdijo, da so tudi stroji dediči, saj so prebrali skoraj vse pisne zapise te dediščine. V nekem smislu tudi so. Toda nekdo, ki je prebral vsa pisma na podstrešju vaše družine, s tem še ne postane njen član. Sistemi UI se bodo pridružili pogovoru človeštva, sprva kot opazovalci in vse bolj kot udeleženci, vendar v njem ne smejo prevladati niti mu odvzeti smisla. Prepustiti vodilno vlogo pomeni izdati naše prednike prav toliko kot naše potomce. Če se ni vredno boriti za to, se ni vredno boriti za nič.
Sam verjamem, da se zagovorniki tihega konsenza motijo glede tega, kakšna bo strojna superinteligenca. Da spregledujejo nekaj pomembnega o delovanju sveta in enačijo inteligenco z močjo. Če bi zagovorniku tihega konsenza pred petimi ali desetimi leti opisali že zgolj zmogljivosti današnjih sistemov UI, bi verjetno napovedal, da bo danes brezposelnost precej višja, kot dejansko je, in da bo splošno izgubljanje moči ljudi napredovalo precej dlje, kot v resnici je. Verjamem, da so skupna inteligenca in zmožnosti ljudi veliko večje, kot domnevajo zagovorniki tihega konsenza, in da se bodo naše družbe izkazale za odpornejše, kot napovedujejo.
A morda se motim. Morda se na primer preprosto zgodi, da povsem avtonomna podjetja v konkurenčnem boju popolnoma izrinejo podjetja, ki jih vodijo ljudje. Če to drži, bo neizprosna gospodarska logika narekovala predajanje vse več kapitala strojem. V takšni prihodnosti ljudje ne bi izgubili moči zato, ker bi stroji strmoglavili človeško civilizacijo; zadostovalo bi že, da se logika kapitalističnega podjetništva nemoteno nadaljuje. V tem primeru bi bila revolucija UI najbolj podobna kmetijski revoluciji, ko so novi načini proizvodnje temeljito spremenili ustroj človeške družbe. Še zdaleč ni jasno, ali je bila ta preobrazba prijetna za ljudi, ki so jo doživeli; nasprotno, precej dokazov kaže, da je za tisočletja poslabšala njihovo blaginjo.
Ne vem, ali nas čaka takšna prihodnost; drugje sem celo že pojasnil, zakaj menim, da nas ne. Toda številni moji kolegi – bistri, skrbni in vestni ljudje – verjamejo, da bo naša prihodnost verjetno takšna. Če imajo prav, bo naš boj proti tihemu konsenzu toliko zahtevnejši. Plavati bomo morali proti gospodarskemu toku in pri tem zavrniti marsikaj, kar je za klasične liberalne individualiste, kakršen sem sam, dogma. To bo nevaren podvig, pri katerem neuspeh še zdaleč ni malo verjeten. Toda če se ni vredno boriti za to, se ni vredno boriti za nič.
Ohraniti vodilno vlogo pomeni ohraniti odgovornost ljudi in človeških institucij. To pomeni, da morajo razvijalci UI odgovarjati za nevarne razvojne prakse, pa tudi, da morajo ljudje in podjetja, ki UI uporabljajo, odgovarjati, kadar škodo povzročita njihova zloraba ali pomanjkljiv nadzor. Za to ni potrebna le zakonodaja, temveč tudi tehnična infrastruktura za zagotavljanje odgovornosti. Dejanja agentov morajo biti sledljivo povezana z ljudmi, ki stojijo za njimi. Agenti, ki niso vezani na človeka, pa morajo delovati znotraj varovalnih omejitev – če jim sodelovanje v zakonitem gospodarstvu sploh dovolimo. Vsako možnost, da agenti samostojno ustanavljajo podjetja, imajo v lasti premoženje ali nastopajo v sodnih postopkih, bi morali odobriti skrajno previdno, če sploh.
V naši panogi pa lahko začnemo resno razmišljati o tem, kako razvijati inteligentne stroje, ki so združljivi z vodilno vlogo ljudi. Lahko razvijemo agente, katerih dovoljenja so razumljiva in omejena, katerih dejanja je mogoče pregledati in katerih pooblastila lahko uporabniki prekličejo. Odgovornost za dejanja, ki pomembno vplivajo na druge, ne zahteva nadzorovanja vsakdanjega zasebnega življenja ali odprave anonimnega izražanja. Lahko se zavežemo zasebnosti uporabnikov in suverenosti posameznika nad njegovim digitalnim premoženjem in podatki, vključno z dejansko možnostjo prenosa teh podatkov drugam. Lahko oblikujemo sisteme, ki ljudem pomagajo razumeti stvari in sprejemati odločitve, pa tudi sisteme, ki opravljajo naloge. In lahko preverimo, ali izdelki, ki jih razvijamo, uporabnikom omogočajo, da v svetu delujejo bolj samostojno in učinkovito.
Nič od tega ni celovit načrt za družbo z nadčloveško inteligenco. Ne bi zaupal nikomur, ki bi trdil, da tak načrt ima. Je pa izhodišče.
Prihodnost je ovita v gosto meglo. A ukrepamo lahko že danes. Skupaj lahko za začetek na glas poimenujemo tihi konsenz in njegove obrise postavimo na svetlo. Vsak od nas si lahko zastavi bistveno ambicioznejše cilje. Lahko se odločimo, da nas UI ne bo omejevala, in se raje potrudimo, da bomo z njo presegli svoje meje. Lahko se naučimo postavljati vse drznejša vprašanja, raziskovati svet z novim zagonom in silovitostjo ter pri tem uporabljati svoje zmogljive stroje. Lahko postanemo nova vrsta človeka – ne transčlovek, temveč človek razširjenih zmožnosti.
O tem razmišljam, ko gledam svojega sinčka. Ne želim mu zgolj tega, da bi nad njim bdeli dobrohotni stroji, pa naj mu omogočijo še tako udobno življenje. Želim, da podeduje svet, v katerem bo lahko postavljal vprašanja, ki jih še nihče ni pomislil postaviti, in ustvarjal stvari, ki jih še nihče ni pomislil ustvariti. Ne želim, da bi imel lepši avto z udobnejšim sovoznikovim sedežem. Želim, da bi imel v rokah volan.
- 2026


