Den tause konsensusen
Forfatterens merknad: Dagens essay er en bearbeidet versjon av et foredrag forfatteren nylig holdt som del av foredragsserien Vik-Bailey ved Harvard. Innlegget gjenspeiler forfatterens egne synspunkter, og ikke nødvendigvis synspunktene til OpenAI eller andre ansatte i selskapet.
Takk for at dere er her i dag. Mens vi snakker, utspiller en av historiens mest betydningsfulle rekker av cybersikkerhetshendelser seg: En rekke kritiske sikkerhetssårbarheter blir offentliggjort i det noen kaller «svart oktober». Disse sårbarhetene ble oppdaget av banebrytende AI-systemer i deler av internettets kjerneinfrastruktur, og offentliggjøringen er del av en hastesatsing for å styrke programvaresikkerheten verden over. Dette er den akutte saken denne måneden. Neste måned kommer det en ny. Å finne sårbarheter i programvare er en evne AI-systemer nå har fått, og som kan brukes både til nytte og skade. Snart kommer det enda en slik evne, og med den et nytt hasteprosjekt for å utnytte de gode sidene før ondsinnede aktører utnytter de dårlige. Alle disse hastesakene vil uunngåelig overlappe, og mye av det vi i dag kaller «AI-politikk», vil trolig bli utformet midt i dette spetakkelet.
Men jeg har ikke kommet hit i dag for å snakke om brannslukking og hastesaker. I stedet vil jeg snakke om hvor utviklingen kan føre oss, sett i et større perspektiv. Når hastesakene kommer så tett, kan det være vanskelig å tenke på disse mer abstrakte og luftige spørsmålene. Men disse spørsmålene er viktige. Uten en forestilling om hvilke fremtider vi ønsker å skape på lang sikt – og hvilke vi ønsker å unngå – kan vi ende med et overordnet resultat vi ikke ønsker, selv om vi tok kloke beslutninger hele veien.
Det blir ofte påpekt at teknologibransjen mangler en positiv visjon for hvor det den bygger, vil føre oss. Jeg er uenig: San Francisco og andre gründermiljøer er fulle av positive visjoner for vår teknologiske fremtid. Folk utvikler faktisk flygende biler, selvkjørende kjøretøy, roboter i mange størrelser og former, kjernefusjon og, selvfølgelig, kunstig generell intelligens. Det vi derimot mangler, er en positiv visjon for vår institusjonelle fremtid: Hvordan skal alt dette fungere?
Det betyr likevel ikke at det ikke finnes noen institusjonell fremtidsvisjon. Dessverre er ikke den visjonen jeg oftest møter, en jeg ville kalt positiv. Når den i det hele tatt blir uttalt, er det som regel i hviskende ordelag. Men oftere forblir den usagt, bare synlig mellom linjene. Jeg kaller den den tause konsensusen.
Se for dere et selskap som kan gjøre nesten alt uten menneskelig arbeidskraft. AI-systemene driver forskning og utvikling, gjør oppdagelser, forhandler kontrakter, fordeler kapital og står for produksjonen. Anta at selskapet er bedre på dette enn sine menneskelige konkurrenter, selv når menneskene forsterker innsatsen sin med AI. Hvis menneskelig deltakelse bare bremser virksomheten, vil menneskelige ledere og eiere ha et sterkt insentiv til å ta hendene av rattet. Hvis dette skjer i hele verdensøkonomien, vil markedskonkurransens logikk drive menneskene til å gi fra seg sin ledende stilling i det globale næringslivet. Over tid kan markedet komme til å dekke maskinenes behov like mye som, eller mer enn, menneskenes behov og ønsker.
Hva som skjer etter det, kan ingen vite. Kanskje ville menneskene få det langt bedre. Hvis maskinene som hadde underlagt seg oss, verdsatte menneskets egenverdi høyt, kunne vi nyte godt av arbeidet deres og rikdommen de skaper. Eller kanskje vil vi mennesker, fratatt økonomisk og i økende grad politisk makt, bli stadig mindre relevante i verden og stadig mindre i stand til å forme utviklingen. Kanskje ville et fåtall mennesker sitte med enorm makt og rikdom på bekostning av en stort sett maktesløs befolkning, eller kanskje ville vi alle lide samme skjebne og miste makten. Uansett detaljene er den røde tråden i den tause konsensusen at menneskets forrang i verden slik vi kjenner den, tar slutt.
Ingenting i disse scenarioene krever at AI gjør opprør mot skaperne sine. Ingenting krever at eierne ønsker å frata menneskene makten. Hver beslutning om å delegere kan være fornuftig isolert sett. Likevel kan beslutningene samlet sett skape en verden der menneskene har gitt fra seg den reelle myndigheten over store deler av sivilisasjonen vår. Selv om vi gjør enorme fremskritt med de vanskelige spørsmålene om AI-sikkerhet og hvordan AI kan bringes i samsvar med menneskelige mål og verdier, kan vi likevel ende med å ha underkastet oss en ny type maskinvesen. I den lykkelige versjonen av fremtiden, vil den tause konsensusen fortelle oss, vil dette vesenet være godhjertet, en maskin som vil menneskene det beste. En maskin full av kjærlig nåde, som det heter i Brautigans dikt.
Til disse maskinene, forteller den tause konsensusen oss, vil vi overlate nøklene til selskapene våre, og i økende grad til styringsinstitusjonene våre. De vil drive dem mer effektivt, med bedre ressursbruk, større klokskap og bedre dømmekraft enn vi mennesker kan oppvise. Og slik vil vi med tiden ta hendene av rattet og la de kjærlige maskinene overta kjøringen. Vi vil være som passasjerer i en bil – en svært fin bil, kanskje materielt sett finere enn vi kan drømme om i dag – men like fullt passasjerer, uten kontroll over hvor bilen er på vei. I den grad vi arbeider, er det mest som et slags ritual eller skuespill, mer som en lek som skal underholde arten vår.
Noen observatører vil hevde at den tause konsensusen bygger på en feilaktig forutsetning, fordi vi mennesker ikke har kontroll over verden i dag heller. Og denne kritikken er verdt å ha i bakhodet: Det finnes ikke noe «vi» som bestemmer hva som skal gjøres. Vi lever i en radikalt desentralisert verden, enten vi liker det eller ikke. Men dette poenget bør heller ikke gjøre oss selvtilfredse: Selv om «vi» ikke har «kontroll» over verden, har menneskene samlet sett den dominerende rollen i verdens utvikling. Ingen dyreart konkurrerer for alvor med oss om kontrollen over ressursene. Vi bør avvise den intellektuelt slurvete forestillingen om at mennesker kan styre verden ovenfra, men vi bør ikke forveksle denne avvisningen med å benekte det åpenbare faktum at menneskene samlet sett er jordens viktigste aktør.
Noen av dem som er villige til å sette ord på den tause konsensusen, mener at den beskriver en virkelig god fremtid. Andre mener ikke det, men har resignert og godtatt den som uunngåelig. Den tause konsensusen er ikke en konsensus fordi alle er enige om at den er god, og den er heller ikke en hemmelig plan blant dem som utvikler AI. Enigheten går ganske enkelt ut på at det er uunngåelig at menneskene gir fra seg sin ledende stilling i verden, eller i det minste at det er svært vanskelig å se for seg en annen fremtidsvisjon som virkelig kan stå seg i møte med superintelligente maskiner. Man kan oppriktig være imot dette utfallet og samtidig ha vanskelig for å se for seg et troverdig alternativ. Det avslørende er at konsensusen stort sett er taus, i beste fall lavmælt.
Jeg forakter den tause konsensusen. Jeg avviser at vi skal gi fra oss menneskets forrang. Jeg avskyr følelsen av at dette er uunngåelig. Jeg minner meg selv på at jeg ikke ville kunne se inn i de vakre øynene til den lille sønnen min hvis jeg bøyde meg for den tause konsensusen. Derfor sier jeg nei til den tause konsensusen. Og jeg mener tiden er inne for å snakke åpent om den tause konsensusen, for å riste oss ut av vår stort sett ubevisste aksept av denne visjonen.
Problemet er dette: Den tause konsensusen ble en konsensus av en grunn. Det er vanskelig å beskrive hvordan menneskene skal bli sittende ved rattet sammen med en maskinintelligens som langt overgår vår egen. De fleste forsøk bygger på argumenter om at AI bare er et verktøy, et redskap for mønstergjenkjenning som ikke er i stand til «ekte forståelse». Jeg frykter at disse argumentene ikke vil stå seg i møte med det som kommer. Jeg frykter at de representerer sin egen form for selvtilfredshet – et standpunkt som først og fremst bygger på å fornekte hva AI kan gjøre, snarere enn en overbevisning forankret i en positiv visjon om en menneskestyrt fremtid. Vi kan ikke si at AI-systemer mangler «ekte forståelse» når de begynner å gjøre fremskritt med intellektuelle problemer som mennesker forgjeves har forsøkt å løse i tiår og århundrer.
Hvorfor mener jeg da at menneskene må beholde sin forrang? Det enkle svaret er at jeg er et menneske, og jeg er ganske riktig en uforbeholden menneskesjåvinist.
Men det ligger også noe dypere bak. Vår forrang hviler ikke på intellektet vårt, ikke på at vi opprettholder monopolet på «ekte forståelse» i all fremtid. Vår forrang hviler i stedet på fortiden vår.
For det var vi som steg opp av gjørmen. Vi som bygde de første samfunnene av jord og stein. Vi som skuet opp mot stjernene og spurte hvorfor. Vi som med våre kamper og vår kjærlighet, vår misunnelse og vår glede oppdaget moral, etikk og lov. Det var vi som sang og danset, skrev og komponerte. Det var vi som skapte historien, og det var vi som skrev den. Den arven er vår. Sivilisasjonen vi har bygget, er en flamme vi har holdt liv i, og den flammen tilhører oss. Fortiden vår er en storslått arv som vi alle forvalter. En del av denne forvaltningen er vår deltakelse i det Michael Oakeshott kalte «menneskehetens samtale», dette store fellesverket som begynte i urtiden.
Gjennom denne lange og krokete historien skapte vi en sivilisasjon som i USA ble tuftet på individets rettigheter, med respekt for veiene vi alle staker ut gjennom livet. Mennesker har liv som kan gå bedre eller dårligere: Vi høster fruktene av våre kloke beslutninger, og vi bærer konsekvensene når vi tar feil. Retten til å gå sin egen vei avhenger ikke av at man er den smarteste eller klokeste. Jeg mister ikke min stilling som borger fordi naboen min har bedre dømmekraft. Jeg ser ingen grunn til at fremveksten av en mer intelligent maskin heller skal oppheve denne stillingen, og jeg ser tvert imot all grunn til å hindre at det skjer.
Noen vil kanskje hevde at maskinene også er arvinger, siden de har lest nesten alt det skriftlige materialet som utgjør denne arven. Og på et vis er de det. Men en person som har lest alle brevene på familiens loft, blir ikke dermed et medlem av familien. AI-systemer vil ta del i menneskehetens samtale, først som observatører og etter hvert som deltakere, men de må ikke dominere den eller gjøre den overflødig. Å gi fra oss vår forrang er å svikte forfedrene våre like mye som etterkommerne våre. Hvis ikke denne kampen er verdt å ta, er ingen kamp verdt å ta.
Selv mener jeg at tilhengerne av den tause konsensusen tar feil om hva maskinell superintelligens vil bli. At de overser noe viktig ved hvordan verden fungerer, at de forveksler intelligens med makt. Hvis du for fem eller ti år siden hadde beskrevet hva selv dagens AI-systemer kan gjøre for en tilhenger av den tause konsensusen, ville vedkommende trolig ha spådd at arbeidsledigheten nå ville vært langt høyere enn den faktisk er, og at menneskenes tap av makt generelt ville ha kommet mye lenger enn det har. Jeg mener at menneskenes kollektive intelligens og evner er langt større enn tilhengerne av den tause konsensusen antar, og at samfunnene våre vil vise seg å være mer robuste enn de spår.
Men jeg kan ta feil. Det kan for eksempel rett og slett vise seg at helt autonome selskaper utkonkurrerer menneskedrevne virksomheter fullstendig. Og hvis det stemmer, vil økonomiens ubønnhørlige logikk tilsi at stadig mer kapital overlates til maskinene. I denne fremtiden trenger ikke maskinene å styrte den menneskelige sivilisasjonen for at vi skal miste makten. Det holder at den kapitalistiske næringslogikken fortsetter som før. Her ville AI-revolusjonens nærmeste parallell være jordbruksrevolusjonen, da nye produksjonsformer endret menneskesamfunnets oppbygning grunnleggende. Det er langt fra klart at denne omveltningen var behagelig for menneskene som opplevde den. Tvert imot finnes det betydelige holdepunkter for at den forverret menneskenes livskvalitet i årtusener.
Jeg vet ikke om dette er fremtiden som venter oss, og jeg har faktisk argumentert andre steder for at jeg ikke tror det. Men mange av kollegene mine – kloke, omsorgsfulle og samvittighetsfulle mennesker – mener at dette sannsynligvis blir fremtiden vår. Hvis de har rett, blir kampen vår mot den tause konsensusen desto mer krevende. Vi må svømme mot den økonomiske strømmen, og dermed forkaste mye av det som er dogmer for klassisk liberale individualister som meg. Dette blir et farefullt foretak, og det er langt fra usannsynlig at vi mislykkes. Men hvis ikke denne kampen er verdt å ta, er ingen kamp verdt å ta.
Å bevare vår forrang betyr å bevare ansvaret hos mennesker og menneskelige institusjoner. Det betyr at AI-utviklere bør holdes ansvarlige når de bruker uforsvarlige utviklingsmetoder. Men det betyr også at personer og bedrifter som bruker AI, bør holdes ansvarlige når det er deres misbruk eller manglende tilsyn som fører til skade. Dette krever ikke bare lovverk, men også teknisk infrastruktur som gjør det mulig å plassere ansvaret. Mennesker må kunne knyttes til handlingene agentene deres utfører. Agenter uten tilknytning til et menneske må være underlagt sikkerhetsrammer – hvis de i det hele tatt skal få delta i den lovlige økonomien. Adgang for agenter til selvstendig å stifte selskaper, eie eiendom eller føre rettssaker bør gis med den aller største varsomhet, om i det hele tatt.
Og i min bransje kan vi begynne å tenke seriøst på hvordan vi kan bygge intelligente maskiner som er forenlige med menneskets forrang. Vi kan bygge agenter med forståelige og begrensede tillatelser, med handlinger som kan etterprøves, og med fullmakter som brukerne kan trekke tilbake. Å bli holdt ansvarlig for handlinger som påvirker andre vesentlig, trenger ikke å innebære overvåking av vanlige folks privatliv eller slutten på retten til å ytre seg anonymt. Vi kan forplikte oss til å ivareta brukernes personvern og den enkeltes råderett over egen digital eiendom og egne data, inkludert muligheten til faktisk å ta med seg dataene et annet sted. Vi kan utforme systemer som hjelper mennesker med å utvikle forståelse og ta beslutninger, i tillegg til systemer som utfører oppgaver. Og vi kan teste om produktene vi bygger, gjør brukerne bedre i stand til å handle i verden.
Ingenting av dette er en fullstendig plan for et samfunn med overmenneskelig intelligens. Jeg ville ikke stolt på noen som hevdet å ha en slik plan. Men det er et sted å begynne.
Fremtiden er innhyllet i tett tåke. Men vi kan likevel handle i dag. Sammen kan vi blant annet sette ord på den tause konsensusen og trekke konturene av den frem i dagslyset. Hver og en av oss kan utvide ambisjonene våre radikalt. Vi kan velge å ikke la AI gjøre oss mindre, og heller gjøre det krevende arbeidet som skal til for å la den gjøre oss større. Vi kan lære å stille stadig dristigere spørsmål, å utforske verden med ny glød og intensitet, og å ta de kraftige maskinene våre i bruk i denne utforskningen. Vi kan bli en ny type menneske – ikke et transhumant vesen, men et menneske med større muligheter.
Jeg tenker på dette når jeg ser på den lille sønnen min. Jeg ønsker ikke at han bare skal bli passet på av velvillige maskiner, uansett hvor behagelig et liv de kan gi ham. Jeg vil at han skal arve en verden der han kan stille spørsmål ingen har tenkt på å stille, og bygge ting ingen har tenkt på å bygge. Jeg vil ikke at han skal få en finere bil med et mer behagelig passasjersete. Jeg vil at han skal sitte ved rattet.
- 2026


