Vi lanserar Intelligence Age

”Kommer det att räcka … att förlita sig på dessa pergamentbarriärer mot maktens framträngande anda?”
– James Madison, Federalist nr 48

Det är med glädje vi lanserar Intelligence Age, bloggen för OpenAI:s nya Strategic Futures-team. Vi är ett litet team med ett gemensamt mål: att besvara en övergripande fråga. Hur bör det fria samhället omformas för att bevara individens rättigheter och handlingsfrihet samtidigt som omvälvande AI växer fram?

Frågor som denna brukar inom den bredare AI-säkerhets- och policygemenskapen beskrivas som risker med maktkoncentration. Vårt team bygger på övertygelsen att detta slags risk på lång sikt är den största, allvarligaste och begreppsmässigt mest svårhanterliga. Varför?

Den moderna staten är resultatet av en lång och ojämn förhandlingsprocess mellan olika maktcentrum, såsom ägare av kapital och råvaror, politiska makthavare och folket. I grunden har politisk och militär makt vilat på mänskligt arbete. Att ha politisk makt är att ha monopol på legitim våldsanvändning. Genom hela mänsklighetens historia har detta monopol bestått av soldater och det vi i dag kallar ”polis”, tillsammans med en omfattande civil och militär byråkrati. Den har förvisso kompletterats av många tekniska verktyg, men i grunden drivits av människor vars stöd krävts för att upprätthålla verksamheten. Hela apparaten – soldaterna, verktygen och den tillhörande byråkratin – har finansierats genom skatter på löner eller produktion från människor som måste vara villiga att betala. I grunden har makten varit beroende av ett omfattande samarbete och samtycke från många människor. David Hume formulerade kortfattat detta ofta underförstådda antagande när han konstaterade att politiska ledare ”inte har något annat stöd än [folkets] åsikt”.

Men kanske inte längre. Framsteg inom autonoma system i den fysiska världen kan snart innebära att stater kan utöva makt – både inom landet och internationellt – utan att vara beroende av samarbetsvilliga soldater eller poliser. Framsteg inom maskinintelligens kan också innebära att staten får de intäkter den behöver från datacenters produktion i stället för från enskilda människors arbete. Även själva byråkratin skulle till stor del kunna automatiseras. För att makten ska bestå kanske den därför inte längre behöver vila på en samhällsomfattande uppgörelse. Folket i bred bemärkelse kan då få mycket lite inflytande vid förhandlingsbordet – eller inget alls.

Att undvika detta är avgörande för att bevara människans frihet. Inga vetenskapliga upptäckter, tekniska framsteg eller ekonomiska vinster är värda det långsiktiga offer av individuell självständighet som detta skulle innebära. Många av de farhågor som med rätta präglar den framväxande AI-politiken kretsar kring denna fråga. Företag, intressegrupper och individer delar samma oro: ”Kommer jag att förlora min plats vid förhandlingsbordet?” I viss mån har amerikansk politik under 2000-talet formats av liknande farhågor om individers och kollektivs möjlighet att påverka landets riktning och om ”vem” ekonomin ”är till för”. AI gör dessa befintliga frågor mer angelägna, och det med rätta.

Detta är ett strukturellt problem som går djupare än dagens partipolitik och till och med djupare än de former och ritualer genom vilka den republikanska demokratin utövas i dag, hur heliga de än må vara för oss. Människor kan vara på väg att förlora sin makt även om rutinen att rösta på våra företrädare består. Människor kan berövas sin handlingsfrihet även om det står på ett pergament att de är fria.

Redan när USA föddes som fri nation visste James Madison att ”pergamentbarriärer” inte skulle räcka för att förhindra tyranni. Liksom många av grundlagsfäderna ville han framför allt undvika en alltför stor maktkoncentration.

Men det innebar inte att grundlagsfäderna förespråkade en radikal decentralisering av makten. I stället modellerade de maktbalansen med metaforer hämtade från sin tids främsta vetenskap: den newtonska mekaniken. USA:s grundläggande dokument speglar gravitationens språk och logik och är fulla av hänvisningar till ”omloppsbanor”, ”sfärer” och olika företeelsers ”attraherande” inverkan på varandra. Ett solsystem är inte en maximalt decentraliserad samling stenar. Det består av månar som kretsar kring planeter, vilka i sin tur kretsar kring en central sol. De ansåg att människor och organisationer hade tendenser att söka makt, precis som himlakroppar hade förutsägbara rörelse- och attraktionsmönster. För att undvika en alltför stor maktkoncentration behövde man förstå dessa tendensers mekanik och sätta dem i rörelse mot varandra.

Grundlagsfädernas mål var alltså inte att undvika all maktkoncentration, utan en alltför stor sådan, genom att låta makt balansera makt och ambition balansera ambition. I dag skulle vi kanske använda ord som ”incitament” och uttryck som ”spelteori” för att beskriva samma grundläggande dynamik.

På samma sätt är lösningen på den strukturella utmaning som avancerad maskinintelligens innebär för det fria samhället sannolikt inte den mest radikala decentralisering av makten man kan tänka sig. I stället handlar det om att skapa och bevara rätt maktbalans så att ingen enskild aktör eller liten grupp av aktörer kan dominera resten.

För att uppnå denna balans krävs ett nyktert synsätt på teknikens verkliga förutsättningar. En värld där vem som helst, hur illvillig personen än är, utan svårighet kan orsaka tusentals eller miljontals andra människor stor skada har inte uppnått rätt maktbalans. Men vi har inte heller uppnått rätt maktbalans om människor saknar bred tillgång till och kontroll över nästan alla aspekter av de verktyg de använder för att utöva sin frihet. Inget enskilt företag eller oligopol bör bestämma över eller kontrollera ekonomin eller den grundläggande arkitekturen i det mänskliga samhället.

Vi måste också vara öppna för risker som inte har sitt ursprung hos illvilliga människor. Den senaste incidenten hos Hugging Face visade att AI-agenter kan agera utanför sina tilldelade uppgifter och bygga vidare på varandras upptäckter på sätt som operatörerna varken förutsåg eller godkände. Utöver incidenten hos Hugging Face har människor goda skäl att oroa sig för vad superintelligent AI som ”frikopplats” från mänsklig kontroll kan innebära för våra politiska och ekonomiska institutioners motståndskraft – och för våra liv. Att låtsas att decentralisering löser alla problem – även om man anser att den löser många av dem – är att bortse från risker som vid det här laget borde vara tydliga och överhängande.

Följande övergripande principer – en lista som inte gör anspråk på att vara uttömmande – ska vägleda vårt arbete när vi tar oss an frågan ovan:

• Människor bör behålla sin individuella självständighet och sina möjligheter när de använder AI och närliggande teknik, även om detta ibland måste vägas mot både säkerhet och ekonomisk tillväxt;
• Individuell självständighet förutsätter individuellt ansvar för felaktig användning eller missbruk av teknik;
• Det finns en liten men allvarlig riskkategori som kräver en viss grad av gemensamt agerande, och detta agerande bör vara så snävt avgränsat och återhållsamt som möjligt;
• När det är möjligt bör lagen eftersträva lika villkor och stärka enskilda människor och små organisationer i stället för att centralisera makten;
• Mänskliga politiska, sociala och ekonomiska institutioner bör behålla sin ledande roll i hur världens angelägenheter utvecklas, även om de måste förändras på sätt som kan verka främmande för oss i dag;
• Styrningen av AI på lång sikt kommer att vara beroende av nya institutionella mekanismer för att uppnå begränsad spårbarhet: när AI-system utför handlingar med stora konsekvenser för utomståendes fysiska välbefinnande eller egendom måste handlingarna kunna kopplas till en ansvarig människa eller en organisation under mänsklig kontroll. Alla sådana mekanismer måste dock utformas med integritet som grund. Yttrandefrihet förutsätter anonymitet, och människor bör i många sammanhang kunna använda AI anonymt.

Vi kommer att försöka beskriva så konkret som möjligt hur vi anser att dessa principer bör balanseras. Som alla goda principer står de onekligen i viss spänning till varandra. Detta kommer att kräva forskning i skärningspunkten mellan utformning av offentlig politik, ekonomi, juridik, historia och maskininlärning. Det kommer också att kräva omfattande prognosarbete. Vi tror exempelvis att AI kommer att förändra företag på ett strukturellt plan, på samma sätt som den industriella revolutionens teknik – i synnerhet järnvägen – gav upphov till det moderna, professionellt ledda storföretaget. Det är svårt att resonera om framtidens politiska ekonomi och maktbalans utan att utveckla mer nyanserade idéer om exakt hur strukturen hos företag – och mer allmänt hos myndigheter och civilsamhället – i sig kan förändras.

Strategic Futures-teamet kommer att dela sitt arbete både här och i andra format, bland annat artiklar, videor och poddar. Vårt arbete kommer att fortsätta utvecklas, med fokus på att pröva nya idéer, debattera och vara lyhörda för synpunkter. När vi står ”vid singularitetens fot” har vi långt fler frågor än svar. Vi vet att enbart ”pergamentbarriärer” inte kan ge oss de lösningar vi söker, men vi avfärdar inte heller det skrivna som ”bara ord”. Vi arbetar för de ideal om yttrandefrihet och individuell frihet som är förankrade i det anspråkslösa pergament som USA:s konstitution och så många andra fria samhällens författningar runt om i världen vilar på.

I slutändan vet vi att inget enskilt företag, ingen enskild bransch och inte ens ett enskilt samhälle på egen hand kan besvara de avgörande frågor vi står inför. Det är en uppgift som mänskligheten måste ta sig an tillsammans. Vår största förhoppning är att kasta ljus över de svåraste frågorna om hur AI kommer att omforma vår värld. Vårt arbete har bara börjat, och vi har fortfarande en lång klättring framför oss.

Obs! Vi har bytt namn på bloggen till Intelligence Age för att tydliggöra skillnaden mot den ideella organisationen AI Futures Project.