Aðgerðin „A2Z“: Áhrifastarfsemi á mörgum tungumálum

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá október 2024⁠(opnast í nýjum glugga).

Við bönnuðum áður óþekktan klasa reikninga sem notuðu API-viðmótið okkar til að búa til athugasemdir sem síðan voru birtar á X og Facebook. Margar athugasemdanna lofuðu Aserbaídsjan eða vörðu stöðu mannréttinda þar, en aðgerðin beindist einnig að fjölmörgum öðrum málefnum, sem gæti bent til þess að hún hafi verið rekin í viðskiptaskyni. Vegna þess hve oft aðgerðin lofaði Aserbaídsjan og reyndi að nota gervigreind á mörgum stigum hennar höfum við nefnt þetta net „A2Z“.

Líkt og rússneskumælandi Telegram-aðgerðin sem við afhjúpuðum í maí og nefndum „Bad Grammar“ notaði þessi aðgerð líkönin okkar til að gera athugasemdir á samfélagsmiðlum. Hún nýtti gervigreind til að stjórna fölskum persónum á samfélagsmiðlum, semja æviágrip, greina færslur og athugasemdir, semja svör á mörgum tungumálum og prófarkalesa þau. Svörin voru síðan birt á X eða Facebook. Efnið var að mestu í formi stuttra athugasemda en innihélt einnig myndir í stílfærðum búningi. Þær líktust oft veggspjöldum fjórða áratugarins og virðast því hafa átt að vekja athygli og viðbrögð fremur en að blekkja. Dæmigerðar færslur með þessum stílfærðu myndum fengu þó aðeins 0–5 viðbrögð hver.

Með þessari notkun gervigreindar gat aðgerðin stjórnað mörgum samfélagsmiðlareikningum samtímis: við fundum um 150 reikninga á X og Facebook sem samsvöruðu þessari starfsemi og grunur lék á enn fleiri reikningum. Þetta gerði aðgerðinni einnig kleift að taka stundum þátt í athugasemdaþráðum með raunverulegu fólki á netinu. Öðru hverju sáum við stutt samtöl milli raunverulegs fólks og fölsku reikninganna þar sem svör þeirra síðarnefndu voru búin til með líkönunum okkar.

Aðgerð af þessari stærðargráðu fyrir tíma gervigreindar hefði líklega krafist stórs hóps nettrölla, með öllum þeim kostnaði og þeirri lekahættu sem slíku fylgir. En traust aðgerðarinnar á gervigreind gerði hana jafnframt óvenju berskjaldaða fyrir inngripum okkar. Þar sem hún nýtti gervigreind á svo mörgum stöðum í árásarkeðjunni rauf lokun okkar marga hlekki keðjunnar í einu. Eftir að við stöðvuðum starfsemina í byrjun júní hættu samfélagsmiðlareikningarnir sem við höfðum tengt við aðgerðina að birta efni meðan kosningarnar stóðu yfir í ESB, Bretlandi og Frakklandi. Sumir hófu aftur að birta efni seint í ágúst. Fáeinar færslur þeirra báru merki þess að hafa líklega verið búnar til með gervigreind. Efnið sem bar slík merki kom ekki frá líkönunum okkar.

Herferðin bjó til stuttar athugasemdir um fjölbreytt pólitísk málefni. Mest bar á lofi um stjórnvöld í Aserbaídsjan og hlutverk þeirra í stjórnmálum innanlands, á svæðinu og á alþjóðavettvangi, til dæmis fyrir að stuðla að samstöðu ríkja Mið-Asíu eða halda loftslagsráðstefnu Sameinuðu þjóðanna. Reikningar á ensku og ítölsku lofuðu hlutverk Aserbaídsjan sem orkubirgis Evrópu, stundum sem svar við gagnrýni á mannréttindaferil stjórnvalda í Aserbaídsjan.

Aðrir hlutar starfseminnar beindust að ávinningi og þróun gervigreindar, fjármálamörkuðum, umhverfismálum, rafmyntum og tækni almennt. Einn klasi beindist að Sameinuðu arabísku furstadæmunum og lýsti þeim sem stöðugum fjárfestingarkosti, oft með samanburði við fullyrðingar um pólitískan óstöðugleika í Bandaríkjunum.

Sumar falskar persónur beindust að stjórnmálum í Evrópu eða Bandaríkjunum. Hugmyndafræði starfseminnar var breytileg eftir svæðum. Til dæmis þóttist einn X-reikningur sem beindist að Bandaríkjunum vera frjálslyndur og gagnrýndi Trump, fyrrverandi Bandaríkjaforseta, en nokkrir Facebook-reikningar sem birtu efni á frönsku gagnrýndu Macron forseta og studdu flokkinn Rassemblement National (RN). Stundum beindist gagnrýnin að innanlandsmálum til að færa rök fyrir því að viðkomandi ríki ætti ekki að skipta sér af alþjóðamálum, þar á meðal innrás Rússlands í Úkraínu.

Aðgerðin var mjög virk á Facebook og X og notaði líklega hundruð reikninga. Sumir X-reikningar hennar voru með bláa merkið fyrir greidda staðfestingu. Af þeim um 150 reikningum sem við skoðuðum á báðum miðlum fundum við engan með verulegan fjölda fylgjenda: stærsti fylgjendahópurinn á X sem við fundum við rannsóknina taldi 222, algengara var að fylgjendur væru á bilinu 15–22 og dæmigerðar færslur á X fengu færri en tíu viðbrögð. Á sama hátt var mesti fjöldi viðbragða við Facebook-færslu sem við sáum í rannsókninni 36, en algengara var að þau væru 0–5. Við fundum þó nokkur tilvik þar sem færslur aðgerðarinnar fengu svör frá raunverulegu fólki. Svörin voru ekki alltaf jákvæð og stundum andmælti raunverulegt fólk fölsku reikningunum, en þau sýna þó að aðgerðin gat að einhverju marki náð til áhorfenda á mörgum miðlum, á mörgum tungumálum og um mörg málefni.

Samkvæmt Breakout-kvarðanum, sem metur áhrif áhrifaaðgerða frá 1 (minnst) til 6 (mest), myndum við staðsetja þessa aðgerð efst í öðrum flokki, með hættu á að hún færist í þriðja flokk: hún einkenndist af birtingum á mörgum miðlum og nokkur gögn bentu til þess að raunverulegt fólk brygðist við efninu. Eftir að við bönnuðum aðgerðinni að nota líkönin okkar og deildum upplýsingum með öðrum í greininni þögnuðu samfélagsmiðlareikningarnir sem við höfðum fundið vikum saman. Aðgerðin sýnir þannig bæði hvernig notkun gervigreindar getur aukið getu þeirra sem standa að slíkum aðgerðum og hvernig traust þeirra á gervigreindarlíkani gerir þá berskjaldaðri fyrir inngripum.