Aðgerðin „Háðsleg umsögn“: Áhrifastarfsemi frá Kína

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá júní 2025⁠(opnast í nýjum glugga).

Við bönnuðum ChatGPT‑reikninga sem við greindum að notuðu líkön okkar til að fjöldaframleiða færslur á samfélagsmiðlum í samræmi við starfsemi dulinnar áhrifaaðgerðar. Við rannsóknina sáum við þessa reikninga einnig semja innra frammistöðumat.

Þessir reikningar sendu einkum kvaðningar á kínversku og beindust að stjórnmálum og alþjóðastjórnmálum sem tengdust Kína. Einn notandi sagðist í kvaðningu starfa fyrir kínversku áróðursdeildina. Við höfum þó engin óháð gögn sem staðfesta þá fullyrðingu.

Reikningarnir sem við bönnuðum sinntu einkum tvenns konar verkefnum. Umfangsmeira verkefnið fólst í að semja stutt ummæli fyrir samfélagsmiðla á ensku og kínversku, auk nokkurra á úrdú. Við fundum mörg þessara ummæla á TikTok og X, auk annars efnis á Reddit, Facebook og ýmsum vefsvæðum.

Dæmigert mynstur var að birta fyrstu ummælin frá „aðalreikningi“, sem virtist oft hafa verið stofnaður eingöngu fyrir þá færslu, og láta síðan aðra reikninga birta röð svara. Þessi hegðun virtist eiga að skapa falska mynd af raunverulegri þátttöku notenda.

Á TikTok notuðu reikningarnir sem birtu ummæli notendanöfn á ýmsum tungumálum og með ólíkum stafrófum, oft án tengsla við tungumál efnisins sem þeir birtu. Reikningur með kóresku nafni birti til dæmis ummæli á úrdú, en reikningar með taílenskum og hebreskum nöfnum birtu ummæli á ensku sem þetta net hafði samið. Á X notuðu þessir reikningar yfirleitt teiknimyndir sem prófílmyndir og báru í sumum tilvikum nöfn sem tengdust rafmyntum.

Netið var ekki eins virkt á Facebook. Starfsemin fólst einkum í að búa til nöfn og prófílmyndir fyrir tvær síður sem þóttust vera fréttamiðlar. Hvorug síðan hafði fylgjendur eða „líkar við“-merkingar og aðeins fáeinar færslur voru á hvorri þeirra.

Netið samdi stundum lengri færslur á kínversku eða ensku. Við fundum eina slíka færslu á Reddit og tvær aðrar á ýmsum umræðuvefjum. Hitt verkefnið fólst í að nota ChatGPT til að útbúa skjöl sem virðast hafa verið innri stefnumótunar- eða frammistöðumatsskjöl.

Efnið sem þessi ógnaraðili samdi fyrir samfélagsmiðla fjallaði um ýmis málefni sem öll samræmdust náið landfræðilegum og pólitískum hagsmunum Kína.

Hluti efnisins fjallaði um Taívan og beindist sérstaklega gegn „Reversed Front“⁠(opnast í nýjum glugga) („逆統戰“), taívönskum tölvu- og borðspilum þar sem ímynduð er andspyrna gegn kínverska kommúnistaflokknum. Netið samdi tugi gagnrýninna ummæla um leikinn á kínversku og síðan langa grein þar sem fullyrt var að hann hefði sætt víðtækri gagnrýni. Þetta var sérkennilegasti hluti starfseminnar og varð til þess að við nefndum aðgerðina „Háðslega umsögn“.

Annað efni á ensku og úrdú beindist gegn pakistanska aðgerðasinnanum Mahrang Baloch, sem hefur gagnrýnt fjárfestingar Kína í Balochistan opinberlega⁠(opnast í nýjum glugga). TikTok-reikningur og Facebook-síða sem tengdust netinu birtu myndskeið þar sem Baloch var ranglega sökuð um að hafa leikið í klámmynd. Aðgerðin samdi síðan hundruð stuttra ummæla á báðum tungumálum til að líkja eftir víðtækri þátttöku.

Síðasti efnisflokkurinn snerist um lokun bandarísku þróunarsamvinnustofnunarinnar (USAID) og innihélt stutt ummæli þar sem ákvörðunin var ýmist lofuð eða gagnrýnd. Þessi ummæli voru birt á TikTok og X.

Að lokum notuðu ógnaraðilarnir líkön okkar til að semja skjöl sem virðast hafa verið ætluð til innri nota, þar á meðal ítarlega ritgerð í stíl opinbers almannaöryggisskjals og frammistöðumat þar sem lýst var skrefunum við að koma aðgerðinni á fót og reka hana.

Aðgerðin virðist hafa verið skammt á veg komin þegar við stöðvuðum notkun hennar á líkönum okkar. Hvorug Facebook-síðan hafði fylgjendur. Á Reddit fékk ein færsla 44 atkvæði, en tvær aðrar voru stöðvaðar eða fjarlægðar úr undirsamfélögunum þar sem þær voru birtar.

Þátttakan á X og TikTok var breytilegri. TikTok-myndskeiðin tvö fengu samtals 25.000 „líkar við“-merkingar, en tíst frá aðalreikningi aðgerðarinnar fengu yfirleitt um 10.000 áhorf hvert. Mörg ummælanna við þessar færslur voru þó samin af þessu neti með ChatGPT, sem bendir til þess að þátttakan hafi að minnsta kosti að hluta verið ósvikin. Því ber að taka öllum tölum um þátttöku með fyrirvara.

Samkvæmt Breakout Scale⁠(opnast í nýjum glugga)-áhrifakvarðanum fyrir áhrifaaðgerðir myndum við meta þetta neðst í flokki 3, væru þátttökutölurnar á X og TikTok ósviknar. Við myndum lækka matið ef fram kæmu frekari gögn sem styddu þá tilgátu að meirihluti „líkar við“-merkinga og áhorfa hefði verið ósvikinn, rétt eins og meirihluti ummælanna.