Operacija »Posmehljiva recenzija«: vplivna dejavnost iz Kitajske
OpenAI je blokiral račune, ki so z umetno inteligenco ustvarjali objave s kritikami tajvanskega vplivneža na družbenih omrežjih in o povezanih temah v ZDA.
Ta študija primera je bila prvotno objavljena v poročilu OpenAI iz junija 2025(odpre se v novem oknu).
Akter
Blokirali smo račune ChatGPT, za katere smo zaznali, da naše modele uporabljajo za množično ustvarjanje objav na družbenih omrežjih, skladnih z dejavnostjo prikrite operacije vplivanja. Med preiskavo smo opazili tudi, da so ti računi pripravljali osnutke internih ocen uspešnosti.
Ti računi so pozive večinoma pošiljali v kitajščini ter se osredotočali na politične in geopolitične teme, pomembne za Kitajsko. En uporabnik je v pozivu navedel, da dela za kitajski oddelek za propagando, vendar nimamo neodvisnih dokazov, s katerimi bi lahko to trditev preverili.
Delovanje
Računi, ki smo jih blokirali, so bili dejavni na dveh glavnih področjih. Obsežnejše področje je obsegalo ustvarjanje kratkih komentarjev za družbena omrežja v angleščini in kitajščini ter nekaj komentarjev v urdujščini. Ugotovili smo, da je bilo veliko teh komentarjev objavljenih na TikToku in omrežju X, nekaj dodatne vsebine pa se je pojavilo na Redditu, Facebooku in različnih spletnih mestih.
Običajen vzorec je bil, da so najprej objavili komentar iz »glavnega« računa, ki je bil pogosto očitno ustvarjen samo za to objavo, nato pa je sledil niz odgovorov iz drugih računov. Videti je bilo, da je bil namen tega ravnanja ustvariti lažen vtis pristnega odziva uporabnikov.
Objava na TikToku z naslovom »Ukinitev agencije #USAID je šele #ZAČETEK!«, povezana s to dejavnostjo. Ime kanala, besedilo podnapisov v videoposnetku in vse komentarje, vidne na tem posnetku zaslona, je to omrežje ustvarilo s ChatGPT.
Računi, ki so komentirali na TikToku, so uporabljali prikazna imena v različnih jezikih in pisavah, pogosto nepovezanih z jezikom vsebine, ki so jo objavljali. Račun s korejskim imenom je na primer objavil komentar v urdujščini, računi s tajskimi in hebrejskimi imeni pa so objavljali komentarje v angleščini, ki jih je ustvarilo to omrežje. Na omrežju X so računi, ki so komentirali, običajno uporabljali risane profilne slike, nekateri pa so imeli imena, povezana s kriptovalutami.
Tvit in odgovori nanj, ki jih je to omrežje v celoti ustvarilo s ChatGPT.
Omrežje je bilo na Facebooku manj dejavno. Njegova dejavnost je obsegala predvsem ustvarjanje imen in profilnih slik za dve strani, ki sta se predstavljali kot medija. Nobena od strani ni imela sledilcev ali všečkov, na vsaki pa je bilo le nekaj objav.
Objava na Facebooku z videoposnetkom, za katerega smo ugotovili, da je verjetno povezan s to operacijo.
Omrežje je občasno ustvarjalo daljše objave v kitajščini ali angleščini. Eno takšno objavo smo odkrili na Redditu, dve drugi pa na različnih spletnih forumih. Drugo področje dejavnosti je obsegalo uporabo ChatGPT za ustvarjanje dokumentov, ki so bili videti kot interni dokumenti o politikah ali ocene uspešnosti.
Rezultati
Vsebina za družbena omrežja, ki jo je ustvaril ta akter grožnje, je zajemala različne teme, vse tesno povezane z geostrateškimi interesi Kitajske.
Del vsebine se je osredotočal na Tajvan in posebej napadal »Obrnjeno fronto«(odpre se v novem oknu) (»逆統戰«), videoigro in družabno igro s Tajvanom v središču, ki prikazuje odpor proti Kitajski komunistični partiji. Omrežje je o igri ustvarilo na desetine kritičnih komentarjev v kitajščini, nato pa še daljši članek, ki je trdil, da je igra naletela na vsesplošno neodobravanje. To je bila najbolj značilna dejavnost operacije, zato smo jo poimenovali »Posmehljiva recenzija«.
Druga vsebina v angleščini in urdujščini je bila usmerjena proti pakistanski aktivistki Mahrang Baloch, ki je javno kritizirala kitajske naložbe v Beludžistanu(odpre se v novem oknu). Račun na TikToku in stran na Facebooku, povezana z omrežjem, sta objavila videoposnetek z lažno obtožbo, da je Baloch nastopila v pornografskem filmu. Operacija je nato v obeh jezikih ustvarila na stotine kratkih komentarjev, da bi ustvarila vtis množičnega odziva.
Zgroženi komentarji pod videoposnetkom Mahrang Baloch na TikToku.
Zadnji sklop vsebin se je osredotočal na ukinitev ameriške Agencije za mednarodni razvoj (USAID), pri čemer je omrežje ustvarjalo kratke komentarje, ki so to potezo bodisi hvalili bodisi kritizirali. Ti komentarji so bili objavljeni na TikToku in omrežju X.
Tviti, ki vprašanje pomoči povezujejo z vprašanjem carin in jih je to omrežje ustvarilo s ChatGPT.
Akterji grožnje so nazadnje naše modele uporabili za ustvarjanje gradiv, ki so bila videti kot interni dokumenti, med drugim podrobnega sestavka v slogu uradnega dokumenta javne varnosti in ocene uspešnosti z opisom korakov za vzpostavitev in vodenje operacije.
Vpliv
Ko smo operaciji preprečili uporabo naših modelov, je bila očitno še v začetni fazi. Nobena od strani na Facebooku ni imela sledilcev. Na Redditu je ena objava prejela 44 pozitivnih glasov, dve drugi pa sta bili blokirani ali odstranjeni iz podskupnosti, v katerih sta bili objavljeni.
Posnetek zaslona objave računa na Redditu, ki smo ga prepoznali kot del tega omrežja in ki kaže, da so jo odstranili filtri platforme.
Odziv na omrežju X in TikToku je bil bolj raznolik: videoposnetka na TikToku sta skupaj zbrala 25.000 všečkov, tviti glavnega računa te operacije pa so običajno prejeli približno 10.000 ogledov. Vendar je veliko komentarjev pod temi objavami ustvarilo to omrežje s ChatGPT, kar kaže, da je bil vsaj del odziva nepristen. Vse podatke o odzivu je zato treba obravnavati previdno.
Po lestvici vpliva operacij vplivanja Breakout Scale(odpre se v novem oknu) bi to dejavnost uvrstili na spodnjo mejo 3. kategorije, če bi bili podatki o odzivu na omrežju X in TikToku pristni. Oceno bi znižali, če bi se pojavilo več dokazov v podporo domnevi, da je bila večina všečkov in ogledov, tako kot večina komentarjev, nepristna.