Operacija „Podrugljiva recenzija”: kineska operacija utjecaja
OpenAI je zabranio račune koji su s pomoću umjetne inteligencije stvarali objave s kritikama tajvanskog influencera na društvenim mrežama i o povezanim temama u SAD-u.
Ova studija slučaja izvorno je objavljena u izvješću OpenAI-ja iz lipnja 2025.(otvara se u novom prozoru)
Akter
Zabranili smo račune na ChatGPT‑u za koje smo otkrili da se našim modelima koriste za masovno generiranje objava na društvenim mrežama, u skladu s djelovanjem prikrivene operacije utjecaja. Tijekom istrage primijetili smo i da su ti računi sastavljali interne ocjene radnog učinka.
Ti su računi uglavnom slali upite na kineskom jeziku i bili usmjereni na političke i geopolitičke teme važne za Kinu. Jedan je korisnik u upitu naveo da radi za kineski Odjel za propagandu, no nemamo neovisne dokaze koji bi potvrdili tu tvrdnju.
Ponašanje
Računi koje smo zabranili bili su uključeni u dvije glavne vrste aktivnosti. Najopsežnija je bila generiranje kratkih komentara za društvene mreže na engleskom i kineskom jeziku, uz nekoliko komentara na urdskom. Mnoge od tih komentara pronašli smo na TikToku i X-u, dok se dio dodatnog sadržaja pojavio na Redditu, Facebooku i raznim web-mjestima.
Uobičajen obrazac uključivao je objavljivanje početnog komentara s „glavnog” računa, često naizgled otvorenog samo za tu objavu, nakon čega bi uslijedio niz odgovora s drugih računa. Čini se da je svrha takvog ponašanja bila stvoriti lažan dojam organskog angažmana.
Objava na TikToku pod naslovom „Ukidanje #USAID-a samo je #POČETAK!”, povezana s ovom aktivnošću. Naziv kanala, tekst podnaslova videozapisa i sve komentare vidljive na ovoj snimci zaslona generirala je ova mreža s pomoću ChatGPT‑a.
Računi koji su komentirali na TikToku upotrebljavali su zaslonska imena na raznim jezicima i pismima, često nepovezana s jezikom sadržaja koji su objavljivali. Primjerice, račun s korejskim imenom objavio je komentar na urdskom, dok su računi s tajlandskim i hebrejskim imenima objavljivali komentare na engleskom koje je generirala ova mreža. Na X-u su računi koji su komentirali obično imali profilne slike likova iz crtanih filmova, a u nekim slučajevima i imena povezana s kriptovalutama.
Objava na X-u i odgovori na nju, koje je ova mreža generirala s pomoću ChatGPT‑a.
Mreža je bila manje aktivna na Facebooku. Njezina se aktivnost uglavnom sastojala od generiranja naziva i profilnih slika za dvije stranice koje su se predstavljale kao medijske kuće. Nijedna stranica nije imala pratitelje ni oznake „sviđa mi se”, a svaka je sadržavala tek nekoliko objava.
Objava na Facebooku s videozapisom za koji smo utvrdili da je vjerojatno povezan s ovom operacijom.
Mreža je povremeno generirala duže objave na kineskom ili engleskom jeziku. Jednu takvu objavu pronašli smo na Redditu, a još dvije na raznim internetskim forumima. Druga vrsta aktivnosti sastojala se od upotrebe ChatGPT‑a za generiranje dokumenata koji su, čini se, bili interne smjernice ili ocjene radnog učinka.
Generirani sadržaj
Sadržaj za društvene mreže koji je generirao ovaj akter prijetnje obuhvaćao je niz tema, sve usko povezane s kineskim geostrateškim interesima.
Dio sadržaja bio je usmjeren na Tajvan, posebno na „Obrnuti front”(otvara se u novom prozoru) („逆統戰”), videoigru i društvenu igru usmjerenu na Tajvan koja zamišlja otpor Komunističkoj partiji Kine. Mreža je generirala desetke kritičkih komentara o igri na kineskom jeziku, a zatim i poduži članak u kojem se tvrdilo da je igra izazvala široko rasprostranjene negativne reakcije. To je bila najprepoznatljivija aktivnost ove operacije, pa smo je zato nazvali „Podrugljiva recenzija”.
Drugi sadržaj, na engleskom i urdskom jeziku, bio je usmjeren protiv pakistanske aktivistice Mahrang Baloch, koja je javno kritizirala kineska ulaganja u Baločistanu(otvara se u novom prozoru). Račun na TikToku i stranica na Facebooku povezani s mrežom objavili su videozapis u kojem su Baloch lažno optužili da se pojavila u pornografskom filmu. Operacija je zatim generirala stotine kratkih komentara na oba jezika kako bi stvorila privid velikog angažmana.
Šokirani komentari na TikTok videozapisu Mahrang Baloch.
Posljednja skupina sadržaja bila je usredotočena na zatvaranje američke Agencije za međunarodni razvoj (USAID), pri čemu su generirani kratki komentari koji su taj potez hvalili ili kritizirali. Ti su komentari objavljeni na TikToku i X-u.
Objave na X-u koje povezuju pitanje pomoći s pitanjem carina, a koje je ova mreža generirala s pomoću ChatGPT‑a.
Naposljetku, akteri prijetnje upotrijebili su naše modele za generiranje dokumenata koji su, čini se, bili namijenjeni internoj upotrebi. Među njima su bili detaljan esej napisan u stilu službenog dokumenta javne sigurnosti i ocjena radnog učinka s opisom koraka poduzetih radi uspostave i vođenja operacije.
Utjecaj
Čini se da je ova operacija bila u začetku kada smo prekinuli njezinu upotrebu naših modela. Nijedna stranica na Facebooku nije imala pratitelje. Na Redditu je jedna objava dobila 44 pozitivna glasa, dok su druge dvije blokirane ili uklonjene sa subreddita na kojima su objavljene.
Snimka zaslona objave računa na Redditu koji smo identificirali kao dio ove mreže, a pokazuje da su je uklonili filtri platforme.
Angažman na X-u i TikToku bio je raznolikiji: dva videozapisa na TikToku zajedno su prikupila 25.000 oznaka „sviđa mi se”, dok su objave glavnog računa operacije na X-u obično imale oko 10.000 pregleda. Međutim, mnoge komentare na tim objavama generirala je ova mreža s pomoću ChatGPT‑a, što upućuje na to da je barem dio angažmana bio neautentičan. Stoga sve podatke o angažmanu treba tumačiti s oprezom.
Prema ljestvici Breakout Scale(otvara se u novom prozoru) za procjenu učinka operacija utjecaja, ovu bismo operaciju svrstali na donju granicu 3. kategorije pod uvjetom da su podaci o angažmanu na X-u i TikToku vjerodostojni. Tu bismo procjenu snizili ako bi se pojavilo više dokaza u prilog pretpostavci da je većina oznaka „sviđa mi se” i pregleda, kao i većina komentara, bila neautentična.