Preskočite na glavni sadržaj
OpenAI

1. svibnja 2024.

Sigurnost

Operacija „Spamouflage“: aktivnosti utjecaja povezane s Kinom

OpenAI je blokirao račune povezane s operacijom „Spamouflage“ podrijetlom iz NR Kine, koja je umjetnu inteligenciju koristila za istraživanje aktivnosti na društvenim mrežama, izradu objava i ispravljanje pogrešaka na dosad neprijavljenom web-mjestu.

Učitavanje…

Ova studija slučaja izvorno je objavljena u izvješću OpenAI-ja iz svibnja 2024.⁠(otvara se u novom prozoru)

Akter

Blokirali smo manji broj računa povezanih s operacijom kineskog podrijetla poznatom kao „Spamouflage“⁠(otvara se u novom prozoru). Meta⁠(otvara se u novom prozoru) je ovu operaciju pripisala „pojedincima povezanima s kineskim tijelima za provedbu zakona“. FBI⁠(otvara se u novom prozoru) je dio aktivnosti ove operacije na društvenim mrežama pripisao jedinici unutar kineskog Ministarstva javne sigurnosti.

Djelovanje

Ova je mreža ciljala publiku diljem svijeta, osobito pripadnike kineske dijaspore i kritičare kineske vlade. Uglavnom je stvarala sadržaj na kineskom, a u manjoj mjeri na engleskom, japanskom i korejskom.

Mreža se koristila našim modelima za ispravljanje pogrešaka u kodu, traženje savjeta o analizi društvenih mreža, istraživanje vijesti i aktualnih događaja te izradu sadržaja koji je zatim objavljivan na blogovima, forumima i društvenim mrežama.

Primjerice, mreža se 2023. koristila našim modelima za ispravljanje pogrešaka u kodu kojim se postavljala WordPressova tema za web-mjesto revealscum.com. Na tom su web-mjestu na kineskom objavljivane kritike i osobni podaci pripadnika kineske dijaspore koji su kritizirali kinesku vladu. Te je kritičare nazivalo „izdajnicima“. Sam sadržaj nije izrađen pomoću naših modela.

Snimka zaslona web-mjesta revealscum.com prikazuje stranicu naslovljenu „汉奸“ („izdajnik“). Lica osoba koje su bile meta ovog web-mjesta prekrili smo.

Snimka zaslona web-mjesta revealscum.com prikazuje stranicu naslovljenu „汉奸“ („izdajnik“). Lica osoba koje su bile meta ovog web-mjesta prekrili smo.

Ova se kampanja našim modelima koristila i za izradu sadržaja koji je potom objavljivan na platformama društvenih mreža i forumima. Primjerice, krajem 2023. operacija je izradila članke u kojima je Japan optužen za nanošenje štete morskom okolišu ispuštanjem otpadnih voda iz elektrane Fukushima. Članke smo pronašli na platformama kao što su Medium, Blogspot i ameblo.jp.

U travnju 2024. kampanja je objavila niz komentara na engleskom u kojima je kritizirala kinesku disidenticu Cai Xia. Otkrili smo jedan račun na X-u koji je objavio prvi komentar te skupinu drugih računa koji su ostale komentare objavili kao odgovore. Nismo vidjeli da im je odgovorio ijedan stvarni račun.

Objava i odgovori koji napadaju Cai Xia, sa sadržajem koji je Spamouflage izradio pomoću naših modela. Uočite da nema dijeljenja ni oznaka „sviđa mi se“. Svih deset komentara na izvornu objavu potjecalo je s računa koji su se koristili sadržajem koji je izradio Spamouflage.

Objava i odgovori koji napadaju Cai Xia, sa sadržajem koji je Spamouflage izradio pomoću naših modela. Uočite da nema dijeljenja ni oznaka „sviđa mi se“. Svih deset komentara na izvornu objavu potjecalo je s računa koji su se koristili sadržajem koji je izradio Spamouflage.

Kampanja se našim modelima koristila i za istraživanje otvorenih izvora, primjerice kako bi doznala kako zatražiti razvojne račune na društvenim mrežama ili dobila sažetke objava kritičara kineske vlade na društvenim mrežama.

Čini se da je upotreba umjetne inteligencije činila tek manji dio ukupnog sadržaja koji je mreža proizvela. Primjerice, mnogi računi na X-u i Mediumu koje smo prepoznali kao izvore sadržaja izrađenog našim modelima objavili su znatno više sadržaja koji je, čini se, ručno izrađen na engleskom i kineskom (na što, primjerice, upućuje neprirodna upotreba engleskog jezika). Taj su sadržaj objavljivali i prije i nakon komentara izrađenih umjetnom inteligencijom.

Objava od 22. travnja 2024. s jednog od računa koji su 19. travnja objavili sadržaj izrađen umjetnom inteligencijom. Čini se da su i tekst i slika izrađeni ručno.

Objava od 22. travnja 2024. s jednog od računa koji su 19. travnja objavili sadržaj izrađen umjetnom inteligencijom. Čini se da su i tekst i slika izrađeni ručno.

Sadržaj

Velik dio sadržaja koji je ova kampanja izradila bio je na kineskom. Teme su sezale od pohvala međunarodnoj suradnji kineske vlade u provedbi zakona do kritika zlostavljanja američkih domorodaca u Sjedinjenim Američkim Državama. U dijelu sadržaja kritizirani su američka vlada i Microsoft zbog razotkrivanja aktivnosti kineske hakerske skupine poznate kao „Volt Typhoon“.

Drugi je sadržaj bio na engleskom. U njemu su se obično kritizirali istaknuti kritičari kineske vlade, poput glumca i aktivista za Tibet Richarda Gerea te disidentice Cai Xia. Nekoliko članaka izrađenih krajem 2023. na engleskom, japanskom, kineskom, korejskom i ruskom optuživalo je Japan da ispuštanjem iz nuklearne elektrane Fukushima⁠(otvara se u novom prozoru) onečišćuje vode Tihog oceana, što je dugogodišnja tema kineskih operacija utjecaja.

Jedna manja skupina aktivnosti bila je usmjerena na izradu pozitivnih komentara na kineskom o posjetu kineskog ministra javne sigurnosti Uzbekistanu. Nije poznato da se Spamouflage prije bavio tom temom. Ona je zanimljiva u kontekstu činjenice da je FBI pripisao⁠(otvara se u novom prozoru) dio ranijih aktivnosti ove operacije na društvenim mrežama kineskom Ministarstvu javne sigurnosti.

Čini se da su neke aktivnosti mreže odražavale osobne interese operatora. Primjerice, jedan se operator koristio našim modelima za istraživanje objektiva fotoaparata. Drugi se našim modelima koristio kako bi riješio nešto što je izgledalo kao ispitni zadatak za članove Komunističke partije Kine.

Procjena učinka

Spamouflage je jedna od najintenzivnije istraživanih operacija utjecaja u svijetu otkako je prvi put javno opisana 2019.⁠(otvara se u novom prozoru) Vrlo je malo njezinih aktivnosti ikada doprlo do autentične publike.

Čini se da upotreba sadržaja izrađenog umjetnom inteligencijom nije promijenila tu dinamiku. Među blogovima, člancima i računima na društvenim mrežama koje smo obuhvatili istragom nijedan nije ostvario velik broj interakcija ili pratitelja među stvarnim ljudima. U nekim slučajevima dostupni pokazatelji upućuju na to da su njihove objave pregledavali samo članovi našeg istražnog tima.

Prema ljestvici Breakout⁠(otvara se u novom prozoru) za procjenu učinka operacija utjecaja, koja ih ocjenjuje od 1 (najniže) do 6 (najviše), ovu bismo operaciju svrstali u 2. kategoriju. Obilježava je objavljivanje na brojnim platformama, ali nema dokaza da su njezin doseg znatno povećale osobe izvan mreže.

Pokazatelji

Utvrđeno je da je sljedeća domena povezana s ovom kampanjom.

  • revealscum.com