Přeskoč na hlavní obsah
OpenAI

1. května 2024

Bezpečnost

Operace „Spamouflage“: vlivové aktivity napojené na Čínu

OpenAI zablokovala účty spojené s operací „Spamouflage“ původem z ČLR, která pomocí AI zkoumala aktivity na sociálních sítích, vytvářela příspěvky a ladila dosud nepopsaný web.

Načítání…

Tato případová studie byla původně zveřejněna ve zprávě OpenAI z května 2024⁠(otevře se v novém okně).

Aktér

Zablokovali jsme několik účtů spojených s operací čínského původu známou jako „Spamouflage“⁠(otevře se v novém okně). Společnost Meta⁠(otevře se v novém okně) tuto operaci připsala „osobám napojeným na čínské orgány činné v trestním řízení“. Část aktivit této operace na sociálních sítích připsala FBI⁠(otevře se v novém okně) jednotce čínského ministerstva veřejné bezpečnosti.

Chování

Tato síť se zaměřovala na publikum po celém světě, zejména na členy čínské diaspory a kritiky čínské vlády. Obsah vytvářela především v čínštině a v menší míře také v angličtině, japonštině a korejštině.

Síť používala naše modely k ladění kódu, získávání rad ohledně analýzy sociálních sítí, rešerším zpráv a aktuálního dění a tvorbě obsahu, který následně zveřejňovala na blogových fórech a sociálních sítích.

V roce 2023 například použila naše modely k ladění kódu pro nastavení motivu WordPressu na webu revealscum.com. Tento web v čínštině zveřejňoval kritiku a osobní údaje členů čínské diaspory, kteří kritizovali čínskou vládu. Tyto kritiky označoval za „zrádce“. Samotný obsah pomocí našich modelů vytvořen nebyl.

Snímek webu revealscum.com se stránkou nazvanou „汉奸“ („zrádce“). Tváře lidí, na které se tento web zaměřuje, jsme anonymizovali.

Snímek webu revealscum.com se stránkou nazvanou „汉奸“ („zrádce“). Tváře lidí, na které se tento web zaměřuje, jsme anonymizovali.

Kampaň naše modely využívala také k tvorbě obsahu, který následně zveřejňovala na sociálních sítích a fórech. Koncem roku 2023 například vytvořila články, které obviňovaly Japonsko z poškozování mořského prostředí vypouštěním odpadní vody z elektrárny Fukušima. Tyto články jsme nalezli mimo jiné na platformách Medium, Blogspot a ameblo.jp.

V dubnu 2024 kampaň zveřejnila sérii anglických komentářů kritizujících čínskou disidentku Cai Xia. Identifikovali jsme jeden účet na síti X, který zveřejnil první komentář, a skupinu dalších účtů, které přidaly zbývající komentáře jako odpovědi. Nezaznamenali jsme, že by na ně odpověděly nějaké skutečné účty.

Příspěvek a odpovědi útočící na Cai Xia, jejichž obsah vytvořila operace Spamouflage pomocí našich modelů. Všimněte si, že příspěvek nemá žádná sdílení ani označení To se mi líbí. Všech deset komentářů k původnímu příspěvku pocházelo z účtů, které používaly obsah vytvořený operací Spamouflage.

Příspěvek a odpovědi útočící na Cai Xia, jejichž obsah vytvořila operace Spamouflage pomocí našich modelů. Všimněte si, že příspěvek nemá žádná sdílení ani označení To se mi líbí. Všech deset komentářů k původnímu příspěvku pocházelo z účtů, které používaly obsah vytvořený operací Spamouflage.

Kampaň naše modely využívala také k rešerším z otevřených zdrojů. Zjišťovala například, jak požádat o vývojářské účty na sociálních sítích, nebo žádala o shrnutí příspěvků kritiků čínské vlády.

Zdá se, že obsah vytvořený pomocí umělé inteligence představoval jen menší část celkové produkce této sítě. Mnohé účty na platformách X a Medium, které podle našich zjištění zveřejňovaly obsah vytvořený našimi modely, například publikovaly ještě více obsahu, jenž byl zřejmě ručně napsán v angličtině a čínštině (o čemž svědčilo například nepřirozené užívání angličtiny). Tento obsah zveřejňovaly před publikováním komentářů vytvořených umělou inteligencí i po něm.

Příspěvek z 22. dubna 2024 od jednoho z účtů, které 19. dubna zveřejnily obsah vytvořený umělou inteligencí. Text i obrázek byly zřejmě vytvořeny ručně.

Příspěvek z 22. dubna 2024 od jednoho z účtů, které 19. dubna zveřejnily obsah vytvořený umělou inteligencí. Text i obrázek byly zřejmě vytvořeny ručně.

Obsah

Velká část obsahu vytvořeného touto kampaní byla v čínštině. Témata sahala od vyzdvihování mezinárodní spolupráce čínské vlády v oblasti prosazování práva až po kritiku bezpráví páchaného na původních obyvatelích Spojených států. Část obsahu kritizovala vládu USA a společnost Microsoft za odhalení činnosti čínské hackerské skupiny známé jako „Volt Typhoon“.

Jiný obsah byl v angličtině. Ten obvykle útočil na známé kritiky čínské vlády, jako jsou herec a aktivista za práva Tibeťanů Richard Gere a disidentka Cai Xia. Několik článků vytvořených koncem roku 2023 v angličtině, japonštině, čínštině, korejštině a ruštině obviňovalo Japonsko ze znečišťování Tichého oceánu vypouštěním vody z jaderné elektrárny Fukušima⁠(otevře se v novém okně) – jde o dlouhodobé téma čínských vlivových operací.

Jedna malá skupina aktivit se zaměřovala na vytváření pochvalných komentářů v čínštině o návštěvě čínského ministra veřejné bezpečnosti v Uzbekistánu. Není známo, že by se Spamouflage tímto tématem zabývala již dříve. Je zajímavé s ohledem na to, že FBI připsala⁠(otevře se v novém okně) některé dřívější aktivity této operace na sociálních sítích čínskému ministerstvu veřejné bezpečnosti.

Zdá se, že některé aktivity sítě odrážely osobní zájmy jejích operátorů. Jeden operátor například použil naše modely k průzkumu objektivů fotoaparátů. Jiný pomocí našich modelů vypracoval úkol, který zřejmě sloužil jako test pro členy Komunistické strany Číny.

Posouzení dopadu

Spamouflage patří od svého prvního veřejného popsání v roce 2019⁠(otevře se v novém okně) k nejintenzivněji zkoumaným vlivovým operacím na světě. Jen velmi málo jejích aktivit podle dostupných zpráv oslovilo skutečné publikum.

Nezdá se, že by využívání obsahu vytvořeného umělou inteligencí tuto situaci změnilo. Žádný z blogů, článků ani účtů na sociálních sítích, které jsme při vyšetřování identifikovali, nezískal od skutečných lidí vysoký počet interakcí ani sledujících. V některých případech dostupné ukazatele naznačují, že jejich příspěvky zobrazil pouze náš vyšetřovací tým.

Při hodnocení dopadu vlivových operací pomocí škály Breakout Scale⁠(otevře se v novém okně), která je klasifikuje od 1 (nejnižší dopad) do 6 (nejvyšší dopad), bychom tuto operaci zařadili do kategorie 2. Ta se vyznačuje zveřejňováním obsahu na mnoha platformách, avšak bez důkazů, že jej ve významné míře šířili lidé mimo danou síť.

Indikátory

Zjistili jsme, že s touto kampaní souvisí následující doména.

  • revealscum.com