Lumaktaw sa pangunahing content
OpenAI

Mayo 1, 2024

Kaligtasan

Operasyong “Spamouflage”: Aktibidad na pang-impluwensiyang nauugnay sa China

Nag-ban ang OpenAI ng mga account na nauugnay sa operasyong “Spamouflage” na nagmula sa PRC at gumamit ng AI para magsaliksik ng aktibidad sa social media, bumuo ng mga post, at mag-debug ng website na hindi pa dating naiulat.

Naglo-load…

Ang case study na ito ay orihinal na inilathala sa ulat ng OpenAI noong Mayo 2024⁠(magbubukas sa bagong window).

Aktor

Nag-ban kami ng ilang account na nauugnay sa operasyong nagmula sa China na kilala bilang “Spamouflage”⁠(magbubukas sa bagong window). Iniugnay ng Meta⁠(magbubukas sa bagong window) ang operasyong ito sa “mga indibidwal na nauugnay sa tagapagpatupad ng batas ng China”. Iniugnay ng FBI⁠(magbubukas sa bagong window) ang ilan sa mga aktibidad ng operasyong ito sa social media sa isang yunit sa loob ng Ministry of Public Security ng China.

Gawi

Pinuntirya ng network na ito ang mga audience sa buong mundo, lalo na ang mga miyembro ng Chinese diaspora at mga kritiko ng pamahalaan ng China. Pangunahin itong bumuo ng nilalaman sa Chinese at, sa mas maliit na antas, sa English, Japanese, at Korean.

Ginamit ng network ang aming mga modelo para mag-debug ng code, humingi ng payo tungkol sa pagsusuri ng social media, magsaliksik ng balita at mga kasalukuyang pangyayari, at bumuo ng nilalamang kalauna'y inilathala sa mga blog forum at social media.

Halimbawa, noong 2023, ginamit ng network ang aming mga modelo para i-debug ang code na nagtatakda ng WordPress theme para sa website na revealscum.com. Naglalathala ang website na ito ng mga puna sa Chinese at personal na impormasyon tungkol sa mga miyembro ng Chinese diaspora na pumupuna sa pamahalaan ng China. Tinawag nitong “mga taksil” ang mga kritikong ito. Ang mismong nilalaman ay hindi binuo gamit ang aming mga modelo.

Screenshot ng website na revealscum.com, na nagpapakita sa pahinang pinamagatang “汉奸” (“taksil”). Tinakpan namin ang mga mukha ng mga taong pinuntirya ng site na ito.

Screenshot ng website na revealscum.com, na nagpapakita sa pahinang pinamagatang “汉奸” (“taksil”). Tinakpan namin ang mga mukha ng mga taong pinuntirya ng site na ito.

Ginamit din ng kampanyang ito ang aming mga modelo para lumikha ng nilalamang kalauna'y ipinost sa mga social media platform at forum. Halimbawa, noong huling bahagi ng 2023, bumuo ang operasyon ng mga artikulong nag-akusa sa Japan na sinisira nito ang kapaligirang pandagat sa pamamagitan ng pagpapakawala ng wastewater mula sa Fukushima power plant. Natukoy namin ang mga artikulo sa mga platform kabilang ang Medium, Blogspot, at ameblo.jp.

Noong Abril 2024, naglabas ang kampanya ng sunod-sunod na komento sa English na tumuligsa sa Chinese dissident na si Cai Xia. Natukoy namin ang isang X account na nag-post ng unang komento at isang pangkat ng iba pang account na nag-post ng natitirang mga komento bilang mga tugon. Wala kaming nakitang totoong account na tumugon sa kanila.

Post at mga tugon na tumutuligsa kay Cai Xia, na may nilalamang binuo ng Spamouflage gamit ang aming mga modelo. Pansinin na wala itong mga repost o like. Lahat ng sampung komento sa orihinal na post ay mula sa mga account na gumamit ng nilalamang binuo ng Spamouflage.

Post at mga tugon na tumutuligsa kay Cai Xia, na may nilalamang binuo ng Spamouflage gamit ang aming mga modelo. Pansinin na wala itong mga repost o like. Lahat ng sampung komento sa orihinal na post ay mula sa mga account na gumamit ng nilalamang binuo ng Spamouflage.

Ginamit din ng kampanya ang aming mga modelo para magsagawa ng open-source na pananaliksik, gaya ng kung paano mag-apply para sa mga developer account sa social media o humingi ng mga buod ng mga social media post ng mga kritiko ng pamahalaan ng China.

Lumilitaw na maliit na bahagi lamang ng kabuuang output ng network ang gumamit ng artificial intelligence. Halimbawa, marami sa mga X at Medium account na natukoy naming nag-post ng nilalamang binuo ng aming mga modelo ang nag-post ng mas maraming nilalamang tila ginawa nang manu-mano sa English at Chinese (gaya ng ipinapakita, halimbawa, ng hindi natural na paggamit ng English). Ipinost nila ang nilalamang ito bago at pagkatapos nilang mag-post ng mga komentong binuo ng AI.

Post noong Abril 22, 2024 ng isa sa mga account na nag-post ng nilalamang binuo ng AI noong Abril 19. Tila parehong ginawa nang manu-mano ang teksto at larawan.

Post noong Abril 22, 2024 ng isa sa mga account na nag-post ng nilalamang binuo ng AI noong Abril 19. Tila parehong ginawa nang manu-mano ang teksto at larawan.

Nilalaman

Nasa Chinese ang malaking bahagi ng nilalamang binuo ng kampanyang ito. Iba-iba ang mga paksa, mula sa pagpuri sa pandaigdigang kooperasyon ng pamahalaan ng China sa pagpapatupad ng batas hanggang sa pagpuna sa mga pang-aabuso laban sa mga Katutubong Amerikano sa United States. Pinuna ng ilang nilalaman ang pamahalaan ng US at Microsoft dahil sa paglalantad sa aktibidad ng Chinese hacking group na kilala bilang “Volt Typhoon”.

Nasa English naman ang ibang nilalaman. Karaniwan nitong pinupuna ang mga prominenteng kritiko ng pamahalaan ng China, gaya ng aktor at Tibet activist na si Richard Gere at dissident na si Cai Xia. Inakusahan ng ilang artikulong binuo noong huling bahagi ng 2023 sa English, Japanese, Chinese, Korean, at Russian ang Japan na dinudumihan nito ang katubigan ng Pacific sa pamamagitan ng pagtatapon mula sa Fukushima nuclear plant⁠(magbubukas sa bagong window)—isang matagal nang tema ng mga operasyong pang-impluwensiya ng China.

Nakatuon ang isang maliit na pangkat ng aktibidad sa pagbuo ng mga positibong komento sa Chinese tungkol sa pagbisita ng Minister of Public Security ng China sa Uzbekistan. Hindi pa dating nalalamang tinalakay ng Spamouflage ang temang ito; kapansin-pansin ito dahil sa pag-uugnay ng FBI⁠(magbubukas sa bagong window) sa Ministry of Public Security ng China ng ilan sa mga naunang aktibidad ng operasyong ito sa social media.

Lumilitaw na sumasalamin ang ilan sa mga aktibidad ng network sa mga personal na interes ng mga Operator. Halimbawa, ginamit ng isang Operator ang aming mga modelo para magsaliksik tungkol sa mga lente ng camera. Ginamit naman ng isa pa ang aming mga modelo para tapusin ang tila isang pansubok na takdang-aralin para sa mga miyembro ng Chinese Communist Party.

Pagtatasa ng epekto

Ang Spamouflage ay isa sa mga pinakamasusing sinaliksik na operasyong pang-impluwensiya sa mundo mula nang una itong ilarawan sa publiko noong 2019⁠(magbubukas sa bagong window). Napakakaunti sa mga aktibidad nito ang naiulat na nakaabot sa mga tunay na audience.

Mukhang hindi nabago ng paggamit ng nilalamang binuo ng AI ang kalagayang iyon. Sa lahat ng blog, artikulo, at social media account na natukoy namin sa aming imbestigasyon, walang nakakuha ng mataas na engagement o maraming follower mula sa mga totoong tao. Sa ilang kaso, ipinapakita ng mga makukuhang palatandaan na ang aming investigative team lamang ang tumingin sa kanilang mga post.

Gamit ang Breakout Scale⁠(magbubukas sa bagong window) para tasahin ang epekto ng mga operasyong pang-impluwensiya, na nagbibigay ng rating mula 1 (pinakamababa) hanggang 6 (pinakamataas), itinuturing namin itong Category 2 na operasyon: may aktibidad ng pag-post sa maraming platform ngunit walang katibayang malaki ang naging pagpapalaganap nito ng mga taong wala sa network.

Mga palatandaan

Natukoy naming nauugnay sa kampanyang ito ang sumusunod na domain.

  • revealscum.com