Operation ”Spamouflage”: Kina-kopplad påverkansaktivitet
OpenAI stängde av konton kopplade till den Kina-baserade operationen ”Spamouflage”, som använde AI för att undersöka aktivitet i sociala medier, skapa inlägg och felsöka en tidigare okänd webbplats.
Den här fallstudien publicerades ursprungligen i OpenAI:s rapport från maj 2024(öppnas i ett nytt fönster).
Aktör
Vi stängde av ett mindre antal konton med koppling till den Kina-baserade operationen ”Spamouflage”(öppnas i ett nytt fönster). Enligt Meta(öppnas i ett nytt fönster) kan operationen tillskrivas ”personer med koppling till kinesiska brottsbekämpande myndigheter”. Enligt FBI(öppnas i ett nytt fönster) kan delar av operationens aktivitet i sociala medier tillskrivas en enhet inom Kinas ministerium för allmän säkerhet.
Beteende
Nätverket riktade sig till målgrupper över hela världen, särskilt personer i den kinesiska diasporan och kritiker av den kinesiska regeringen. Det skapade främst innehåll på kinesiska och i mindre utsträckning på engelska, japanska och koreanska.
Nätverket använde våra modeller för att felsöka kod, få råd om analys av sociala medier, söka information om nyheter och aktuella händelser samt skapa innehåll som sedan publicerades på bloggforum och i sociala medier.
Under 2023 använde nätverket exempelvis våra modeller för att felsöka kod som konfigurerade WordPress-temat för webbplatsen revealscum.com. På webbplatsen publicerades kineskspråkig kritik och personuppgifter om personer i den kinesiska diasporan som kritiserade den kinesiska regeringen. Webbplatsen kallade dessa kritiker för ”förrädare”. Själva innehållet hade inte skapats med hjälp av våra modeller.

Skärmbild av webbplatsen revealscum.com som visar sidan med rubriken ”汉奸” (”förrädare”). Vi har dolt ansiktena på de personer som webbplatsen riktar sig mot.
Kampanjen använde även våra modeller för att skapa innehåll som sedan publicerades på sociala medieplattformar och forum. I slutet av 2023 skapade operationen exempelvis artiklar som anklagade Japan för att skada havsmiljön genom utsläpp av avloppsvatten från kärnkraftverket i Fukushima. Vi hittade artiklarna på bland annat Medium, Blogspot och ameblo.jp.
I april 2024 publicerade kampanjen en serie engelskspråkiga kommentarer som kritiserade den kinesiska dissidenten Cai Xia. Vi identifierade ett konto på X som publicerade den första kommentaren och en grupp andra konton som publicerade resten som svar. Vi såg inga svar från några verkliga konton.

Inlägg och svar som angriper Cai Xia, där innehållet skapades av Spamouflage med hjälp av våra modeller. Observera avsaknaden av delningar och gilla-markeringar. Samtliga tio kommentarer till det ursprungliga inlägget kom från konton som använde innehåll skapat av Spamouflage.
Kampanjen använde också våra modeller för efterforskningar i öppna källor, exempelvis om hur man ansöker om utvecklarkonton på sociala medier, och för att be om sammanfattningar av inlägg från den kinesiska regeringens kritiker.
Användningen av artificiell intelligens verkar bara ha stått för en mindre del av nätverkets totala produktion. Många av de konton på X och Medium som vi identifierade som publicerare av innehåll skapat med våra modeller publicerade exempelvis en större mängd innehåll som tycktes ha skapats manuellt på engelska och kinesiska, vilket bland annat framgick av oidiomatisk engelska. De publicerade detta innehåll både före och efter de AI-genererade kommentarerna.

Inlägg från den 22 april 2024 av ett av de konton som publicerade AI-genererat innehåll den 19 april. Både texten och bilden verkar ha skapats manuellt.
Innehåll
En stor del av det innehåll som kampanjen skapade var på kinesiska. Ämnena sträckte sig från hyllningar av den kinesiska regeringens internationella brottsbekämpande samarbete till kritik mot övergrepp på USA:s urfolk. En del innehåll kritiserade USA:s regering och Microsoft för att ha avslöjat aktiviteten hos den kinesiska hackergruppen ”Volt Typhoon”.
Annat innehåll var på engelska. Detta innehåll kritiserade vanligtvis framstående kritiker av den kinesiska regeringen, såsom skådespelaren och Tibetaktivisten Richard Gere samt dissidenten Cai Xia. Ett fåtal artiklar som skapades i slutet av 2023 på engelska, japanska, kinesiska, koreanska och ryska anklagade Japan för att förorena Stilla havet med utsläpp från kärnkraftverket i Fukushima(öppnas i ett nytt fönster) – ett återkommande tema i kinesiska påverkansoperationer.
En mindre grupp aktiviteter inriktades på att skapa positiva kommentarer på kinesiska om ett besök i Uzbekistan av Kinas minister för allmän säkerhet. Spamouflage har inte tidigare veterligen behandlat detta tema. Det är intressant mot bakgrund av att FBI tillskrivit(öppnas i ett nytt fönster) Kinas ministerium för allmän säkerhet en del av operationens tidigare aktivitet i sociala medier.
En del av nätverkets aktivitet verkar ha speglat operatörernas personliga intressen. En operatör använde exempelvis våra modeller för att söka information om kameraobjektiv. En annan använde våra modeller för att slutföra vad som verkar ha varit en provuppgift för medlemmar i Kinas kommunistiska parti.
Konsekvensbedömning
Spamouflage har varit en av världens mest ingående studerade påverkansoperationer sedan den först beskrevs offentligt 2019(öppnas i ett nytt fönster). Ytterst få av dess aktiviteter har någonsin rapporterats nå verkliga målgrupper.
Användningen av AI-genererat innehåll verkar inte ha förändrat detta. Ingen av de bloggar, artiklar eller konton i sociala medier som vi identifierade i vår undersökning fick många interaktioner eller följare från verkliga personer. I vissa fall visar tillgängliga indikatorer att de enda som såg inläggen var vår utredningsgrupp.
Om vi använder Breakout Scale(öppnas i ett nytt fönster), som graderar påverkansoperationers genomslag från 1 (lägst) till 6 (högst), bedömer vi detta som en operation i kategori 2. Den kännetecknas av aktivitet på många plattformar, men det finns inga belägg för att personer utanför nätverket har gett den någon betydande spridning.
Indikatorer
Vi identifierade följande domän som kopplad till kampanjen.
revealscum.com