Opération « Spamouflage » : activité d’influence liée à la Chine
OpenAI a banni des comptes associés à l’opération « Spamouflage », originaire de la RPC, qui utilisait l’IA pour étudier l’activité sur les réseaux sociaux, générer des publications et déboguer un site jusqu’alors inconnu.
Cette étude de cas a été publiée initialement dans le rapport de mai 2024(ouverture dans une nouvelle fenêtre) d’OpenAI.
Acteur
Nous avons banni un petit nombre de comptes associés à l’opération d’origine chinoise connue sous le nom de « Spamouflage »(ouverture dans une nouvelle fenêtre). Selon Meta(ouverture dans une nouvelle fenêtre), cette opération est attribuée à « des individus associés aux forces de l’ordre chinoises ». Le FBI(ouverture dans une nouvelle fenêtre) a attribué une partie de l’activité de cette opération sur les réseaux sociaux à une unité du ministère chinois de la Sécurité publique.
Comportement
Ce réseau ciblait un public mondial, notamment les membres de la diaspora chinoise et les détracteurs du gouvernement chinois. Il générait principalement du contenu en chinois et, dans une moindre mesure, en anglais, en japonais et en coréen.
Le réseau a utilisé nos modèles pour déboguer du code, demander des conseils sur l’analyse des réseaux sociaux, faire des recherches sur l’actualité et générer du contenu ensuite publié sur des forums de blogs et les réseaux sociaux.
Par exemple, en 2023, le réseau a utilisé nos modèles pour déboguer le code définissant le thème WordPress d’un site, revealscum.com. Ce site publiait en chinois des critiques et des informations personnelles sur des membres de la diaspora chinoise qui critiquaient le gouvernement chinois. Il qualifiait ces détracteurs de « traîtres ». Le contenu lui-même n’a pas été généré à l’aide de nos modèles.

Capture d’écran du site revealscum.com montrant la page intitulée « 汉奸 » (« traître »). Nous avons masqué le visage des personnes ciblées par ce site.
Cette campagne a également utilisé nos modèles pour créer du contenu ensuite publié sur des plateformes de réseaux sociaux et des forums. Par exemple, fin 2023, l’opération a généré des articles accusant le Japon de nuire au milieu marin en rejetant les eaux usées de la centrale de Fukushima. Nous avons repéré ces articles sur des plateformes telles que Medium, Blogspot et ameblo.jp.
En avril 2024, la campagne a publié une série de commentaires en anglais critiquant la dissidente chinoise Cai Xia. Nous avons identifié un compte X ayant publié le commentaire initial et un groupe d’autres comptes ayant publié le reste des commentaires en réponse. Nous n’avons vu aucun compte authentique leur répondre.

Publication et réponses attaquant Cai Xia, dont le contenu a été généré par Spamouflage à l’aide de nos modèles. À noter l’absence de republications ou de mentions J’aime. Les dix commentaires de la publication d’origine provenaient tous de comptes ayant utilisé du contenu généré par Spamouflage.
La campagne a également utilisé nos modèles pour mener des recherches en sources ouvertes, par exemple sur la procédure de demande de comptes de développeur sur les réseaux sociaux, ou pour obtenir des résumés de publications de détracteurs du gouvernement chinois.
L’utilisation de l’intelligence artificielle par le réseau semble n’avoir représenté qu’une part minoritaire de sa production globale. Par exemple, nombre des comptes X et Medium que nous avons identifiés comme publiant du contenu généré par nos modèles publiaient davantage de contenu qui semblait avoir été créé manuellement en anglais et en chinois, comme l’illustrait notamment un usage peu idiomatique de l’anglais. Ils publiaient ce contenu avant comme après la publication de commentaires générés par l’IA.

Publication du 22 avril 2024 par l’un des comptes ayant publié du contenu généré par l’IA le 19 avril. Le texte comme l’image semblent avoir été créés manuellement.
Contenu
Une grande partie du contenu généré par cette campagne était en chinois. Les sujets allaient de l’éloge de la coopération internationale du gouvernement chinois en matière d’application de la loi à la dénonciation des exactions commises contre les peuples autochtones aux États-Unis. Certains contenus critiquaient le gouvernement américain et Microsoft pour avoir révélé les activités du groupe de pirates informatiques chinois connu sous le nom de « Volt Typhoon ».
D’autres contenus étaient en anglais. Ils critiquaient généralement d’éminents détracteurs du gouvernement chinois, tels que l’acteur et militant pour le Tibet Richard Gere et la dissidente Cai Xia. Quelques articles générés fin 2023 en anglais, japonais, chinois, coréen et russe accusaient le Japon de polluer les eaux du Pacifique avec les rejets de la centrale nucléaire de Fukushima(ouverture dans une nouvelle fenêtre), un thème récurrent des opérations d’influence chinoises.
Un petit groupe d’activités visait à générer en chinois des commentaires positifs sur une visite du ministre chinois de la Sécurité publique en Ouzbékistan. Spamouflage n’avait encore jamais abordé ce thème à notre connaissance. Celui-ci est intéressant au regard de l’attribution par le FBI(ouverture dans une nouvelle fenêtre) d’une partie des activités antérieures de cette opération sur les réseaux sociaux au ministère chinois de la Sécurité publique.
Certaines activités du réseau semblent avoir reflété les centres d’intérêt personnels des opérateurs. Par exemple, un opérateur a utilisé nos modèles pour faire des recherches sur des objectifs photographiques. Un autre a utilisé nos modèles pour réaliser ce qui semble avoir été un devoir d’évaluation destiné aux membres du Parti communiste chinois.
Évaluation de l’impact
Spamouflage est l’une des opérations d’influence les plus étudiées au monde depuis sa première description publique en 2019(ouverture dans une nouvelle fenêtre). Très peu de ses activités auraient atteint un public authentique.
L’utilisation de contenu généré par l’IA ne semble pas avoir changé cette dynamique. Parmi les blogs, articles et comptes de réseaux sociaux identifiés dans le cadre de notre enquête, aucun n’a obtenu un nombre élevé d’interactions ou d’abonnements de la part de personnes réelles. Dans certains cas, les indicateurs disponibles montrent que les seules consultations de leurs publications provenaient de notre équipe d’enquête.
En utilisant la Breakout Scale(ouverture dans une nouvelle fenêtre) pour évaluer l’impact des opérations d’influence, qui les classe de 1 (niveau le plus faible) à 6 (niveau le plus élevé), nous considérerions cette opération comme relevant de la catégorie 2, caractérisée par des publications sur de nombreuses plateformes, mais sans preuve d’une amplification significative par des personnes extérieures au réseau.
Indicateurs
Nous avons identifié le domaine suivant comme étant associé à cette campagne.
revealscum.com