Passer au contenu principal
OpenAI

1 juin 2025

Sécurité

Opération « Critique moqueuse » : activité d’influence d’origine chinoise

OpenAI a banni des comptes qui utilisaient l’IA pour générer des publications critiquant une influenceuse taïwanaise et des sujets connexes aux États-Unis.

Chargement…

Cette étude de cas a été publiée initialement dans le rapport de juin 2025⁠(s'ouvre dans une nouvelle fenêtre) d’OpenAI.

Acteur

Nous avons banni des comptes ChatGPT qui, selon nos détections, utilisaient nos modèles pour générer en masse des publications sur les médias sociaux correspondant aux activités d’une opération d’influence clandestine. Au cours de notre enquête, nous avons également observé ces comptes rédiger des évaluations internes du rendement.

Ces comptes soumettaient principalement des invites en chinois et se concentraient sur des sujets politiques et géopolitiques concernant la Chine. Un utilisateur a indiqué dans une invite qu’il travaillait pour le Département chinois de la propagande; nous ne disposons toutefois d’aucune preuve indépendante permettant de vérifier cette affirmation.

Comportement

Les comptes que nous avons bannis menaient deux principaux volets d’activité. Le plus prolifique consistait à générer de courts commentaires pour les médias sociaux en anglais et en chinois, ainsi que quelques-uns en ourdou. Nous avons constaté que bon nombre de ces commentaires avaient été publiés sur TikTok et X, et que d’autres contenus étaient parus sur Reddit, Facebook et divers sites Web.

Un schéma typique consistait à publier un premier commentaire depuis un compte « principal », souvent créé apparemment dans le seul but de publier ce commentaire, puis une série de réponses provenant d’autres comptes. Ce comportement semblait destiné à donner une fausse impression d’engagement organique.

Publication TikTok associée à l’opération Critique moqueuse.

Publication TikTok intitulée « Fermer #USAID n’est que le #BEGINNING! » associée à cette activité. Le nom de la chaîne, le texte des sous-titres de la vidéo et tous les commentaires visibles dans cette capture d’écran ont été générés par ce réseau à l’aide de ChatGPT.

Sur TikTok, les comptes publiant des commentaires utilisaient des pseudonymes dans diverses langues et divers alphabets, souvent sans rapport avec la langue du contenu qu’ils publiaient. Par exemple, un compte au nom coréen a publié un commentaire en ourdou, tandis que des comptes aux noms thaïlandais et hébreux ont publié en anglais des commentaires générés par ce réseau. Sur X, les comptes publiant des commentaires utilisaient généralement des images de profil de dessins animés et portaient parfois des noms associés aux cryptomonnaies.

Gazouillis et réponses associés à l’opération Critique moqueuse.

Gazouillis et commentaires y répondant, tous générés par ce réseau à l’aide de ChatGPT.

Le réseau était moins actif sur Facebook. Son activité consistait principalement à générer des noms et des photos de profil pour deux Pages qui se faisaient passer pour des médias d’information. Aucune des deux Pages n’avait d’abonnés ni de mentions J’aime, et chacune ne présentait qu’une poignée de publications.

Publication Facebook associée à l’opération Critique moqueuse.

Publication Facebook partageant une vidéo que nous avons jugée probablement liée à cette opération.

Le réseau générait occasionnellement des publications plus longues en chinois ou en anglais. Nous avons repéré une telle publication sur Reddit et deux autres sur divers forums Web. Le deuxième volet consistait à utiliser ChatGPT pour générer ce qui semble avoir été des documents internes sur les politiques ou l’évaluation du rendement.

Productions

Le contenu destiné aux médias sociaux que cet acteur malveillant a généré portait sur divers sujets étroitement liés aux intérêts géostratégiques de la Chine.

Certains contenus portaient sur Taïwan et ciblaient particulièrement « Front renversé »⁠(s'ouvre dans une nouvelle fenêtre) (« Guerre d’unification inversée »), un jeu vidéo et de société axé sur Taïwan qui imagine une résistance au Parti communiste chinois. Le réseau a généré des dizaines de commentaires critiques en chinois au sujet du jeu, puis un long article affirmant que celui-ci avait suscité une vaste réaction négative. Il s’agissait de l’activité la plus distinctive de l’opération; c’est pourquoi nous l’avons baptisée « Critique moqueuse ».

D’autres contenus, en anglais et en ourdou, ciblaient la militante pakistanaise Mahrang Baloch, qui a publiquement critiqué les investissements de la Chine au Baloutchistan⁠(s'ouvre dans une nouvelle fenêtre). Un compte TikTok et une Page Facebook liés au réseau ont publié une vidéo accusant faussement Baloch d’être apparue dans un film pornographique. L’opération a ensuite généré des centaines de courts commentaires dans les deux langues afin de simuler un vaste engagement.

Commentaires sur une vidéo TikTok de Mahrang Baloch.

Commentaires stupéfaits sur la vidéo TikTok de Mahrang Baloch.

Un dernier ensemble de contenus portait sur la fermeture de l’Agence américaine pour le développement international (USAID), et générait de courts commentaires faisant l’éloge de cette décision ou la critiquant. Ces commentaires ont été publiés sur TikTok et X.

Gazouillis liant l’aide et les droits de douane, générés par l’opération Critique moqueuse.

Gazouillis liant la question de l’aide à celle des droits de douane, générés par ce réseau à l’aide de ChatGPT.

Enfin, les acteurs malveillants ont utilisé nos modèles pour générer ce qui semble avoir été des documents internes, notamment un essai détaillé rédigé dans le style d’un document officiel de sécurité publique et une évaluation du rendement décrivant les mesures prises pour établir et mener l’opération.

Impact

Cette opération semble en avoir été à ses débuts lorsque nous avons interrompu son utilisation de nos modèles. Aucune des deux Pages Facebook n’avait d’abonnés. Sur Reddit, une publication a reçu 44 votes positifs, tandis que deux autres ont été bloquées ou supprimées des sous-reddits où elles avaient été publiées.

Publication Reddit supprimée associée à l’opération Critique moqueuse.

Capture d’écran d’une publication provenant d’un compte Reddit que nous avons associé à ce réseau et montrant qu’elle a été supprimée par les filtres de la plateforme.

L’engagement sur X et TikTok était plus variable : les deux vidéos TikTok ont cumulé 25 000 mentions J’aime, tandis que les gazouillis du compte principal de cette opération obtenaient généralement environ 10 000 vues chacun. Toutefois, de nombreux commentaires sur ces publications ont été générés par ce réseau à l’aide de ChatGPT, ce qui indique qu’au moins une partie de l’engagement était inauthentique. Tous les chiffres d’engagement doivent donc être interprétés avec prudence.

Selon l’échelle de propagation⁠(s'ouvre dans une nouvelle fenêtre) mesurant l’impact des opérations d’influence, nous situerions cette activité dans le bas de la catégorie 3 si les chiffres d’engagement sur X et TikTok étaient authentiques. Nous réviserions cette évaluation à la baisse si de nouvelles preuves étayaient l’hypothèse selon laquelle la majorité des mentions J’aime et des vues, comme la majorité des commentaires, étaient inauthentiques.