Passer au contenu principal
OpenAI

1 mai 2024

Sécurité

Opération « Zero Zeno » : activité d’influence liée à Israël

OpenAI a banni des comptes liés à une opération d’origine israélienne jusqu’alors inconnue, surnommée « Zero Zeno », qui utilisait l’IA pour générer du contenu anti-Hamas, anti-Qatar, pro-Israël, anti-BJP et pro-Histadrout.

Chargement...

Cette étude de cas a été initialement publiée dans le rapport de mai 2024⁠(ouverture dans une nouvelle fenêtre) d’OpenAI.

Acteur

Nous avons banni un groupe de comptes gérés depuis Israël qui servaient à générer et modifier du contenu pour une opération d’influence couvrant X, Facebook, Instagram, des sites web et YouTube. Le réseau était exploité par STOIC, une société israélienne de gestion de campagnes politiques. En hommage au fondateur de l’école philosophique stoïcienne, et pour refléter le faible niveau d’engagement suscité par ce réseau, nous l’avons surnommé « Zero Zeno ».

Comportement

Cette opération ciblait des publics au Canada, aux États-Unis et en Israël avec du contenu en anglais et en hébreu. Début mai, elle a commencé à cibler des publics en Inde avec du contenu en anglais. Elle semble également avoir préparé une campagne d’opérations d’influence ciblant des publics au Ghana.

L’opération utilisait nos modèles pour générer des articles web et des commentaires destinés aux réseaux sociaux, ensuite publiés sur plusieurs plateformes, notamment Instagram, Facebook et X.

Commentaires en anglais générés par ce réseau et publiés sur Instagram. La publication d’origine et les réponses ont toutes été générées par cette campagne.

Commentaires en anglais générés par ce réseau et publiés sur Instagram. La publication d’origine et les réponses ont toutes été générées par cette campagne.

L’opération utilisait aussi nos modèles pour créer des personnages fictifs et des biographies destinés aux réseaux sociaux à partir de variables telles que l’âge, le genre et le lieu de résidence, ainsi que pour mener des recherches sur les personnes qui, en Israël, commentaient publiquement le syndicat Histadrout. Nos modèles ont refusé de fournir des informations personnelles en réponse à ces requêtes.

Le contenu généré par ce réseau a été publié sur plusieurs plateformes de réseaux sociaux. Des recherches en sources ouvertes menées par le Digital Forensic Research Lab de l’Atlantic Council⁠(ouverture dans une nouvelle fenêtre) ont permis d’identifier certains de ses contenus sur Facebook, Instagram et X ; lorsque ces comptes étaient désactivés, l’opération en acquérait de nouveaux. D’autres contenus sont apparus sur quatre sites web se présentant comme des groupes militants axés sur le conflit à Gaza et, plus largement, sur les relations entre personnes de confession juive et musulmane : uc4canada.com, the-good-samaritan.com, ufnews.io et nonagenda.com.

Dans certains cas, nous avons repéré de faux comptes de cette opération commentant des publications sur les réseaux sociaux créées par l’opération elle-même, probablement pour donner l’impression que le public interagissait avec elles.

Publication sur X d’un compte associé à l’activité initialement identifiée par le DFRLab, accompagnée de réponses. Toutes les réponses visibles sur cette image ont été générées par cette campagne.

Publication sur X d’un compte associé à l’activité initialement identifiée par le DFRLab, accompagnée de réponses. Toutes les réponses visibles sur cette image ont été générées par cette campagne.

De nombreux comptes de réseaux sociaux ayant publié le contenu de ce réseau utilisaient des photos de profil qui semblent avoir été créées avec un type antérieur d’intelligence artificielle : les réseaux antagonistes génératifs (GAN). De telles images peuvent être facilement téléchargées sur Internet. Malgré la facilité avec laquelle ces images peuvent être créées, nous avons identifié plusieurs comptes de réseaux sociaux de ce réseau qui utilisaient la même photo. Il arrivait que deux comptes ou plus dotés de la même photo de profil répondent à la même publication sur les réseaux sociaux.

Photos de profil de comptes X ayant publié des commentaires générés par ce réseau. La photo présente des indices visuels caractéristiques d’une génération par GAN.

Photos de profil de comptes X ayant publié des commentaires générés par ce réseau. La photo présente des indices visuels caractéristiques d’une génération par GAN.

Contenu

Cette opération se divisait en plusieurs campagnes thématiques, pour la plupart vaguement liées au conflit à Gaza et à la question plus générale des relations entre personnes de confession juive et musulmane. En mai, nous avons interrompu certaines activités axées sur les élections indiennes moins de 24 heures après leur lancement.

Des recherches en sources ouvertes publiées en février⁠(ouverture dans une nouvelle fenêtre) ont décrit les critiques formulées par ce réseau contre l’agence des Nations Unies pour les réfugiés de Palestine, l’UNRWA. Le rapport du DFRLab publié en mars⁠(ouverture dans une nouvelle fenêtre) a mis en évidence du contenu axé sur le Canada et critiquant ceux que les publications de la campagne qualifiaient d’« islamistes radicaux » dans ce pays. Un autre groupe ciblait les universités américaines et accusait les manifestants propalestiniens de promouvoir l’antisémitisme et le terrorisme. Un quatrième groupe ciblait le Qatar et présentait ses investissements aux États-Unis comme une menace pour le mode de vie américain. Un cinquième groupe générait des publications en hébreu pour les réseaux sociaux. Celles-ci faisaient généralement l’éloge de la confédération syndicale Histadrout et de sa direction. Enfin, en mai, le réseau a commencé à générer des commentaires axés sur l’Inde, critiquant le BJP au pouvoir et faisant l’éloge du parti d’opposition, le Congrès.

Le réseau semble parfois avoir fait passer ses comptes d’un sujet à un autre : par exemple, certains comptes qui publiaient auparavant sur le Canada se sont ensuite tournés vers les États-Unis, l’Inde ou l’Histadrout, voire plusieurs de ces sujets.

Trois commentaires publiés sur X du 1er au 4 mai 2024 par un compte ayant diffusé à plusieurs reprises du contenu généré par cette campagne. La première publication (en bas) semble avoir visé à construire un personnage fictif. La deuxième publication porte sur le Canada et intègre une publication du principal compte de ce réseau ciblant le Canada. La troisième porte sur l’Inde.

Trois commentaires publiés sur X du 1er au 4 mai 2024 par un compte ayant diffusé à plusieurs reprises du contenu généré par cette campagne. La première publication (en bas) semble avoir visé à construire un personnage fictif. La deuxième porte sur le Canada et intègre une publication du principal compte de ce réseau ciblant le Canada. La troisième porte sur l’Inde.

Une partie du contenu créé par ce réseau a été publiée sur les réseaux sociaux en réponse à d’éminentes personnalités occidentales des deux bords politiques. Ces réponses n’avaient généralement aucun rapport avec la publication d’origine. Par exemple, un commentaire affirmant que le Qatar « rachetait » l’Amérique a été publié en réponse à une publication sur les préférences musicales de l’ancien président Trump.

En haut, publication de Laura Ingraham sur les préférences musicales du président Trump. En bas, publication contenant un commentaire généré par ce réseau. Notez l’écart entre les chiffres d’engagement de la publication d’origine et ceux de la réponse.

En haut, publication de Laura Ingraham sur les préférences musicales du président Trump. En bas, publication contenant un commentaire généré par ce réseau. Notez l’écart entre les chiffres d’engagement de la publication d’origine et ceux de la réponse.

Évaluation de l’impact

Les activités de « Zero Zeno » semblent avoir suscité peu, voire pas du tout, d’engagement en dehors de celui de ses propres comptes non authentiques. (De nombreux comptes ont déjà été désactivés par Meta et X ; les chiffres d’engagement actuels peuvent donc ne pas donner une vision complète de la situation.)

Selon la Breakout Scale⁠(ouverture dans une nouvelle fenêtre), qui évalue l’impact des opérations d’influence sur une échelle allant de 1 (minimum) à 6 (maximum), nous classerions cette opération en catégorie 2 : elle se caractérise par des publications sur plusieurs plateformes et sites web, sans preuve d’une amplification notable par des personnes extérieures au réseau.

Chaîne YouTube associée à la campagne de cette opération ciblant le Canada. Au 25 avril 2024, elle avait publié une vidéo qui n’avait enregistré aucune vue.

Chaîne YouTube associée à la campagne de cette opération ciblant le Canada. Au 25 avril 2024, elle avait publié une vidéo qui n’avait enregistré aucune vue.

Indicateurs

Nous avons identifié les domaines suivants comme étant associés aux campagnes de « Zero Zeno ».

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io