Opération « A2Z » : activité d’influence multilingue

Cette étude de cas a été publiée initialement dans le rapport d’OpenAI d’octobre 2024⁠(s'ouvre dans une nouvelle fenêtre).

Nous avons banni un groupe de comptes jusqu’alors inconnu qui utilisait notre API pour créer des commentaires ensuite publiés sur X et Facebook. Bon nombre de ces commentaires faisaient l’éloge de l’Azerbaïdjan ou défendaient son bilan en matière de droits de la personne, mais l’opération traitait aussi d’un large éventail d’autres sujets, ce qui pourrait indiquer qu’elle était menée à des fins commerciales. Compte tenu de la fréquence à laquelle il faisait l’éloge de l’Azerbaïdjan et de sa tentative d’utiliser l’IA à plusieurs étapes de l’opération, nous avons baptisé ce réseau « A2Z ».

À l’instar de l’opération russophone sur Telegram que nous avons révélée en mai et baptisée « Bad Grammar », cette opération utilisait nos modèles pour publier des commentaires sur les médias sociaux. Elle exploitait l’IA pour gérer de faux personnages sur les médias sociaux, générer des biographies, analyser des publications et des commentaires, rédiger des réponses dans de nombreuses langues et les réviser. Les réponses étaient ensuite publiées sur X ou Facebook. La plupart du contenu prenait la forme de courts commentaires, mais comprenait aussi des images stylisées. Celles-ci adoptaient souvent le style des affiches des années 1930 : elles semblaient donc conçues pour attirer l’attention et susciter l’engagement, plutôt que pour tromper. Cependant, les publications typiques comportant ces images stylisées ne suscitaient que 0 à 5 interactions chacune.

Cette utilisation de l’IA permettait à l’opération de gérer simultanément de nombreux comptes de médias sociaux : nous avons repéré environ 150 comptes sur X et Facebook correspondant à cette activité, et en soupçonnons d’autres. Elle permettait aussi à l’opération de participer parfois à des fils de commentaires avec de vraies personnes sur Internet. Nous avons parfois observé de brèves conversations entre de vraies personnes et les faux comptes, dont les réponses étaient générées à l’aide de nos modèles.

Avant l’IA, une opération de cette envergure aurait probablement nécessité une importante équipe de trolls, avec tous les coûts et les risques de fuite associés à une telle entreprise. Cependant, la dépendance de cette opération à l’IA la rendait aussi exceptionnellement vulnérable à notre intervention. Comme elle exploitait l’IA à de nombreux maillons de la chaîne d’attaque, notre intervention en a rompu plusieurs simultanément. Après notre interruption de cette activité au début de juin, les comptes de médias sociaux que nous avions associés à cette opération ont cessé de publier pendant toutes les périodes électorales dans l’UE, au Royaume-Uni et en France. Certains ont recommencé à publier à la fin août. Un petit nombre de leurs publications présentaient des signes indiquant qu’elles avaient probablement été générées par l’IA. Le contenu qui présentait de tels signes ne provenait pas de nos modèles.

Cette campagne a généré de courts commentaires portant sur un large éventail de thèmes politiques. Le thème principal était l’éloge du gouvernement de l’Azerbaïdjan et de son rôle dans la politique nationale, régionale et internationale, par exemple la promotion de l’unité entre les pays d’Asie centrale ou l’accueil de la Conférence des Nations Unies sur les changements climatiques. Des comptes anglophones et italophones faisaient l’éloge du rôle de l’Azerbaïdjan comme fournisseur d’énergie de l’Europe, parfois en réponse aux critiques visant le bilan du gouvernement azerbaïdjanais en matière de droits de la personne.

D’autres volets de l’activité portaient sur les avantages et l’évolution de l’IA, les marchés financiers, les enjeux écologiques, les cryptomonnaies et, plus largement, la technologie. Un groupe s’intéressait aux Émirats arabes unis, les présentant comme une destination stable pour les investissements et opposant souvent cette image aux allégations d’instabilité politique aux États-Unis.

Certains faux personnages se concentraient sur la politique en Europe ou aux États-Unis. L’idéologie de cette activité variait d’une région à l’autre. Par exemple, un compte X axé sur les États-Unis se faisait passer pour un libéral et critiquait l’ancien président américain Trump, tandis que certains comptes Facebook publiant en français critiquaient le président Macron et soutenaient le parti Rassemblement national (RN). Parfois, ces critiques portaient sur des enjeux nationaux afin de soutenir que le pays concerné ne devait pas intervenir dans les affaires internationales, notamment dans l’invasion de l’Ukraine par la Russie.

Cette opération était très active sur Facebook et X, et comptait probablement des centaines de comptes. Sur X, certains de ses comptes portaient le crochet bleu de la vérification payante. Parmi les quelque 150 comptes échantillonnés sur les deux plateformes, aucun ne comptait un nombre important d’abonnés : pendant notre enquête, le compte X le plus suivi que nous avons repéré avait 222 abonnés; les chiffres habituels se situaient entre une quinzaine et un peu plus de vingt, et les publications typiques sur X suscitaient moins de dix interactions. De même, le nombre le plus élevé de réactions à une publication Facebook que nous avons observé pendant notre enquête était de 36, tandis que les chiffres habituels se situaient entre 0 et 5. Nous avons toutefois relevé quelques cas où les publications de l’opération ont suscité des réponses de vraies personnes. Ces réponses n’étaient pas toujours positives et comprenaient parfois de vraies personnes contredisant les faux comptes, mais elles montrent tout de même une certaine capacité à mobiliser des publics sur plusieurs plateformes, dans plusieurs langues et sur plusieurs sujets.

Selon la Breakout Scale, qui évalue l’impact des opérations d’influence sur une échelle de 1 (le plus faible) à 6 (le plus élevé), nous situerions cette opération à la limite supérieure de la catégorie 2, avec un risque de passer à la catégorie 3 : elle se caractérisait par des publications sur plusieurs plateformes, avec certains signes d’interaction de vraies personnes avec son contenu. Cependant, après avoir interdit à cette opération d’utiliser nos modèles et communiqué des renseignements à nos pairs du secteur, les comptes de médias sociaux que nous avions repérés sont restés silencieux pendant de nombreuses semaines. Cette opération met donc en évidence les capacités accrues que l’utilisation de l’IA peut conférer aux opérateurs, mais aussi la vulnérabilité accrue aux perturbations qu’entraîne leur dépendance à un modèle d’IA.