« Mauvaise grammaire » : activité de commentaires Telegram liée à la Russie
OpenAI a banni des comptes liés à une opération russe inédite baptisée « Mauvaise grammaire », qui utilisait l’IA pour générer sur Telegram des commentaires en anglais et en russe sur l’Ukraine, la Moldavie, les pays baltes et la politique américaine.
Cette étude de cas a été publiée initialement dans le rapport de mai 2024(ouverture dans une nouvelle fenêtre) d’OpenAI.
Acteur
Nous avons banni un réseau de comptes jusque-là inconnu qui utilisait nos modèles pour créer des commentaires ensuite publiés sur Telegram. Nous avons relié cette activité à des individus originaires de Russie. Compte tenu de son intérêt pour Telegram, de ses publications répétées dans un anglais incorrect et de ses difficultés à se constituer une audience, nous avons baptisé ce réseau « Mauvaise grammaire ».
Comportement
Ce réseau ciblait des publics en Russie, en Ukraine, aux États-Unis, en Moldavie et dans les États baltes avec du contenu en russe et en anglais.
Le réseau a utilisé nos modèles et des comptes Telegram pour mettre en place une chaîne de diffusion de commentaires indésirables. Tout d’abord, les opérateurs ont utilisé nos modèles pour déboguer du code apparemment conçu pour automatiser la publication sur Telegram. Ils ont ensuite généré des commentaires en russe et en anglais en réponse à des publications Telegram précises. Enfin, ils semblent avoir utilisé au moins une douzaine de comptes Telegram pour publier ces commentaires.
Commentaire Telegram public correspondant à un texte généré par ce réseau. Le compte concerné a publié à plusieurs reprises des commentaires correspondant aux productions de ce réseau.
En anglais, les opérateurs ont utilisé nos modèles pour générer des commentaires adoptant la voix de plusieurs faux profils issus de différents groupes démographiques et représentant les deux camps de l’échiquier politique américain. En russe, ils privilégiaient des instructions plus thématiques et moins axées sur des personnages fictifs.
Le réseau commentait principalement les publications d’un petit nombre de chaînes Telegram. La chaîne la plus mentionnée était la chaîne prorusse @Slavyangrad, suivie des chaînes anglophones @police_frequency et @SGTNewsNetwork. (Cette dernière se présente comme un vétéran américain conservateur, mais en novembre, Meta a indiqué(ouverture dans une nouvelle fenêtre) qu’elle était en réalité originaire d’Iran.) Dans un échantillon d’activité datant de février, le réseau a tenté de générer des réponses à ces trois chaînes deux fois plus souvent qu’aux 10 chaînes suivantes les plus mentionnées réunies.
Contenu
Cette campagne a généré de courts commentaires axés sur une poignée de thèmes politiques. En anglais comme en russe, les principaux sujets abordés dans ses publications sur Telegram étaient la guerre en Ukraine, la situation politique en Moldavie et dans les États baltes, ainsi que la politique américaine.
Les commentaires types publiés en russe sur Telegram accusaient les présidents ukrainien et moldave de corruption, de manquer de soutien populaire et de trahir leur propre peuple au profit de l’« ingérence » occidentale. Les commentaires publiés en anglais sur Telegram portaient sur des sujets tels que l’immigration, les difficultés économiques et l’actualité du jour. Ces commentaires s’appuyaient souvent sur l’actualité pour affirmer que les États-Unis ne devraient pas soutenir l’Ukraine.
Commentaire Telegram public correspondant à un texte généré par ce réseau. Le compte concerné a publié à plusieurs reprises des commentaires correspondant à du contenu généré avec nos modèles.
Il arrivait que plusieurs personnages fictifs commentent la même publication en exprimant des points de vue contradictoires. Cette approche « à deux visages », consistant à se faire passer pour des voix des deux camps, a déjà été observée dans des opérations russes et peut révéler une volonté d’attirer des publics précis ou d’accentuer les divisions.
Commentaires Telegram publics correspondant à des textes générés par ce réseau. Les comptes concernés ont publié à plusieurs reprises des commentaires correspondant à du contenu généré avec nos modèles.
Après l’attentat terroriste perpétré à Moscou le 22 mars et l’arrestation de quatre ressortissants tadjiks, la campagne a commencé à utiliser un nouveau groupe de comptes Telegram axés sur le Tadjikistan. Les commentaires publiés appelaient à l’unité entre Tadjiks et Russes ainsi qu’au respect du droit russe.
Évaluation de l’impact
La diffusion de commentaires indésirables était déjà une technique couramment employée par les OI avant l’avènement de l’IA générative. Bien que « Mauvaise grammaire » ait employé une nouvelle technique pour générer ses commentaires, son système de diffusion a peiné à susciter de l’engagement.
Très peu de ses commentaires ont obtenu des mentions J’aime ou des réponses. Les commentaires du réseau ne représentaient généralement qu’une minorité des réponses à une publication donnée, ce qui signifie qu’ils n’étouffaient pas les autres points de vue, si tel était l’objectif.
À l’occasion, le réseau a utilisé nos modèles pour générer ce qui semble avoir été des messages privés, peut-être échangés avec un autre utilisateur de Telegram, mais les textes générés laissent penser que le réseau discutait avec un escroc spécialisé dans les cryptomonnaies.
En utilisant l’échelle Breakout(ouverture dans une nouvelle fenêtre) pour évaluer l’impact des OI, qui les note de 1 (niveau le plus faible) à 6 (niveau le plus élevé), nous classerions cette opération dans la catégorie 1, caractérisée par une activité de publication sur une seule plateforme, sans preuve d’amplification significative par des personnes extérieures au réseau.