« Mauvaise grammaire » : activité de commentaires sur Telegram liée à la Russie

Cette étude de cas a été publiée à l’origine dans le rapport de mai 2024⁠(s'ouvre dans une nouvelle fenêtre) d’OpenAI.

Nous avons banni un réseau de comptes jusque-là inconnu qui utilisait nos modèles pour créer des commentaires ensuite publiés sur Telegram. Nous avons établi un lien entre cette activité et des personnes originaires de Russie. Comme ce réseau ciblait Telegram, publiait à répétition des textes en anglais non grammatical et peinait à attirer un public, nous l’avons surnommé « Mauvaise grammaire ».

Ce réseau ciblait des publics en Russie, en Ukraine, aux États-Unis, en Moldavie et dans les États baltes avec du contenu en russe et en anglais.

Le réseau a utilisé nos modèles et des comptes Telegram pour mettre en place un processus de diffusion massive de commentaires indésirables. D’abord, les opérateurs ont utilisé nos modèles pour déboguer du code qui semblait conçu pour automatiser la publication sur Telegram. Ils ont ensuite généré des commentaires en russe et en anglais en réponse à des publications précises sur Telegram. Enfin, ils semblent avoir utilisé au moins une douzaine de comptes Telegram pour publier ces commentaires.

En anglais, les opérateurs ont utilisé nos modèles pour générer des commentaires empruntant la voix de plusieurs faux personnages appartenant à différents groupes démographiques des deux côtés du spectre politique américain. En russe, ils privilégiaient des instructions plus thématiques et moins axées sur des personnages.

Le réseau commentait principalement les publications d’un petit nombre de chaînes Telegram. La chaîne prorusse @Slavyangrad était la plus souvent mentionnée, suivie des chaînes anglophones @police_frequency et @SGTNewsNetwork. (Cette dernière se présente comme un ancien combattant américain conservateur, mais, en novembre, Meta a signalé⁠(s'ouvre dans une nouvelle fenêtre) qu’elle était en fait originaire d’Iran.) Dans un échantillon d’activités de février, le réseau a tenté de générer des réponses à ces trois chaînes deux fois plus souvent qu’aux 10 autres chaînes les plus mentionnées réunies.

Cette campagne a généré de courts commentaires portant sur une poignée de thèmes politiques. En anglais comme en russe, les principaux sujets abordés dans ses publications sur Telegram étaient la guerre en Ukraine, la situation politique en Moldavie et dans les États baltes, ainsi que la politique américaine.

Les commentaires typiques en russe sur Telegram accusaient les présidents de l’Ukraine et de la Moldavie de corruption, de manquer de soutien populaire et de trahir leur propre peuple au profit de l’« ingérence » occidentale. Les commentaires en anglais sur Telegram portaient sur des sujets comme l’immigration, les difficultés économiques et les nouvelles de dernière heure. Ces commentaires s’appuyaient souvent sur l’actualité pour soutenir que les États-Unis ne devraient pas appuyer l’Ukraine.

Parfois, plus d’un personnage commentait la même publication, en présentant des points de vue contradictoires. Cette approche « à deux visages », qui consiste à se faire passer pour des voix des deux camps, a déjà été observée dans des opérations russes et pourrait indiquer une volonté d’attirer des publics précis ou d’alimenter la division.

Après l’attentat terroriste perpétré à Moscou le 22 mars et la détention de quatre ressortissants tadjiks, la campagne a commencé à utiliser un nouveau groupe de comptes Telegram axés sur le Tadjikistan. Les commentaires publiés appelaient à l’unité entre les Tadjiks et les Russes ainsi qu’au respect du droit russe.

La diffusion massive de commentaires indésirables était déjà une technique courante des OI avant l’arrivée de l’IA générative. Même si « Mauvaise grammaire » employait une nouvelle technique pour générer ses commentaires, son système de diffusion peinait à susciter de l’engagement.

Très peu de ses commentaires ont obtenu des mentions J’aime ou des réponses. Les commentaires du réseau ne représentaient généralement qu’une minorité des réponses à une publication donnée, ce qui signifie qu’ils n’étouffaient pas les autres points de vue, si tel était l’objectif.

À l’occasion, le réseau a utilisé nos modèles pour générer ce qui semble avoir été des messages privés, possiblement échangés avec un autre utilisateur de Telegram, mais les textes générés laissent croire que le réseau discutait avec un fraudeur spécialisé dans les cryptomonnaies.

Selon l’échelle de percée⁠(s'ouvre dans une nouvelle fenêtre) utilisée pour évaluer l’impact des OI, qui les classe de 1 (niveau le plus bas) à 6 (niveau le plus élevé), nous situerions cette activité dans la catégorie 1, caractérisée par des publications sur une seule plateforme, sans preuve d’amplification importante par des personnes extérieures au réseau.