"Slechte grammatica": aan Rusland gelinkte reactieactiviteit op Telegram

Deze casestudy werd oorspronkelijk gepubliceerd in het OpenAI-rapport van mei 2024⁠(opent in een nieuw venster).

We blokkeerden een niet eerder gemeld netwerk van accounts dat onze modellen gebruikte om reacties te maken die vervolgens op Telegram werden geplaatst. We brachten deze activiteit in verband met personen uit Rusland. Vanwege de focus op Telegram, de herhaaldelijk geplaatste ongrammaticale Engelse teksten en de moeite om een publiek op te bouwen, hebben we dit netwerk "Slechte grammatica" genoemd.

Dit netwerk richtte zich met Russische en Engelse content op doelgroepen in Rusland, Oekraïne, de Verenigde Staten, Moldavië en de Baltische staten.

Het netwerk gebruikte onze modellen en accounts op Telegram om een geautomatiseerde stroom spamreacties op te zetten. Eerst gebruikten de beheerders onze modellen om fouten op te sporen in code die kennelijk bedoeld was om het plaatsen van berichten op Telegram te automatiseren. Vervolgens genereerden ze Russische en Engelse reacties op specifieke Telegram-berichten. Ten slotte lijken ze minstens twaalf Telegram-accounts te hebben gebruikt om die reacties te plaatsen.

Voor de Engelse reacties gebruikten de beheerders onze modellen om vanuit het perspectief van verschillende fictieve persona's te schrijven. Deze vertegenwoordigden uiteenlopende demografische groepen en beide zijden van het politieke spectrum in de Verenigde Staten. Voor de Russische reacties kozen ze vaker thematische instructies die minder op persona's waren gebaseerd.

Het netwerk reageerde voornamelijk op berichten van een klein aantal Telegram-kanalen. Het vaakst werd het pro-Russische kanaal @Slavyangrad genoemd, gevolgd door de Engelstalige kanalen @police_frequency en @SGTNewsNetwork. (Het laatstgenoemde kanaal doet zich voor als een conservatieve Amerikaanse veteraan, maar in november meldde Meta⁠(opent in een nieuw venster) dat het in werkelijkheid uit Iran afkomstig was.) In een steekproef van activiteiten uit februari probeerde het netwerk twee keer zo vaak reacties op deze drie kanalen te genereren als op de tien daaropvolgende meest genoemde kanalen samen.

Deze campagne genereerde korte reacties over een handvol politieke thema's. Zowel in het Engels als in het Russisch gingen de berichten op Telegram vooral over de oorlog in Oekraïne, de politieke situatie in Moldavië en de Baltische staten, en de politiek in de Verenigde Staten.

Kenmerkende Russische reacties op Telegram beschuldigden de presidenten van Oekraïne en Moldavië van corruptie, een gebrek aan steun onder de bevolking en verraad van hun eigen volk ten gunste van westerse "inmenging". Engelse reacties op Telegram gingen over onderwerpen als immigratie, economische problemen en het actuele nieuws van de dag. Deze reacties grepen vaak actuele gebeurtenissen aan om te betogen dat de Verenigde Staten Oekraïne niet moesten steunen.

Soms reageerde meer dan één persona op hetzelfde bericht, waarbij ze tegenstrijdige standpunten innamen. Deze "dubbelhartige" aanpak, waarbij men zich voordoet als stemmen van beide kanten, is al eerder waargenomen bij Russische operaties en kan wijzen op de wens om specifieke doelgroepen aan te trekken of verdeeldheid te zaaien.

Na de terroristische aanslag in Moskou op 22 maart en de aanhouding van vier Tadzjiekse staatsburgers begon de campagne een nieuwe groep Telegram-accounts te gebruiken die zich op Tadzjikistan richtte. In de geplaatste reacties werd opgeroepen tot eenheid tussen Tadzjieken en Russen en tot respect voor de Russische wet.

Het spammen van reacties was al vóór de opkomst van generatieve AI een veelgebruikte techniek voor beïnvloedingsoperaties. Hoewel Slechte grammatica een nieuwe techniek gebruikte om reacties te genereren, slaagde het verspreidingssysteem er nauwelijks in betrokkenheid te creëren.

Slechts zeer weinig reacties kregen likes of antwoorden. De reacties van het netwerk vormden doorgaans slechts een minderheid van de antwoorden op een bericht. Als het doel was andere standpunten te overstemmen, is dat dus niet gelukt.

Af en toe gebruikte het netwerk onze modellen om ogenschijnlijk privéberichten te genereren, mogelijk voor een andere Telegram-gebruiker. De gegenereerde teksten wijzen er echter op dat het netwerk met een cryptofraudeur chatte.

Op basis van de Breakout Scale⁠(opent in een nieuw venster), die de impact van beïnvloedingsoperaties beoordeelt op een schaal van 1 (laagste) tot 6 (hoogste), plaatsen we dit in categorie 1. Die wordt gekenmerkt door berichten op één platform, zonder aanwijzingen voor aanzienlijke versterking door mensen buiten het netwerk.