”Dålig grammatik”: Rysslandskopplade kommentarer på Telegram

Den här fallstudien publicerades ursprungligen i OpenAI:s rapport från maj 2024⁠(öppnas i ett nytt fönster).

Vi stängde av ett tidigare okänt nätverk av konton som använde våra modeller för att skapa kommentarer som sedan publicerades på Telegram. Vi kopplade denna aktivitet till personer från Ryssland. Eftersom nätverket fokuserade på Telegram, återkommande publicerade ogrammatisk engelska och hade svårt att bygga upp en publik kallade vi det ”Dålig grammatik”.

Nätverket riktade ryskt och engelskt innehåll till målgrupper i Ryssland, Ukraina, USA, Moldavien och Baltikum.

Nätverket använde våra modeller och konton på Telegram för att skapa ett system för kommentarsspam. Först använde operatörerna våra modeller för att felsöka kod som tycktes vara utformad för att automatisera publicering på Telegram. Därefter genererade de kommentarer på ryska och engelska som svar på specifika Telegram-inlägg. Slutligen tycks de ha använt minst ett dussin Telegram-konton för att publicera kommentarerna.

På engelska använde operatörerna våra modeller för att generera kommentarer skrivna med rösten hos flera påhittade personas från olika samhällsgrupper och från båda sidor av det politiska spektrumet i USA. På ryska föredrog de mer tematiska instruktioner som i mindre utsträckning utgick från personas.

Nätverket kommenterade främst inlägg från ett litet antal Telegram-kanaler. Den mest omnämnda var den Rysslandsvänliga kanalen @Slavyangrad, följd av de engelskspråkiga kanalerna @police_frequency och @SGTNewsNetwork. (Den sistnämnda utger sig för att vara en konservativ amerikansk veteran, men i november rapporterade Meta⁠(öppnas i ett nytt fönster) att den i själva verket hade sitt ursprung i Iran.) I ett urval av aktivitet från februari försökte nätverket generera svar till dessa tre kanaler dubbelt så ofta som till de tio näst mest omnämnda kanalerna tillsammans.

Kampanjen genererade korta kommentarer med fokus på ett fåtal politiska teman. På både engelska och ryska handlade nätverkets inlägg på Telegram främst om kriget i Ukraina, den politiska situationen i Moldavien och Baltikum samt politiken i USA.

Typiska ryskspråkiga kommentarer på Telegram anklagade Ukrainas och Moldaviens presidenter för korruption, bristande folkligt stöd och för att förråda sina egna folk till förmån för västerländsk ”inblandning”. Engelskspråkiga kommentarer på Telegram fokuserade på ämnen som invandring, ekonomiska svårigheter och dagens stora nyheter. Kommentarerna använde ofta aktuella händelser som argument för att USA inte borde stödja Ukraina.

Ibland kommenterade flera personas samma inlägg och framförde motstridiga åsikter. Detta ”tvåsidiga” tillvägagångssätt, där man utger sig för att företräda båda sidor, har tidigare observerats i ryska operationer och kan tyda på en vilja att locka särskilda målgrupper eller främja splittring.

Efter terroristattacken i Moskva den 22 mars och gripandet av fyra tadzjikiska medborgare började kampanjen använda en ny grupp Telegram-konton med fokus på Tadzjikistan. Kommentarerna som publicerades uppmanade till enighet mellan tadzjiker och ryssar samt respekt för rysk lag.

Kommentarsspam var en vanlig metod inom påverkansoperationer redan innan generativ AI introducerades. Även om Dålig grammatik använde en ny metod för att generera sina kommentarer hade distributionssystemet svårt att skapa engagemang.

Mycket få av kommentarerna fick några gilla-markeringar eller svar. Nätverkets kommentarer utgjorde vanligtvis en minoritet av svaren på varje enskilt inlägg – vilket innebär att de inte dränkte andra åsikter, om det nu var målet.

Ibland använde nätverket våra modeller för att generera vad som tycks ha varit privata meddelanden, möjligen med en annan Telegram-användare, men de genererade texterna tyder på att nätverket chattade med en kryptovalutabedragare.

Om vi använder Breakout Scale⁠(öppnas i ett nytt fönster) för att bedöma effekten av påverkansoperationer, där de betygsätts på en skala från 1 (lägst) till 6 (högst), bedömer vi detta som kategori 1. Den kännetecknas av publiceringsaktivitet på en enda plattform utan belägg för betydande spridning av personer utanför nätverket.