«Dårlig grammatikk»: Russland-tilknyttet kommentaraktivitet på Telegram

Denne kasusstudien ble opprinnelig publisert i OpenAIs rapport fra mai 2024⁠(åpnes i et nytt vindu).

Vi utestengte et tidligere ukjent nettverk av kontoer som brukte modellene våre til å lage kommentarer som deretter ble publisert på Telegram. Vi knyttet denne aktiviteten til personer fra Russland. Siden nettverket fokuserte på Telegram, gjentatte ganger publiserte ugrammatisk engelsk og slet med å bygge opp et publikum, har vi kalt det «Dårlig grammatikk».

Dette nettverket rettet russisk- og engelskspråklig innhold mot målgrupper i Russland, Ukraina, USA, Moldova og de baltiske landene.

Nettverket brukte modellene våre og kontoer på Telegram til å opprette en produksjonslinje for kommentarspam. Først brukte operatørene modellene våre til å feilsøke kode som tilsynelatende var utviklet for å automatisere publisering på Telegram. Deretter genererte de kommentarer på russisk og engelsk som svar på bestemte Telegram-innlegg. Til slutt ser det ut til at de brukte minst et dusin Telegram-kontoer til å publisere kommentarene.

På engelsk brukte operatørene modellene våre til å generere kommentarer i stemmen til en rekke falske personaer fra ulike demografiske grupper på begge sider av det politiske spekteret i USA. På russisk foretrakk de mer tematiske instruksjoner som i mindre grad var basert på personaer.

Nettverket kommenterte hovedsakelig innlegg fra et lite antall Telegram-kanaler. Den mest omtalte var den Russland-vennlige kanalen @Slavyangrad, fulgt av de engelskspråklige kanalene @police_frequency og @SGTNewsNetwork. (Sistnevnte utgir seg for å være en konservativ amerikansk veteran, men i november rapporterte Meta⁠(åpnes i et nytt vindu) at kanalen i virkeligheten hadde opphav i Iran.) I et utvalg av aktiviteten fra februar forsøkte nettverket å generere svar til disse tre kanalene dobbelt så ofte som til de ti neste mest omtalte kanalene til sammen.

Denne kampanjen genererte korte kommentarer med fokus på noen få politiske temaer. Både på engelsk og russisk var hovedtemaene i Telegram-innleggene krigen i Ukraina, den politiske situasjonen i Moldova og de baltiske landene samt politikk i USA.

Typiske russiskspråklige kommentarer på Telegram anklaget presidentene i Ukraina og Moldova for korrupsjon, manglende støtte i befolkningen og for å forråde sitt eget folk til fordel for vestlig «innblanding». Engelskspråklige kommentarer på Telegram tok opp temaer som innvandring, økonomiske vanskeligheter og dagens siste nytt. Kommentarene brukte ofte aktuelle hendelser som utgangspunkt for å hevde at USA ikke burde støtte Ukraina.

Noen ganger kommenterte flere personaer det samme innlegget og ga uttrykk for motstridende synspunkter. Denne «tosporede» tilnærmingen, der aktørene utgir seg for å representere begge sider, har tidligere blitt observert i russiske operasjoner og kan tyde på et ønske om å tiltrekke bestemte målgrupper eller skape splittelse.

Etter terrorangrepet i Moskva 22. mars og pågripelsen av fire tadsjikiske statsborgere begynte kampanjen å bruke en ny gruppe Telegram-kontoer med fokus på Tadsjikistan. Kommentarene oppfordret til samhold mellom tadsjikere og russere og til respekt for russisk lov.

Kommentarspam var allerede en vanlig teknikk i påvirkningsoperasjoner før generativ KI kom. Selv om «Dårlig grammatikk» brukte en ny teknikk til å generere kommentarene, slet distribusjonssystemet med å skape engasjement.

Svært få av kommentarene fikk likerklikk eller svar. Nettverkets kommentarer utgjorde vanligvis et mindretall av svarene på hvert innlegg. Det overdøvet dermed ikke andre synspunkter, dersom det var målet.

Enkelte ganger brukte nettverket modellene våre til å generere det som ser ut til å ha vært private meldinger, muligens med en annen Telegram-bruker. De genererte tekstene tyder imidlertid på at nettverket kommuniserte med en kryptosvindler.

Med Breakout Scale⁠(åpnes i et nytt vindu), som vurderer konsekvensene av påvirkningsoperasjoner på en skala fra 1 (lavest) til 6 (høyest), plasserer vi dette i kategori 1. Den kjennetegnes av publiseringsaktivitet på én plattform uten tegn til betydelig spredning blant personer utenfor nettverket.