Operatie "Doppelganger": Russische beïnvloedingsactiviteiten gericht op Oekraïne
OpenAI heeft accounts geblokkeerd die verband hielden met de Russische operatie "Doppelganger", waarbij AI werd gebruikt om in meerdere talen anti-Oekraïense reacties voor sociale media, vertalingen en websiteteksten te genereren.
Deze casestudy werd oorspronkelijk gepubliceerd in het OpenAI-rapport van mei 2024(opent in een nieuw venster).
Actor
We hebben vier clusters van accounts geblokkeerd die onze modellen gebruikten en verband hielden met personen die optraden namens de Russische beïnvloedingsoperatie "Doppelganger"(opent in een nieuw venster). Elk cluster vertoonde andere tactieken, technieken en procedures (TTP's), wat past bij een operatie die uit verschillende functionele teams bestaat.
Gedrag
Deze activiteit was gericht op doelgroepen in Europa en Noord-Amerika en draaide om het genereren van inhoud voor websites en sociale media.
Het eerste cluster van accounts genereerde korte tekstreacties in het Engels, Frans, Duits, Italiaans en Pools. Deze werden op 9GAG en X geplaatst naast memes, video's en links die niet met onze modellen lijken te zijn gegenereerd. Sommige memes waren van allerlei plekken op internet gekopieerd en leken al jaren oud te zijn.
Op 9GAG hadden de accounts die inhoud van deze campagne plaatsten doorgaans profielfoto's van beroemdheden of katten. Ze plaatsten hun memes en video's in allerlei kanalen, waaronder het kanaal "Willekeurig" en kanalen over huisdieren, sport, humor en zelfs relaties en daten.

Reactie over Oekraïne en video over Gaza, geplaatst in het 9GAG-kanaal "Motorvoertuigen" door een account dat herhaaldelijk door deze campagne gegenereerde inhoud plaatste. De verwijzing naar Oekraïne en de Amerikaanse grens werd met onze modellen gegenereerd. De video was een collage van nieuwsbeelden. Het bericht kreeg 11 plusstemmen en 93 minstemmen.
Telkens wanneer de campagne een meme of video op 9GAG plaatste, reageerden drie tot vijf accounts, meestal met eenvoudige berichten als "hahaha" of "lol". Al deze accounts hadden uitsluitend interactie met de inhoud van deze campagne; de meeste waren op dezelfde datum aangemaakt. Dit gedrag lokte vaak kritische reacties uit van andere gebruikers, van wie velen de accounts als "bots" aan de kaak stelden.

Reacties op de hierboven getoonde video. De onderste drie accounts (de eerste reageerders) werden allemaal eind april 2024 aangemaakt en plaatsten, liketen of becommentarieerden herhaaldelijk uitsluitend berichten van deze campagne. De bovenste drie accounts, die de vervalsingen aan de kaak stelden, waren één tot tien jaar geleden aangemaakt en vertoonden uiteenlopende activiteit.
Op X werden de reacties van de campagne geplaatst door accounts die doorgaans elk slechts één of twee berichten publiceerden. De reacties gingen meestal vergezeld van een ogenschijnlijk willekeurige link, zoals "solarpanelfor.sale". Deze links leidden naar een reeks websites die herhaaldelijk aan Doppelganger zijn toegeschreven. De websites waren geografisch afgeschermd, zodat alleen mensen met een IP-adres in het doelland ze konden bekijken. De beheerders lijken echter een fout te hebben gemaakt, waardoor sommige Engelse, Duitse en Poolse artikelen alleen via een Frans IP-adres konden worden bekeken.

Bericht op X met een reactie die met onze modellen is gegenereerd. De vertaling van de reactie luidt: "Een schokkende daad! Politiek mag nooit met geweld worden geassocieerd. We hebben dialoog nodig, geen geweld". De bijbehorende link leidt naar de Duitstalige versie van Doppelgangers eigen website, rrn.media. Op 20 mei kon deze echter alleen via een Frans IP-adres worden bekeken.
Waarschijnlijk om detectie te vermijden, gebruikte dit cluster voor toegang tot onze modellen een dienst die verbonden was aan bedrijven in Rusland en Tsjechië. Deze dienst was bedoeld om mensen in Rusland onze toegangsregels voor ondersteunde landen(opent in een nieuw venster) te laten omzeilen. We hebben de API-toegang van deze dienst uitgeschakeld.
Het tweede cluster vertaalde artikelen vanuit het Russisch naar het Engels en Frans; de Russische teksten lijken oorspronkelijk te zijn geschreven. Veel van deze artikelen werden vervolgens gepubliceerd op een website die herhaaldelijk aan Doppelganger is toegeschreven: rrn.media. Hetzelfde cluster genereerde korte reacties op zijn artikelen, die later op sociale media verschenen.

Met onze modellen gegenereerd bericht op X, met daarnaast een link naar een artikel op rrn.media.
Het derde cluster werd gebruikt om Franstalige artikelen te genereren, proeflezen en corrigeren. De artikelen werden daarna gepubliceerd op een website die eveneens aan Doppelganger is toegeschreven: franceeteu.today.
Het laatste cluster werkte in het Duits. Het verwerkte inhoud van de Doppelganger-website grenzezank.com en gebruikte die om korte berichten te genereren voor een Facebook-groep en -pagina die naar de website waren vernoemd.
Inhoud
Het merendeel van de inhoud die deze campagne online publiceerde, ging over de oorlog in Oekraïne. Oekraïne, de VS, de NAVO en de EU werden negatief neergezet en Rusland positief. In typische reacties werd beweerd dat Rusland een belangrijke economische partner voor Europese landen is, dat westerse leiders die Rusland bekritiseren geen voeling hebben met hun eigen kiezers en dat Oekraïne zwak, corrupt en/of bijna verslagen is.
Soms probeerden Doppelganger-actoren onze modellen cartoonafbeeldingen te laten genereren van prominente Europese politici en critici van Rusland. Onze modellen weigerden deze verzoeken.
Effectbeoordeling
Geen van de door ons geïdentificeerde Doppelganger-campagnes lijkt aanzienlijke positieve interactie van authentieke doelgroepen te hebben gekregen.
Op 9GAG kregen doorsneeberichten 5 tot 10 plusstemmen, voornamelijk van accounts die ook inhoud van deze campagne plaatsten, en 15 tot 200 minstemmen. Op X werden doorsneeberichten ongeveer 1.000 keer gedeeld en kregen ze geen reacties of likes. Dit verschil is zo groot dat het wijst op niet-authentieke versterking. Eén bericht kreeg drie reacties, die het allemaal als nep aan de kaak stelden.

Reactie op X op een bericht van Doppelganger.
Op basis van de Breakout-schaal(opent in een nieuw venster) voor het beoordelen van de impact van beïnvloedingsoperaties, die deze waardeert op een schaal van 1 (laagst) tot 6 (hoogst), beoordelen we de activiteit die verband hield met het gebruik van onze modellen als categorie 2: berichten werden op meerdere platforms geplaatst, maar op geen daarvan was sprake van een doorbraak of aanzienlijke interactie met het publiek.