Operationen ”Doppelganger”: rysk påverkansaktivitet riktad mot Ukraina
OpenAI stängde av konton med koppling till den ryska operationen ”Doppelganger”, som använde AI för att skapa Ukrainafientliga kommentarer i sociala medier, översättningar och webbplatstexter på flera språk.
Den här fallstudien publicerades ursprungligen i OpenAI:s rapport från maj 2024(öppnas i ett nytt fönster).
Aktör
Vi stängde av fyra kontokluster som använde våra modeller och kunde kopplas till personer som agerade för den ryska påverkansoperationen ”Doppelganger”(öppnas i ett nytt fönster). Varje kluster uppvisade olika taktiker, tekniker och tillvägagångssätt (TTP:er), vilket stämmer överens med en operation bestående av olika funktionsteam.
Beteende
Aktiviteten riktade sig till målgrupper i Europa och Nordamerika och fokuserade på att skapa innehåll för webbplatser och sociala medier.
Det första kontoklustret skapade korta textkommentarer på engelska, franska, tyska, italienska och polska. De publicerades på 9GAG och X tillsammans med memer, videor och länkar som inte verkar ha skapats med våra modeller. Vissa memer hade kopierats från olika delar av internet och verkade vara flera år gamla.
På 9GAG hade de konton som publicerade kampanjens innehåll vanligtvis profilbilder på kändisar eller katter. De publicerade sina memer och videor i en mängd olika kanaler, bland annat kanalen ”Random” och kanaler om husdjur, sport, humor och till och med relationer och dejting.

Kommentar om Ukraina och video om Gaza, publicerade i 9GAG-kanalen ”Motor Vehicles” av ett konto som upprepade gånger publicerade innehåll skapat av den här kampanjen. Hänvisningen till Ukraina och USA:s gräns skapades med våra modeller. Videon var ett kollage av nyhetsbilder. Inlägget fick 11 uppröster och 93 nedröster.
Varje gång kampanjen publicerade en mem eller video på 9GAG svarade tre till fem konton, vanligtvis med enkla meddelanden som ”hahaha” eller ”lol”. Inget av dessa konton interagerade någonsin med annat än kampanjens innehåll, och de flesta skapades samma dag. Beteendet väckte ofta kritiska kommentarer från andra användare, varav många pekade ut kontona som ”bottar”.

Kommentarer till videon ovan. De tre nedersta kontona (de som kommenterade först) skapades alla i slutet av april 2024 och publicerade, röstade upp eller kommenterade upprepade gånger den här kampanjens inlägg och inga andra. De tre översta kontona, som avslöjade bluffkontona, skapades för mellan ett och tio år sedan och uppvisade en mängd olika aktiviteter.
På X publicerades kampanjens kommentarer av konton som vanligtvis bara gjorde ett eller två inlägg vardera. Kommentarerna åtföljdes vanligtvis av en till synes slumpmässig länk, exempelvis ”solarpanelfor.sale”. Länkarna ledde vidare till en uppsättning webbplatser som upprepade gånger har tillskrivits Doppelganger. Webbplatserna var geografiskt avgränsade, så att endast personer med en IP-adress i mållandet kunde se dem. Operatörerna verkar dock ha gjort ett misstag som innebar att vissa engelska, tyska och polska artiklar endast kunde visas från en fransk IP-adress.

Inlägg på X med en kommentar som skapats med våra modeller. Kommentaren lyder: ”En chockerande handling! Politik bör aldrig förknippas med våld. Vi behöver dialog, inte våld.” Den medföljande länken leder till den tyskspråkiga versionen av Doppelgangers profilerade webbplats rrn.media. Den 20 maj kunde den dock endast visas från en fransk IP-adress.
Sannolikt för att undgå upptäckt använde klustret en tjänst med kopplingar till företag i Ryssland och Tjeckien för att få åtkomst till våra modeller. Tjänsten var avsedd att göra det möjligt för personer i Ryssland att kringgå vår policy för åtkomst från länder som stöds(öppnas i ett nytt fönster). Vi har inaktiverat tjänstens API-åtkomst.
Det andra klustret översatte artiklar från ryska till engelska och franska. De ryska texterna verkar ha varit originaltexter. Många av artiklarna publicerades senare på en webbplats som upprepade gånger har tillskrivits Doppelganger: rrn.media. Samma kluster skapade korta kommentarer om sina artiklar som senare dök upp i sociala medier.

Inlägg på X som skapats med våra modeller, tillsammans med en länk till en artikel på rrn.media.
Det tredje klustret användes för att skapa, korrekturläsa och korrigera franskspråkiga artiklar. Artiklarna publicerades sedan på en webbplats som också har tillskrivits Doppelganger, franceeteu.today.
Det sista klustret var verksamt på tyska. Det hämtade innehåll från Doppelganger-webbplatsen grenzezank.com och använde det för att skapa korta inlägg åt en Facebook-grupp och en Facebook-sida som fått namn efter webbplatsen.
Innehåll
Merparten av innehållet som kampanjen publicerade på nätet handlade om kriget i Ukraina. Det framställde Ukraina, USA, Nato och EU i negativ dager och Ryssland i positiv dager. Typiska kommentarer hävdade att Ryssland är en viktig ekonomisk partner för europeiska länder, att västledare som kritiserar Ryssland saknar kontakt med sina egna väljare och att Ukraina är svagt, korrupt och/eller står inför ett nära förestående nederlag.
Vid vissa tillfällen försökte Doppelganger-aktörer få våra modeller att skapa tecknade bilder av framstående europeiska politiker och personer som kritiserar Ryssland. Våra modeller avvisade dessa förfrågningar.
Konsekvensbedömning
Ingen av de Doppelganger-kampanjer som vi identifierade verkar ha fått något större positivt engagemang från autentiska målgrupper.
På 9GAG fick typiska inlägg 5–10 uppröster – främst från konton som också publicerade kampanjens innehåll – och mellan 15 och 200 nedröster. På X hade typiska inlägg omkring 1 000 delningar, inga svar och inga gilla-markeringar. Skillnaden är så stor att den tyder på oautentisk förstärkning. Ett inlägg fick tre svar, som alla pekade ut det som falskt.

Svar på X till ett Doppelganger-inlägg.
Om vi använder Breakout Scale(öppnas i ett nytt fönster), som bedömer påverkansoperationers genomslag på en skala från 1 (lägst) till 6 (högst), skulle vi placera den aktivitet som var kopplad till användningen av våra modeller i kategori 2. Den kännetecknas av publicering på flera plattformar, men utan något genombrott eller betydande publikengagemang på någon av dem.