Siirry pääsisältöön
OpenAI

1. toukokuuta 2024

Turvallisuus

Doppelganger-operaatio: Ukrainaan kohdistuvaa venäläistä vaikuttamista

OpenAI esti Venäjältä lähtöisin olleeseen Doppelganger-operaatioon liittyviä tilejä, joilla luotiin tekoälyn avulla useilla kielillä Ukrainan vastaisia kommentteja, käännöksiä ja verkkosivustojen tekstejä.

Ladataan...

Tämä tapaustutkimus julkaistiin alun perin OpenAI:n toukokuun 2024⁠(avautuu uudessa ikkunassa) raportissa.

Toimija

Estimme neljä tiliryhmää, jotka käyttivät mallejamme ja liittyivät Venäjän ”Doppelganger”⁠(avautuu uudessa ikkunassa)-vaikuttamisoperaation puolesta toimineisiin henkilöihin. Jokainen ryhmä käytti erilaisia toimintatapoja, tekniikoita ja menettelyjä (TTP), mikä vastasi eri tehtäviin erikoistuneista tiimeistä koostuvan operaation rakennetta.

Toiminta

Toiminta kohdistui yleisöihin Euroopassa ja Pohjois-Amerikassa, ja siinä keskityttiin tuottamaan sisältöä verkkosivustoille ja sosiaaliseen mediaan.

Ensimmäinen tiliryhmä tuotti lyhyitä kommentteja englanniksi, ranskaksi, saksaksi, italiaksi ja puolaksi. Niitä julkaistiin 9GAGissa ja X:ssä yhdessä meemien, videoiden ja linkkien kanssa, joita ei vaikuta luodun malleillamme. Osa meemeistä oli kopioitu eri puolilta internetiä, ja ne vaikuttivat olleen jo vuosia vanhoja.

9GAGissa kampanjan sisältöä julkaisseiden tilien profiilikuvissa oli yleensä julkisuuden henkilöitä tai kissoja. Ne julkaisivat meemejään ja videoitaan monilla eri kanavilla, kuten ”Satunnainen”-kanavalla sekä lemmikkeihin, urheiluun, huumoriin ja jopa parisuhteisiin ja deittailuun keskittyvillä kanavilla.

Ukrainaa käsittelevä kommentti ja Gazaa käsittelevä video, jotka kampanjan tuottamaa sisältöä toistuvasti julkaissut tili julkaisi 9GAGin ”Moottoriajoneuvot”-kanavalla. Viittaus Ukrainaan ja Yhdysvaltain rajaan luotiin malleillamme. Video oli uutiskuvista koostettu kollaasi. Julkaisu sai 11 positiivista ja 93 negatiivista ääntä.

Ukrainaa käsittelevä kommentti ja Gazaa käsittelevä video, jotka kampanjan tuottamaa sisältöä toistuvasti julkaissut tili julkaisi 9GAGin ”Moottoriajoneuvot”-kanavalla. Viittaus Ukrainaan ja Yhdysvaltain rajaan luotiin malleillamme. Video oli uutiskuvista koostettu kollaasi. Julkaisu sai 11 positiivista ja 93 negatiivista ääntä.

Aina kun kampanja julkaisi meemin tai videon 9GAGissa, kolmesta viiteen tiliä vastasi siihen, yleensä yksinkertaisilla viesteillä, kuten ”hahaha” tai ”lol”. Kukin näistä tileistä reagoi ainoastaan tämän kampanjan sisältöön, ja useimmat niistä oli luotu samana päivänä. Tämä toiminta herätti usein muissa käyttäjissä kriittisiä kommentteja, joissa tilejä kutsuttiin ”boteiksi”.

Kommentteja yllä esitetystä videosta. Kolme alinta tiliä eli ensimmäiset kommentoijat oli luotu huhtikuun 2024 lopulla. Ne julkaisivat, antoivat positiivisia ääniä tai kommentoivat toistuvasti vain tämän kampanjan julkaisuja. Kolme ylintä tiliä, jotka paljastivat väärennökset, oli luotu 1–10 vuotta aiemmin, ja niiden toiminta oli hyvin monipuolista.

Kommentteja yllä esitetystä videosta. Kolme alinta tiliä eli ensimmäiset kommentoijat oli luotu huhtikuun 2024 lopulla. Ne julkaisivat, antoivat positiivisia ääniä tai kommentoivat toistuvasti vain tämän kampanjan julkaisuja. Kolme ylintä tiliä, jotka paljastivat väärennökset, oli luotu 1–10 vuotta aiemmin, ja niiden toiminta oli hyvin monipuolista.

X:ssä kampanjan kommentteja julkaisivat tilit, joista kukin julkaisi yleensä vain yhden tai kaksi julkaisua. Kommenttien mukana oli yleensä näennäisen satunnainen linkki, kuten ”solarpanelfor.sale”. Linkit ohjasivat verkkosivustoille, jotka on toistuvasti yhdistetty Doppelgangeriin. Verkkosivustojen käyttöä oli rajattu maantieteellisesti siten, että niitä pystyivät katsomaan vain henkilöt, joiden IP-osoite oli kohdemaassa. Operaattorit vaikuttavat kuitenkin tehneen virheen, jonka vuoksi joitakin englannin-, saksan- ja puolankielisiä artikkeleita pystyi katsomaan vain ranskalaisesta IP-osoitteesta.

X-julkaisu, joka sisältää malleillamme luodun kommentin. Kommentti on suomeksi: ”Järkyttävä teko! Politiikkaa ei pitäisi koskaan yhdistää väkivaltaan. Tarvitsemme dialogia, emme väkivaltaa”. Julkaisun linkki ohjaa Doppelgangerin brändätyn rrn.media-sivuston saksankieliseen versioon. Toukokuun 20. päivänä sitä pystyi kuitenkin katsomaan vain ranskalaisesta IP-osoitteesta.

X-julkaisu, joka sisältää malleillamme luodun kommentin. Kommentti on suomeksi: ”Järkyttävä teko! Politiikkaa ei pitäisi koskaan yhdistää väkivaltaan. Tarvitsemme dialogia, emme väkivaltaa.” Julkaisun linkki ohjaa Doppelgangerin brändätyn rrn.media-sivuston saksankieliseen versioon. Toukokuun 20. päivänä sitä pystyi kuitenkin katsomaan vain ranskalaisesta IP-osoitteesta.

Todennäköisesti välttääkseen paljastumisen tämä ryhmä käytti mallejamme Venäjällä ja Tšekissä toimiviin yrityksiin yhdistetyn palvelun kautta. Palvelun tarkoituksena oli auttaa Venäjällä olevia henkilöitä kiertämään tuettujen maiden käyttöoikeuskäytäntöämme⁠(avautuu uudessa ikkunassa). Olemme poistaneet palvelun API-käyttöoikeuden käytöstä.

Toinen ryhmä käänsi artikkeleita venäjästä englanniksi ja ranskaksi. Venäjänkieliset tekstit vaikuttavat olleen alkuperäisiä. Monet näistä artikkeleista julkaistiin myöhemmin rrn.media-verkkosivustolla, joka on toistuvasti yhdistetty Doppelgangeriin. Sama ryhmä tuotti artikkeleistaan lyhyitä kommentteja, jotka julkaistiin myöhemmin sosiaalisessa mediassa.

Malleillamme luotu julkaisu X:ssä sekä linkki rrn.media-sivuston artikkeliin.

Malleillamme luotu julkaisu X:ssä sekä linkki rrn.media-sivuston artikkeliin.

Kolmatta ryhmää käytettiin ranskankielisten artikkelien tuottamiseen, oikolukemiseen ja korjaamiseen. Artikkelit julkaistiin sitten franceeteu.today-verkkosivustolla, joka sekin on yhdistetty Doppelgangeriin.

Viimeinen ryhmä toimi saksaksi. Se haki sisältöä Doppelgangerin grenzezank.com-verkkosivustolta ja tuotti sen avulla lyhyitä julkaisuja sivuston mukaan nimettyyn Facebook-ryhmään ja Facebook-sivulle.

Sisältö

Suurin osa kampanjan verkossa julkaisemasta sisällöstä käsitteli Ukrainan sotaa. Sisällössä Ukraina, Yhdysvallat, Nato ja EU esitettiin kielteisessä ja Venäjä myönteisessä valossa. Tyypillisissä kommenteissa väitettiin, että Venäjä on Euroopan maille tärkeä talouskumppani, Venäjää arvostelevat länsijohtajat ovat vieraantuneet omista äänestäjistään ja Ukraina on heikko, korruptoitunut ja/tai tappion partaalla.

Toisinaan Doppelgangerin toimijat yrittivät saada mallimme luomaan pilakuvia tunnetuista eurooppalaisista poliitikoista ja Venäjän arvostelijoista. Mallimme kieltäytyivät näistä pyynnöistä.

Vaikutusten arviointi

Yksikään tunnistamistamme Doppelganger-kampanjoista ei vaikuta saaneen merkittävää myönteistä vuorovaikutusta aidoilta yleisöiltä.

9GAGissa tyypilliset julkaisut saivat 5–10 positiivista ääntä, lähinnä tileiltä, jotka myös julkaisivat kampanjan sisältöä, sekä 15–200 negatiivista ääntä. X:ssä tyypillisillä julkaisuilla oli noin 1 000 jakoa mutta ei yhtään vastausta tai tykkäystä. Ero on niin suuri, että se viittaa epäaitoon näkyvyyden vahvistamiseen. Yksi julkaisu sai kolme vastausta, joissa kaikissa se paljastettiin väärennökseksi.

Vastaus Doppelganger-julkaisuun X:ssä.

Vastaus Doppelganger-julkaisuun X:ssä.

Arvioimme vaikuttamisoperaatioiden vaikutusta Breakout Scale -asteikolla⁠(avautuu uudessa ikkunassa), jolla ne luokitellaan asteikolla 1:stä (alin) 6:een (ylin). Malleihimme liittynyt toiminta sijoittuisi luokkaan 2: julkaisuja tehtiin useilla alustoilla, mutta ne eivät saavuttaneet läpimurtoa tai merkittävää yleisön vuorovaikutusta millään alustalla.