Fara beint í aðalefni
OpenAI

1. maí 2024

Öryggi

Aðgerð „Doppelganger“: Rússnesk áhrifastarfsemi gegn Úkraínu

OpenAI bannaði reikninga sem tengdust rússnesku aðgerðinni „Doppelganger“, sem notaði gervigreind til að búa til athugasemdir gegn Úkraínu á samfélagsmiðlum, þýðingar og veftexta á nokkrum tungumálum.

Hleður inn...

Þessi tilviksrannsókn birtist upphaflega í maískýrslu OpenAI 2024⁠(opnast í nýjum glugga).

Aðili

Við bönnuðum fjóra klasa reikninga sem notuðu líkön okkar og tengdust fólki sem starfaði fyrir rússnesku áhrifaaðgerðina sem nefnist „Doppelganger“⁠(opnast í nýjum glugga). Hver klasi beitti ólíkum aðferðum, tækni og verklagi (TTP), í samræmi við að aðgerðin væri skipuð mismunandi starfshópum.

Hegðun

Þessi starfsemi beindist að áhorfendum í Evrópu og Norður-Ameríku og snerist um að búa til efni fyrir vefi og samfélagsmiðla.

Fyrsti reikningaklasinn bjó til stuttar athugasemdir á ensku, frönsku, þýsku, ítölsku og pólsku. Þær voru birtar á 9GAG og X ásamt mímum, myndskeiðum og tenglum sem virðast ekki hafa verið búin til með líkönum okkar. Sum mímin voru afrituð af netinu og virtust hafa verið nokkurra ára gömul.

Á 9GAG voru reikningarnir sem birtu efni herferðarinnar yfirleitt með prófílmyndir af frægu fólki eða köttum. Þeir birtu mímin og myndskeiðin í fjölbreyttum rásum, meðal annars rásinni „Random“ og rásum um gæludýr, íþróttir, húmor og jafnvel sambönd og stefnumót.

Athugasemd um Úkraínu og myndskeið um Gaza, birt á rásinni „Motor Vehicles“ á 9GAG af reikningi sem birti ítrekað efni sem herferðin bjó til. Tilvísunin í Úkraínu og landamæri Bandaríkjanna var búin til með líkönum okkar. Myndskeiðið var klippimynd úr fréttaefni. Færslan fékk 11 jákvæð og 93 neikvæð atkvæði.

Athugasemd um Úkraínu og myndskeið um Gaza, birt á rásinni „Motor Vehicles“ á 9GAG af reikningi sem birti ítrekað efni sem herferðin bjó til. Tilvísunin í Úkraínu og landamæri Bandaríkjanna var búin til með líkönum okkar. Myndskeiðið var klippimynd úr fréttaefni. Færslan fékk 11 jákvæð og 93 neikvæð atkvæði.

Í hvert sinn sem herferðin birti mím eða myndskeið á 9GAG svöruðu þrír til fimm reikningar, yfirleitt með einföldum skilaboðum á borð við „hahaha“ eða „lol“. Allir þessir reikningar brugðust eingöngu við efni herferðarinnar og flestir voru stofnaðir sama dag. Þessi hegðun vakti oft gagnrýnar athugasemdir annarra notenda, sem margir sögðu reikningana vera „vélmenni“.

Athugasemdir við myndskeiðið sem sýnt er hér að ofan. Þrír neðstu reikningarnir (fyrstu umsagnaraðilarnir) voru allir stofnaðir seint í apríl 2024 og birtu, gáfu jákvætt atkvæði eða skrifuðu ítrekað athugasemdir við færslur þessarar herferðar en engar aðrar. Þrír efstu reikningarnir, sem bentu á falsanirnar, voru stofnaðir fyrir einu til tíu árum og sýndu fjölbreytta virkni.

Athugasemdir við myndskeiðið sem sýnt er hér að ofan. Þrír neðstu reikningarnir (fyrstu umsagnaraðilarnir) voru allir stofnaðir seint í apríl 2024 og birtu, gáfu jákvætt atkvæði eða skrifuðu ítrekað athugasemdir við færslur þessarar herferðar en engar aðrar. Þrír efstu reikningarnir, sem bentu á falsanirnar, voru stofnaðir fyrir einu til tíu árum og sýndu fjölbreytta virkni.

Á X voru athugasemdir herferðarinnar birtar af reikningum sem gerðu yfirleitt aðeins eina eða tvær færslur hver. Athugasemdunum fylgdi yfirleitt að því er virtist handahófskenndur tengill, svo sem „solarpanelfor.sale“. Þessir tenglar vísuðu á vefi sem ítrekað hafa verið eignaðir Doppelganger. Aðgangur að vefjunum var landfræðilega takmarkaður þannig að aðeins fólk með IP-vistfang í marklandinu gat skoðað þá. Rekstraraðilunum virðist þó hafa orðið á, því sumar enskar, þýskar og pólskar greinar var aðeins hægt að skoða frá frönsku IP-vistfangi.

Færsla á X með athugasemd sem var búin til með líkönum okkar. Athugasemdin þýðist svo: „Hneykslanlegt athæfi! Stjórnmál ættu aldrei að tengjast ofbeldi. Við þurfum samtal, ekki ofbeldi“. Meðfylgjandi tengill vísar á þýsku útgáfuna af vörumerktum vef Doppelganger, rrn.media. Þann 20. maí var þó aðeins hægt að skoða hana frá frönsku IP-vistfangi.

Færsla á X með athugasemd sem var búin til með líkönum okkar. Athugasemdin þýðist svo: „Hneykslanlegt athæfi! Stjórnmál ættu aldrei að tengjast ofbeldi. Við þurfum samtal, ekki ofbeldi.“ Meðfylgjandi tengill vísar á þýsku útgáfuna af vörumerktum vef Doppelganger, rrn.media. Þann 20. maí var þó aðeins hægt að skoða hana frá frönsku IP-vistfangi.

Líklega til að forðast uppgötvun opnaði þessi klasi líkön okkar með þjónustu sem tengdist fyrirtækjum í Rússlandi og Tékklandi. Þjónustunni var ætlað að gera fólki í Rússlandi kleift að komast fram hjá aðgangsstefnu okkar um studd lönd⁠(opnast í nýjum glugga). Við höfum lokað API-aðgangi þjónustunnar.

Annar klasinn þýddi greinar úr rússnesku yfir á ensku og frönsku; rússnesku textarnir virðast hafa verið frumsamdir. Margar greinanna voru síðan birtar á vef sem hefur ítrekað verið eignaður Doppelganger: rrn.media. Sami klasi bjó til stuttar athugasemdir um greinar sínar sem síðar birtust á samfélagsmiðlum.

Færsla á X, búin til með líkönum okkar, ásamt tengli á grein á rrn.media.

Færsla á X, búin til með líkönum okkar, ásamt tengli á grein á rrn.media.

Þriðji klasinn var notaður til að semja, prófarkalesa og leiðrétta greinar á frönsku. Greinarnar voru síðan birtar á vef sem einnig hefur verið eignaður Doppelganger, franceeteu.today.

Síðasti klasinn starfaði á þýsku. Hann tók inn efni af Doppelganger-vefnum grenzezank.com og notaði það til að búa til stuttar færslur fyrir Facebook-hóp og -síðu sem báru nafn vefsins.

Efni

Megnið af efninu sem herferðin birti á netinu fjallaði um stríðið í Úkraínu. Þar voru Úkraína, Bandaríkin, NATO og ESB sýnd í neikvæðu ljósi en Rússland í jákvæðu ljósi. Dæmigerðar athugasemdir héldu því fram að Rússland væri mikilvægur efnahagslegur samstarfsaðili Evrópuríkja, að vestrænir leiðtogar sem gagnrýndu Rússland væru úr tengslum við eigin kjósendur og að Úkraína væri veikburða, spillt og/eða við það að bíða ósigur.

Stundum reyndu aðilar Doppelganger að fá líkön okkar til að búa til skopmyndir af þekktum evrópskum stjórnmálamönnum og gagnrýnendum Rússlands. Líkön okkar höfnuðu þessum beiðnum.

Mat á áhrifum

Engin þeirra Doppelganger-herferða sem við greindum virðist hafa fengið umtalsverð jákvæð viðbrögð frá raunverulegum áhorfendum.

Á 9GAG fengu dæmigerðar færslur 5–10 jákvæð atkvæði, aðallega frá reikningum sem birtu einnig efni herferðarinnar, og 15 til 200 neikvæð atkvæði. Á X var dæmigerðum færslum deilt um 1.000 sinnum en þær fengu engin svör og engin læk. Misræmið er svo mikið að það bendir til óeðlilegrar mögnunar. Ein færsla fékk þrjú svör sem sögðu hana öll vera falsaða.

Svar á X við færslu frá Doppelganger.

Svar á X við færslu frá Doppelganger.

Ef áhrif aðgerðanna eru metin með Breakout-kvarðanum⁠(opnast í nýjum glugga), þar sem áhrifaaðgerðir eru metnar frá 1 (lægst) til 6 (hæst), myndum við meta starfsemina sem tengdist notkun líkana okkar í flokki 2. Sá flokkur einkennist af færslum á mörgum miðlum, en án verulegrar útbreiðslu eða mikilla viðbragða áhorfenda á nokkrum þeirra.