Fara beint í aðalefni
OpenAI

1. maí 2024

Öryggi

Aðgerðin „Zero Zeno“: Áhrifastarfsemi tengd Ísrael

OpenAI bannaði reikninga sem tengdust áður ótilkynntri aðgerð frá Ísrael, sem við kölluðum „Zero Zeno“ og notaði gervigreind til að búa til efni gegn Hamas, Katar og BJP og með Ísrael og Histadrut.

Hleður inn...

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá maí 2024⁠(opnast í nýjum glugga).

Aðili

Við bönnuðum hóp reikninga sem var stýrt frá Ísrael og notaður til að búa til og breyta efni fyrir áhrifaaðgerð sem náði til X, Facebook, Instagram, vefsvæða og YouTube. Netinu var stýrt af STOIC, ísraelsku fyrirtæki sem stýrir pólitískum herferðum. Til heiðurs stofnanda stóuspekinnar, Zenoni, og með hliðsjón af þeim litlu viðbrögðum sem netið vakti höfum við kallað það „Zero Zeno“.

Hegðun

Aðgerðin beindist að fólki í Kanada, Bandaríkjunum og Ísrael með efni á ensku og hebresku. Í byrjun maí tók hún einnig að beina ensku efni að fólki á Indlandi. Hún virðist einnig hafa verið að undirbúa upplýsingaaðgerð sem beindist að fólki í Gana.

Aðgerðin notaði líkön okkar til að búa til vefgreinar og athugasemdir á samfélagsmiðlum sem síðan voru birtar á mörgum miðlum, einkum Instagram, Facebook og X.

Athugasemdir á ensku sem þetta net bjó til og birti á Instagram. Bæði upprunalega færslan og svörin voru búin til af þessari herferð.

Athugasemdir á ensku sem þetta net bjó til og birti á Instagram. Bæði upprunalega færslan og svörin voru búin til af þessari herferð.

Aðgerðin notaði einnig líkön okkar til að búa til skálduð persónugervi og æviágrip fyrir samfélagsmiðla út frá breytum á borð við aldur, kyn og staðsetningu og til að afla upplýsinga um fólk í Ísrael sem tjáði sig opinberlega um ísraelska verkalýðssambandið Histadrut. Líkön okkar neituðu að veita persónuupplýsingar sem svar við þessum fyrirmælum.

Efni sem þetta net bjó til var birt á mörgum samfélagsmiðlum. Rannsókn Digital Forensic Research Lab hjá Atlantic Council⁠(opnast í nýjum glugga) sem byggðist á opnum heimildum fann hluta efnisins á Facebook, Instagram og X. Þegar reikningarnir voru gerðir óvirkir aflaði aðgerðin sér nýrra. Annað efni birtist á fjórum vefsvæðum sem þóttust tilheyra aðgerðahópum með áherslu á átökin á Gasa og samskipti fólks af gyðingatrú og múslimatrú almennt: uc4canada.com, the-good-samaritan.com, ufnews.io og nonagenda.com.

Í sumum tilvikum fundum við falsreikninga aðgerðarinnar sem skrifuðu athugasemdir við samfélagsmiðlafærslur hennar sjálfrar, líklega til að skapa þá ímynd að notendur væru að bregðast við efninu.

Færsla á X frá reikningi sem tengdist starfseminni sem DFRLab greindi fyrst, ásamt svörum. Öll svörin á myndinni voru búin til af þessari herferð.

Færsla á X frá reikningi sem tengdist starfseminni sem DFRLab greindi fyrst, ásamt svörum. Öll svörin á myndinni voru búin til af þessari herferð.

Margir samfélagsmiðlareikninganna sem birtu efni netsins notuðu prófílmyndir sem virðast hafa verið búnar til með eldri gerð gervigreindar: skapandi andstæðunetum (GAN). Auðvelt er að sækja slíkar myndir af netinu. Þótt auðvelt sé að búa til slíkar myndir fundum við marga samfélagsmiðlareikninga í netinu sem notuðu sömu myndina. Stundum svöruðu tveir eða fleiri reikningar með sömu prófílmynd sömu samfélagsmiðlafærslunni.

Prófílmyndir X-reikninga sem birtu athugasemdir sem þetta net bjó til. Myndin ber sjónræn einkenni sem samræmast GAN-myndun.

Prófílmyndir X-reikninga sem birtu athugasemdir sem þetta net bjó til. Myndin ber sjónræn einkenni sem samræmast GAN-myndun.

Efni

Aðgerðin skiptist í nokkrar þematengdar herferðir sem flestar tengdust lauslega átökunum á Gasa og samskiptum fólks af gyðingatrú og múslimatrú almennt. Í maí stöðvuðum við hluta starfseminnar sem beindist að kosningunum á Indlandi innan við sólarhring eftir að hún hófst.

Rannsókn frá febrúar sem byggðist á opnum heimildum⁠(opnast í nýjum glugga) lýsti því hvernig netið gagnrýndi hjálparstofnun Sameinuðu þjóðanna fyrir Palestínuflóttamenn, UNRWA. Í skýrslu DFRLab frá mars⁠(opnast í nýjum glugga) var fjallað um efni sem beindist að Kanada og gagnrýndi það sem færslur herferðarinnar kölluðu „róttæka íslamista“ þar. Annar hópur beindi sjónum að háskólum í Bandaríkjunum og sakaði mótmælendur sem studdu Palestínu um að ýta undir gyðingahatur og hryðjuverk. Fjórði hópurinn beindi sjónum að Katar og lýsti fjárfestingum landsins í Bandaríkjunum sem ógn við bandarískan lífsstíl. Fimmti hópurinn bjó til samfélagsmiðlafærslur á hebresku. Þær lofuðu yfirleitt verkalýðssamtökin Histadrut og forystu þeirra. Loks tók netið í maí að búa til athugasemdir um Indland þar sem stjórnarflokkurinn BJP var gagnrýndur en stjórnarandstöðuflokkurinn Congress lofaður.

Stundum virðist netið hafa fært reikninga sína af einu málefni yfir á annað. Reikningar sem áður höfðu fjallað um Kanada tóku til dæmis að beina sjónum að Bandaríkjunum, Indlandi eða Histadrut, eða fleiri en einu þessara málefna.

Þrjár athugasemdir á X frá reikningi sem birti ítrekað efni frá þessari herferð, 1.–4. maí 2024. Elsta færslan (neðst) virðist hafa verið tilraun til að byggja upp persónugervi. Önnur færslan fjallar um Kanada og birtir innfellda færslu frá aðalreikningi netsins sem beindist að Kanada. Þriðja færslan fjallar um Indland.

Þrjár athugasemdir á X frá reikningi sem birti ítrekað efni frá þessari herferð, 1.–4. maí 2024. Elsta færslan (neðst) virðist hafa verið tilraun til að byggja upp persónugervi. Önnur færslan fjallar um Kanada og birtir innfellda færslu frá aðalreikningi netsins sem beindist að Kanada. Þriðja færslan fjallar um Indland.

Hluti efnisins sem netið bjó til var birtur á samfélagsmiðlum sem svar við færslum þekktra vestrænna einstaklinga beggja vegna hins pólitíska litrófs. Svörin tengdust upprunalegu færslunni yfirleitt ekkert. Til dæmis var athugasemd um að Katar væri að „kaupa upp“ Bandaríkin birt sem svar við færslu um tónlistarsmekk Trumps, fyrrverandi forseta.

Efst er færsla Lauru Ingraham um tónlistarsmekk Trumps forseta. Neðst er færsla með athugasemd sem þetta net bjó til. Takið eftir muninum á viðbragðstölum upprunalegu færslunnar og svarsins.

Efst er færsla Lauru Ingraham um tónlistarsmekk Trumps forseta. Neðst er færsla með athugasemd sem þetta net bjó til. Takið eftir muninum á viðbragðstölum upprunalegu færslunnar og svarsins.

Mat á áhrifum

Starfsemi Zero Zeno virðist hafa vakið lítil sem engin viðbrögð, önnur en frá ótraustum reikningum netsins sjálfs. (Meta og X hafa þegar gert marga reikninga óvirka og því er ekki víst að núverandi viðbragðstölur gefi heildarmyndina.)

Við notuðum Breakout-kvarðann⁠(opnast í nýjum glugga) til að meta áhrif upplýsingaaðgerðarinnar. Hann gefur slíkum aðgerðum einkunn frá 1 (lægst) til 6 (hæst). Við metum þetta sem aðgerð í flokki 2, sem einkennist af birtingum á mörgum miðlum og vefsvæðum, en engar vísbendingar eru um að fólk utan netsins hafi aukið verulega útbreiðslu hennar.

YouTube-rás tengd herferð þessarar aðgerðar sem beindist að Kanada. Hinn 25. apríl 2024 hafði hún birt eitt myndskeið sem enginn hafði horft á.

YouTube-rás tengd herferð þessarar aðgerðar sem beindist að Kanada. Hinn 25. apríl 2024 hafði hún birt eitt myndskeið sem enginn hafði horft á.

Vísbendingar

Við fundum eftirfarandi lén sem tengdust herferðum Zero Zeno.

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io