Fara beint í aðalefni
OpenAI

1. maí 2024

Öryggi

Aðgerðin „Spamouflage“: Kínatengd áhrifastarfsemi

OpenAI bannaði reikninga sem tengdust aðgerðinni „Spamouflage“ frá Alþýðulýðveldinu Kína, en hún notaði gervigreind til að rannsaka virkni á samfélagsmiðlum, búa til færslur og kemba áður óþekktan vef.

Hleður inn...

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá maí 2024⁠(opnast í nýjum glugga).

Gerandi

Við bönnuðum fáeina reikninga sem tengdust aðgerðinni frá Kína sem nefnist „Spamouflage“⁠(opnast í nýjum glugga). Meta⁠(opnast í nýjum glugga) hefur rakið aðgerðina til „einstaklinga sem tengjast kínverskum löggæsluyfirvöldum“. FBI⁠(opnast í nýjum glugga) rakti hluta af virkni aðgerðarinnar á samfélagsmiðlum til deildar innan almannaöryggisráðuneytis Kína.

Hegðun

Netið beindi sjónum að fólki um allan heim, einkum Kínverjum búsettum erlendis og gagnrýnendum kínverskra stjórnvalda. Það bjó aðallega til efni á kínversku og, í minna mæli, ensku, japönsku og kóresku.

Netið notaði líkön okkar til að kemba kóða, leita ráða um greiningu samfélagsmiðla, rannsaka fréttir og málefni líðandi stundar og búa til efni sem síðan var birt á bloggspjallsvæðum og samfélagsmiðlum.

Árið 2023 notaði netið til dæmis líkön okkar til að kemba kóða sem stillti WordPress-þema vefsins revealscum.com. Á vefnum birtist gagnrýni á kínversku og persónuupplýsingar um Kínverja búsetta erlendis sem höfðu gagnrýnt kínversk stjórnvöld. Vefurinn kallaði þessa gagnrýnendur „landráðamenn“. Efnið sjálft var ekki búið til með líkönum okkar.

Skjámynd af vefnum revealscum.com sem sýnir síðuna „汉奸“ („landráðamaður“). Við höfum hulið andlit fólksins sem vefurinn beinir sjónum að.

Skjámynd af vefnum revealscum.com sem sýnir síðuna „汉奸“ („landráðamaður“). Við höfum hulið andlit fólksins sem vefurinn beinir sjónum að.

Herferðin notaði einnig líkön okkar til að búa til efni sem síðan var birt á samfélagsmiðlum og spjallsvæðum. Undir lok árs 2023 bjó aðgerðin til dæmis til greinar þar sem Japan var sakað um að skaða lífríki sjávar með því að losa frárennslisvatn frá Fukushima-kjarnorkuverinu. Við fundum greinarnar meðal annars á Medium, Blogspot og ameblo.jp.

Í apríl 2024 birti herferðin röð athugasemda á ensku þar sem kínverski andófsmaðurinn Cai Xia var gagnrýndur. Við fundum einn X-reikning sem birti fyrstu athugasemdina og þyrpingu annarra reikninga sem birtu hinar athugasemdirnar sem svör. Við sáum enga raunverulega reikninga svara þeim.

Færsla og svör sem ráðast gegn Cai Xia, með efni sem Spamouflage bjó til með líkönum okkar. Athugið að engar endurbirtingar eða læk eru við færsluna. Allar tíu athugasemdirnar við upphaflegu færsluna komu frá reikningum sem notuðu efni frá Spamouflage.

Færsla og svör sem ráðast gegn Cai Xia, með efni sem Spamouflage bjó til með líkönum okkar. Athugið að engar endurbirtingar eða læk eru við færsluna. Allar tíu athugasemdirnar við upphaflegu færsluna komu frá reikningum sem notuðu efni frá Spamouflage.

Herferðin notaði líkön okkar einnig til rannsókna í opnum heimildum, meðal annars til að kanna hvernig sótt er um þróunaraðgang að samfélagsmiðlum og til að óska eftir samantektum á færslum gagnrýnenda kínverskra stjórnvalda.

Notkun netsins á gervigreind virðist aðeins hafa verið lítill hluti af heildarframleiðslu þess. Margir þeirra X- og Medium-reikninga sem við fundum og birtu efni frá líkönum okkar birtu til dæmis mun meira af efni sem virtist hafa verið samið handvirkt á ensku og kínversku, eins og meðal annars mátti sjá af óeðlilegu ensku orðalagi. Þeir birtu þetta efni bæði fyrir og eftir að þeir birtu athugasemdir búnar til með gervigreind.

Færsla frá 22. apríl 2024 eftir einn reikninganna sem birtu efni búið til með gervigreind 19. apríl. Bæði textinn og myndin virðast hafa verið gerð handvirkt.

Færsla frá 22. apríl 2024 eftir einn reikninganna sem birtu efni búið til með gervigreind 19. apríl. Bæði textinn og myndin virðast hafa verið gerð handvirkt.

Efni

Stór hluti efnisins sem herferðin bjó til var á kínversku. Umfjöllunarefnin spönnuðu allt frá lofi um alþjóðlegt löggæslusamstarf kínverskra stjórnvalda til gagnrýni á misrétti gegn frumbyggjum Bandaríkjanna. Sumt efni gagnrýndi bandarísk stjórnvöld og Microsoft fyrir að afhjúpa starfsemi kínverska tölvuþrjótahópsins „Volt Typhoon“.

Annað efni var á ensku. Þar voru áberandi gagnrýnendur kínverskra stjórnvalda yfirleitt gagnrýndir, svo sem leikarinn og baráttumaðurinn fyrir málefnum Tíbets, Richard Gere, og andófsmaðurinn Cai Xia. Í fáeinum greinum sem voru búnar til undir lok árs 2023 á ensku, japönsku, kínversku, kóresku og rússnesku var Japan sakað um að menga Kyrrahafið með losun frá Fukushima-kjarnorkuverinu⁠(opnast í nýjum glugga)—langlíft stef í kínverskum áhrifaaðgerðum.

Ein lítil þyrping virkni snerist um að búa til jákvæðar athugasemdir á kínversku um heimsókn almannaöryggisráðherra Kína til Úsbekistans. Ekki er vitað til þess að Spamouflage hafi áður fjallað um þetta málefni. Það er athyglisvert í ljósi þess að FBI rakti⁠(opnast í nýjum glugga) hluta af fyrri virkni aðgerðarinnar á samfélagsmiðlum til almannaöryggisráðuneytis Kína.

Hluti af virkni netsins virðist hafa endurspeglað persónuleg áhugamál stjórnendanna. Einn Stjórnandi notaði líkön okkar til dæmis til að rannsaka myndavélarlinsur. Annar notaði líkön okkar til að ljúka verkefni sem virðist hafa verið próf fyrir félaga í kínverska kommúnistaflokknum.

Mat á áhrifum

Spamouflage hefur verið ein mest rannsakaða áhrifaaðgerð heims frá því að henni var fyrst lýst opinberlega árið 2019⁠(opnast í nýjum glugga). Örsjaldan hefur verið greint frá því að starfsemin hafi náð til raunverulegra notenda.

Notkun efnis sem búið var til með gervigreind virðist ekki hafa breytt því. Ekkert þeirra blogga, greina eða samfélagsmiðlareikninga sem við fundum í rannsókninni fékk mikla virkni eða marga fylgjendur frá raunverulegu fólki. Í sumum tilvikum benda fyrirliggjandi gögn til þess að aðeins rannsóknarteymi okkar hafi skoðað færslurnar.

Samkvæmt Breakout-kvarðanum⁠(opnast í nýjum glugga), sem metur áhrif áhrifaaðgerða frá 1 (minnst) til 6 (mest), myndum við meta þetta sem aðgerð í 2. flokki. Sá flokkur einkennist af birtingum á mörgum miðlum, en engar vísbendingar eru um verulega mögnun frá fólki utan netsins.

Vísbendingar

Við fundum eftirfarandi lén sem tengdist herferðinni.

  • revealscum.com