Fara beint í aðalefni
OpenAI

1. maí 2024

Öryggi

„Slæm málfræði“: Rússlandstengd athugasemdastarfsemi á Telegram

OpenAI lokaði reikningum sem tengdust áður óþekktri aðgerð frá Rússlandi sem við kölluðum „Slæma málfræði“. Gervigreind var notuð til að semja Telegram-athugasemdir á ensku og rússnesku um stjórnmál í Úkraínu, Moldóvu, Eystrasaltsríkjunum og Bandaríkjunum.

Hleður inn...

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá maí 2024⁠(opnast í nýjum glugga).

Gerandi

Við lokuðum áður óþekktu neti reikninga sem notaði líkön okkar til að semja athugasemdir sem síðan voru birtar á Telegram. Við tengdum þessa starfsemi við einstaklinga frá Rússlandi. Vegna áherslunnar á Telegram, endurtekinna birtinga á málfræðilega rangri ensku og erfiðleika við að byggja upp áhorfendahóp kölluðum við netið „Slæma málfræði“.

Hegðun

Netið beindi rússnesku og ensku efni að fólki í Rússlandi, Úkraínu, Bandaríkjunum, Moldóvu og Eystrasaltsríkjunum.

Netið notaði líkön okkar og Telegram-reikninga til að koma upp ferli fyrir fjöldabirtingu athugasemda. Fyrst notuðu stjórnendurnir líkön okkar til að villuleita kóða sem virðist hafa átt að gera birtingar á Telegram sjálfvirkar. Síðan bjuggu þeir til athugasemdir á rússnesku og ensku sem svör við tilteknum færslum á Telegram. Að lokum virðast þeir hafa notað að minnsta kosti tólf Telegram-reikninga til að birta athugasemdirnar.

Opinber Telegram-athugasemd sem samsvarar texta sem þetta net bjó til. Umræddur reikningur birti ítrekað athugasemdir sem samsvöruðu afrakstri netsins.

Opinber Telegram-athugasemd sem samsvarar texta sem þetta net bjó til. Umræddur reikningur birti ítrekað athugasemdir sem samsvöruðu afrakstri netsins.

Á ensku notuðu stjórnendurnir líkön okkar til að semja athugasemdir í nafni ýmissa tilbúinna persóna úr ólíkum þjóðfélagshópum, beggja vegna hins pólitíska litrófs í Bandaríkjunum. Á rússnesku kusu þeir frekar þemabundin fyrirmæli sem byggðust síður á tilbúnum persónum.

Netið skrifaði einkum athugasemdir við færslur fárra Telegram-rása. Oftast var minnst á rússnesku áróðursrásina @Slavyangrad, en þar á eftir komu enskumælandi rásirnar @police_frequency og @SGTNewsNetwork. (Sú síðarnefnda þykist vera í eigu íhaldssams bandarísks fyrrverandi hermanns, en í nóvember greindi Meta frá⁠(opnast í nýjum glugga) því að hún ætti í raun uppruna sinn í Íran.) Í úrtaki starfseminnar frá febrúar reyndi netið tvöfalt oftar að búa til svör við færslum þessara þriggja rása en við færslum þeirra tíu rása sem næstoftast var minnst á samanlagt.

Efni

Herferðin bjó til stuttar athugasemdir um fáein pólitísk málefni. Helstu umræðuefnin sem birtust á Telegram, bæði á ensku og rússnesku, voru stríðið í Úkraínu, stjórnmálaástandið í Moldóvu og Eystrasaltsríkjunum og stjórnmál í Bandaríkjunum.

Dæmigerðar rússneskar athugasemdir á Telegram sökuðu forseta Úkraínu og Moldóvu um spillingu, skort á stuðningi almennings og að svíkja eigin þjóðir í hendur vestrænna „afskipta“. Enskar athugasemdir á Telegram beindust að málefnum á borð við innflytjendamál, efnahagserfiðleika og helstu fréttir dagsins. Athugasemdirnar vísuðu oft til atburða líðandi stundar til að færa rök fyrir því að Bandaríkin ættu ekki að styðja Úkraínu.

Opinber Telegram-athugasemd sem samsvarar texta sem þetta net bjó til. Umræddur reikningur birti ítrekað athugasemdir sem samsvöruðu efni sem búið var til með líkönum okkar.

Opinber Telegram-athugasemd sem samsvarar texta sem þetta net bjó til. Umræddur reikningur birti ítrekað athugasemdir sem samsvöruðu efni sem búið var til með líkönum okkar.

Stundum skrifuðu fleiri en ein tilbúin persóna athugasemd við sömu færslu og settu fram andstæð sjónarmið. Þessi „tvíhliða“ aðferð, þar sem þóst er tala fyrir báða póla, hefur áður sést í rússneskum aðgerðum og gæti bent til þess að markmiðið sé að höfða til tiltekinna hópa eða ýta undir sundrungu.

Opinberar Telegram-athugasemdir sem samsvara textum sem þetta net bjó til. Umræddir reikningar birtu ítrekað athugasemdir sem samsvöruðu efni sem búið var til með líkönum okkar.

Opinberar Telegram-athugasemdir sem samsvara textum sem þetta net bjó til. Umræddir reikningar birtu ítrekað athugasemdir sem samsvöruðu efni sem búið var til með líkönum okkar.

Eftir hryðjuverkaárásina í Moskvu 22. mars og handtöku fjögurra tadsíkra ríkisborgara tók herferðin að nota nýjan klasa Telegram-reikninga með áherslu á Tadsíkistan. Í athugasemdunum var hvatt til samstöðu Tadsíka og Rússa og virðingar fyrir rússneskum lögum.

Mat á áhrifum

Fjöldabirting athugasemda var algeng aðferð í áhrifaaðgerðum áður en skapandi gervigreind kom til sögunnar. Þótt „Slæm málfræði“ hafi notað nýstárlega aðferð til að búa til athugasemdirnar tókst dreifingarkerfinu illa að vekja viðbrögð.

Örfáar athugasemdanna fengu læk eða svör. Athugasemdir netsins voru yfirleitt aðeins lítill hluti svara við hverja færslu. Það tókst því ekki að kæfa önnur sjónarmið, hafi það verið markmiðið.

Stöku sinnum notaði netið líkön okkar til að semja það sem virðist hafa verið einkaskilaboð, mögulega við annan Telegram-notanda, en textarnir benda til þess að netið hafi verið að spjalla við svikara í rafmyntaviðskiptum.

Ef áhrif aðgerðanna eru metin með útbreiðslukvarðanum⁠(opnast í nýjum glugga), þar sem áhrifaaðgerðir fá einkunn frá 1 (lægst) til 6 (hæst), myndum við setja þær í flokk 1. Sá flokkur einkennist af birtingum á einum vettvangi án vísbendinga um verulega útbreiðslu af hálfu fólks utan netsins.