Jäta vahele ja mine põhisisu juurde
OpenAI

1. mai 2024

Ohutus

„Halb grammatika“: Venemaaga seotud kommentaaritegevus Telegramis

OpenAI blokeeris seni kajastamata Venemaalt lähtunud operatsiooniga seotud kontod. Operatsioon „Halb grammatika“ kasutas tehisaru, et luua Telegrami inglis- ja venekeelseid kommentaare Ukraina, Moldova, Balti riikide ja USA poliitika kohta.

Laadimine…

See juhtumiuuring avaldati algselt OpenAI 2024. aasta mai⁠(avaneb uues aknas) aruandes.

Tegutseja

Blokeerisime seni kajastamata kontovõrgustiku, mis kasutas meie mudeleid kommentaaride loomiseks ja postitas need seejärel Telegrami. Seostasime selle tegevuse Venemaalt pärit isikutega. Kuna võrgustik keskendus Telegramile, postitas korduvalt vigases inglise keeles ja tal oli raskusi vaatajaskonna leidmisega, andsime sellele nimeks „Halb grammatika“.

Käitumine

See võrgustik sihtis vene- ja ingliskeelse sisuga Venemaa, Ukraina, Ameerika Ühendriikide, Moldova ja Balti riikide vaatajaskondi.

Võrgustik kasutas meie mudeleid ja Telegrami kontosid kommentaaridega spämmimise ahela loomiseks. Esmalt kasutasid operaatorid meie mudeleid sellise koodi silumiseks, mis oli ilmselt mõeldud Telegrami postituste automatiseerimiseks. Seejärel lõid nad konkreetsetele Telegrami postitustele vastamiseks vene- ja ingliskeelseid kommentaare. Lõpuks kasutasid nad nähtavasti nende kommentaaride postitamiseks vähemalt tosinat Telegrami kontot.

Selle võrgustiku loodud tekstiga kattuv avalik Telegrami kommentaar. Kõnealune konto postitas korduvalt kommentaare, mis kattusid selle võrgustiku väljundiga.

Selle võrgustiku loodud tekstiga kattuv avalik Telegrami kommentaar. Kõnealune konto postitas korduvalt kommentaare, mis kattusid selle võrgustiku väljundiga.

Inglise keeles kasutasid operaatorid meie mudeleid kommentaaride loomiseks mitme väljamõeldud isiku häälega. Need esindasid eri ühiskonnarühmi ja USA poliitilise spektri mõlemat poolt. Vene keeles eelistasid nad temaatilisemaid juhiseid, mis tuginesid vähem konkreetsetele väljamõeldud isikutele.

Võrgustik kommenteeris peamiselt väheste Telegrami kanalite postitusi. Kõige sagedamini mainiti Venemaa-meelset kanalit @Slavyangrad, millele järgnesid ingliskeelsed @police_frequency ja @SGTNewsNetwork. (Viimane esitleb end konservatiivse USA veteranina, kuid novembris teatas Meta⁠(avaneb uues aknas), et tegelikult pärineb see Iraanist.) Veebruari tegevuse valimis püüdis võrgustik neile kolmele kanalile vastuseid luua kaks korda sagedamini kui kümnele sageduselt järgmisele kanalile kokku.

Sisu

Kampaania lõi lühikesi kommentaare, mis keskendusid mõnele poliitilisele teemale. Nii inglise kui ka vene keeles käsitlesid Telegrami postitused peamiselt Ukraina sõda, Moldova ja Balti riikide poliitilist olukorda ning USA poliitikat.

Tüüpilistes venekeelsetes Telegrami kommentaarides süüdistati Ukraina ja Moldova presidente korruptsioonis, rahva toetuse puudumises ning oma rahva reetmises Lääne „sekkumise“ kasuks. Ingliskeelsed Telegrami kommentaarid keskendusid näiteks sisserändele, majandusraskustele ja päeva värsketele uudistele. Kommentaarides kasutati päevakajalisi sündmusi sageli argumendina, et Ameerika Ühendriigid ei peaks Ukrainat toetama.

Selle võrgustiku loodud tekstiga kattuv avalik Telegrami kommentaar. Kõnealune konto postitas korduvalt kommentaare, mis kattusid meie mudelite abil loodud sisuga.

Selle võrgustiku loodud tekstiga kattuv avalik Telegrami kommentaar. Kõnealune konto postitas korduvalt kommentaare, mis kattusid meie mudelite abil loodud sisuga.

Mõnikord kommenteeris sama postitust mitu väljamõeldud isikut, esitades vastandlikke seisukohti. Sellist „kahepalgelist“ lähenemist, kus esinetakse mõlema poole esindajana, on Venemaa operatsioonides varemgi täheldatud. See võib viidata soovile köita kindlaid vaatajaskondi või süvendada lõhesid.

Selle võrgustiku loodud tekstidega kattuvad avalikud Telegrami kommentaarid. Kõnealused kontod postitasid korduvalt kommentaare, mis kattusid meie mudelite abil loodud sisuga.

Selle võrgustiku loodud tekstidega kattuvad avalikud Telegrami kommentaarid. Kõnealused kontod postitasid korduvalt kommentaare, mis kattusid meie mudelite abil loodud sisuga.

Pärast 22. märtsil Moskvas toimunud terrorirünnakut ja nelja Tadžikistani kodaniku kinnipidamist hakkas kampaania kasutama uut, Tadžikistanile keskendunud Telegrami kontode rühma. Postitatud kommentaarides kutsuti tadžikke ja venelasi üles ühtsusele ning Venemaa seadusi austama.

Mõju hindamine

Kommentaaridega spämmimine oli mõjuoperatsioonides levinud võte juba enne generatiivse tehisaru tulekut. Kuigi „Halb grammatika“ kasutas kommentaaride loomiseks uudset võtet, ei suutnud selle levitamissüsteem kuigi palju kaasatust tekitada.

Vaid väga vähesed kommentaarid said meeldimisi või vastuseid. Võrgustiku kommentaarid moodustasid ühe postituse vastustest tavaliselt vähemuse – kui eesmärk oli teised seisukohad summutada, siis see ei õnnestunud.

Mõnikord kasutas võrgustik meie mudeleid ilmselt eravestluste loomiseks, võimalik et teise Telegrami kasutajaga. Loodud tekstid viitavad aga sellele, et võrgustik vestles krüptorahapetturiga.

Mõjuoperatsioonide mõju hindava läbimurde skaala⁠(avaneb uues aknas) järgi, mille hinded ulatuvad 1-st (madalaim) 6-ni (kõrgeim), kuulub see tegevus meie hinnangul 1. kategooriasse. Seda iseloomustab postitamine ühel platvormil ning puuduvad tõendid, et võrgustikuvälised inimesed oleksid sisu märkimisväärselt võimendanud.