Preskočite na glavno vsebino
OpenAI

1. maj 2024

Varnost

»Slaba slovnica«: z Rusijo povezano komentiranje na Telegramu

OpenAI je blokiral račune prej neznane operacije ruskega izvora, poimenovane »Slaba slovnica«, ki je z UI ustvarjala komentarje za Telegram o politiki v Ukrajini, Moldaviji, baltskih državah in ZDA.

Nalaganje …

Ta študija primera je bila prvotno objavljena v poročilu OpenAI iz maja 2024⁠(odpre se v novem oknu).

Akter

Blokirali smo prej neznano omrežje računov, ki je z našimi modeli ustvarjalo komentarje in jih nato objavljalo na Telegramu. To dejavnost smo povezali s posamezniki iz Rusije. Ker je bilo omrežje osredotočeno na Telegram, je večkrat objavljalo slovnično nepravilno angleščino in le stežka pridobivalo občinstvo, smo ga poimenovali »Slaba slovnica«.

Vedenje

To omrežje je z vsebino v ruščini in angleščini nagovarjalo občinstvo v Rusiji, Ukrajini, Združenih državah Amerike, Moldaviji in baltskih državah.

Omrežje je naše modele in račune na Telegramu uporabljalo za vzpostavitev sistema množičnega objavljanja komentarjev. Upravljavci so najprej uporabili naše modele za odpravljanje napak v kodi, ki je bila očitno namenjena avtomatizaciji objavljanja na Telegramu. Nato so v ruščini in angleščini ustvarili komentarje kot odgovore na določene objave na Telegramu. Nazadnje so te komentarje očitno objavili z najmanj dvanajstimi računi na Telegramu.

Javni komentar na Telegramu, ki se ujema z besedilom, ustvarjenim v tem omrežju. Zadevni račun je večkrat objavil komentarje, ki so se ujemali z vsebino tega omrežja.

Javni komentar na Telegramu, ki se ujema z besedilom, ustvarjenim v tem omrežju. Zadevni račun je večkrat objavil komentarje, ki so se ujemali z vsebino tega omrežja.

Upravljavci so z našimi modeli v angleščini ustvarjali komentarje v slogu več lažnih oseb različnih demografskih skupin z obeh strani političnega spektra v Združenih državah Amerike. V ruščini so dajali prednost bolj tematskim navodilom, manj vezanim na posamezne lažne osebe.

Omrežje je komentiralo predvsem objave manjšega števila kanalov na Telegramu. Najpogosteje je omenjalo proruski kanal @Slavyangrad, sledila pa sta mu angleško govoreča kanala @police_frequency in @SGTNewsNetwork. (Slednji se predstavlja kot konservativni ameriški veteran, vendar je Meta novembra poročala⁠(odpre se v novem oknu), da dejansko izvira iz Irana.) V februarskem vzorcu dejavnosti je omrežje poskušalo ustvariti odgovore na objave teh treh kanalov dvakrat pogosteje kot na objave naslednjih desetih najpogosteje omenjenih kanalov skupaj.

Vsebina

Ta kampanja je ustvarjala kratke komentarje, osredotočene na peščico političnih tem. Glavne teme objav na Telegramu v angleščini in ruščini so bile vojna v Ukrajini, politične razmere v Moldaviji in baltskih državah ter politika v Združenih državah Amerike.

Značilni komentarji na Telegramu v ruščini so predsednika Ukrajine in Moldavije obtoževali korupcije, pomanjkanja podpore javnosti in izdaje lastnega ljudstva zaradi zahodnega »vmešavanja«. Komentarji na Telegramu v angleščini so se osredotočali na teme, kot so priseljevanje, gospodarske težave in najnovejše dnevne novice. Ti komentarji so aktualne dogodke pogosto uporabljali kot podlago za trditev, da Združene države Amerike ne bi smele podpirati Ukrajine.

Javni komentar na Telegramu, ki se ujema z besedilom, ustvarjenim v tem omrežju. Zadevni račun je večkrat objavil komentarje, ki so se ujemali z vsebino, ustvarjeno z našimi modeli.

Javni komentar na Telegramu, ki se ujema z besedilom, ustvarjenim v tem omrežju. Zadevni račun je večkrat objavil komentarje, ki so se ujemali z vsebino, ustvarjeno z našimi modeli.

Včasih je isto objavo komentiralo več lažnih oseb, ki so izražale nasprotujoča si stališča. Takšen »dvoličen« pristop, pri katerem se predstavljajo kot glasovi obeh strani, smo že opazili pri ruskih operacijah in morda kaže na željo po privabljanju določenega občinstva ali spodbujanju razdora.

Javni komentarji na Telegramu, ki se ujemajo z besedili, ustvarjenimi v tem omrežju. Zadevni računi so večkrat objavili komentarje, ki so se ujemali z vsebino, ustvarjeno z našimi modeli.

Javni komentarji na Telegramu, ki se ujemajo z besedili, ustvarjenimi v tem omrežju. Zadevni računi so večkrat objavili komentarje, ki so se ujemali z vsebino, ustvarjeno z našimi modeli.

Po terorističnem napadu v Moskvi 22. marca in pridržanju štirih državljanov Tadžikistana je kampanja začela uporabljati novo skupino računov na Telegramu, osredotočenih na Tadžikistan. Objavljeni komentarji so pozivali k enotnosti med Tadžiki in Rusi ter spoštovanju ruske zakonodaje.

Ocena vpliva

Množično objavljanje komentarjev je bilo med vplivnimi operacijami pogosto že pred pojavom generativne umetne inteligence. Čeprav je »Slaba slovnica« komentarje ustvarjala z novo tehniko, njen distribucijski sistem ni uspešno pritegnil odzivov.

Le zelo malo njenih komentarjev je prejelo všečke ali odgovore. Komentarji omrežja so praviloma predstavljali manjšino odgovorov na posamezno objavo, kar pomeni, da niso preglasili drugih stališč, če je bil to njihov cilj.

Omrežje je naše modele občasno uporabilo za ustvarjanje sporočil, ki so bila očitno zasebna in morda namenjena drugemu uporabniku Telegrama, vendar ustvarjena besedila kažejo, da se je pogovarjalo s prevarantom na področju kriptovalut.

Po lestvici Breakout⁠(odpre se v novem oknu) za ocenjevanje vpliva vplivnih operacij, ki jih razvršča od 1 (najnižja ocena) do 6 (najvišja ocena), bi to dejavnost uvrstili v 1. kategorijo. Zanjo je značilno objavljanje na eni sami platformi brez dokazov o znatnem širjenju vsebine med ljudmi zunaj omrežja.