Preskočite na glavni sadržaj
OpenAI

1. svibnja 2024.

Sigurnost

„Loša gramatika”: komentiranje na Telegramu povezano s Rusijom

OpenAI je zabranio račune povezane s dosad nepoznatom operacijom iz Rusije koju smo nazvali „Loša gramatika”, a koja je uz AI stvarala komentare na engleskom i ruskom za Telegram o politici Ukrajine, Moldove, baltičkih država i SAD-a.

Učitavanje…

Ova studija slučaja izvorno je objavljena u OpenAI-jevu izvješću iz svibnja 2024.⁠(otvara se u novom prozoru)

Akter

Zabranili smo dosad neprijavljenu mrežu računa koja je našim modelima stvarala komentare koji su potom objavljivani na Telegramu. Tu smo aktivnost povezali s osobama iz Rusije. Budući da je bila usredotočena na Telegram, opetovano objavljivala gramatički neispravan engleski i teško privlačila publiku, ovu smo mrežu nazvali „Loša gramatika”.

Ponašanje

Ova je mreža sadržajem na ruskom i engleskom ciljala publiku u Rusiji, Ukrajini, Sjedinjenim Američkim Državama, Moldovi i baltičkim državama.

Mreža je upotrebljavala naše modele i račune na Telegramu kako bi uspostavila sustav za masovno objavljivanje neželjenih komentara. Operateri su se najprije koristili našim modelima za otklanjanje pogrešaka u kodu koji je očito bio namijenjen automatiziranju objava na Telegramu. Zatim su generirali komentare na ruskom i engleskom kao odgovore na određene objave na Telegramu. Naposljetku su, čini se, za objavljivanje tih komentara upotrijebili najmanje dvanaest računa na Telegramu.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više je puta objavljivao komentare koji odgovaraju rezultatima ove mreže.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više je puta objavljivao komentare koji odgovaraju rezultatima ove mreže.

Za komentare na engleskom operateri su našim modelima oponašali glasove niza lažnih osoba iz različitih demografskih skupina i s obiju strana političkog spektra u Sjedinjenim Američkim Državama. Za ruski su davali prednost tematskim uputama koje su se manje oslanjale na lažne osobe.

Mreža je uglavnom komentirala objave malog broja kanala na Telegramu. Najčešće se spominjao proruski kanal @Slavyangrad, a slijedili su kanali na engleskom @police_frequency i @SGTNewsNetwork. (Potonji se predstavlja kao konzervativni američki veteran, no u studenome je Meta izvijestila⁠(otvara se u novom prozoru) da zapravo potječe iz Irana.) U uzorku aktivnosti iz veljače mreža je pokušala generirati odgovore na ta tri kanala dvostruko češće nego na sljedećih deset najčešće spominjanih kanala zajedno.

Sadržaj

Ova je kampanja generirala kratke komentare usredotočene na nekoliko političkih tema. I na engleskom i na ruskom glavne teme njezinih objava na Telegramu bile su rat u Ukrajini, politička situacija u Moldovi i baltičkim državama te politika u Sjedinjenim Američkim Državama.

Tipični komentari na ruskom na Telegramu optuživali su predsjednike Ukrajine i Moldove za korupciju, nedostatak potpore javnosti i izdaju vlastitog naroda zbog zapadnog „miješanja”. Komentari na engleskom na Telegramu bili su usredotočeni na teme poput imigracije, gospodarskih teškoća i najnovijih vijesti. U tim se komentarima često iskorištavao kontekst aktualnih događaja kako bi se tvrdilo da Sjedinjene Američke Države ne bi trebale podupirati Ukrajinu.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više je puta objavljivao komentare koji odgovaraju sadržaju generiranom našim modelima.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više je puta objavljivao komentare koji odgovaraju sadržaju generiranom našim modelima.

Ponekad je više lažnih osoba komentiralo istu objavu, iznoseći proturječna stajališta. Takav „dvoličan” pristup, kojim se predstavljaju kao glasovi obiju strana, već je zabilježen u ruskim operacijama i može upućivati na želju za privlačenjem određene publike ili poticanjem podjela.

Javni komentari na Telegramu koji odgovaraju tekstovima koje je generirala ova mreža. Predmetni računi više su puta objavljivali komentare koji odgovaraju sadržaju generiranom našim modelima.

Javni komentari na Telegramu koji odgovaraju tekstovima koje je generirala ova mreža. Predmetni računi više su puta objavljivali komentare koji odgovaraju sadržaju generiranom našim modelima.

Nakon terorističkog napada u Moskvi 22. ožujka i pritvaranja četiriju državljana Tadžikistana kampanja se počela koristiti novom skupinom računa na Telegramu usmjerenih na Tadžikistan. U objavljenim komentarima pozivalo se na jedinstvo Tadžika i Rusa te na poštovanje ruskih zakona.

Procjena učinka

Masovno objavljivanje neželjenih komentara bilo je uobičajena tehnika operacija utjecaja i prije pojave generativne umjetne inteligencije. Iako se „Loša gramatika” služila novom tehnikom generiranja komentara, njezin je distribucijski sustav teško privlačio interakcije.

Vrlo je malo njezinih komentara dobilo oznake „sviđa mi se” ili odgovore. Komentari mreže obično su činili manjinu odgovora na pojedinu objavu, što znači da nisu potisnuli druga stajališta, ako je to bio cilj.

Mreža se povremeno koristila našim modelima kako bi generirala sadržaj koji je naizgled bio namijenjen privatnim porukama, možda s drugim korisnikom Telegrama, no generirani tekstovi upućuju na to da je razgovarala s prevarantom koji se bavi kriptovalutama.

Prema ljestvici Breakout Scale⁠(otvara se u novom prozoru) za procjenu učinka operacija utjecaja, koja ih ocjenjuje od 1 (najniže) do 6 (najviše), ovo bismo svrstali u 1. kategoriju: aktivnost objavljivanja na jednoj platformi, bez dokaza o znatnijem širenju koje bi potaknule osobe izvan mreže.