Preskočite na glavni sadržaj
OpenAI

1. maj 2024.

Sigurnost

„Loša gramatika“: aktivnosti komentiranja na Telegramu povezane s Rusijom

OpenAI je zabranio račune povezane s ranije neprijavljenom operacijom iz Rusije, nazvanom „Loša gramatika“, koja je pomoću umjetne inteligencije generirala komentare za Telegram o politici u Ukrajini, Moldaviji, Baltiku i SAD-u.

Učitavanje…

Ova studija slučaja prvobitno je objavljena u OpenAI-jevom izvještaju iz maja 2024.⁠(otvara se u novom prozoru) godine.

Akter

Zabranili smo ranije neprijavljenu mrežu računa koja je koristila naše modele za izradu komentara, a zatim ih objavljivala na Telegramu. Ovu aktivnost povezali smo s pojedincima iz Rusije. S obzirom na njenu usmjerenost na Telegram, učestalo objavljivanje gramatički neispravnog engleskog teksta i poteškoće u privlačenju publike, ovu smo mrežu nazvali „Loša gramatika“.

Ponašanje

Ova mreža ciljala je publiku u Rusiji, Ukrajini, Sjedinjenim Američkim Državama, Moldaviji i baltičkim državama sadržajem na ruskom i engleskom jeziku.

Mreža je koristila naše modele i račune na Telegramu kako bi uspostavila sistem za masovno objavljivanje neželjenih komentara. Operateri su prvo koristili naše modele za otklanjanje grešaka u kodu koji je očigledno bio namijenjen automatiziranju objava na Telegramu. Zatim su generirali komentare na ruskom i engleskom jeziku kao odgovore na određene objave na Telegramu. Na kraju su, čini se, koristili najmanje desetak računa na Telegramu za objavljivanje tih komentara.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više puta je objavljivao komentare koji odgovaraju rezultatima ove mreže.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više puta je objavljivao komentare koji odgovaraju rezultatima ove mreže.

Na engleskom jeziku operateri su koristili naše modele kako bi generirali komentare u ime niza lažnih persona iz različitih demografskih grupa s obje strane političkog spektra u Sjedinjenim Američkim Državama. Na ruskom jeziku davali su prednost uputama koje su bile više tematske, a manje zasnovane na personama.

Mreža je uglavnom komentirala objave malog broja kanala na Telegramu. Najčešće je spominjan proruski kanal @Slavyangrad, a zatim kanali na engleskom jeziku @police_frequency i @SGTNewsNetwork. (Potonji se predstavlja kao konzervativni američki veteran, ali je u novembru Meta izvijestila⁠(otvara se u novom prozoru) da zapravo potječe iz Irana.) U uzorku aktivnosti iz februara mreža je pokušala generirati odgovore za ova tri kanala dvostruko češće nego za narednih deset najčešće spominjanih kanala zajedno.

Sadržaj

Ova kampanja generirala je kratke komentare usmjerene na nekoliko političkih tema. I na engleskom i na ruskom jeziku glavne teme o kojima je objavljivala na Telegramu bile su rat u Ukrajini, politička situacija u Moldaviji i baltičkim državama te politika u Sjedinjenim Američkim Državama.

Tipični komentari na ruskom jeziku na Telegramu optuživali su predsjednike Ukrajine i Moldavije za korupciju, nedostatak podrške javnosti i izdaju vlastitog naroda u korist zapadnog „miješanja“. Komentari na engleskom jeziku na Telegramu bavili su se temama poput imigracije, ekonomskih poteškoća i najnovijih dnevnih vijesti. U tim komentarima često se koristio kontekst aktuelnih događaja kako bi se tvrdilo da Sjedinjene Američke Države ne bi trebale podržavati Ukrajinu.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više puta je objavljivao komentare koji odgovaraju sadržaju generiranom pomoću naših modela.

Javni komentar na Telegramu koji odgovara tekstu koji je generirala ova mreža. Predmetni račun više puta je objavljivao komentare koji odgovaraju sadržaju generiranom pomoću naših modela.

Ponekad je više persona komentiralo istu objavu, iznoseći suprotstavljena gledišta. Ovaj „dvolični“ pristup, u kojem se predstavljaju kao glasovi obje strane, već je uočen u ruskim operacijama i može ukazivati na želju da se privuče određena publika ili potaknu podjele.

Javni komentari na Telegramu koji odgovaraju tekstovima koje je generirala ova mreža. Predmetni računi više puta su objavljivali komentare koji odgovaraju sadržaju generiranom pomoću naših modela.

Javni komentari na Telegramu koji odgovaraju tekstovima koje je generirala ova mreža. Predmetni računi više puta su objavljivali komentare koji odgovaraju sadržaju generiranom pomoću naših modela.

Nakon terorističkog napada u Moskvi 22. marta i pritvaranja četvorice državljana Tadžikistana, kampanja je počela koristiti novu grupu računa na Telegramu usmjerenih na Tadžikistan. U objavljenim komentarima pozivalo se na jedinstvo Tadžika i Rusa te poštivanje ruskih zakona.

Procjena utjecaja

Masovno objavljivanje neželjenih komentara bilo je uobičajena tehnika operacija utjecaja i prije pojave generativne umjetne inteligencije. Iako je „Loša gramatika“ koristila novu tehniku za generiranje komentara, njen sistem distribucije teško je privlačio interakcije korisnika.

Vrlo malo njenih komentara dobilo je oznake sviđanja ili odgovore. Komentari ove mreže obično su činili manjinu odgovora na svaku pojedinačnu objavu, što znači da nisu potisnuli druga gledišta, ako je to bio cilj.

Mreža je povremeno koristila naše modele za generiranje tekstova koji su, čini se, bili privatne poruke, možda razmijenjene s drugim korisnikom Telegrama, ali generirani tekstovi ukazuju na to da je razgovarala s prevarantom koji se bavi kriptovalutama.

Prema Skali proboja⁠(otvara se u novom prozoru) za procjenu utjecaja operacija utjecaja, koja ih ocjenjuje na skali od 1 (najniže) do 6 (najviše), ovu bismo aktivnost svrstali u kategoriju 1, koju obilježava objavljivanje na jednoj platformi bez dokaza o značajnom širenju sadržaja među osobama izvan mreže.