Siirry pääsisältöön
OpenAI

1. toukokuuta 2024

Turvallisuus

”Huono kielioppi”: Venäjään liittyvä Telegram-kommentointi

OpenAI esti tilit, jotka liittyivät aiemmin raportoimattomaan venäläislähtöiseen ”Huono kielioppi” -operaatioon. Se tuotti tekoälyllä englannin- ja venäjänkielisiä Telegram-kommentteja Ukrainan, Moldovan, Baltian maiden ja Yhdysvaltojen politiikasta.

Ladataan...

Tämä tapaustutkimus julkaistiin alun perin OpenAI:n toukokuun 2024⁠(avautuu uudessa ikkunassa) raportissa.

Toimija

Estimme aiemmin raportoimattoman tiliverkoston, joka loi malleillamme kommentteja julkaistavaksi Telegramissa. Yhdistimme tämän toiminnan Venäjältä oleviin henkilöihin. Koska verkosto keskittyi Telegramiin, julkaisi toistuvasti kieliopillisesti virheellistä englantia eikä onnistunut saamaan yleisöä, nimesimme sen ”Huonoksi kieliopiksi”.

Toiminta

Verkosto kohdisti venäjän- ja englanninkielistä sisältöä yleisöille Venäjällä, Ukrainassa, Yhdysvalloissa, Moldovassa ja Baltian maissa.

Verkosto rakensi malleillamme ja Telegram-tileillä järjestelmän kommenttien roskapostittamiseen. Ensin toimijat korjasivat malleillamme virheitä koodista, joka oli ilmeisesti tarkoitettu automatisoimaan julkaisemista Telegramissa. Sen jälkeen he loivat venäjän- ja englanninkielisiä kommentteja vastauksiksi tiettyihin Telegram-julkaisuihin. Lopuksi he näyttävät julkaisseen kommentit ainakin tusinalla Telegram-tilillä.

Julkinen Telegram-kommentti, joka vastaa tämän verkoston tuottamaa tekstiä. Kyseinen tili julkaisi toistuvasti kommentteja, jotka vastasivat verkoston tuotoksia.

Julkinen Telegram-kommentti, joka vastaa tämän verkoston tuottamaa tekstiä. Kyseinen tili julkaisi toistuvasti kommentteja, jotka vastasivat verkoston tuotoksia.

Toimijat loivat malleillamme englanninkielisiä kommentteja useiden valehenkilöllisyyksien nimissä. Hahmot edustivat eri väestöryhmiä Yhdysvaltojen poliittisen kirjon molemmilta puolilta. Venäjänkielisessä sisällössä he suosivat temaattisempia ohjeita, jotka eivät perustuneet yhtä vahvasti valehenkilöllisyyksiin.

Verkosto kommentoi pääasiassa muutamien Telegram-kanavien julkaisuja. Eniten mainintoja sai Venäjä-mielinen @Slavyangrad-kanava, jonka jälkeen tulivat englanninkieliset @police_frequency ja @SGTNewsNetwork. (Jälkimmäinen esiintyy konservatiivisena yhdysvaltalaisena veteraanina, mutta marraskuussa Meta kertoi⁠(avautuu uudessa ikkunassa) sen olevan todellisuudessa peräisin Iranista.) Helmikuulta kerätyssä otoksessa verkosto yritti luoda vastauksia näille kolmelle kanavalle kaksi kertaa niin usein kuin kymmenelle seuraavaksi eniten mainitulle kanavalle yhteensä.

Sisältö

Kampanja tuotti lyhyitä kommentteja muutamista poliittisista aiheista. Sekä englannin- että venäjänkieliset Telegram-julkaisut käsittelivät pääasiassa Ukrainan sotaa, Moldovan ja Baltian maiden poliittista tilannetta sekä Yhdysvaltojen politiikkaa.

Tyypilliset venäjänkieliset Telegram-kommentit syyttivät Ukrainan ja Moldovan presidenttejä korruptiosta, kansansuosion puutteesta ja oman kansansa pettämisestä lännen ”sekaantumisen” hyväksi. Englanninkieliset Telegram-kommentit käsittelivät muun muassa maahanmuuttoa, taloudellisia vaikeuksia ja päivän uutisia. Kommenteissa vedottiin usein ajankohtaisiin tapahtumiin sen puolesta, ettei Yhdysvaltojen pitäisi tukea Ukrainaa.

Julkinen Telegram-kommentti, joka vastaa tämän verkoston tuottamaa tekstiä. Kyseinen tili julkaisi toistuvasti kommentteja, jotka vastasivat malleillamme tuotettua sisältöä.

Julkinen Telegram-kommentti, joka vastaa tämän verkoston tuottamaa tekstiä. Kyseinen tili julkaisi toistuvasti kommentteja, jotka vastasivat malleillamme tuotettua sisältöä.

Joskus samaa julkaisua kommentoi useampi valehenkilöllisyys, jotka esittivät keskenään ristiriitaisia näkemyksiä. Tätä ”kaksinaamaista” tapaa esiintyä molempien osapuolten ääninä on havaittu aiemminkin venäläisissä operaatioissa. Se voi kertoa pyrkimyksestä houkutella tiettyjä yleisöjä tai lisätä vastakkainasettelua.

Julkisia Telegram-kommentteja, jotka vastaavat tämän verkoston tuottamia tekstejä. Kyseiset tilit julkaisivat toistuvasti kommentteja, jotka vastasivat malleillamme tuotettua sisältöä.

Julkisia Telegram-kommentteja, jotka vastaavat tämän verkoston tuottamia tekstejä. Kyseiset tilit julkaisivat toistuvasti kommentteja, jotka vastasivat malleillamme tuotettua sisältöä.

Moskovassa 22. maaliskuuta tehdyn terrori-iskun ja neljän Tadžikistanin kansalaisen pidätyksen jälkeen kampanja alkoi käyttää uutta Tadžikistaniin keskittyvää Telegram-tiliryhmää. Sen julkaisemissa kommenteissa vaadittiin tadžikkien ja venäläisten yhtenäisyyttä sekä Venäjän lain kunnioittamista.

Vaikutusten arviointi

Kommenttiroskaposti oli vaikuttamisoperaatioiden yleinen keino jo ennen generatiivisen tekoälyn syntyä. Vaikka Huono kielioppi tuotti kommenttinsa uudella tavalla, sen jakelujärjestelmä ei onnistunut herättämään vuorovaikutusta.

Vain hyvin harvat sen kommenteista saivat tykkäyksiä tai vastauksia. Verkoston kommentit muodostivat yleensä vain pienen osan yksittäisen julkaisun vastauksista. Se ei siis onnistunut peittämään muita näkemyksiä alleen, jos tämä oli tavoitteena.

Toisinaan verkosto loi malleillamme ilmeisesti yksityisviestejä, mahdollisesti keskusteluihin toisen Telegram-käyttäjän kanssa. Tuotettujen tekstien perusteella verkosto kuitenkin keskusteli kryptovaluuttahuijarin kanssa.

Kun arvioimme vaikuttamisoperaation vaikutusta läpimurtoasteikolla⁠(avautuu uudessa ikkunassa), jolla operaatiot luokitellaan asteikolla 1:stä (alin) 6:een (ylin), sijoittaisimme tämän luokkaan 1. Sille on ominaista julkaiseminen yhdellä alustalla ilman näyttöä siitä, että verkoston ulkopuoliset henkilöt olisivat vahvistaneet sisältöä merkittävästi.