Přeskoč na hlavní obsah
OpenAI

1. května 2024

Bezpečnost

„Špatná gramatika“: komentování na Telegramu napojené na Rusko

OpenAI zablokovala účty spojené s dosud nezdokumentovanou operací z Ruska, kterou jsme nazvali „Špatná gramatika“. Pomocí AI vytvářela anglické a ruské komentáře na Telegramu o politice Ukrajiny, Moldavska, Pobaltí a USA.

Načítání…

Tato případová studie byla původně zveřejněna ve zprávě OpenAI z května 2024⁠(otevře se v novém okně).

Aktér

Zablokovali jsme dosud nezdokumentovanou síť účtů, která pomocí našich modelů vytvářela komentáře následně zveřejňované na Telegramu. Tuto aktivitu jsme spojili s osobami z Ruska. Vzhledem k jejímu zaměření na Telegram, opakovanému zveřejňování gramaticky chybné angličtiny a potížím se získáváním publika jsme tuto síť nazvali „Špatná gramatika“.

Chování

Tato síť cílila obsahem v ruštině a angličtině na publikum v Rusku, na Ukrajině, ve Spojených státech, v Moldavsku a pobaltských státech.

Síť využívala naše modely a účty na Telegramu k vytvoření systému pro zahlcování komentáři. Provozovatelé nejprve pomocí našich modelů ladili kód, který byl zjevně určen k automatizaci zveřejňování příspěvků na Telegramu. Poté vytvářeli ruské a anglické komentáře jako odpovědi na konkrétní příspěvky na Telegramu. Nakonec tyto komentáře zřejmě zveřejňovali nejméně z dvanácti účtů na Telegramu.

Veřejný komentář na Telegramu odpovídající textu vytvořenému touto sítí. Dotyčný účet opakovaně zveřejňoval komentáře odpovídající výstupům této sítě.

Veřejný komentář na Telegramu odpovídající textu vytvořenému touto sítí. Dotyčný účet opakovaně zveřejňoval komentáře odpovídající výstupům této sítě.

V angličtině provozovatelé pomocí našich modelů vytvářeli komentáře hlasem několika falešných osobností z různých demografických skupin a z obou stran amerického politického spektra. V ruštině dávali přednost obecnějším tematickým pokynům, které se méně opíraly o konkrétní osobnosti.

Síť komentovala především příspěvky malého počtu kanálů na Telegramu. Nejčastěji zmiňovala proruský kanál @Slavyangrad, následovaný anglickojazyčnými kanály @police_frequency a @SGTNewsNetwork. (Poslední z nich se vydává za konzervativního amerického veterána, ale v listopadu společnost Meta uvedla⁠(otevře se v novém okně), že ve skutečnosti pochází z Íránu.) Ve vzorku únorové aktivity se síť pokoušela vytvářet odpovědi pro tyto tři kanály dvakrát častěji než pro dalších deset nejčastěji zmiňovaných kanálů dohromady.

Obsah

Tato kampaň vytvářela krátké komentáře zaměřené na několik politických témat. V angličtině i ruštině se příspěvky na Telegramu týkaly především války na Ukrajině, politické situace v Moldavsku a pobaltských státech a politiky ve Spojených státech.

Typické ruskojazyčné komentáře na Telegramu obviňovaly prezidenty Ukrajiny a Moldavska z korupce, nedostatku podpory veřejnosti a zrady vlastního lidu ve prospěch západního „vměšování“. Anglickojazyčné komentáře na Telegramu se zaměřovaly například na imigraci, ekonomické problémy a aktuální zprávy. Tyto komentáře často využívaly kontext aktuálního dění k tvrzení, že by Spojené státy neměly podporovat Ukrajinu.

Veřejný komentář na Telegramu odpovídající textu vytvořenému touto sítí. Dotyčný účet opakovaně zveřejňoval komentáře odpovídající obsahu vytvořenému pomocí našich modelů.

Veřejný komentář na Telegramu odpovídající textu vytvořenému touto sítí. Dotyčný účet opakovaně zveřejňoval komentáře odpovídající obsahu vytvořenému pomocí našich modelů.

Někdy stejný příspěvek komentovalo více osobností, které prezentovaly protichůdné názory. Tento „dvoutvářný“ přístup, kdy se aktéři vydávají za hlasy obou stran, byl již dříve pozorován u ruských operací a může svědčit o snaze oslovit konkrétní publikum nebo prohlubovat rozdělení společnosti.

Veřejné komentáře na Telegramu odpovídající textům vytvořeným touto sítí. Dotyčné účty opakovaně zveřejňovaly komentáře odpovídající obsahu vytvořenému pomocí našich modelů.

Veřejné komentáře na Telegramu odpovídající textům vytvořeným touto sítí. Dotyčné účty opakovaně zveřejňovaly komentáře odpovídající obsahu vytvořenému pomocí našich modelů.

Po teroristickém útoku v Moskvě 22. března a zadržení čtyř občanů Tádžikistánu začala kampaň používat novou skupinu účtů na Telegramu zaměřených na Tádžikistán. Zveřejňované komentáře vyzývaly k jednotě Tádžiků a Rusů a k dodržování ruských zákonů.

Hodnocení dopadu

Zahlcování komentáři bylo běžnou technikou vlivových operací již před nástupem generativní AI. Ačkoli „Špatná gramatika“ používala k vytváření komentářů novou techniku, její distribuční systém nedokázal vyvolat výraznější odezvu.

Jen velmi málo jejích komentářů získalo reakci nebo odpověď. Komentáře této sítě obvykle tvořily jen menšinu odpovědí na jednotlivé příspěvky, takže ostatní názory nepřehlušily, pokud to bylo cílem.

Síť občas pomocí našich modelů vytvářela texty, které zřejmě sloužily jako soukromé zprávy, možná pro jiného uživatele Telegramu. Vygenerované texty však naznačují, že komunikovala s kryptoměnovým podvodníkem.

Při hodnocení dopadu vlivových operací pomocí škály průniku⁠(otevře se v novém okně), která je hodnotí od 1 (nejnižší) do 6 (nejvyšší), bychom tuto operaci zařadili do kategorie 1. Ta se vyznačuje aktivitou na jediné platformě bez důkazů o významném zesílení dosahu lidmi mimo síť.