«Погана граматика»: пов’язана з Росією активність у коментарях Telegram
OpenAI заблокувала облікові записи, пов’язані з раніше не висвітленою російською операцією «Погана граматика», що застосовувала ШІ для створення коментарів у Telegram про політику України, Молдови, Балтії та США.
Це дослідження випадку вперше опубліковано у звіті OpenAI за травень 2024 року(відкривається у новому вікні).
Суб’єкт
Ми заблокували раніше не висвітлену мережу облікових записів, яка використовувала наші моделі для створення коментарів із подальшою публікацією в Telegram. Ми пов’язали цю діяльність з особами з Росії. З огляду на зосередженість цієї мережі на Telegram, систематичну публікацію неграмотних англомовних дописів і невдалі спроби залучити аудиторію ми назвали її «Погана граматика».
Поведінка
Ця мережа поширювала російсько- й англомовний контент серед аудиторій у Росії, Україні, США, Молдові та країнах Балтії.
Мережа використовувала наші моделі та облікові записи в Telegram, щоб налагодити систему масового поширення коментарів. Спочатку оператори використовували наші моделі для налагодження коду, який, імовірно, був призначений для автоматизації публікацій у Telegram. Потім вони створювали російсько- й англомовні коментарі у відповідь на конкретні дописи в Telegram. Зрештою, вони, імовірно, публікували ці коментарі щонайменше з дванадцяти облікових записів Telegram.
Загальнодоступний коментар у Telegram, текст якого збігається зі згенерованим цією мережею. Цей обліковий запис неодноразово публікував коментарі, що збігалися з матеріалами мережі.
Для англомовних коментарів оператори використовували наші моделі, щоб писати від імені низки вигаданих персонажів із різних демографічних груп, які представляли обидва боки політичного спектра США. Для російськомовних коментарів вони віддавали перевагу тематичним інструкціям, менш прив’язаним до конкретних персонажів.
Мережа переважно коментувала дописи невеликої кількості Telegram-каналів. Найчастіше згадували проросійський канал @Slavyangrad, а за ним — англомовні @police_frequency і @SGTNewsNetwork. (Останній видає себе за консервативного американського ветерана, але в листопаді Meta повідомила(відкривається у новому вікні), що насправді він походить з Ірану.) У лютневій вибірці активності мережа намагалася створювати відповіді для цих трьох каналів удвічі частіше, ніж для наступних 10 найзгадуваніших каналів разом.
Контент
У межах цієї кампанії створювали короткі коментарі на кілька політичних тем. Основними темами англо- й російськомовних публікацій у Telegram були війна в Україні, політична ситуація в Молдові та країнах Балтії, а також політика США.
У типових російськомовних коментарях у Telegram президентів України й Молдови звинувачували в корупції, відсутності народної підтримки та зраді власного народу на користь західного «втручання». Англомовні коментарі в Telegram стосувалися таких тем, як імміграція, економічні труднощі та актуальні новини дня. У цих коментарях часто використовували контекст поточних подій, щоб довести, що США не мають підтримувати Україну.
Загальнодоступний коментар у Telegram, текст якого збігається зі згенерованим цією мережею. Цей обліковий запис неодноразово публікував коментарі, що збігалися з контентом, згенерованим за допомогою наших моделей.
Іноді один допис коментували кілька персонажів, висловлюючи суперечливі погляди. Такий «дволикий» підхід, коли автори видають себе за представників обох сторін, уже спостерігався в російських операціях і може свідчити про прагнення залучити певні аудиторії або посилити розкол.
Загальнодоступні коментарі в Telegram, тексти яких збігаються зі згенерованими цією мережею. Ці облікові записи неодноразово публікували коментарі, що збігалися з контентом, згенерованим за допомогою наших моделей.
Після теракту в Москві 22 березня та затримання чотирьох громадян Таджикистану кампанія почала використовувати нову групу облікових записів Telegram, орієнтованих на Таджикистан. У її коментарях закликали до єдності таджиків і росіян та поваги до російського законодавства.
Оцінка впливу
Масове поширення коментарів було поширеним методом IO ще до появи генеративного ШІ. Хоча «Погана граматика» застосовувала новий метод створення коментарів, її система поширення не змогла забезпечити взаємодію з аудиторією.
Лише деякі її коментарі отримували вподобання або відповіді. Коментарі мережі зазвичай становили меншість відповідей під кожним дописом, тобто не заглушали інші погляди, якщо саме це було метою.
Часом мережа використовувала наші моделі для створення повідомлень, які, схоже, були приватним листуванням — можливо, з іншим користувачем Telegram. Однак згенеровані тексти вказують на те, що мережа спілкувалася з криптовалютним шахраєм.
Якщо оцінювати вплив IO за шкалою поширення Breakout Scale(відкривається у новому вікні) від 1 (найнижча оцінка) до 6 (найвища), ми віднесли б цю операцію до категорії 1: активність з публікації матеріалів на одній платформі без ознак значного посилення їхнього охоплення людьми поза мережею.