Преминаване към основното съдържание
OpenAI

1 май 2024 г.

Безопасност

„Лоша граматика“: свързана с Русия дейност с коментари в Telegram

OpenAI забрани акаунти, свързани с неизвестна досега операция от Русия, наречена „Лоша граматика“, която използва AI за коментари на английски и руски в Telegram относно политиката в Украйна, Молдова, Балтийските държави и САЩ.

Зареждане…

Този анализ на случай е публикуван първоначално в доклада на OpenAI от май 2024 г.⁠(отваря се в нов прозорец)

Извършител

Забранихме неизвестна досега мрежа от акаунти, която използваше нашите модели за създаване на коментари, впоследствие публикувани в Telegram. Свързахме тази дейност с лица от Русия. Заради насочеността ѝ към Telegram, многократното публикуване на неграмотен английски и неспособността ѝ да привлече аудитория нарекохме тази мрежа „Лоша граматика“.

Поведение

Тази мрежа се насочваше към аудитории в Русия, Украйна, Съединените щати, Молдова и Балтийските държави със съдържание на руски и английски език.

Мрежата използваше нашите модели и акаунти в Telegram, за да изгради система за масово публикуване на нежелани коментари. Първо операторите използваха нашите модели за отстраняване на грешки в код, който очевидно е бил предназначен да автоматизира публикуването в Telegram. След това генерираха коментари на руски и английски в отговор на конкретни публикации в Telegram. Накрая изглежда са използвали поне дузина акаунти в Telegram, за да публикуват тези коментари.

Публичен коментар в Telegram, съвпадащ с текст, генериран от тази мрежа. Въпросният акаунт многократно е публикувал коментари, съвпадащи с генерираното от мрежата съдържание.

Публичен коментар в Telegram, съвпадащ с текст, генериран от тази мрежа. Въпросният акаунт многократно е публикувал коментари, съвпадащи с генерираното от мрежата съдържание.

На английски операторите използваха нашите модели, за да генерират коментари от името на редица измислени личности от различни демографски групи и от двата края на политическия спектър в Съединените щати. На руски предпочитаха по-тематични указания, които разчитаха в по-малка степен на измислени личности.

Мрежата коментираше предимно публикации на малък брой канали в Telegram. Най-често споменаван беше проруският канал @Slavyangrad, следван от англоезичните @police_frequency и @SGTNewsNetwork. (Последният се представя за консервативен американски ветеран, но през ноември Meta съобщи⁠(отваря се в нов прозорец), че всъщност произхожда от Иран.) В извадка от дейността през февруари мрежата се е опитвала да генерира отговори до тези три канала два пъти по-често, отколкото до следващите 10 най-често споменавани канала, взети заедно.

Съдържание

Тази кампания генерираше кратки коментари, съсредоточени върху няколко политически теми. Както на английски, така и на руски, основните теми в публикациите ѝ в Telegram бяха войната в Украйна, политическата обстановка в Молдова и Балтийските държави и политиката в Съединените щати.

Типичните коментари на руски в Telegram обвиняваха президентите на Украйна и Молдова в корупция, липса на обществена подкрепа и предателство на собствените им народи в полза на западната „намеса“. Коментарите на английски в Telegram се съсредоточаваха върху теми като имиграцията, икономическите затруднения и водещите новини за деня. Тези коментари често използваха контекста на текущите събития, за да твърдят, че Съединените щати не трябва да подкрепят Украйна.

Публичен коментар в Telegram, съвпадащ с текст, генериран от тази мрежа. Въпросният акаунт многократно е публикувал коментари, съвпадащи със съдържание, генерирано чрез нашите модели.

Публичен коментар в Telegram, съвпадащ с текст, генериран от тази мрежа. Въпросният акаунт многократно е публикувал коментари, съвпадащи със съдържание, генерирано чрез нашите модели.

Понякога повече от една измислена личност коментираше една и съща публикация, като изразяваше противоречащи си гледни точки. Този „двуличен“ подход, при който участниците се представят за гласове и от двете страни, е наблюдаван и преди в руски операции и може да показва стремеж към привличане на конкретни аудитории или към задълбочаване на разделението.

Публични коментари в Telegram, съвпадащи с текстове, генерирани от тази мрежа. Въпросните акаунти многократно са публикували коментари, съвпадащи със съдържание, генерирано чрез нашите модели.

Публични коментари в Telegram, съвпадащи с текстове, генерирани от тази мрежа. Въпросните акаунти многократно са публикували коментари, съвпадащи със съдържание, генерирано чрез нашите модели.

След терористичната атака в Москва на 22 март и задържането на четирима таджикски граждани кампанията започна да използва нова група акаунти в Telegram, насочени към Таджикистан. Публикуваните от нея коментари призоваваха за единство между таджики и руснаци и за спазване на руското законодателство.

Оценка на въздействието

Масовото публикуване на нежелани коментари беше разпространен похват при операциите за влияние още преди появата на генеративния AI. Макар „Лоша граматика“ да използваше нов подход за генериране на коментарите си, системата ѝ за разпространение не успяваше да привлече ангажираност.

Много малко от коментарите ѝ получиха харесвания или отговори. Коментарите на мрежата обикновено бяха малка част от отговорите под всяка отделна публикация — тоест не заглушаваха останалите мнения, ако това е била целта.

Понякога мрежата използваше нашите модели, за да генерира текстове, които изглеждат като лични съобщения, вероятно разменяни с друг потребител на Telegram, но генерираното съдържание подсказва, че мрежата е разговаряла с измамник, предлагащ криптовалути.

Ако използваме Скалата за пробив⁠(отваря се в нов прозорец) за оценяване на въздействието на операциите за влияние по скала от 1 (най-ниско) до 6 (най-високо), бихме отнесли тази дейност към категория 1: публикуване само в една платформа, без доказателства за значително разпространение от хора извън мрежата.