Операция „Spamouflage“: свързана с Китай дейност за влияние
OpenAI блокира акаунти, свързани с произхождащата от КНР операция „Spamouflage“, която използва ИИ за проучване на активност в социалните медии, генериране на публикации и отстраняване на грешки в неизвестен досега уебсайт.
Този казус първоначално е публикуван в доклада на OpenAI от май 2024 г.(отваря се в нов прозорец)
Извършител
Блокирахме малък брой акаунти, свързани с произхождащата от Китай операция, известна като „Spamouflage“(отваря се в нов прозорец). Според Meta(отваря се в нов прозорец) зад тази операция стоят „лица, свързани с китайските правоохранителни органи“. Според ФБР(отваря се в нов прозорец) част от активността на тази операция в социалните медии е свързана със звено на китайското Министерство на обществената сигурност.
Поведение
Тази мрежа беше насочена към аудитории по целия свят, особено към представители на китайската диаспора и критици на китайското правителство. Тя генерираше съдържание предимно на китайски и в по-малка степен на английски, японски и корейски.
Мрежата използваше моделите ни за отстраняване на грешки в код, търсене на съвети за анализ на социални медии, проучване на новини и актуални събития и генериране на съдържание, което след това беше публикувано в блогове, форуми и социални медии.
Например през 2023 г. мрежата използва моделите ни за отстраняване на грешки в код, задаващ темата на WordPress за уебсайта revealscum.com. Този уебсайт публикуваше на китайски критики и лична информация за представители на китайската диаспора, които критикуват китайското правителство. Сайтът наричаше тези критици „предатели“. Самото съдържание не беше генерирано чрез нашите модели.

Екранна снимка на уебсайта revealscum.com, показваща страницата, озаглавена „汉奸“ („предател“). Заличили сме лицата на хората, набелязани от този сайт.
Кампанията използваше моделите ни и за създаване на съдържание, което впоследствие беше публикувано в платформи за социални медии и форуми. Например в края на 2023 г. операцията генерира статии, обвиняващи Япония, че вреди на морската среда чрез изпускане на отпадъчни води от електроцентралата във Фукушима. Открихме статиите в платформи, сред които Medium, Blogspot и ameblo.jp.
През април 2024 г. кампанията публикува поредица от коментари на английски, критикуващи китайската дисидентка Цай Ся. Установихме един акаунт в X, публикувал първоначалния коментар, и група други акаунти, публикували останалите коментари като отговори. Не видяхме отговори от реални акаунти.

Публикация и отговори с нападки срещу Цай Ся, чието съдържание е генерирано от Spamouflage чрез нашите модели. Обърнете внимание, че няма споделяния или харесвания. И десетте коментара под първоначалната публикация са от акаунти, използвали съдържание, генерирано от Spamouflage.
Кампанията използваше моделите ни и за проучвания чрез открити източници — например как се кандидатства за акаунти за разработчици в социални медии — или за изготвяне на резюмета на публикации от критици на китайското правителство.
Изглежда, че използването на изкуствен интелект от мрежата представлява само малка част от цялостната ѝ продукция. Например много от акаунтите в X и Medium, за които установихме, че публикуват съдържание, генерирано от нашите модели, публикуваха значително повече съдържание, което изглеждаше създадено ръчно на английски и китайски (за което свидетелства например неестествената употреба на английски език). Те публикуваха такова съдържание както преди, така и след коментарите, генерирани с ИИ.

Публикация от 22 април 2024 г. на един от акаунтите, публикували съдържание, генерирано с ИИ, на 19 април. Изглежда, че текстът и изображението са създадени ръчно.
Съдържание
Голяма част от генерираното от тази кампания съдържание беше на китайски. Темите варираха от похвали за международното сътрудничество на китайското правителство в областта на правоприлагането до критики към посегателствата срещу коренното население в Съединените щати. Част от съдържанието критикуваше правителството на САЩ и Microsoft за разкриването на дейността на китайската хакерска група, известна като „Volt Typhoon“.
Друга част от съдържанието беше на английски. То обикновено критикуваше видни противници на китайското правителство, като актьора и активист за Тибет Ричард Гиър и дисидентката Цай Ся. Няколко статии, генерирани в края на 2023 г. на английски, японски, китайски, корейски и руски, обвиняваха Япония, че замърсява водите на Тихия океан с изпусканията от атомната електроцентрала във Фукушима(отваря се в нов прозорец) — отдавнашна тема в китайските операции за влияние.
Една малка група от активности беше съсредоточена върху генерирането на положителни коментари на китайски за посещение на китайския министър на обществената сигурност в Узбекистан. Не е известно Spamouflage да е засягала тази тема преди. Тя представлява интерес предвид заключението на ФБР(отваря се в нов прозорец), че част от предишната активност на операцията в социалните медии е свързана с китайското Министерство на обществената сигурност.
Част от активността на мрежата изглежда отразяваше личните интереси на нейните Operator-и. Например един Operator използва моделите ни, за да проучва обективи за фотоапарати. Друг използва моделите ни, за да изпълни задача, която изглежда е била тест за членове на Китайската комунистическа партия.
Оценка на въздействието
Spamouflage е сред най-интензивно изследваните операции за влияние в света, откакто беше описана публично за първи път през 2019 г.(отваря се в нов прозорец) Почти никога не е съобщавано активността ѝ да е достигала до реална аудитория.
Използването на съдържание, генерирано с ИИ, изглежда не е променило тази динамика. Сред блоговете, статиите и акаунтите в социални медии, които установихме при разследването си, нито един не беше привлякъл голям брой взаимодействия или последователи от реални хора. В някои случаи наличните показатели сочат, че публикациите им са били прегледани единствено от нашия разследващ екип.
Използвайки скалата Breakout(отваря се в нов прозорец) за оценка на въздействието на операциите за влияние — от 1 (най-ниско) до 6 (най-високо) — бихме определили тази операция като категория 2: публикации в много платформи, но без доказателства за значително разпространение от хора извън мрежата.
Индикатори
Установихме, че следният домейн е свързан с тази кампания.
revealscum.com