Операция „Чичо Спам“: влияние чрез поляризация в САЩ
OpenAI забрани профили с произход от Китай, използвали ИИ за създаване на политическо съдържание за САЩ и проучване на хора, движения и онлайн общности.
Този казус е публикуван първоначално в доклада на OpenAI от юни 2025 г.(отваря се в нов прозорец)
Извършител
Забранихме няколко профила в ChatGPT, свързани с операция за влияние с произход от Китай(отваря се в нов прозорец), след сигнал от колегите ни в Meta. Операцията създаваше поляризиращо съдържание за социалните мрежи в подкрепа и на двете страни по спорни теми в политическия дебат в САЩ, включително текстове и генерирани с ИИ профилни изображения за платформи като X и Bluesky.
Поведение
Мрежата използваше моделите ни за различни задачи, най-вече за създаване на коментари за социалните мрежи в подкрепа или срещу митата. Профилите искаха от моделите ни да посочат оптималните часове за публикуване с цел максимална ангажираност на аудиторията, което подсказваше използване на целенасочени тактики за разпространение.
Два туита с текстове, генерирани чрез моделите ни от този извършител, които подкрепят противоположните страни в дебата за митата.
Освен това профилите използваха възможностите ни за генериране на изображение, за да създават стилизирани лога. После ги използваха като профилни снимки на фиктивни самоличности в различни социални платформи. По-конкретно профилите се съсредоточаваха върху изграждането на образи на американски ветерани, критикуващи настоящата администрация на САЩ.
Профил в BlueSky, публикувал съдържание, генерирано от тази мрежа. Логото „Ветерани за справедливост“ е генерирано чрез моделите ни.
Накрая профилите системно искаха код и методи за извличане на лични данни — като потребителски профили, списъци с последователи и други подробности — от социални платформи като X и Bluesky чрез инструменти като Tweepy, Nitter и публичния API на Bluesky. Профилите използваха моделите ни и за насоки как да анализират данни от профили за лични характеристики и връзки с организации, вероятно с цел категоризиране на хора или установяване на техни връзки и качества.
Генерирани резултати
Профилите създаваха поляризиращо съдържание по теми от политическия дебат в САЩ, често в рамките на едни и същи оперативни сесии. В съответствие с познатите методи на операциите за влияние, целта вероятно е била да се използват съществуващите политически разделения, а не да се популяризира конкретна идеологическа позиция. Заради обема на съдържанието и акцента върху посланията към американска аудитория нарекохме операцията „Чичо Спам“.
Туитове с текст, генериран от моделите ни и публикуван от фиктивни самоличности.
Въздействие
Според скалата за пробив(отваря се в нов прозорец), измерваща въздействието на операциите за влияние, бихме определили случая като категория 2: дейност в няколко платформи без значителен пробив или с минимална ангажираност. Профилите в социалните мрежи, които публикуваха съдържание, генерирано от моделите ни, получиха малко автентична ангажираност. Повечето публикации в X от тази мрежа получиха малко или никакви харесвания и споделяния, като само няколко привлякоха известна ангажираност. Някои от профилите в социалните мрежи имаха хиляди последователи, но не успяхме да установим дали те са автентични, а броят им видимо не водеше до ангажираност с публикациите.