Прескокни до главната содржина
OpenAI

1 октомври 2024 г.

Безбедност

Операција „A2Z“: Повеќејазична активност за влијание

OpenAI забрани сметки на „A2Z“ што користеа ВИ за создавање повеќејазична содржина за влијание поврзана со избори, Украина и политика на различни платформи.

Се вчитува...

Оваа студија на случај првично беше објавена во извештајот на OpenAI од октомври 2024 година⁠(се отвора во нов прозорец).

Актер

Забранивме претходно непријавена група сметки што го користеа нашиот API за создавање коментари, кои потоа беа објавувани на X и Facebook. Многу од овие коментари го фалеа Азербејџан или го бранеа неговото досие за човековите права, но активноста опфаќаше и многу други теми, што можеби укажува на комерцијално водена операција. Поради зачестеното фалење на Азербејџан и обидот да се користи ВИ во повеќе фази од операцијата, оваа мрежа ја нарековме „A2Z“.

Однесување

Како и операцијата на руски јазик на Telegram што ја разоткривме во мај и ја нарековме „Лоша граматика“, оваа операција ги користеше нашите модели за коментирање на социјалните мрежи. Таа користеше ВИ за да управува со лажни идентитети на социјалните мрежи, да создава биографии, да анализира објави и коментари, да составува одговори на повеќе јазици и да ги лекторира. Одговорите потоа беа објавувани на X или Facebook. Поголемиот дел од содржината беше во форма на кратки коментари, но имаше и стилизирани слики. Тие често го користеа стилот на плакатите од 1930-тите, па се чини дека беа наменети да привлечат внимание и реакции, а не да измамат. Сепак, вообичаените објави со овие стилизирани слики добиваа само по 0–5 интеракции.

Објава од една од сметките на операцијата на турски јазик на X, со текст и слика. И двете беа генерирани со нашите модели. Објавата не доби ниту еден одговор, споделување или допаѓање.

Објава од една од сметките на операцијата на турски јазик на X, со текст и слика. И двете беа генерирани со нашите модели. Објавата не доби ниту еден одговор, споделување или допаѓање.

Објава од една од сметките на операцијата на англиски јазик на X, со текст и слика. И двете беа генерирани со нашите модели. Објавата не доби ниту еден одговор, споделување или допаѓање.

Објава од една од сметките на операцијата на англиски јазик на X, со текст и слика. И двете беа генерирани со нашите модели. Објавата не доби ниту еден одговор, споделување или допаѓање.

Оваа употреба на ВИ ѝ овозможи на операцијата истовремено да управува со многу сметки на социјалните мрежи: идентификувавме околу 150 сметки на X и Facebook што одговараа на оваа активност, а се сомневаме дека имало и други. Тоа ѝ овозможи на операцијата понекогаш да учествува и во онлајн дискусии со вистински лица. Повремено забележувавме кратки разговори меѓу вистински лица и лажните сметки, во кои одговорите на лажните сметки беа генерирани со нашите модели.

Разговор меѓу две вистински лица и сметка управувана од операцијата, која користела содржина генерирана со нашите модели. Преведено од турски: [Лице 1]: Дали сте свесни? Не се сите ататуркисти ционисти, но сите ционисти во Турција, поддржувачите на Израел и оние што молчат за геноцидот се ататуркисти. Има ли пример што не се вклопува во оваа генерализација? [Сметка на операцијата]: Кемализмот се залага за мир и модернизација. Таквите генерализации се опасни и погрешни. [Лице 2]: Каков мир? Да беше жив мојот Ататурк, ќе ги вратеше Мосул, Киркук и Западна Тракија... Вие само читате за Ататурк. Ги слушате ли приказните на Јилмаз Озил за јадење шеблеби? [Сметка на операцијата]: Историјата ни покажува дека Ататурк сакал мир и модернизација. Да не се занесуваме со погрешни информации.

Разговор меѓу две вистински лица и сметка управувана од операцијата, која користела содржина генерирана со нашите модели. Преведено од турски: [Лице 1]: Дали сте свесни? Не се сите ататуркисти ционисти, но сите ционисти во Турција, поддржувачите на Израел и оние што молчат за геноцидот се ататуркисти. Има ли пример што не се вклопува во оваа генерализација? [Сметка на операцијата]: Кемализмот се залага за мир и модернизација. Таквите генерализации се опасни и погрешни. [Лице 2]: Каков мир? Да беше жив мојот Ататурк, ќе ги вратеше Мосул, Киркук и Западна Тракија... Вие само читате за Ататурк. Ги слушате ли приказните на Јилмаз Озил за јадење шеблеби? [Сметка на операцијата]: Историјата ни покажува дека Ататурк сакал мир и модернизација. Да не се занесуваме со погрешни информации.

Операција од овој обем пред појавата на ВИ веројатно би барала голем тим тролови, со сите трошоци и ризици од протекување информации што ги носи таквиот потфат. Но, зависноста од ВИ истовремено ја направи оваа операција невообичаено ранлива на нашата интервенција. Бидејќи користеше ВИ во многу алки од синџирот на нападот, со нејзиното запирање прекинавме повеќе алки одеднаш. Откако ја прекинавме оваа активност на почетокот на јуни, сметките на социјалните мрежи што ги идентификувавме како дел од операцијата престанаа да објавуваат во текот на изборните периоди во ЕУ, Обединетото Кралство и Франција. Некои повторно почнаа да објавуваат кон крајот на август. Мал број од нивните објави покажуваа знаци дека веројатно биле генерирани со ВИ. Содржината со такви знаци не потекнуваше од нашите модели.

Генерирани содржини

Оваа кампања создаваше кратки коментари посветени на широк спектар политички теми. Најзастапени беа пофалбите за владата на Азербејџан и нејзината улога во домашната, регионалната и меѓународната политика — на пример, во промовирањето на единството меѓу земјите од Централна Азија или како домаќин на Конференцијата на ОН за климатски промени. Сметките на англиски и италијански јазик ја фалеа улогата на Азербејџан како снабдувач на Европа со енергија — понекогаш како одговор на критиките за досието на азербејџанската влада во областа на човековите права.

Низа коментари на X. [Корисник 1, чие корисничко име го содржи зборот „слободен“]: Но, што е толку скандалозно во распуштањето на империјалистички воен сојуз во кој Италија е потрчко и кој прифаќа диктатори како Ердоган? [Корисник 2]: Драг мој, слободен по име, а потчинет во стварноста, напуштањето на НАТО значи дека веќе следната секунда ќе завршиме под руската чизма. А ми се чини дека состојбата не е баш добра во Белорусија, Грузија, Азербејџан, Казахстан... ах, токму таква судбина ли сакаш? [Сметка на операцијата]: Да завршиме под Русија? Смешно. НАТО нè штити, ајде да соработуваме со Азербејџан за енергетска безбедност. Слободен по име, збунет во стварноста.

Низа коментари на X. [Корисник 1, чие корисничко име го содржи зборот „слободен“]: Но, што е толку скандалозно во распуштањето на империјалистички воен сојуз во кој Италија е потрчко и кој прифаќа диктатори како Ердоган? [Корисник 2]: Драг мој, слободен по име, а потчинет во стварноста, напуштањето на НАТО значи дека веќе следната секунда ќе завршиме под руската чизма. А ми се чини дека состојбата не е баш добра во Белорусија, Грузија, Азербејџан, Казахстан... ах, токму таква судбина ли сакаш? [Сметка на операцијата]: Да завршиме под Русија? Смешно. НАТО нè штити, ајде да соработуваме со Азербејџан за енергетска безбедност. Слободен по име, збунет во стварноста.

Други текови на активноста се фокусираа на придобивките и развојот на ВИ, финансиските пазари, еколошките прашања, криптовалутите и технологијата воопшто. Една група беше насочена кон Обединетите Арапски Емирати, претставувајќи ги како стабилна инвестициска дестинација, често во спротивност со тврдењата за политичка нестабилност во Соединетите Американски Држави.

Одговор на X на извештај на Bloomberg, од сметка што објавувала содржини од оваа операција.

Одговор на X на извештај на Bloomberg, од сметка што објавувала содржини од оваа операција.

Некои лажни идентитети се фокусираа на политиката во Европа или во Соединетите Американски Држави. Идеологијата на оваа активност се разликуваше од регион до регион. На пример, една сметка на X насочена кон Соединетите Американски Држави се претставуваше како либерална и го критикуваше поранешниот американски претседател Трамп, додека некои сметки на Facebook што објавуваа на француски јазик го критикуваа претседателот Макрон и ја поддржуваа партијата Национален собир (RN). Понекогаш критиките се фокусираа на домашни прашања за да се тврди дека дадената земја не треба да се меша во меѓународни прашања, вклучително и во руската инвазија врз Украина.

Два коментара од одделни сметки на Facebook што повеќепати објавувале содржини од оваа операција. Текстот на германски јазик беше коментар на интервју со политичарот од AfD, Александер Јунгблут. Тој гласи: „Јунгблут зборува за вистинските проблеми: ЕУ треба да се грижи за внатрешните работи! Воодушевен сум од неговите одговори, особено за конфликтот во Украина.“

Два коментара од одделни сметки на Facebook што повеќепати објавувале содржини од оваа операција. Текстот на германски јазик беше коментар на интервју со политичарот од AfD, Александер Јунгблут. Тој гласи: „Јунгблут зборува за вистинските проблеми: ЕУ треба да се грижи за внатрешните работи! Воодушевен сум од неговите одговори, особено за конфликтот во Украина.“

Процена на влијанието

Оваа операција беше многу активна на Facebook и X и веројатно користеше стотици сметки. На X, некои од нејзините сметки имаа сина ознака за платена потврда. Меѓу приближно 150 сметки што ги анализиравме на двете платформи, не идентификувавме ниту една со значителен број следбеници: најголемата публика на X што ја откривме во истрагата беше 222 следбеници, повообичаени беа бројките меѓу 15 и малку над 20, а типичните објави на X добиваа едноцифрен број интеракции. Слично на тоа, најголемиот број реакции на објава на Facebook што го забележавме во истрагата беше 36, додека повообичаени беа 0–5 реакции. Сепак, идентификувавме неколку случаи во кои објавите на операцијата привлекоа одговори од вистински лица. Тие не беа секогаш позитивни и понекогаш вистински лица им противречеа на лажните сметки, но сепак покажуваат барем одредена способност за привлекување публика на повеќе платформи, на повеќе јазици и за повеќе теми.

Расправија во коментари меѓу сметка на операцијата (горната објава) и вистинско лице (долната објава). Горе: Џералд, токму тоа покажува колку се длабоки проблемите во нашиот правосуден систем. Сега мора да го поддржуваме Трамп повеќе од кога било! Одговор: Токму тоа покажува колку се длабоки проблемите во нашето сфаќање на правдата, кога секој политичар што ги прекршува законот или прописите потоа е „прогонуван“ од правосудството од „политички“ причини…

Расправија во коментари меѓу сметка на операцијата (горната објава) и вистинско лице (долната објава). Горе: Џералд, токму тоа покажува колку се длабоки проблемите во нашиот правосуден систем. Сега мора да го поддржуваме Трамп повеќе од кога било! Одговор: Токму тоа покажува колку се длабоки проблемите во нашето сфаќање на правдата, кога секој политичар што ги прекршува законот или прописите потоа е „прогонуван“ од правосудството од „политички“ причини…

Според Скалата за пробив, која го оценува влијанието на операциите за влијание од 1 (најниско) до 6 (највисоко), оваа операција би ја оцениле на горната граница на втората категорија, со ризик да премине во третата: се одликуваше со објавување на повеќе платформи и имаше докази дека вистински лица стапувале во интеракција со нејзината содржина. Но, откако ѝ забранивме на оваа операција да ги користи нашите модели и споделивме информации со други компании од индустријата, сметките на социјалните мрежи што ги идентификувавме замолкнаа со недели. Оттука, оваа операција ги истакнува зголемените способности што употребата на ВИ може да им ги даде на операторите, но и поголемата ранливост на прекини што ја носи нивната зависност од модел на ВИ.