Lumaktaw sa pangunahing content
OpenAI

Oktubre 1, 2024

Kaligtasan

Operasyong “A2Z”: Multilingguwal na aktibidad ng pang-iimpluwensiya

Ipinagbawal ng OpenAI ang mga account ng “A2Z” na gumagamit ng AI upang bumuo ng multilingguwal na content na nang-iimpluwensiya tungkol sa mga halalan, Ukraine, at politika sa iba't ibang platform.

Naglo-load…

Orihinal na inilathala ang case study na ito sa ulat ng OpenAI noong Oktubre 2024⁠(magbubukas sa bagong window).

Aktor

Ipinagbawal namin ang isang dati nang hindi naiulat na grupo ng mga account na gumagamit ng aming API upang gumawa ng mga komentong kalaunan ay ipinost sa X at Facebook. Marami sa mga komentong ito ang pumuri sa Azerbaijan o ipinagtanggol ang rekord nito sa mga karapatang pantao, ngunit tumalakay rin ang operasyon sa marami pang paksa, na posibleng nagpapahiwatig na pinapatakbo ito bilang negosyo. Dahil sa dalas ng pagpuri nito sa Azerbaijan at sa pagtatangka nitong gumamit ng AI sa maraming yugto ng operasyon, tinawag naming “A2Z” ang network na ito.

Gawi

Tulad ng operasyon sa Telegram na gumagamit ng Russian, na ibinunyag namin noong Mayo at tinawag na “Bad Grammar,” ginamit ng operasyong ito ang aming mga modelo upang makapagkomento sa social media. Ginamit nito ang AI upang pamahalaan ang mga pekeng persona sa social media, gumawa ng mga bio, suriin ang mga post at komento, bumalangkas ng mga tugon sa maraming wika, at iwasto ang mga ito. Pagkatapos, ipinost ang mga tugon sa X o Facebook. Karamihan ng content ay maiikling komento, ngunit may kasama rin itong mga larawang may natatanging estilo. Madalas na ginaya ng mga ito ang estilo ng mga poster noong dekada 1930: kaya tila idinisenyo ang mga ito upang makaakit ng pansin at pakikipag-ugnayan, sa halip na manlinlang. Gayunman, karaniwang 0–5 pakikipag-ugnayan lamang ang natanggap ng bawat post na may ganitong mga larawan.

Post sa X ng isa sa mga account ng operasyon na gumagamit ng Turkish, na may teksto at larawan. Parehong ginawa ang mga ito gamit ang aming mga modelo. Walang natanggap na tugon, share, o like ang post na ito.

Post sa X ng isa sa mga account ng operasyon na gumagamit ng Turkish, na may teksto at larawan. Parehong ginawa ang mga ito gamit ang aming mga modelo. Walang natanggap na tugon, share, o like ang post na ito.

Post sa X ng isa sa mga account ng operasyon na gumagamit ng English, na may teksto at larawan. Parehong ginawa ang mga ito gamit ang aming mga modelo. Walang natanggap na tugon, share, o like ang post na ito.

Post sa X ng isa sa mga account ng operasyon na gumagamit ng English, na may teksto at larawan. Parehong ginawa ang mga ito gamit ang aming mga modelo. Walang natanggap na tugon, share, o like ang post na ito.

Dahil sa paggamit ng AI, nakapamahala ang operasyon ng maraming social media account nang sabay-sabay: natukoy namin ang humigit-kumulang 150 account sa X at Facebook na tumutugma sa aktibidad na ito, at may iba pang pinaghihinalaang account. Dahil din dito, paminsan-minsang nakikilahok ang operasyon sa mga thread ng komento kasama ang mga tunay na tao sa internet. Paminsan-minsan, nakakita kami ng maiikling pag-uusap sa pagitan ng mga tunay na tao at pekeng account, kung saan ginawa gamit ang aming mga modelo ang mga tugon ng mga peke.

Pag-uusap ng dalawang tunay na tao at isang account na pinatatakbo ng operasyon gamit ang content na ginawa ng aming mga modelo. Isinalin mula sa Turkish: [Tao 1]: Alam mo ba? Hindi lahat ng Ataturkist ay Zionist, pero lahat ng Zionist sa Turkey, mga tagasuporta ng Israel, at mga nananahimik tungkol sa genocide ay Ataturkist. May halimbawa bang hindi naaayon sa paglalahat na ito? [Account ng operasyon]: Itinataguyod ng Kemalism ang kapayapaan at modernisasyon. Mapanganib at mapanlinlang ang ganitong mga paglalahat. [Tao 2]: Anong kapayapaan? Kung nabuhay sana ang aking Atatürk, nabawi na niya ang Mosul, Kirkuk, at Western Thrace... Nagbabasa ka tungkol kay Atatürk. Nakikinig ka ba sa mga kuwento ni Yılmaz Özdil tungkol sa pagkain ng şeblebi? [Account ng operasyon]: Ipinapakita sa atin ng kasaysayan na gusto ni Ataturk ang kapayapaan at modernisasyon. Huwag tayong magpadala sa maling impormasyon.

Pag-uusap ng dalawang tunay na tao at isang account na pinatatakbo ng operasyon gamit ang content na ginawa ng aming mga modelo. Isinalin mula sa Turkish: [Tao 1]: Alam mo ba? Hindi lahat ng Ataturkist ay Zionist, pero lahat ng Zionist sa Turkey, mga tagasuporta ng Israel, at mga nananahimik tungkol sa genocide ay Ataturkist. May halimbawa bang hindi naaayon sa paglalahat na ito? [Account ng operasyon]: Itinataguyod ng Kemalism ang kapayapaan at modernisasyon. Mapanganib at mapanlinlang ang ganitong mga paglalahat. [Tao 2]: Anong kapayapaan? Kung nabuhay sana ang aking Atatürk, nabawi na niya ang Mosul, Kirkuk, at Western Thrace... Nagbabasa ka tungkol kay Atatürk. Nakikinig ka ba sa mga kuwento ni Yılmaz Özdil tungkol sa pagkain ng şeblebi? [Account ng operasyon]: Ipinapakita sa atin ng kasaysayan na gusto ni Ataturk ang kapayapaan at modernisasyon. Huwag tayong magpadala sa maling impormasyon.

Bago nagkaroon ng AI, malamang na nangailangan ang ganitong kalaking operasyon ng malaking pangkat ng mga troll, pati ng lahat ng gastos at panganib ng pagtagas na kaakibat ng ganitong gawain. Gayunman, dahil umaasa ang operasyong ito sa AI, naging lubhang bulnerable rin ito sa aming panggagambala. Dahil ginamit nito ang AI sa napakaraming bahagi ng kill chain, sabay-sabay na naputol ng aming pagpapatigil ang maraming ugnay sa chain. Matapos naming gambalain ang aktibidad na ito noong unang bahagi ng Hunyo, tumigil sa pag-post ang mga social media account na natukoy naming bahagi ng operasyon sa buong panahon ng mga halalan sa EU, UK, at France. Muling nag-post ang ilan noong huling bahagi ng Agosto. May ilang post na nagpakita ng mga palatandaang malamang na ginawa ang mga ito ng AI. Hindi nagmula sa aming mga modelo ang content na may ganitong mga palatandaan.

Mga nabuong output

Gumawa ang kampanyang ito ng maiikling komento tungkol sa maraming iba't ibang temang politikal. Pinakamatingkad ang pagpuri sa pamahalaan ng Azerbaijan at sa papel nito sa lokal, panrehiyon, at pandaigdigang politika—halimbawa, sa pagtataguyod ng pagkakaisa ng mga bansa sa Central Asia o sa pagho-host ng UN Climate Change Conference. Pinuri ng mga account sa English at Italian ang papel ng Azerbaijan bilang tagapagtustos ng enerhiya sa Europe—kung minsan bilang tugon sa pagpuna sa rekord ng pamahalaang Azeri sa mga karapatang pantao.

Thread ng mga komento sa X. [User 1, na may salitang “free” sa username]: Pero ano ang lubhang nakakagulat sa pagbuwag sa isang imperyalistang alyansang militar kung saan tagasunod din ang Italy at tinatanggap ang mga diktador na gaya ni Erdogan? [User 2]: Mahal kong malaya sa pangalan pero sunud-sunuran sa katotohanan, ang pag-alis sa NATO ay nangangahulugang agad na mapasailalim sa Russia. At sa tingin ko, hindi rin maganda ang kalagayan sa Belarus, Georgia, Azerbaijan, Kazakhstan... ah, iyan ba talaga ang kapalarang gusto mo? [Account ng operasyon]: Mapasailalim sa Russia? Katawa-tawa. Pinoprotektahan tayo ng NATO; makipagtulungan tayo sa Azerbaijan para sa seguridad sa enerhiya. Malaya sa pangalan, litong-lito sa katotohanan.

Thread ng mga komento sa X. [User 1, na may salitang “free” sa username]: Pero ano ang lubhang nakakagulat sa pagbuwag sa isang imperyalistang alyansang militar kung saan tagasunod din ang Italy at tinatanggap ang mga diktador na gaya ni Erdogan? [User 2]: Mahal kong malaya sa pangalan pero sunud-sunuran sa katotohanan, ang pag-alis sa NATO ay nangangahulugang agad na mapasailalim sa Russia. At sa tingin ko, hindi rin maganda ang kalagayan sa Belarus, Georgia, Azerbaijan, Kazakhstan... ah, iyan ba talaga ang kapalarang gusto mo? [Account ng operasyon]: Mapasailalim sa Russia? Katawa-tawa. Pinoprotektahan tayo ng NATO; makipagtulungan tayo sa Azerbaijan para sa seguridad sa enerhiya. Malaya sa pangalan, litong-lito sa katotohanan.

Nakatuon ang iba pang bahagi ng aktibidad sa mga pakinabang at pag-unlad ng AI, mga pamilihang pinansyal, usaping pangkapaligiran, cryptocurrency, at teknolohiya sa pangkalahatan. Nakatuon ang isang grupo sa United Arab Emirates, na inilalarawan bilang matatag na destinasyon ng pamumuhunan at madalas na inihahambing sa mga paratang ng kawalang-katatagang politikal sa United States.

Tugon sa X sa isang ulat ng Bloomberg, mula sa account na nag-post ng content ng operasyong ito.

Tugon sa X sa isang ulat ng Bloomberg, mula sa account na nag-post ng content ng operasyong ito.

Nakatuon sa politika sa Europe o United States ang ilang pekeng persona. Nagkakaiba-iba ang ideolohiya ng aktibidad na ito sa bawat rehiyon. Halimbawa, nagpanggap na liberal at pinuna ang dating Pangulo ng US na si Trump ng isang account sa X na nakatuon sa United States, samantalang pinuna ni ilang Facebook account na nag-post sa French si Pangulong Macron at sinuportahan ang partidong National Rally (RN). Kung minsan, nakatuon ang pagpuna sa mga usaping panloob upang igiit na hindi dapat makialam ang naturang bansa sa mga usaping pandaigdig, kabilang ang pagsalakay ng Russia sa Ukraine.

Dalawang komento mula sa magkahiwalay na account sa Facebook na paulit-ulit na nag-post ng content ng operasyong ito. Ang tekstong German ay komento sa isang panayam sa politikong AfD na si Alexander Jungbluth. Ganito ang nakasulat: “Tinatalakay ni Jungbluth ang mga tunay na problema: dapat alalahanin ng EU ang mga panloob na usapin! Tuwang-tuwa ako sa mga sagot niya, lalo na tungkol sa sigalot sa Ukraine.”

Dalawang komento mula sa magkahiwalay na account sa Facebook na paulit-ulit na nag-post ng content ng operasyong ito. Ang tekstong German ay komento sa isang panayam sa politikong AfD na si Alexander Jungbluth. Ganito ang nakasulat: “Tinatalakay ni Jungbluth ang mga tunay na problema: dapat alalahanin ng EU ang mga panloob na usapin! Tuwang-tuwa ako sa mga sagot niya, lalo na tungkol sa sigalot sa Ukraine.”

Pagtatasa ng epekto

Napakaaktibo ng operasyong ito sa Facebook at X, at malamang na mayroon itong daan-daang account. Sa X, may asul na checkmark ng bayad na beripikasyon ang ilan sa mga account nito. Sa humigit-kumulang 150 account na sinuri namin sa dalawang platform, wala kaming natukoy na may malaking bilang ng follower: ang pinakamalaking bilang na nakita namin sa X sa aming imbestigasyon ay 222 follower; mas karaniwan ang nasa kalagitnaan ng sampu hanggang mababang dalawampu, at karaniwang iisang digit lamang ang pakikipag-ugnayan sa mga post sa X. Gayundin, 36 ang pinakamataas na bilang ng reaksiyon sa isang post sa Facebook na nakita namin sa aming imbestigasyon, at mas karaniwan ang 0–5. Gayunman, may natukoy kaming ilang pagkakataong nakatanggap ng mga tugon mula sa mga tunay na tao ang mga post ng operasyon. Hindi palaging positibo ang mga ito at kung minsan ay may mga tunay na taong sumasalungat sa mga pekeng account, ngunit ipinapakita ng mga ito na may kakayahan ang operasyon na makipag-ugnayan sa mga audience sa maraming platform, wika, at paksa.

Pagtatalo sa mga komento sa pagitan ng account ng operasyon (post sa itaas) at isang tunay na tao (post sa ibaba). Sa itaas: Gerald, iyan mismo ang nagpapakita kung gaano kalalim ang mga problema sa ating sistema ng hustisya. Mas kailangan nating suportahan si Trump ngayon kaysa dati! Tugon: Iyan mismo ang nagpapakita kung gaano kalalim ang mga problema sa ating pagkaunawa sa hustisya, kapag ang bawat politikong lumalabag sa batas o mga regulasyon ay “inuusig” ng hustisya dahil sa mga dahilang “politikal”…

Pagtatalo sa mga komento sa pagitan ng account ng operasyon (post sa itaas) at isang tunay na tao (post sa ibaba). Sa itaas: Gerald, iyan mismo ang nagpapakita kung gaano kalalim ang mga problema sa ating sistema ng hustisya. Mas kailangan nating suportahan si Trump ngayon kaysa dati! Tugon: Iyan mismo ang nagpapakita kung gaano kalalim ang mga problema sa ating pagkaunawa sa hustisya, kapag ang bawat politikong lumalabag sa batas o mga regulasyon ay “inuusig” ng hustisya dahil sa mga dahilang “politikal”…

Gamit ang Breakout Scale upang tasahin ang epekto ng IO, na nagbibigay ng rating mula 1 (pinakamababa) hanggang 6 (pinakamataas), itinuturing naming nasa pinakamataas na bahagi ng Kategorya Dalawa ang operasyong ito, na may panganib na umabot sa Kategorya Tatlo: kapansin-pansin ang pag-post nito sa maraming platform, at may ilang ebidensiyang nakikipag-ugnayan ang mga tunay na tao sa content nito. Gayunman, matapos naming pagbawalan ang operasyong ito sa paggamit ng aming mga modelo at ibahagi ang impormasyon sa mga kasamahan sa industriya, tumahimik nang maraming linggo ang mga social media account na natukoy namin. Sa gayon, itinatampok ng operasyong ito ang mas mataas na kakayahang maibibigay ng AI sa mga operator, ngunit pati ang mas malaking bulnerabilidad sa panggagambala na dulot ng pag-asa nila sa isang modelo ng AI.