Operasi “A2Z”: Kagiyatan pengaruh multibasa

Studi kasus iki wiwitane diterbitake ing laporan OpenAI Oktober 2024⁠(mbukak ing jendhela anyar).

Kita mblokir klompok akun sing sadurunge durung tau dilapurake, sing nggunakake API kita kanggo nggawe komentar sing banjur dikirim ing X lan Facebook. Akeh komentar iki ngalembana Azerbaijan utawa mbéla cathetan hak asasi manungsane, nanging operasi iki uga ngrembug maneka topik liyane, sing bisa nuduhake yen operasi kasebut ditindakake kanthi komersial. Amarga kerepe ngalembana Azerbaijan lan upayane nggunakake AI ing pirang-pirang tahap operasi, jaringan iki kita jenengi “A2Z”.

Kaya operasi Telegram basa Rusia sing kita bongkar ing Mei lan kita jenengi “Tata Basa Ala”, operasi iki nggunakake model kita kanggo nggawe komentar ing media sosial. Operasi iki nggunakake AI kanggo ngatur persona media sosial palsu, nggawe biodata, nganalisis kiriman lan komentar, ngrancang balesan ing maneka basa, lan mbenerake tulisane. Balesan kasebut banjur dikirim ing X utawa Facebook. Umume konten awujud komentar cekak, nanging uga kalebu gambar kanthi gaya tartamtu. Gambar kasebut kerep nganggo gaya poster taun 1930-an, mula katon dirancang kanggo narik kawigaten lan interaksi, dudu kanggo ngapusi. Nanging, saben kiriman lumrah sing ngemot gambar kasebut mung nampa 0–5 interaksi.

Panggunaan AI iki ndadekake operasi kasebut bisa ngatur akeh akun media sosial bebarengan: kita nemokake watara 150 akun ing X lan Facebook sing cocog karo kagiyatan iki, lan isih ana akun liyane sing dicurigani. AI uga ndadekake operasi iki sok-sok bisa melu utas komentar karo wong nyata ing internet. Kadhang kala, kita ngamati pacelathon cekak antarane wong nyata lan akun palsu, sing balesane akun palsu digawe nganggo model kita.

Operasi kanthi ukuran iki sadurunge ana AI mesthine mbutuhake tim troll gedhe, kalebu kabeh ragad lan risiko kebocoran sing ana gandhengane karo upaya kasebut. Nanging, katergantungan operasi iki marang AI uga ndadekake operasi kasebut gampang banget diganggu dening kita. Amarga nggunakake AI ing akeh sambungan ing rantai serangan, pambubaran sing kita tindakake medhot akeh sambungan ing rantai kasebut kanthi bebarengan. Sawise kagiyatan iki kita ganggu ing wiwitan Juni, akun media sosial sing wis kita tetepake minangka bagean saka operasi iki mandheg ngirim konten sajrone mangsa pemilu ing Uni Éropah, Inggris, lan Prancis. Sawetara akun wiwit ngirim maneh ing pungkasan Agustus. Sawetara kiriman nuduhake tandha yen mesthine digawe dening AI. Konten sing nuduhake tandha kasebut dudu asale saka model kita.

Kampanye iki nggawe komentar cekak sing ngrembug maneka tema politik. Tema sing paling misuwur yaiku ngalembana pamrentah Azerbaijan lan perane ing politik domestik, regional, lan internasional—umpamane, nyengkuyung persatuan antarane negara-negara Asia Tengah utawa dadi tuan omah Konferensi Owah-owahan Iklim PBB. Akun basa Inggris lan Italia ngalembana peran Azerbaijan minangka panyedhiya energi kanggo Éropah—kadhang kala kanggo nanggapi kritik marang cathetan hak asasi manungsa pamrentah Azerbaijan.

Rerangkening kagiyatan liyane ngrembug paedah lan pangrembakan AI, pasar finansial, masalah lingkungan, mata uang kripto, lan teknologi kanthi luwih jembar. Siji klompok fokus marang Uni Emirat Arab, nggambarake negara kasebut minangka panggonan investasi sing stabil, lan kerep mbandhingake karo klaim babagan kahanan politik sing ora stabil ing Amerika Serikat.

Sawetara persona palsu fokus marang politik ing Éropah utawa Amerika Serikat. Ideologi kagiyatan iki beda-beda ing saben wilayah. Umpamane, siji akun X sing fokus marang Amerika Serikat nyamar dadi wong liberal lan ngritik mantan Presiden AS Trump, dene sawetara akun Facebook sing ngirim nganggo basa Prancis ngritik Presiden Macron lan ndhukung partai National Rally (RN). Kadhang kala, kritik iki fokus marang masalah domestik kanggo ndhukung panemu yen negara kasebut ora kena melu masalah internasional, kalebu invasi Rusia marang Ukraina.

Operasi iki aktif banget ing Facebook lan X, kanthi kira-kira atusan akun. Ing X, sawetara akun kasebut nduweni tandha centhang biru saka verifikasi mbayar. Saka watara 150 akun ing loro platform sing kita dadekake sampel, ora ana sing nduweni pandherek kanthi cacah gedhe: sajrone penyelidikan, cacah pandherek paling akeh sing kita temokake ing X yaiku 222, dene umume watara 15 nganti 22, lan kiriman lumrah ing X nampa interaksi kurang saka sepuluh. Semono uga, cacah reaksi paling akeh marang kiriman Facebook sing kita deleng sajrone penyelidikan yaiku 36, dene umume watara 0–5. Nanging, kita nemokake sawetara kedadeyan nalika kiriman operasi iki nampa balesan saka wong nyata. Balesan kasebut ora mesthi positif lan kadhang kala kalebu wong nyata sing mbantah akun palsu, nanging iki paling ora nuduhake kemampuan kanggo sesambungan karo pamirsa ing maneka platform, basa, lan topik.

Kanthi nggunakake Breakout Scale kanggo mbiji dampak IO, sing menehi biji saka 1 (paling cendhek) nganti 6 (paling dhuwur), kita mbiji operasi iki ana ing pucuk Kategori Loro, kanthi risiko munggah menyang Kategori Telu: operasi iki ditandhani kagiyatan ngirim ing maneka platform, kanthi sawetara bukti yen wong nyata sesambungan karo kontene. Nanging, sawise operasi iki kita blokir saka panggunaan model kita lan informasi kita enggo bareng karo mitra industri, akun media sosial sing wis kita temokake meneng nganti pirang-pirang minggu. Mula, operasi iki nuduhake yen panggunaan AI bisa nambah kemampuan operator, nanging katergantungan marang model AI uga ndadekake operasi luwih gampang diganggu.