Aqbeż għall-kontenut prinċipali
OpenAI

1 ta’ Mejju 2024

Sikurezza

L-Operazzjoni “Spamouflage”: attività ta’ influwenza marbuta maċ-Ċina

OpenAI pprojbiet kontijiet assoċjati mal-operazzjoni “Spamouflage”, li oriġinat mir-RPĊ u użat l-IA biex tirriċerka l-attività fuq il-midja soċjali, tiġġenera posts u tirranġa żbalji f’sit web li qabel ma kienx irrappurtat.

Qed jillowdja…

Dan l-istudju tal-każ ġie ppubblikat oriġinarjament fir-rapport ta’ OpenAI ta’ Mejju 2024⁠(jinfetaħ f’tieqa ġdida).

Attur

Ipprojbejna għadd żgħir ta’ kontijiet assoċjati mal-operazzjoni li oriġinat miċ-Ċina u li hi magħrufa bħala “Spamouflage”⁠(jinfetaħ f’tieqa ġdida). Meta⁠(jinfetaħ f’tieqa ġdida) attribwiet din l-operazzjoni lil “individwi assoċjati mal-forzi tal-ordni Ċiniżi”. L-FBI⁠(jinfetaħ f’tieqa ġdida) attribwixxa parti mill-attività ta’ din l-operazzjoni fuq il-midja soċjali lil unità fi ħdan il-Ministeru tas-Sigurtà Pubblika taċ-Ċina.

Imġiba

Dan in-network kellu fil-mira udjenzi madwar id-dinja, speċjalment membri tad-dijaspora Ċiniża u kritiċi tal-gvern Ċiniż. Ġeneralment iġġenera kontenut biċ-Ċiniż u, f’livell inqas, bl-Ingliż, bil-Ġappuniż u bil-Korean.

In-network uża l-mudelli tagħna biex isib u jirranġa żbalji fil-kodiċi, jitlob pariri dwar l-analiżi tal-midja soċjali, jirriċerka l-aħbarijiet u l-ġrajjiet kurrenti, u jiġġenera kontenut li mbagħad ġie ppubblikat fuq forums ta’ blogs u fuq il-midja soċjali.

Pereżempju, fl-2023 in-network uża l-mudelli tagħna biex isib u jirranġa żbalji fil-kodiċi li kien jistabbilixxi t-tema ta’ WordPress għal sit web, revealscum.com. Dan is-sit web ippubblika kritika biċ-Ċiniż u informazzjoni personali dwar membri tad-dijaspora Ċiniża li kkritikaw lill-gvern Ċiniż. Huwa sejjaħ lil dawn il-kritiċi “tradituri”. Il-kontenut innifsu ma ġiex iġġenerat permezz tal-mudelli tagħna.

Ritratt tal-iskrin tas-sit revealscum.com, li juri l-paġna bit-titlu “汉奸” (“traditur”). Għattejna l-uċuħ tal-persuni fil-mira ta’ dan is-sit.

Ritratt tal-iskrin tas-sit revealscum.com, li juri l-paġna bit-titlu “汉奸” (“traditur”). Għattejna l-uċuħ tal-persuni fil-mira ta’ dan is-sit.

Din il-kampanja użat ukoll il-mudelli tagħna biex toħloq kontenut li mbagħad ġie ppubblikat fuq pjattaformi tal-midja soċjali u forums. Pereżempju, lejn tmiem l-2023 l-operazzjoni ġġenerat artikli li akkużaw lill-Ġappun li qed jagħmel ħsara lill-ambjent tal-baħar billi jarmi ilma mormi mill-impjant tal-enerġija ta’ Fukushima. Sibna l-artikli fuq pjattaformi fosthom Medium, Blogspot u ameblo.jp.

F’April 2024, il-kampanja ppubblikat sensiela ta’ kummenti bl-Ingliż li kkritikaw lid-dissident Ċiniża Cai Xia. Sibna kont wieħed fuq X li ppubblika l-kumment inizjali u grupp ta’ kontijiet oħra li ppubblikaw il-bqija tal-kummenti bħala tweġibiet. Ma rajna ebda kont awtentiku jwieġeb għalihom.

Post u tweġibiet li jattakkaw lil Cai Xia, b’kontenut iġġenerat minn Spamouflage permezz tal-mudelli tagħna. Innota li ma kien hemm ebda ripubblikazzjoni jew “like”. L-għaxar kummenti kollha fuq il-post oriġinali ġew minn kontijiet li użaw kontenut iġġenerat minn Spamouflage.

Post u tweġibiet li jattakkaw lil Cai Xia, b’kontenut iġġenerat minn Spamouflage permezz tal-mudelli tagħna. Innota li ma kien hemm ebda ripubblikazzjoni jew “like”. L-għaxar kummenti kollha fuq il-post oriġinali ġew minn kontijiet li użaw kontenut iġġenerat minn Spamouflage.

Il-kampanja użat ukoll il-mudelli tagħna biex tagħmel riċerka minn sorsi miftuħa, bħal dwar kif tapplika għal kontijiet tal-iżviluppaturi fuq il-midja soċjali, jew biex titlob sommarji ta’ posts fuq il-midja soċjali minn kritiċi tal-gvern Ċiniż.

Jidher li l-użu tal-intelliġenza artifiċjali min-network kien jirrappreżenta biss parti żgħira mill-produzzjoni totali tiegħu. Pereżempju, ħafna mill-kontijiet fuq X u Medium li identifikajna bħala kontijiet li ppubblikaw kontenut iġġenerat mill-mudelli tagħna, ippubblikaw volum akbar ta’ kontenut bl-Ingliż u biċ-Ċiniż li deher li nħoloq manwalment (kif juri, pereżempju, l-użu mhux idjomatiku tal-Ingliż). Huma ppubblikaw dan il-kontenut kemm qabel kif ukoll wara li ppubblikaw kummenti ġġenerati bl-IA.

Post tat-22 ta’ April 2024 minn wieħed mill-kontijiet li fid-19 ta’ April ippubblika kontenut iġġenerat bl-IA. Kemm it-test kif ukoll l-immaġni jidhru li nħolqu manwalment.

Post tat-22 ta’ April 2024 minn wieħed mill-kontijiet li fid-19 ta’ April ippubblika kontenut iġġenerat bl-IA. Kemm it-test kif ukoll l-immaġni jidhru li nħolqu manwalment.

Kontenut

Ħafna mill-kontenut iġġenerat minn din il-kampanja kien biċ-Ċiniż. Is-suġġetti kienu jvarjaw minn tifħir tal-kooperazzjoni internazzjonali tal-gvern Ċiniż fl-infurzar tal-liġi sa kritika tal-abbużi kontra l-popli Indiġeni Amerikani fl-Istati Uniti. Xi kontenut ikkritika lill-gvern tal-Istati Uniti u lil Microsoft talli kixfu l-attività tal-grupp ta’ hackers Ċiniż magħruf bħala “Volt Typhoon”.

Kontenut ieħor kien bl-Ingliż. Dan tipikament ikkritika lil kritiċi prominenti tal-gvern Ċiniż, bħall-attur u attivist għat-Tibet Richard Gere u d-dissident Cai Xia. Ftit artikli ġġenerati lejn tmiem l-2023 bl-Ingliż, bil-Ġappuniż, biċ-Ċiniż, bil-Korean u bir-Russu akkużaw lill-Ġappun li qed iniġġes l-ilmijiet tal-Paċifiku bir-rimi mill-impjant nukleari ta’ Fukushima⁠(jinfetaħ f’tieqa ġdida)—tema li ilha tintuża fl-operazzjonijiet ta’ influwenza Ċiniżi.

Grupp żgħir ta’ attività ffoka fuq il-ġenerazzjoni ta’ kummenti pożittivi biċ-Ċiniż dwar żjara tal-Ministru tas-Sigurtà Pubblika taċ-Ċina fl-Użbekistan. Spamouflage mhix magħrufa li indirizzat din it-tema qabel; din hija interessanti fid-dawl tal-attribuzzjoni tal-FBI⁠(jinfetaħ f’tieqa ġdida) ta’ xi attività preċedenti ta’ din l-operazzjoni fuq il-midja soċjali lill-Ministeru tas-Sigurtà Pubblika taċ-Ċina.

Jidher li parti mill-attività tan-network kienet tirrifletti l-interessi personali tal-operaturi. Pereżempju, operatur minnhom uża l-mudelli tagħna biex jirriċerka lentijiet tal-kameras. Ieħor uża l-mudelli tagħna biex ilesti dak li jidher li kien eżerċizzju ta’ evalwazzjoni għall-membri tal-Partit Komunista Ċiniż.

Evalwazzjoni tal-impatt

Spamouflage ilha waħda mill-aktar operazzjonijiet ta’ influwenza riċerkati fid-dinja minn meta ġiet deskritta pubblikament għall-ewwel darba fl-2019⁠(jinfetaħ f’tieqa ġdida). Ftit li xejn mill-attività tagħha qatt ġie rrappurtat li laħaq udjenzi awtentiċi.

Ma jidhirx li l-użu ta’ kontenut iġġenerat bl-IA biddel din id-dinamika. Fost il-blogs, l-artikli u l-kontijiet tal-midja soċjali li identifikajna fl-investigazzjoni tagħna, ebda wieħed ma kiseb għadd kbir ta’ interazzjonijiet jew segwaċi minn persuni reali. F’xi każijiet, l-indikaturi disponibbli juru li l-uniċi persuni li raw il-posts tagħhom kienu membri tat-tim investigattiv tagħna.

Bl-użu tal-Iskala Breakout⁠(jinfetaħ f’tieqa ġdida) biex nevalwaw l-impatt tal-operazzjonijiet ta’ influwenza, li tikklassifikahom fuq skala minn 1 (l-aktar baxxa) sa 6 (l-ogħla), aħna nivvalutaw din bħala operazzjoni tal-Kategorija 2, ikkaratterizzata minn attività ta’ pubblikazzjoni fuq ħafna pjattaformi, iżda mingħajr evidenza li ġiet amplifikata b’mod sinifikanti minn persuni barra n-network.

Indikaturi

Identifikajna d-dominju li ġej bħala wieħed assoċjat ma’ din il-kampanja.

  • revealscum.com