Operácia „A2Z“: Viacjazyčné ovplyvňovanie

Táto prípadová štúdia bola pôvodne zverejnená v správe OpenAI z októbra 2024⁠(otvorí sa v novom okne).

Zablokovali sme doteraz nezdokumentovanú skupinu účtov, ktoré pomocou nášho API vytvárali komentáre a následne ich zverejňovali na sieťach X a Facebook. Mnohé z týchto komentárov chválili Azerbajdžan alebo obhajovali jeho bilanciu v oblasti ľudských práv, venovali sa však aj širokej škále ďalších tém, čo môže naznačovať komerčne riadenú operáciu. Vzhľadom na to, ako často chválila Azerbajdžan a ako sa pokúšala využívať AI vo viacerých fázach operácie, sme túto sieť nazvali „A2Z“.

Podobne ako ruskojazyčná operácia na Telegrame, ktorú sme odhalili v máji a nazvali „Bad Grammar“, aj táto operácia využívala naše modely na komentovanie na sociálnych sieťach. Pomocou AI spravovala falošné identity na sociálnych sieťach, vytvárala ich profily, analyzovala príspevky a komentáre, pripravovala odpovede v mnohých jazykoch a robila ich jazykovú korektúru. Odpovede potom zverejňovala na sieťach X alebo Facebook. Väčšinu obsahu tvorili krátke komentáre, no zahŕňal aj štylizované obrázky. Tie často využívali štýl plagátov z 30. rokov 20. storočia, takže sa zdá, že ich cieľom bolo skôr upútať pozornosť a podnietiť interakcie než zavádzať. Bežné príspevky s týmito štylizovanými obrázkami však získali len 0 až 5 interakcií.

Využívanie AI umožnilo operácii spravovať množstvo účtov na sociálnych sieťach súčasne. Na sieťach X a Facebook sme identifikovali približne 150 účtov zodpovedajúcich tejto aktivite a ďalšie účty boli podozrivé. Operácii to zároveň umožnilo príležitostne sa zapájať do diskusií so skutočnými ľuďmi na internete. Občas sme zaznamenali krátke rozhovory medzi skutočnými ľuďmi a falošnými účtami, pričom odpovede falošných účtov boli vytvorené pomocou našich modelov.

Pred nástupom AI by si operácia takéhoto rozsahu pravdepodobne vyžadovala veľký tím trollov so všetkými nákladmi a rizikami úniku informácií, ktoré sú s takýmto úsilím spojené. Závislosť tejto operácie od AI ju však zároveň robila nezvyčajne zraniteľnou voči nášmu zásahu. Keďže AI využívala v mnohých článkoch útočného reťazca, naším zásahom sme narušili viacero článkov naraz. Po tom, ako sme začiatkom júna túto aktivitu narušili, prestali nami identifikované účty operácie na sociálnych sieťach počas volebných období v EÚ, Spojenom kráľovstve a Francúzsku zverejňovať obsah. Niektoré začali opäť zverejňovať obsah koncom augusta. Malý počet ich príspevkov niesol znaky toho, že ich pravdepodobne vytvorila AI. Obsah s takýmito znakmi nepochádzal z našich modelov.

Táto kampaň vytvárala krátke komentáre zamerané na širokú škálu politických tém. Najvýraznejšou témou bola chvála azerbajdžanskej vlády a jej úlohy v domácej, regionálnej a medzinárodnej politike, napríklad pri podpore jednoty medzi krajinami Strednej Ázie alebo organizovaní konferencie OSN o zmene klímy. Účty v angličtine a taliančine vyzdvihovali úlohu Azerbajdžanu ako dodávateľa energií do Európy, niekedy v reakcii na kritiku výsledkov azerbajdžanskej vlády v oblasti ľudských práv.

Ďalšie vetvy aktivít sa zameriavali na prínosy a vývoj AI, finančné trhy, ekologické otázky, kryptomeny a technológie vo všeobecnosti. Jedna skupina sa zameriavala na Spojené arabské emiráty, ktoré vykresľovala ako stabilné miesto na investovanie a často ich stavala do protikladu s tvrdeniami o politickej nestabilite v Spojených štátoch.

Niektoré falošné identity sa zameriavali na politiku v Európe alebo Spojených štátoch. Ideologické zameranie tejto aktivity sa v jednotlivých regiónoch líšilo. Napríklad jeden účet na sieti X zameraný na Spojené štáty sa vydával za liberála a kritizoval bývalého prezidenta USA Trumpa, zatiaľ čo niektoré účty na Facebooku, ktoré zverejňovali obsah vo francúzštine, kritizovali prezidenta Macrona a podporovali stranu Národné združenie (RN). Táto kritika sa niekedy zameriavala na domáce problémy, aby podporila tvrdenie, že daná krajina by nemala zasahovať do medzinárodných otázok vrátane ruskej invázie na Ukrajinu.

Táto operácia bola veľmi aktívna na sieťach Facebook a X a pravdepodobne využívala stovky účtov. Niektoré z jej účtov na sieti X mali modrú značku plateného overenia. Spomedzi približne 150 účtov, ktoré sme skúmali na oboch platformách, sme nenašli žiadny s výrazným počtom sledovateľov. Najvyšší počet, ktorý sme počas vyšetrovania zaznamenali na sieti X, bol 222 sledovateľov. Bežnejšie hodnoty sa pohybovali približne od 15 do 22 a typické príspevky na sieti X získavali jednociferný počet interakcií. Podobne najvyšší počet reakcií na príspevok na Facebooku, ktorý sme počas vyšetrovania zaznamenali, bol 36, pričom bežnejšie hodnoty sa pohybovali od 0 do 5. Zaznamenali sme však aj prípady, keď príspevky operácie vyvolali odpovede skutočných ľudí. Tieto reakcie neboli vždy pozitívne a niekedy zahŕňali skutočných ľudí, ktorí falošným účtom odporovali. Napriek tomu dokazujú aspoň určitú schopnosť oslovovať publikum na viacerých platformách, vo viacerých jazykoch a prostredníctvom rôznych tém.

Pri hodnotení vplyvu vplyvových operácií pomocou stupnice Breakout Scale, ktorá ich klasifikuje od 1 (najnižší vplyv) do 6 (najvyšší vplyv), by sme túto operáciu zaradili na hornú hranicu druhej kategórie s rizikom prechodu do tretej kategórie. Vyznačovala sa zverejňovaním obsahu na viacerých platformách a existovali aj určité dôkazy, že s jej obsahom interagovali skutoční ľudia. Keď sme však tejto operácii zakázali používať naše modely a poskytli informácie partnerom v odvetví, nami identifikované účty na sociálnych sieťach sa na mnoho týždňov odmlčali. Táto operácia tak poukazuje na vyššie schopnosti, ktoré môže AI poskytnúť jej organizátorom, ale aj na väčšiu zraniteľnosť voči zásahu, ktorú prináša ich závislosť od modelu AI.