Operace „A2Z“: Vícejazyčné ovlivňování veřejného mínění

Tato případová studie byla původně zveřejněna ve zprávě OpenAI z října 2024⁠(otevře se v novém okně).

Zablokovali jsme dosud nezdokumentovanou skupinu účtů, které prostřednictvím našeho API vytvářely komentáře následně zveřejňované na sítích X a Facebook. Mnohé z těchto komentářů chválily Ázerbájdžán nebo hájily jeho přístup k lidským právům, operace se však věnovala i celé řadě dalších témat, což může naznačovat, že byla provozována komerčně. Vzhledem k tomu, jak často chválila Ázerbájdžán a jak se snažila využívat AI v několika fázích svého působení, jsme tuto síť nazvali „A2Z“.

Stejně jako ruskojazyčná operace na Telegramu, kterou jsme odhalili v květnu a nazvali „Bad Grammar“, využívala tato operace naše modely k psaní komentářů na sociálních sítích. Pomocí AI spravovala falešné identity na sociálních sítích, vytvářela jejich profily, analyzovala příspěvky a komentáře, připravovala odpovědi v mnoha jazycích a prováděla jejich jazykovou korekturu. Odpovědi pak zveřejňovala na sítích X nebo Facebook. Většinu obsahu tvořily krátké komentáře, objevovaly se však i stylizované obrázky. Ty často napodobovaly plakáty ze 30. let, takže zřejmě měly spíše upoutat pozornost a vyvolat interakce než někoho oklamat. Běžné příspěvky s těmito stylizovanými obrázky však získaly jen 0–5 interakcí.

Díky využití AI mohla operace spravovat mnoho účtů na sociálních sítích současně. Na sítích X a Facebook jsme odhalili přibližně 150 účtů odpovídajících této aktivitě a u dalších účtů máme podezření. Operace se díky tomu také mohla příležitostně zapojovat do diskusních vláken se skutečnými lidmi na internetu. Občas jsme zaznamenali krátké konverzace mezi skutečnými lidmi a falešnými účty, jejichž odpovědi byly generovány pomocí našich modelů.

Operace takového rozsahu by před nástupem AI pravděpodobně vyžadovala velký tým trollů se všemi náklady a riziky úniku informací, které takové úsilí provázejí. Závislost této operace na AI ji však zároveň činila mimořádně zranitelnou vůči našemu zásahu. Protože využívala AI v mnoha článcích řetězce útoku, narušil náš zásah několik jeho článků najednou. Poté, co jsme tuto aktivitu začátkem června narušili, přestaly námi odhalené účty zapojené do operace přispívat po celé období voleb v EU, Spojeném království a Francii. Některé začaly znovu přispívat koncem srpna. Malý počet jejich příspěvků nesl známky pravděpodobného vygenerování pomocí AI. Obsah nesoucí tyto známky nepocházel z našich modelů.

Tato kampaň vytvářela krátké komentáře věnované široké škále politických témat. Nejvýraznějším tématem byla chvála ázerbájdžánské vlády a její role v domácí, regionální a mezinárodní politice – například podpory jednoty zemí Střední Asie nebo pořádání konference OSN o změně klimatu. Anglickojazyčné a italskojazyčné účty vyzdvihovaly roli Ázerbájdžánu jako dodavatele energií do Evropy, někdy v reakci na kritiku ázerbájdžánské vlády kvůli stavu lidských práv.

Další aktivity se zaměřovaly na přínosy a vývoj AI, finanční trhy, ekologická témata, kryptoměny a obecněji na technologie. Jedna skupina se zaměřovala na Spojené arabské emiráty, vykreslovala je jako stabilní místo pro investice a často je stavěla do protikladu k tvrzením o politické nestabilitě ve Spojených státech.

Některé falešné identity se zaměřovaly na politiku v Evropě nebo ve Spojených státech. Ideologické zaměření této aktivity se v jednotlivých regionech lišilo. Jeden účet na síti X zaměřený na Spojené státy například vystupoval jako liberál a kritizoval bývalého amerického prezidenta Trumpa, zatímco některé francouzsky píšící účty na Facebooku kritizovaly prezidenta Macrona a podporovaly stranu Národní sdružení (RN). Tato kritika se někdy soustředila na domácí problémy a tvrdila, že by se daná země neměla zapojovat do mezinárodních záležitostí, včetně ruské invaze na Ukrajinu.

Tato operace byla na sítích Facebook a X velmi aktivní a pravděpodobně využívala stovky účtů. Některé její účty na síti X měly modrou fajfku placeného ověření. Mezi přibližně 150 účty, které jsme na obou platformách zkoumali, jsme nenašli žádný s významným počtem sledujících. Nejvyšší počet, který jsme během vyšetřování na síti X zaznamenali, byl 222 sledujících; běžnější byly hodnoty mezi 15 a 25 a typické příspěvky na síti X získávaly jednotky interakcí. Podobně nejvyšší počet reakcí na příspěvek na Facebooku, který jsme během vyšetřování zaznamenali, činil 36, zatímco běžnější hodnoty se pohybovaly mezi 0 a 5. Zaznamenali jsme však několik případů, kdy příspěvky operace přilákaly odpovědi skutečných lidí. Tyto reakce nebyly vždy kladné a někdy falešným účtům skuteční lidé odporovali. Přesto dokládají alespoň určitou schopnost oslovit publikum na více platformách, ve více jazycích a prostřednictvím více témat.

Při hodnocení dopadu vlivových operací pomocí stupnice Breakout Scale, která je řadí od 1 (nejnižší dopad) do 6 (nejvyšší dopad), bychom tuto operaci zařadili na horní hranici druhé kategorie s rizikem přechodu do kategorie třetí. Vyznačovala se aktivním zveřejňováním na více platformách a existují určité důkazy, že s jejím obsahem interagovali skuteční lidé. Poté, co jsme operaci zablokovali přístup k našim modelům a sdíleli informace s dalšími společnostmi v oboru, se však námi odhalené účty na sociálních sítích na mnoho týdnů odmlčely. Tato operace tak ukazuje, že AI může aktérům poskytnout větší schopnosti, ale závislost na modelu AI je zároveň činí zranitelnějšími vůči zásahu.