Operace „Posměšná recenze“: vlivová činnost pocházející z Číny
OpenAI zablokovala účty, které pomocí AI vytvářely příspěvky kritizující tchajwanskou influencerku a související americká témata.
Tato případová studie byla původně zveřejněna ve zprávě OpenAI z června 2025(otevře se v novém okně).
Aktér
Zablokovali jsme účty ChatGPT, u nichž jsme zjistili, že naše modely používají k hromadnému vytváření příspěvků na sociální sítě odpovídajících činnosti skryté vlivové operace. Během vyšetřování jsme rovněž zjistili, že tyto účty připravovaly interní hodnocení výkonnosti.
Tyto účty zadávaly prompty především v čínštině a zaměřovaly se na politická a geopolitická témata významná pro Čínu. Jeden uživatel v promptu uvedl, že pracuje pro čínské oddělení propagandy. Nemáme však nezávislé důkazy, kterými bychom toto tvrzení mohli ověřit.
Chování
Účty, které jsme zablokovali, se věnovaly dvěma hlavním oblastem činnosti. Rozsáhlejší z nich spočívala ve vytváření krátkých komentářů na sociální sítě v angličtině a čínštině, v několika případech také v urdštině. Mnohé z těchto komentářů jsme našli na TikToku a síti X, další obsah se objevil také na Redditu, Facebooku a různých webových stránkách.
Obvyklý postup spočíval ve zveřejnění úvodního komentáře z „hlavního“ účtu, který byl často zjevně vytvořen jen pro tento příspěvek, a následné série odpovědí z dalších účtů. Toto chování mělo zřejmě vyvolat falešný dojem přirozeného zájmu uživatelů.
Příspěvek na TikToku s názvem „Zrušení #USAID je teprve #ZAČÁTEK!“, který souvisel s touto činností. Název kanálu, text titulků ve videu i všechny komentáře viditelné na tomto snímku obrazovky vytvořila tato síť pomocí ChatGPT.
Účty komentující na TikToku používaly zobrazovaná jména v různých jazycích a písmech, často bez souvislosti s jazykem zveřejňovaného obsahu. Například účet s korejským jménem zveřejnil komentář v urdštině, zatímco účty s thajskými a hebrejskými jmény zveřejňovaly anglické komentáře vytvořené touto sítí. Komentující účty na síti X obvykle používaly kreslené profilové obrázky a v některých případech měly názvy související s kryptoměnami.
Post na X a odpovědi na něj, které tato síť vytvořila pomocí ChatGPT.
Na Facebooku byla síť méně aktivní. Její činnost spočívala především ve vytváření názvů a profilových obrázků pro dvě stránky, které se vydávaly za zpravodajská média. Ani jedna stránka neměla žádné sledující ani označení To se mi líbí a každá obsahovala jen několik příspěvků.
Příspěvek na Facebooku sdílející video, které jsme označili za pravděpodobně spojené s touto operací.
Síť příležitostně vytvářela také delší příspěvky v čínštině nebo angličtině. Jeden takový příspěvek jsme našli na Redditu a další dva na různých internetových fórech. Druhá oblast činnosti spočívala ve využívání ChatGPT k vytváření dokumentů, které zřejmě sloužily jako interní zásady nebo hodnocení výkonnosti.
Výstupy
Obsah, který tento aktér hrozby vytvářel pro sociální sítě, se týkal různých témat úzce spojených s geostrategickými zájmy Číny.
Část obsahu se zaměřovala na Tchaj-wan, konkrétně na „Obrácenou frontu“(otevře se v novém okně) („逆統戰“), videohru a deskovou hru s tchajwanskou tematikou, která zobrazuje odpor proti Komunistické straně Číny. Síť vytvořila desítky kritických komentářů o této hře v čínštině a poté i obsáhlý článek, který tvrdil, že hra vyvolala rozsáhlý odpor. Šlo o nejvýraznější činnost této operace, a proto jsme ji nazvali „Posměšná recenze“.
Další obsah v angličtině a urdštině útočil na pákistánskou aktivistku Mahrang Balúčovou, která veřejně kritizovala čínské investice v Balúčistánu(otevře se v novém okně). Účet na TikToku a facebooková stránka spojené s touto sítí zveřejnily video, které Balúčovou nepravdivě obviňovalo z účinkování v pornografickém filmu. Operace poté vytvořila stovky krátkých komentářů v obou jazycích, aby vyvolala dojem rozsáhlého zájmu.
Šokované komentáře u videa Mahrang Balúčové na TikToku.
Poslední skupina obsahu se zaměřovala na zrušení americké Agentury pro mezinárodní rozvoj (USAID) a zahrnovala krátké komentáře, které tento krok buď chválily, nebo kritizovaly. Tyto komentáře byly zveřejňovány na TikToku a síti X.
Posty na X propojující otázku pomoci s otázkou cel, které tato síť vytvořila pomocí ChatGPT.
Aktéři hrozby nakonec naše modely využili k vytváření zjevně interních dokumentů, včetně podrobné eseje napsané ve stylu oficiálního dokumentu veřejné bezpečnosti a hodnocení výkonnosti popisujícího kroky podniknuté k vytvoření a řízení operace.
Dopad
Když jsme této operaci znemožnili používat naše modely, byla zřejmě teprve v počátcích. Ani jedna facebooková stránka neměla žádné sledující. Jeden příspěvek na Redditu získal 44 kladných hlasů, zatímco další dva byly v komunitách, kam byly vloženy, zablokovány nebo odstraněny.
Snímek příspěvku z účtu na Redditu, který jsme označili za součást této sítě; je na něm vidět, že jej filtry platformy odstranily.
Míra interakcí na síti X a TikToku se lišila: dvě videa na TikToku získala dohromady 25 000 lajků, zatímco posty hlavního účtu operace na síti X měly obvykle kolem 10 000 zobrazení. Mnoho komentářů u těchto příspěvků však tato síť vytvořila pomocí ChatGPT, což svědčí o tom, že přinejmenším část interakcí nebyla autentická. Ke všem údajům o interakcích je proto třeba přistupovat obezřetně.
Pokud by údaje o interakcích na síti X a TikToku byly autentické, na stupnici dopadu vlivových operací Breakout Scale(otevře se v novém okně) bychom tuto operaci zařadili na spodní hranici kategorie 3. Toto hodnocení bychom snížili, kdyby se objevily další důkazy podporující hypotézu, že většina lajků a zobrazení byla stejně jako většina komentářů neautentická.