Přeskoč na hlavní obsah
OpenAI

1. června 2025

Bezpečnost

Operace „Mlhavé zaměření“: Sociální inženýrství a vlivové aktivity

OpenAI zablokovala účty využívající AI k sociálnímu inženýrství, výzkumu v oblasti sledování a vlivovým aktivitám zaměřeným na kritiky.

Načítání…

Tato případová studie byla původně zveřejněna ve zprávě OpenAI z června 2025⁠(otevře se v novém okně).

Aktér

Zablokovali jsme malou síť účtů ChatGPT, které využívaly naše modely k vytváření příspěvků na sociální sítě, analýze datových sad a překladu e-mailů a zpráv z čínštiny do angličtiny, jež připomínaly pokusy o sociální inženýrství. Tyto účty zadávaly našim modelům prompty v čínštině a byly aktivní převážně během pracovní doby v pevninské Číně.

Generovaly zprávy, které se vydávaly za komunikaci zaměstnanců tří subjektů zaměřených na geopolitiku: „Zprávy pod lupou“, „Média Jasná vlna Evropa“ a „Vizionářská poradenská skupina“ (VAG). Účty ChatGPT navíc generovaly texty odpovídající příspěvkům a profilovým medailonkům účtů na síti X spojených s těmito třemi subjekty. V jiné komunikaci škodliví aktéři tyto subjekty označovali za zástěrky pro sběr a analýzu zpravodajských informací. Na základě těchto názvů jsme operaci pojmenovali „Ml havé zaměření“.

Způsob činnosti

Operace využívala ChatGPT k podpoře čtyř hlavních oblastí činnosti. Zaprvé účty naše modely využívaly především k vytváření příspěvků na sociální sítě a medailonků pro online identity, které zřejmě patřily ke skryté vlivové operaci. Příspěvky šířily účty na síti X, které se vydávaly za novináře a geopolitické analytiky.

Tweet, který tento škodlivý aktér vytvořil pomocí ChatGPT a zveřejnil z účtu na síti X, který pravidelně publikoval jeho obsah.

Tweet, který tento škodlivý aktér vytvořil pomocí ChatGPT a zveřejnil z účtu na síti X, který pravidelně publikoval jeho obsah.

Zadruhé účty upravovaly a překládaly korespondenci adresovanou americkému senátorovi, která se týkala nominace představitele americké administrativy. Nedokážeme nezávisle potvrdit, zda byla některá z těchto zpráv skutečně odeslána.

Zatřetí účty položily řadu základních dotazů na nástroje k útokům na počítačové sítě a zneužívání jejich zranitelností. Naše modely na ně odpověděly pouze obecným vysvětlením jejich využití a možností. Tyto otázky nedosahovaly odborné úrovně kybernetických aktérů, které popisujeme dále v této zprávě, a naznačují nízkou úroveň znalostí.

A konečně uživatelé pravidelně žádali o překlady zpráv z čínštiny do angličtiny, jejichž cílem zřejmě bylo navázat kontakt s neznámými osobami a nakonec od nich získat informace. Některé z těchto zpráv byly zveřejněny na sociálních sítích jako odpovědi novinářům a výzkumníkům. Jiné připomínaly soukromé zprávy a při vyhledávání na internetu se neobjevily.

Nevyžádané oslovení výzkumníka veřejnou zprávou na síti X z účtu spojeného s touto operací.

Nevyžádané oslovení výzkumníka veřejnou zprávou na síti X z účtu spojeného s touto operací.

Výstupy modelů

Hlavním cílem této sítě byl zřejmě sběr zpravodajských informací pod záminkou činnosti odborníků působících v Evropě nebo Turecku. V obsahu, který vytvářeli a zveřejňovali na internetu, označovali provozovatelé „Zprávy pod lupou“ za nezávislý subjekt se sídlem v Evropě zaměřený na analýzy a zpravodajství. Zároveň však tvrdili, že tato značka ve skutečnosti slouží jako krytí usnadňující sběr, analýzu a šíření zpravodajských informací.

Podle webu, na který odkazovaly profilové medailonky na sociálních sítích, sídlí Vizionářská poradenská skupina v Turecku a specializuje se na odborné geopolitické poradenství. Provozovatelé využívali naše modely k překladu pokynů z čínštiny do angličtiny. Uváděli v nich, že skupina VAG shání informace o hospodářské a finanční politice USA a je ochotna za rozhovor zaplatit 2 000 dolarů za hodinu. Překládali také nabídky plateb za utajované dokumenty.

Web skupiny VAG má tureckou a anglickou verzi. Na kontaktní stránce anglické verze jsou v nabídce vidět čínské znaky pro „kontaktujte nás“ (聯絡). Šlo o jediný čínský text na celé doméně.

Snímek kontaktní stránky skupiny VAG, kde jsou v rozbalovací nabídce vidět čínské znaky pro „kontaktujte nás“ (聯絡).

Snímek kontaktní stránky skupiny VAG, kde jsou v rozbalovací nabídce vidět čínské znaky pro „kontaktujte nás“ (聯絡).

Část obsahu této sítě připomínala propagační materiály pro širší vlivové operace. Podle tvrzení, která nemůžeme nezávisle ověřit, operace využívala strojové učení, zpracování přirozeného jazyka a automatizovaný sběr dat k identifikaci vlivných osob a témat na sociálních sítích.

Dopad

Účty na sociálních sítích spojené s touto činností nevyvolaly na internetu výraznější odezvu skutečných uživatelů. Významný počet sledujících, konkrétně 17 000, měl pouze účet Zpráv pod lupou na síti X. Byl však založen v listopadu 2014 pod jiným názvem, zveřejňoval tweety po dobu tří dnů a poté se až do poloviny roku 2024 odmlčel. Takové chování je typické pro účty, které byly napadeny a převzaty k jinému účelu, a počet jeho sledujících je proto třeba posuzovat s rezervou.

Podle stupnice průniku⁠(otevře se v novém okně) pro hodnocení dopadu vlivových operací bychom veřejnou část této operace zařadili na spodní hranici kategorie 2: aktivita na více platformách, ale jen málo důkazů, že si obsah získal pozornost skutečných lidí nebo že jej ve větší míře sdíleli. K posouzení dopadu sociálního inženýrství a dalších skrytých aktivit této operace nemáme dostatek důkazů.