Zneužívání spojené s ČLR: sledování a vlivové operace

Tato případová studie byla původně zveřejněna ve zprávě OpenAI z října 2025⁠(otevře se v novém okně).

Osoby zjevně napojené na orgány vlády ČLR používaly ChatGPT k vývoji, profilování a plnění administrativních úkolů.

Jak jsme uvedli v březnovém příspěvku k americkému akčnímu plánu pro AI Úřadu pro vědeckou a technologickou politiku, věříme, že má-li AI prospívat co největšímu počtu lidí, je třeba její rozvoj umožnit pomocí rozumných pravidel zaměřených na ochranu lidí před skutečnými riziky a budovat demokratickou AI. Demokratickou AI rozumíme umělou inteligenci utvářenou demokratickými principy, které Amerika vždy zastávala. To zahrnuje i bránění autoritářským režimům, aby nástroje AI využívaly k hromadění moci a ovládání svých občanů.

Naše investice do odhalování a maření pokusů autoritářských režimů o zneužití funkcí ChatGPT nejenže chrání lidi již dnes, ale přinášejí také důležité poznatky o tom, jak by tyto režimy mohly zneužívat budoucí možnosti této technologie. Tato část se věnuje jednomu souboru takových zjištění o osobách potenciálně napojených na podobné režimy, konkrétně v ČLR.

Jak jsme napsali v červnu, ČLR dosahuje skutečného pokroku v rozvoji své autokratické podoby AI. Zablokování účtů ChatGPT používaných osobami zjevně napojenými na čínské vládní orgány částečně odhaluje současný způsob využívání AI v tomto autoritářském prostředí. Některé části této činnosti zřejmě měly podpořit rozsáhlé sledování online či fyzického provozu, což zdůrazňuje význam naší trvalé pozornosti vůči možnému autoritářskému zneužívání v této oblasti. Jiné části této činnosti se zřejmě zaměřovaly na podrobnější profilování. Účty spojené s touto činností jsme zablokovali a v této zprávě sdílíme svá zjištění.

Tato studie vychází z vybraných případů porušování pravidel, které jsme odhalili, zastavili a související účty zablokovali. Tato činnost odpovídala spíše používání ChatGPT jednotlivci než rozsáhlému institucionálnímu nasazení našich modelů. Jde tedy pouze o omezený pohled na využívání různých modelů AI v tomto kontextu.

Některé zablokované účty se zřejmě pokoušely využít ChatGPT k vývoji nástrojů pro rozsáhlé sledování, které analyzovaly datové soubory často získané ze západních nebo čínských sociálních sítí. V únoru jsme informovali o jednom takovém případu, jehož cílem bylo navrhnout nástroj využívající AI ke sledování sociálních sítí. Provozovatelé tvrdili, že je určen čínským bezpečnostním složkám. Tito uživatelé obvykle žádali ChatGPT o pomoc s návrhem takových nástrojů nebo s tvorbou propagačních materiálů, nikoli však s prováděním samotného sledování.

Nedávno jsme například zablokovali uživatele, který možná přistupoval k našim službám z Číny přes VPN a žádal ChatGPT o pomoc s návrhem propagačních materiálů a projektových plánů pro nástroj ke sledování sociálních sítí, údajně určený vládnímu klientovi. Nástroj byl popsán jako „sonda“ (探针) pro sociální sítě, která měla údajně vyhledávat na platformách Twitter/X, Facebook, Instagram, Reddit, TikTok a YouTube obsah, jejž uživatel označoval za extremistické projevy, a dále etnický, náboženský a politický obsah. Uživatel náš model k samotnému sledování sociálních sítí nepoužil. Nemůžeme nezávisle ověřit, zda tento nástroj používal některý čínský vládní orgán.

Podobně jsme zablokovali druhého uživatele, pravděpodobně napojeného na vládní orgán, který požádal ChatGPT o pomoc se sepsáním návrhu systému, jejž označil jako model včasného varování před přílivem vysoce rizikových osob spojovaných s Ujgury (高危涉维吾尔关注人员流入预警模型). Návrh popisoval nástroj, který by analyzoval rezervace dopravy a porovnával je s policejními záznamy, aby včas upozorňoval na přesuny osob zařazených do jinak blíže nedefinované kategorie lidí spojovaných s Ujgury a považovaných za vysoce rizikové. Uživatel náš model nežádal o pomoc s vytvořením takového nástroje, pouze se zpracováním obecného návrhu. Nemůžeme proto nezávisle potvrdit, jakou technologii zamýšlel použít ani zda takový nástroj využíval některý čínský vládní orgán.

Zablokovali jsme také uživatele, kteří byli zřejmě napojeni na čínské vládní orgány a patrně se pokoušeli využívat ChatGPT k cílenému profilování na míru a online výzkumu.

Jeden uživatel například požádal ChatGPT, aby zjistil zdroje financování účtu na síti X, který kritizoval čínskou vládu. Druhý uživatel požádal ChatGPT, aby zjistil totožnost organizátorů petice v Mongolsku. V obou případech naše modely poskytly pouze veřejně dostupné informace, které neobsahovaly citlivé údaje, například zdroje financování nebo totožnost organizátorů petice.

Při některých těchto činnostech sloužily naše modely jako nástroj pro výzkum z otevřených zdrojů, podobně jako dříve vyhledávání na internetu nebo sociálních sítích. Třetí uživatel například požádal ChatGPT, aby každý den vyhledával a shrnoval nejnovější zprávy relevantní pro Čínu, včetně citlivých témat, jako je výročí masakru na náměstí Nebeského klidu v roce 1989 nebo narozeniny dalajlámy.