Zneužívanie prepojené s ČĽR: sledovanie a ovplyvňovanie

Táto prípadová štúdia bola pôvodne uverejnená v správe OpenAI z októbra 2025⁠(otvorí sa v novom okne).

Osoby zjavne prepojené s vládnymi subjektmi ČĽR používali ChatGPT na podporu vývoja, profilovania a administratívnych činností.

Ako sme uviedli v marcovom podaní k americkému akčnému plánu pre AI Úradu pre politiku v oblasti vedy a technológií, sme presvedčení, že ak má AI prinášať úžitok čo najväčšiemu počtu ľudí, treba umožniť jej rozvoj prostredníctvom rozumných pravidiel zameraných na ochranu ľudí pred skutočnou ujmou a budovať demokratickú AI. Demokratickou AI rozumieme AI formovanú demokratickými princípmi, ktoré Amerika odjakživa presadzuje. Patrí sem aj zabránenie autoritárskym režimom používať nástroje AI na hromadenie moci a ovládanie vlastných občanov.

Naše investície do odhaľovania a narúšania pokusov autoritárskych režimov zneužívať možnosti ChatGPT nielenže chránia ľudí už dnes, ale prinášajú aj dôležité poznatky o tom, ako by tieto režimy mohli zneužívať budúce možnosti. Táto časť sa venuje jednému súboru takýchto zistení o osobách potenciálne prepojených s podobnými režimami, pričom sa zameriava na ČĽR.

Ako sme napísali v júni, ČĽR dosahuje skutočný pokrok vo vývoji vlastnej autokratickej verzie AI. Zablokovanie účtov ChatGPT používaných osobami zjavne prepojenými s čínskymi vládnymi subjektmi čiastočne objasňuje súčasný stav využívania AI v tomto autoritárskom prostredí. Niektoré prvky tohto využívania zrejme smerovali k podpore rozsiahleho monitorovania online alebo offline prevádzky, čo zdôrazňuje význam našej pretrvávajúcej pozornosti venovanej možnému autoritárskemu zneužívaniu v tejto oblasti. Iné prvky tohto využívania boli zjavne zamerané na podrobnejšie profilovanie. Účty spojené s touto činnosťou sme zablokovali a v tejto správe sa delíme o získané poznatky.

Táto štúdia vychádza z vybraných prípadov porušovania pravidiel, ktoré sme odhalili, prerušili a príslušné účty zablokovali. Táto činnosť zodpovedala skôr používaniu ChatGPT jednotlivcami než rozsiahlemu inštitucionálnemu nasadeniu našich modelov. Ide preto len o obmedzený pohľad na používanie rôznych modelov AI v tomto kontexte.

Niektoré zablokované účty sa zrejme pokúšali používať ChatGPT na vývoj nástrojov na rozsiahle monitorovanie a analýzu súborov údajov, ktoré často pochádzali zo západných alebo čínskych sociálnych sietí. Vo februári sme informovali o jednom takomto prípade, ktorého cieľom bolo navrhnúť nástroj s podporou AI na monitoring sociálnych médií. Jeho prevádzkovatelia tvrdili, že je určený pre čínske bezpečnostné zložky. Títo používatelia zvyčajne žiadali ChatGPT o pomoc s návrhom takýchto nástrojov alebo s tvorbou ich propagačných materiálov, nie však s realizáciou samotného monitorovania.

Nedávno sme napríklad zablokovali používateľa, ktorý na prístup k našim službám z Číny možno využíval VPN a žiadal ChatGPT o pomoc s prípravou propagačných materiálov a projektových plánov pre nástroj na monitoring sociálnych médií, údajne určený pre vládneho klienta. Nástroj bol opísaný ako „sonda“ sociálnych médií (探针), ktorá údajne dokázala prehľadávať Twitter/X, Facebook, Instagram, Reddit, TikTok a YouTube a vyhľadávať prejavy, ktoré používateľ označil za extrémistické, ako aj etnický, náboženský a politický obsah. Používateľ nepoužil náš model na samotné monitorovanie sociálnych médií. Nedokážeme nezávisle overiť, či tento nástroj používal niektorý čínsky vládny subjekt.

Podobne sme zablokovali aj druhého používateľa, pravdepodobne prepojeného s vládnym subjektom, ktorý požiadal ChatGPT o pomoc s vypracovaním návrhu systému označeného ako model včasného varovania pred prílevom vysokorizikových osôb spájaných s Ujgurmi (高危涉维吾尔关注人员流入预警模型). Návrh opisoval nástroj, ktorý by analyzoval rezervácie dopravy a porovnával ich s policajnými záznamami, aby včas upozorňoval na cestovanie osôb zaradených do inak nedefinovanej kategórie ľudí spájaných s Ujgurmi a považovaných za vysokorizikových. Používateľ nežiadal náš model o pomoc s vytvorením takéhoto nástroja, iba s vypracovaním všeobecného návrhu. Nedokážeme preto nezávisle potvrdiť, akú technológiu zamýšľal použiť ani či takýto nástroj využil niektorý čínsky vládny subjekt.

Zablokovali sme aj používateľov, ktorí boli zjavne prepojení s čínskymi vládnymi subjektmi a pokúšali sa využívať ChatGPT na cielenejšie profilovanie na mieru a online výskum.

Jeden používateľ napríklad požiadal ChatGPT, aby zistil zdroje financovania účtu na platforme X, ktorý kritizoval čínsku vládu. Druhý používateľ požiadal ChatGPT, aby identifikoval organizátorov petície v Mongolsku. V oboch prípadoch naše modely poskytli iba verejne dostupné informácie, ktoré neobsahovali citlivé údaje, ako sú zdroje financovania či totožnosť organizátorov petície.

Pri niektorých z týchto činností slúžili naše modely ako nástroj na výskum z otvorených zdrojov, podobne ako predtým mohli používatelia využívať vyhľadávanie na internete alebo sociálnych sieťach. Tretí používateľ napríklad požiadal ChatGPT, aby každý deň vyhľadal a zhrnul aktuálne správy relevantné pre Čínu vrátane citlivých tém, ako sú výročie masakry na Námestí nebeského pokoja v roku 1989 a narodeniny dalajlámu.