Zloraba, povezana z LR Kitajsko: nadzor in vplivanje

Ta študija primera je bila prvotno objavljena v poročilu OpenAI iz oktobra 2025⁠(odpre se v novem oknu).

Posamezniki, domnevno povezani z organi vlade LR Kitajske, so ChatGPT uporabljali kot pomoč pri razvoju, profiliranju in birokratskih nalogah.

Kot smo marca pojasnili v svojem prispevku k Akcijskemu načrtu ZDA za umetno inteligenco Urada za znanstveno in tehnološko politiko, verjamemo, da mora umetna inteligenca, če naj koristi čim več ljudem, temeljiti na razumnih pravilih, namenjenih zaščiti ljudi pred dejansko škodo, in da moramo razvijati demokratično umetno inteligenco. Z demokratično umetno inteligenco mislimo na umetno inteligenco, ki jo oblikujejo demokratična načela, za katera so se Združene države vedno zavzemale. To vključuje preprečevanje, da bi avtoritarni režimi orodja umetne inteligence uporabljali za kopičenje moči in nadzor nad svojimi državljani.

Naša vlaganja v odkrivanje in preprečevanje poskusov avtoritarnih režimov, da bi zlorabili zmogljivosti ChatGPT, ne ščitijo le ljudi danes, temveč prinašajo tudi pomembna spoznanja o tem, kako bi ti režimi lahko zlorabili prihodnje zmogljivosti. Ta razdelek obravnava del tovrstnih ugotovitev o posameznikih, ki so morda povezani s takšnimi režimi, s poudarkom na LR Kitajski.

Kot smo zapisali junija, LR Kitajska dejansko napreduje pri razvoju svoje avtokratske različice umetne inteligence. Z ukinitvijo računov ChatGPT, ki so jih uporabljali posamezniki, domnevno povezani z organi kitajske vlade, smo nekoliko osvetlili trenutno uporabo umetne inteligence v tem avtoritarnem okolju. Nekateri vidiki te uporabe so bili očitno namenjeni podpori obsežnemu spremljanju spletnega ali nespletnega dogajanja, kar potrjuje pomen našega stalnega spremljanja morebitnih avtoritarnih zlorab na tem področju. Drugi vidiki te uporabe so bili očitno namenjeni podrobnejšemu profiliranju. Račune, povezane s to dejavnostjo, smo ukinili, ugotovitve pa predstavljamo v tem poročilu.

Ta študija temelji na izboru primerov dejavnosti, ki so kršile naša pravila ter smo jih odkrili in preprečili. Dejavnost je kazala, da ChatGPT uporabljajo posamezni uporabniki, ne pa da gre za obsežno institucionalno uporabo naših modelov. Zato ponuja le omejen vpogled v uporabo različnih modelov umetne inteligence v tem okolju.

Kaže, da so nekateri ukinjeni računi poskušali ChatGPT uporabiti za razvoj orodij za obsežno spremljanje, in sicer za analizo podatkovnih zbirk, pogosto pridobljenih z zahodnih ali kitajskih družbenih omrežij. Februarja smo poročali o takem primeru, katerega cilj je bil zasnovati orodje za spremljanje družbenih omrežij z umetno inteligenco, za katero so upravljavci trdili, da je namenjeno kitajskim varnostnim silam. Ti uporabniki so ChatGPT navadno prosili za pomoč pri načrtovanju takšnih orodij ali pripravi promocijskega gradiva o njih, ne pa tudi pri samem izvajanju spremljanja.

Nedavno smo na primer ukinili račun uporabnika, ki je do naših storitev iz Kitajske morda dostopal prek omrežja VPN in ChatGPT prosil za pomoč pri pripravi promocijskega gradiva ter projektnih načrtov za orodje za spremljanje družbenih omrežij, domnevno namenjeno vladnemu naročniku. Orodje je bilo opisano kot »sonda« za družbena omrežja (探针), ki naj bi na platformah Twitter/X, Facebook, Instagram, Reddit, TikTok in YouTube iskala vsebine, ki jih je uporabnik opisal kot ekstremistične izjave ter etnične, verske in politične vsebine. Uporabnik našega modela ni uporabil za dejansko spremljanje družbenih omrežij. Ne moremo neodvisno preveriti, ali je to orodje uporabljal kateri od organov kitajske vlade.

Podobno smo ukinili račun drugega uporabnika, verjetno povezanega z vladnim organom, ki je ChatGPT prosil za pomoč pri pisanju predloga za tako imenovani model opozarjanja na prihod visokorizičnih oseb, povezanih z Ujguri (高危涉维吾尔关注人员流入预警模型). Predlog je opisoval orodje, ki bi analiziralo rezervacije prevozov in jih primerjalo s policijskimi evidencami, da bi zgodaj opozarjalo na potovanja oseb, uvrščenih v sicer neopredeljeno kategorijo visokorizičnih oseb, povezanih z Ujguri. Uporabnik našega modela ni prosil za pomoč pri izdelavi takšnega orodja, temveč le pri pripravi splošnega predloga. Zato ne moremo neodvisno potrditi, katero tehnologijo je nameraval uporabiti ali ali je takšno orodje uporabljal kateri od organov kitajske vlade.

Ukinili smo tudi račune uporabnikov, ki so bili očitno povezani z organi kitajske vlade in so ChatGPT domnevno poskušali uporabiti za bolj prilagojeno, ciljno profiliranje in spletno raziskovanje.

En uporabnik je na primer ChatGPT prosil, naj ugotovi vire financiranja računa na omrežju X, ki je kritiziral kitajsko vlado. Drugi uporabnik je ChatGPT prosil, naj ugotovi, kdo je organiziral peticijo v Mongoliji. V obeh primerih so naši modeli vrnili le javno dostopne informacije, ki niso vsebovale občutljivih podrobnosti, kot so viri financiranja ali identiteta organizatorjev peticije.

Pri nekaterih od teh dejavnosti so bili naši modeli uporabljeni kot orodje za raziskovanje odprtih virov, podobno kot so prejšnji uporabniki morda uporabljali spletne iskalnike ali iskanje po družbenih omrežjih. Tretji uporabnik je na primer ChatGPT prosil, naj vsak dan poišče in povzame najnovejše novice, pomembne za Kitajsko, tudi o občutljivih temah, kot sta obletnica pokola na Trgu nebeškega miru leta 1989 in rojstni dan dalajlame.