Zloupotrebe povezane s NR Kinom: nadzor i aktivnosti utjecaja

Ova studija slučaja prvobitno je objavljena u izvještaju OpenAI-ja iz oktobra 2025.⁠(otvara se u novom prozoru)

Pojedinci koji su, čini se, povezani s državnim organima NR Kine koristili su ChatGPT kao pomoć pri razvoju, profiliranju i obavljanju administrativnih poslova.

Kao što smo naveli u martovskom podnesku Uredu za naučnu i tehnološku politiku o Akcionom planu SAD-a za umjetnu inteligenciju, vjerujemo da, kako bi umjetna inteligencija koristila što većem broju ljudi, njen razvoj treba omogućiti razumnim pravilima usmjerenim na zaštitu ljudi od stvarne štete te graditi demokratsku umjetnu inteligenciju. Pod demokratskom umjetnom inteligencijom podrazumijevamo umjetnu inteligenciju oblikovanu demokratskim načelima koja Amerika oduvijek zastupa. To uključuje sprečavanje autoritarnih režima da koriste alate umjetne inteligencije za gomilanje moći i kontrolu svojih građana.

Naša ulaganja u otkrivanje i ometanje pokušaja autoritarnih režima da zloupotrijebe mogućnosti ChatGPT‑a ne samo da sada štite ljude nego pružaju i važne uvide u to kako bi ti režimi mogli zloupotrijebiti buduće mogućnosti. U ovom odjeljku razmatramo dio takvih saznanja o pojedincima koji su potencijalno povezani s takvim režimima, s naglaskom na NR Kinu.

Kao što smo napisali u junu, NR Kina ostvaruje stvaran napredak u razvoju svoje autokratske verzije umjetne inteligencije. Ometanje ChatGPT računa koje su koristili pojedinci naizgled povezani s kineskim državnim organima donekle rasvjetljava trenutno stanje upotrebe umjetne inteligencije u ovom autoritarnom okruženju. Čini se da su neki oblici ove upotrebe bili usmjereni na podršku opsežnom praćenju aktivnosti na internetu ili izvan njega, što naglašava važnost našeg stalnog praćenja mogućih autoritarnih zloupotreba u ovoj oblasti. Čini se da su drugi oblici ove upotrebe bili usmjereni na detaljnije profiliranje. Blokirali smo račune povezane s ovom aktivnošću i u ovom izvještaju iznosimo svoja saznanja.

Ova studija zasniva se na odabranim slučajevima u kojima smo omeli aktivnosti koje krše naša pravila nakon što smo ih otkrili i blokirali. Te aktivnosti odgovarale su načinu na koji pojedinačni korisnici koriste ChatGPT, a ne širokoj institucionalnoj primjeni naših modela. Stoga je ovo samo ograničen prikaz upotrebe različitih modela umjetne inteligencije u ovom kontekstu.

Čini se da se na nekim računima koje smo blokirali pokušavao koristiti ChatGPT za razvoj alata za praćenje velikih razmjera: analiziranje skupova podataka, često prikupljenih s društvenih mreža sa Zapada ili iz Kine. U februaru smo izvijestili o jednom takvom slučaju, usmjerenom na osmišljavanje alata za praćenje društvenih mreža zasnovanog na umjetnoj inteligenciji, za koji su operateri tvrdili da je namijenjen kineskim sigurnosnim snagama. Ovi korisnici obično su tražili od ChatGPT‑a pomoć pri osmišljavanju takvih alata ili izradi promotivnih materijala o njima, ali ne i pri provođenju samog praćenja.

Naprimjer, nedavno smo blokirali korisnika koji je možda pristupao našim uslugama iz Kine putem VPN-a, a koji je od ChatGPT‑a tražio pomoć u izradi promotivnih materijala i projektnih planova za alat za praćenje društvenih mreža, navodno namijenjen državnom klijentu. Alat je opisan kao „sonda“ za društvene mreže (探针) koja je navodno mogla pretraživati Twitter/X, Facebook, Instagram, Reddit, TikTok i YouTube radi pronalaženja sadržaja koji je korisnik opisao kao ekstremistički govor te etnički, vjerski i politički sadržaj. Korisnik nije upotrijebio naš model za stvarno praćenje društvenih mreža. Ne možemo nezavisno potvrditi je li neki kineski državni organ koristio ovaj alat.

Slično tome, blokirali smo drugog korisnika, vjerovatno povezanog s državnim organom, koji je od ChatGPT‑a tražio pomoć pri pisanju prijedloga za ono što je opisao kao model upozorenja na priliv visokorizičnih osoba povezanih s Ujgurima (高危涉维吾尔关注人员流入预警模型). U prijedlogu je opisan alat koji bi analizirao rezervacije prijevoza i upoređivao ih s policijskim evidencijama kako bi rano upozorio na putovanja osoba svrstanih u kategoriju povezanih s Ujgurima i visokorizičnih, koja inače nije definirana. Korisnik nije tražio da naš model pomogne u izradi takvog alata, nego samo općeg prijedloga; stoga ne možemo nezavisno potvrditi koju su tehnologiju namjeravali koristiti niti je li takav alat koristio neki kineski državni organ.

Blokirali smo i korisnike koji su, čini se, bili povezani s kineskim državnim organima i pokušavali koristiti ChatGPT za prilagođeno, ciljano profiliranje i istraživanje na internetu.

Naprimjer, jedan korisnik zatražio je od ChatGPT‑a da utvrdi izvore finansiranja računa na platformi X koji je kritizirao kinesku vladu. Drugi korisnik zatražio je od ChatGPT‑a da utvrdi ko su organizatori peticije u Mongoliji. U oba slučaja naši modeli pružili su samo javno dostupne informacije, koje nisu obuhvatale osjetljive pojedinosti poput izvora finansiranja ili identiteta organizatora peticije.

U nekim od ovih aktivnosti naši modeli korišteni su kao alat za istraživanje otvorenih izvora, slično načinu na koji su raniji korisnici pretraživali internet ili društvene mreže. Naprimjer, treći korisnik zatražio je od ChatGPT‑a da svakodnevno pronalazi i sažima najnovije vijesti relevantne za Kinu, uključujući osjetljive teme poput godišnjice masakra na Trgu Tiananmen 1989. i rođendana Dalaj-lame.