Penyalahgunaan sing ana gandhengane karo RRT: Kagiyatan pangawasan lan pengaruh

Studi kasus iki wiwitane diterbitake ing laporan OpenAI Oktober 2025⁠(mbukak ing jendhela anyar).

Wong-wong sing ketoke ana gandhengane karo lembaga pamaréntah RRT nggunakake ChatGPT kanggo mbantu pangembangan, profiling, lan fungsi birokrasi.

Kaya sing kita jlentrehake ing dokumen sing diajukake menyang Rencana Aksi AI AS saka Office of Science and Technology Policy ing Maret, kita yakin manawa kanggo mesthekake AI migunani tumrap wong sabisa-bisane, AI kudu dikembangake nganggo aturan sing lumrah kanggo nglindhungi wong saka bebaya nyata lan mbangun AI demokratis. AI demokratis sing kita maksud yaiku AI sing dibentuk adhedhasar prinsip demokrasi sing wiwit biyen dijunjung Amerika. Iki kalebu nyegah rezim otoriter nggunakake piranti AI kanggo nglumpukake kakuwasan lan ngendhaleni wargane.

Investasi kita kanggo ndeteksi lan nggagalake upaya rezim otoriter sing nyalahgunakake kabisan ChatGPT ora mung nglindhungi wong saiki, nanging uga menehi wawasan wigati babagan carane rezim kasebut bisa nyalahgunakake kabisan ing mangsa ngarep. Bagean iki ngrembug saklompok temuan kasebut babagan wong-wong sing bisa uga ana gandhengane karo rezim kaya mangkono, kanthi fokus ing RRT.

Kaya sing kita tulis ing Juni, RRT nggayuh kemajuan nyata kanggo ngembangake AI versi otokratise. Tindakan kita marang akun ChatGPT sing digunakake wong-wong sing ketoke ana gandhengane karo lembaga pamaréntah Tiongkok menehi gambaran babagan kahanan panggunaan AI saiki ing lingkungan otoriter iki. Sawetara unsur panggunaan iki ketoke ditujokake kanggo ndhukung pamantauan lalu lintas daring utawa luring kanthi skala gedhe. Iki negesake pentinge kita terus ngawasi potensi penyalahgunaan otoriter ing babagan iki. Unsur liyane saka panggunaan iki ketoke ditujokake kanggo profiling sing luwih jero. Kita mblokir akun sing ana gandhengane karo kagiyatan iki lan nuduhake wawasane ing laporan iki.

Studi iki adhedhasar pilihan kagiyatan sing nglanggar aturan, sing wis kita temokake, gagalakе, lan blokir. Kagiyatan kasebut nuduhake panggunaan ChatGPT dening panganggo individu, dudu adopsi model kita kanthi skala gedhe dening institusi. Mula, iki mung menehi gambaran winates babagan panggunaan maneka model AI ing konteks iki.

Sawetara akun sing kita blokir ketoke nyoba nggunakake ChatGPT kanggo ngembangake piranti pamantauan kanthi skala gedhe: nganalisis kumpulan data sing kerep diklumpukake saka platform media sosial Kulon utawa Tiongkok. Ing Februari, kita nglaporake salah siji kasus kaya mangkono, sing tujuwane ngrancang piranti pamantauan media sosial nganggo AI. Miturut pratelan operatore, piranti kasebut kanggo pasukan keamanan Tiongkok. Panganggo iki lumrahe njaluk ChatGPT mbantu ngrancang piranti kasebut utawa nggawe bahan promosi, nanging ora kanggo nindakake pamantauan.

Tuladhane, kita bubar mblokir panganggo sing bisa uga nggunakake VPN kanggo ngakses layanan kita saka Tiongkok. Panganggo iki njaluk ChatGPT mbantu ngrancang bahan promosi lan rencana proyek kanggo piranti pamantauan media sosial, sing jarene bakal digunakake klien pamaréntah. Piranti kasebut diterangake minangka “panyidik” media sosial (探针) sing diklaim bisa mindai Twitter/X, Facebook, Instagram, Reddit, TikTok, lan YouTube kanggo nggoleki ujaran ekstremis, uga konten etnis, agama, lan politik. Panganggo kasebut ora nggunakake model kita kanggo nindakake pamantauan media sosial kanthi nyata. Kita ora bisa verifikasi kanthi mandiri apa piranti iki wis digunakake lembaga pamaréntah Tiongkok.

Semono uga, kita mblokir panganggo kapindho sing diduga ana gandhengane karo lembaga pamaréntah. Panganggo iki njaluk ChatGPT mbantu nulis proposal kanggo piranti sing diarani Model Pènget Mlebune Wong Gegandhengan karo Uyghur sing Risikone Dhuwur (高危涉维吾尔关注人员流入预警模型). Proposal kasebut nggambarake piranti sing bakal nganalisis pesenan transportasi lan mbandhingake karo cathetan polisi kanggo menehi pènget awal babagan lelungane wong sing diklasifikasikake ana gandhengane karo Uyghur lan duwé risiko dhuwur, kategori sing ora dijlentrehake luwih lanjut. Panganggo kasebut ora njaluk model kita mbantu nggawe piranti kaya mangkono, nanging mung nyusun proposal umum. Mula, kita ora bisa mesthekake kanthi mandiri teknologi apa sing arep digunakake utawa apa piranti kasebut wis digunakake lembaga pamaréntah Tiongkok.

Kita uga mblokir panganggo sing ketoke ana gandhengane karo lembaga pamaréntah Tiongkok lan nyoba nggunakake ChatGPT kanggo profiling sing luwih mligi lan tumuju sasaran, uga riset daring.

Tuladhane, siji panganggo njaluk ChatGPT ngenali sumber pendanaan akun X sing ngritik pamaréntah Tiongkok. Panganggo kapindho njaluk ChatGPT ngenali para pangatur petisi ing Mongolia. Ing loro kasus kasebut, model kita mung menehi informasi sing kasedhiya kanggo umum, tanpa rincian sensitif kayata sumber pendanaan utawa identitas pangatur petisi.

Sawetara kagiyatan iki nggunakake model kita minangka piranti riset sumber terbuka, padha kaya panganggo biyen sing nggunakake panelusuran internet utawa media sosial. Tuladhane, panganggo katelu njaluk ChatGPT ngenali lan ngringkes kabar paling anyar saben dina sing ana gandhengane karo Tiongkok, kalebu topik sensitif kayata pengetan ontran-ontran ing Lapangan Tiananmen taun 1989 lan ulang taune Dalai Lama.