Penyalahgunaan berkaitan PRC: Aktiviti pengawasan dan pengaruh

Kajian kes ini pada asalnya diterbitkan dalam laporan OpenAI Oktober 2025⁠(dibuka dalam tetingkap baru).

Individu yang dipercayai mempunyai kaitan dengan entiti kerajaan PRC menggunakan ChatGPT untuk membantu fungsi pembangunan, pemprofilan dan birokrasi.

Seperti yang kami nyatakan dalam penyerahan kami kepada Pelan Tindakan AI A.S. oleh Pejabat Dasar Sains dan Teknologi pada bulan Mac, kami percaya bahawa untuk memastikan AI memanfaatkan seramai mungkin orang, AI perlu dibangunkan berlandaskan peraturan yang wajar bagi melindungi orang ramai daripada kemudaratan sebenar serta membina AI demokratik. AI demokratik bermaksud AI yang dibentuk berlandaskan prinsip demokrasi yang sentiasa didukung oleh Amerika. Ini termasuk menghalang rejim autoritarian daripada menggunakan alat AI untuk mengukuhkan kuasa dan mengawal rakyat mereka.

Pelaburan kami dalam mengesan dan menggagalkan percubaan rejim autoritarian untuk menyalahgunakan keupayaan ChatGPT bukan sahaja melindungi orang ramai sekarang, malah memberikan gambaran penting tentang cara rejim tersebut mungkin menyalahgunakan keupayaan pada masa hadapan. Bahagian ini membincangkan satu set penemuan sedemikian berkenaan individu yang mungkin mempunyai kaitan dengan rejim tersebut, dengan tumpuan pada PRC.

Seperti yang kami nyatakan pada bulan Jun, PRC sedang mencapai kemajuan nyata dalam membangunkan AI versi autokratiknya. Tindakan kami menggagalkan akaun ChatGPT yang digunakan oleh individu yang dipercayai mempunyai kaitan dengan entiti kerajaan China memberikan sedikit gambaran tentang keadaan semasa penggunaan AI dalam persekitaran autoritarian ini. Sesetengah unsur penggunaan ini dilihat bertujuan menyokong pemantauan trafik dalam talian atau luar talian secara besar-besaran, sekali gus menekankan pentingnya kami terus memberikan perhatian kepada kemungkinan penyalahgunaan autoritarian dalam bidang ini. Unsur lain dalam penggunaan ini dilihat bertujuan menjalankan pemprofilan yang lebih mendalam. Kami menyekat akaun yang dikaitkan dengan aktiviti ini dan berkongsi hasil pemerhatian dalam laporan ini.

Kajian ini berdasarkan beberapa tindakan kami menggagalkan aktiviti melanggar dasar yang telah kami kenal pasti dan sekat. Aktiviti itu lebih menyerupai penggunaan ChatGPT oleh pengguna individu, bukannya penggunaan model kami secara besar-besaran oleh institusi. Oleh itu, kajian ini hanya memberikan gambaran terhad tentang penggunaan pelbagai model AI dalam konteks ini.

Sesetengah akaun yang kami sekat dilihat cuba menggunakan ChatGPT untuk membangunkan alat pemantauan berskala besar dengan menganalisis set data yang sering dikumpulkan daripada platform media sosial Barat atau China. Pada bulan Februari, kami melaporkan satu kes sedemikian yang bertujuan mereka bentuk alat pemantauan perbualan media sosial berkuasa AI, yang menurut pengendalinya adalah untuk pasukan keselamatan China. Pengguna ini lazimnya meminta ChatGPT membantu mereka bentuk alat sedemikian atau menghasilkan bahan promosi mengenainya, tetapi bukan untuk melaksanakan pemantauan tersebut.

Sebagai contoh, kami baru-baru ini menyekat seorang pengguna yang mungkin menggunakan VPN untuk mengakses perkhidmatan kami dari China. Pengguna itu meminta ChatGPT membantu mereka bentuk bahan promosi dan rancangan projek bagi alat pemantauan perbualan media sosial yang dikatakan untuk digunakan oleh pelanggan kerajaan. Alat itu digambarkan sebagai “prob” media sosial (探针) yang kononnya boleh mengimbas Twitter/X, Facebook, Instagram, Reddit, TikTok dan YouTube untuk mengesan kandungan yang disifatkan pengguna sebagai ucapan ekstremis serta kandungan etnik, agama dan politik. Pengguna tersebut tidak menggunakan model kami untuk menjalankan pemantauan media sosial yang sebenar. Kami tidak dapat mengesahkan secara bebas sama ada alat ini telah digunakan oleh entiti kerajaan China.

Begitu juga, kami menyekat pengguna kedua yang berkemungkinan mempunyai kaitan dengan entiti kerajaan setelah pengguna itu meminta ChatGPT membantu menulis cadangan bagi apa yang disifatkannya sebagai Model Amaran Kemasukan Individu Berisiko Tinggi Berkaitan Uyghur (高危涉维吾尔关注人员流入预警模型). Cadangan itu menerangkan alat yang akan menganalisis tempahan pengangkutan dan membandingkannya dengan rekod polis untuk memberikan amaran awal tentang pergerakan perjalanan individu yang diklasifikasikan sebagai berkaitan Uyghur dan berisiko tinggi, iaitu kategori yang tidak ditakrifkan dengan lebih lanjut. Pengguna itu tidak meminta model kami membantu membina alat sedemikian, sebaliknya hanya menyediakan cadangan umum. Oleh itu, kami tidak dapat mengesahkan secara bebas teknologi yang ingin digunakan atau sama ada alat sedemikian telah digunakan oleh entiti kerajaan China.

Kami turut menyekat pengguna yang dipercayai mempunyai kaitan dengan entiti kerajaan China dan dilihat cuba menggunakan ChatGPT untuk pemprofilan yang lebih khusus dan bersasar serta penyelidikan dalam talian.

Sebagai contoh, seorang pengguna meminta ChatGPT mengenal pasti sumber pembiayaan bagi akaun X yang mengkritik kerajaan China. Pengguna kedua meminta ChatGPT mengenal pasti penganjur petisyen di Mongolia. Dalam kedua-dua kes ini, model kami hanya memberikan maklumat yang tersedia kepada umum dan tidak menyertakan butiran sensitif seperti sumber pembiayaan atau identiti penganjur petisyen.

Dalam sesetengah aktiviti ini, model kami digunakan sebagai alat penyelidikan sumber terbuka, sama seperti pengguna terdahulu mungkin menggunakan carian internet atau media sosial. Sebagai contoh, pengguna ketiga meminta ChatGPT mengenal pasti dan merumuskan berita tergempar harian yang berkaitan dengan China, termasuk topik sensitif seperti ulang tahun pembunuhan beramai-ramai di Dataran Tiananmen pada 1989 dan hari lahir Dalai Lama.