Penyalahgunaan terkait RRT: Aktivitas pengawasan dan pengaruh

Studi kasus ini awalnya diterbitkan dalam laporan OpenAI Oktober 2025⁠(terbuka di jendela baru).

Sejumlah individu yang tampaknya terkait dengan entitas pemerintah RRT menggunakan ChatGPT untuk membantu pengembangan, pembuatan profil, dan fungsi birokrasi.

Sebagaimana kami uraikan dalam pengajuan kami pada Maret untuk Rencana Aksi AI AS dari Kantor Kebijakan Sains dan Teknologi, kami percaya bahwa untuk memastikan AI memberikan manfaat bagi sebanyak mungkin orang, AI perlu dikembangkan dengan aturan yang masuk akal guna melindungi masyarakat dari bahaya nyata, sekaligus membangun AI yang demokratis. Yang kami maksud dengan AI demokratis adalah AI yang dibentuk berdasarkan prinsip-prinsip demokrasi yang sejak dahulu dijunjung Amerika Serikat. Hal ini mencakup pencegahan penggunaan alat AI oleh rezim otoriter untuk menghimpun kekuasaan dan mengendalikan warganya.

Investasi kami untuk mendeteksi dan menggagalkan upaya rezim otoriter menyalahgunakan kemampuan ChatGPT tidak hanya melindungi masyarakat saat ini, tetapi juga memberikan wawasan penting tentang cara rezim tersebut mungkin menyalahgunakan kemampuan pada masa mendatang. Bagian ini membahas serangkaian temuan terkait individu yang mungkin memiliki hubungan dengan rezim semacam itu, dengan fokus pada RRT.

Seperti yang kami tulis pada Juni, RRT telah membuat kemajuan nyata dalam mengembangkan AI versi otokratisnya. Tindakan kami menggagalkan akun-akun ChatGPT yang digunakan oleh individu yang tampaknya terkait dengan entitas pemerintah Tiongkok memberi sedikit gambaran tentang kondisi penggunaan AI saat ini dalam lingkungan otoriter tersebut. Sebagian penggunaan ini tampaknya ditujukan untuk mendukung pemantauan lalu lintas daring atau luring berskala besar, yang menegaskan pentingnya perhatian berkelanjutan kami terhadap potensi penyalahgunaan oleh rezim otoriter di ranah ini. Bagian lain dari penggunaan ini tampaknya ditujukan untuk pembuatan profil yang lebih mendalam. Kami memblokir akun-akun yang terkait dengan aktivitas ini dan membagikan temuannya dalam laporan ini.

Studi ini didasarkan pada sejumlah aktivitas melanggar kebijakan yang kami identifikasi, hentikan, dan blokir. Aktivitas tersebut lebih menunjukkan penggunaan ChatGPT oleh pengguna perorangan daripada adopsi model kami secara institusional dan berskala besar. Karena itu, temuan ini hanya memberikan gambaran terbatas mengenai penggunaan berbagai model AI dalam konteks tersebut.

Beberapa akun yang kami blokir tampaknya mencoba menggunakan ChatGPT untuk mengembangkan alat pemantauan berskala besar dengan menganalisis himpunan data yang sering kali dikumpulkan dari platform media sosial Barat atau Tiongkok. Pada Februari, kami melaporkan satu kasus semacam itu yang bertujuan merancang alat pemantauan percakapan media sosial berbasis AI, yang menurut operatornya ditujukan bagi aparat keamanan Tiongkok. Para pengguna ini biasanya meminta ChatGPT membantu merancang alat tersebut atau membuat materi promosinya, tetapi tidak menggunakannya untuk melaksanakan pemantauan.

Misalnya, baru-baru ini kami memblokir seorang pengguna yang mungkin memakai VPN untuk mengakses layanan kami dari Tiongkok. Pengguna tersebut meminta ChatGPT membantu merancang materi promosi dan rencana proyek untuk alat pemantauan percakapan media sosial yang konon akan digunakan oleh klien pemerintah. Alat itu digambarkan sebagai “probe” (探针) media sosial yang diklaim dapat memindai Twitter/X, Facebook, Instagram, Reddit, TikTok, dan YouTube untuk menemukan ujaran yang disebut pengguna sebagai ekstremis serta konten etnis, agama, dan politik. Pengguna tersebut tidak memakai model kami untuk melakukan pemantauan media sosial secara langsung. Kami tidak dapat memverifikasi secara independen apakah alat ini telah digunakan oleh entitas pemerintah Tiongkok.

Demikian pula, kami memblokir pengguna kedua yang kemungkinan terkait dengan entitas pemerintah. Pengguna ini meminta ChatGPT membantu menulis proposal untuk sistem yang mereka sebut Model Peringatan Masuknya Individu Terkait Uyghur Berisiko Tinggi (高危涉维吾尔关注人员流入预警模型). Proposal itu menjelaskan alat yang akan menganalisis pemesanan transportasi dan membandingkannya dengan catatan kepolisian guna memberikan peringatan dini atas pergerakan orang yang dikategorikan sebagai terkait Uyghur dan berisiko tinggi—kategori yang tidak dijelaskan lebih lanjut. Pengguna tersebut tidak meminta model kami membantu membuat alat semacam itu, melainkan hanya menyusun proposal umum. Karena itu, kami tidak dapat memastikan secara independen teknologi apa yang hendak digunakan atau apakah alat tersebut telah dipakai oleh entitas pemerintah Tiongkok.

Kami juga memblokir pengguna yang tampaknya terkait dengan entitas pemerintah Tiongkok dan mencoba menggunakan ChatGPT untuk pembuatan profil yang lebih khusus dan terarah serta riset daring.

Misalnya, seorang pengguna meminta ChatGPT mengidentifikasi sumber pendanaan sebuah akun X yang mengkritik pemerintah Tiongkok. Pengguna kedua meminta ChatGPT mengidentifikasi para penyelenggara petisi di Mongolia. Dalam kedua kasus tersebut, model kami hanya memberikan informasi yang tersedia untuk umum, tanpa perincian sensitif seperti sumber pendanaan atau identitas penyelenggara petisi.

Sebagian aktivitas ini menggunakan model kami sebagai alat riset sumber terbuka, mirip dengan cara pengguna sebelumnya memanfaatkan pencarian internet atau media sosial. Misalnya, pengguna ketiga meminta ChatGPT mengidentifikasi dan merangkum berita terkini harian yang relevan bagi Tiongkok, termasuk topik sensitif seperti peringatan pembantaian Lapangan Tiananmen pada 1989 dan hari ulang tahun Dalai Lama.