本個案研究最初刊於 OpenAI 的 2025 年 10 月(在新視窗中開啟)報告。
看似與中華人民共和國政府實體有關的人士,利用 ChatGPT 協助開發、分析人物背景及處理官僚行政工作。
正如我們今年 3 月向美國科技政策辦公室提交的《美國人工智能行動計劃》意見書所述,我們相信,要確保人工智能惠及盡可能多的人,就必須透過旨在保護人們免受實際傷害的合理規則推動人工智能發展,並建構民主人工智能。我們所指的民主人工智能,是由美國一直秉持的民主原則所塑造的人工智能。這包括防止威權政權利用人工智能工具擴張權力及控制公民。
我們持續投放資源,偵測並遏止威權政權濫用 ChatGPT 功能的企圖;這不僅能在當下保護人們,也讓我們深入了解這些政權日後可能如何濫用更先進的功能。本節探討其中一組發現,聚焦於可能與這類政權有關的人士,尤其是中華人民共和國。
正如我們今年 6 月所述,中華人民共和國正切實推進其威權版本的人工智能。我們封禁了由看似與中國政府實體有關的人士使用的 ChatGPT 帳戶,從中可略見人工智能目前在這種威權環境下的使用情況。部分用途看來旨在支援大規模監察網上或線下活動,突顯我們必須繼續關注威權政權可能在這方面作出的濫用。其他用途則看來旨在進行更深入的人物背景分析。我們已封禁與這類活動有關的帳戶,並在本報告中分享相關觀察。
本研究以我們所識別並封禁的部分違規活動為基礎。這些活動符合個別用戶使用 ChatGPT 的模式,而非機構大規模採用我們的模型。因此,本研究只能有限度反映不同人工智能模型在這種情境下的使用情況。
開發大規模監察工具
我們封禁的部分帳戶看似試圖利用 ChatGPT 開發大規模監察工具,分析通常從西方或中國社交媒體平台收集的數據集。今年 2 月,我們曾報告其中一宗個案,涉及設計由人工智能驅動的社交媒體輿情監察工具;營運者聲稱該工具供中國安全部門使用。這些用戶通常要求 ChatGPT 協助設計此類工具或製作相關宣傳材料,但沒有要求其實際執行監察。
例如,我們最近封禁了一名用戶;該用戶可能透過 VPN 從中國存取我們的服務,並要求 ChatGPT 協助為一款聲稱供政府客戶使用的社交媒體輿情監察工具設計宣傳材料及項目計劃。該工具被形容為社交媒體「探針」(探针),據稱可掃描 Twitter/X、Facebook、Instagram、Reddit、TikTok 及 YouTube,搜尋該用戶所稱的極端主義言論,以及民族、宗教和政治內容。該用戶並未利用我們的模型實際監察社交媒體。我們無法獨立核實中國政府實體是否曾使用這款工具。
同樣,我們封禁了第二名可能與政府實體有關的用戶;該用戶要求 ChatGPT 協助撰寫一份關於其所稱「高危涉維吾爾關注人員流入預警模型」(高危涉维吾尔关注人员流入预警模型)的提案。提案描述了一款工具,可分析交通預訂資料並與警方紀錄比對,藉此就被歸類為涉維吾爾及高風險人士的出行動向發出預警,但提案並未界定這個類別。該用戶並未要求我們的模型協助建構這類工具,只要求擬定一般提案。因此,我們無法獨立確認其打算採用甚麼技術,也無法確認中國政府實體是否曾使用這類工具。
人物背景分析與研究
我們亦封禁了一些看似與中國政府實體有關的用戶;他們似乎試圖利用 ChatGPT 進行更個人化、更具針對性的人物背景分析及網上研究。
例如,一名用戶要求 ChatGPT 找出一個批評中國政府的 X 帳戶之資金來源。第二名用戶要求 ChatGPT 查明蒙古一項請願行動的組織者。在這兩宗個案中,我們的模型只提供公開資料,當中不包括資金來源或請願組織者身分等敏感詳情。
部分活動把我們的模型用作開源研究工具,方式類似以往的用戶使用互聯網或社交媒體搜尋。例如,第三名用戶要求 ChatGPT 每日找出並摘要與中國相關的突發新聞,包括 1989 年天安門廣場屠殺周年及 Dalai Lama 生日等敏感議題。