跳至主要內容
OpenAI

2024年5月1日

安全

「Spamouflage」行動:與中國有關的影響力活動

OpenAI 封禁了與源自中華人民共和國的「Spamouflage」行動相關的帳號;該行動使用人工智慧研究社群媒體活動、生成貼文,並為一個先前未被報導的網站偵錯。

載入中…

本案例研究最初刊登於 OpenAI 的 2024 年 5 月⁠(在新視窗中開啟)報告。

行動者

我們封禁了少數與源自中國、名為 「Spamouflage」⁠(在新視窗中開啟)的行動相關的帳號。Meta⁠(在新視窗中開啟) 認定這項行動與「中國執法機關相關人士」有關。FBI⁠(在新視窗中開啟) 認定,這項行動的部分社群媒體活動與中國公安部轄下的一個單位有關。

行為

這個網路以全球受眾為目標,尤其針對海外華人及中國政府的批評者。其生成的內容主要為中文,另有少量英文、日文及韓文內容。

該網路使用我們的模型偵錯程式碼、尋求社群媒體分析建議、研究新聞與時事,以及生成隨後發布至部落格論壇和社群媒體的內容。

例如,2023 年,該網路使用我們的模型為 revealscum.com 網站設定 WordPress 佈景主題的程式碼偵錯。該網站以中文批評反對中國政府的海外華人,並公布其個人資訊。該網站稱這些批評者為「漢奸」。內容本身並非使用我們的模型生成。

revealscum.com 網站的螢幕截圖,顯示標題為「漢奸」(「叛徒」)的頁面。我們已遮蔽遭該網站針對者的臉部。

revealscum.com 網站的螢幕截圖,顯示標題為「漢奸」(「叛徒」)的頁面。我們已遮蔽遭該網站針對者的臉部。

這項行動也使用我們的模型建立內容,之後再發布至社群媒體平台和論壇。例如,2023 年底,該行動生成多篇文章,指控日本排放福島核電廠廢水,破壞海洋環境。我們在 Medium、Blogspot 和 ameblo.jp 等平台上發現這些文章。

2024 年 4 月,這項行動以英文發布了一系列批評中國異議人士 Cai Xia 的留言。我們發現一個 X 帳號發布了第一則留言,另有一組帳號以回覆形式發布其餘留言。我們未發現任何真實帳號回覆這些留言。

攻擊 Cai Xia 的貼文與回覆,內容由 Spamouflage 使用我們的模型生成。請注意,這些內容沒有被轉發或按讚。原始貼文的十則留言全都來自使用 Spamouflage 生成內容的帳號。

攻擊 Cai Xia 的貼文與回覆,內容由 Spamouflage 使用我們的模型生成。請注意,這些內容沒有被轉發或按讚。原始貼文的十則留言全都來自使用 Spamouflage 生成內容的帳號。

這項行動也使用我們的模型進行開源研究,例如查詢如何申請社群媒體開發者帳號,或要求摘要中國政府批評者的社群媒體貼文。

人工智慧生成的內容似乎只占該網路整體產出的一小部分。例如,我們發現許多在 X 和 Medium 上發布模型生成內容的帳號,也發布了更多看似以英文和中文人工製作的內容(例如,從不合英文慣用法的表達即可看出)。這些帳號在發布人工智慧生成的留言前後,都曾發布此類內容。

一個曾於 4 月 19 日發布人工智慧生成內容的帳號,在 2024 年 4 月 22 日發布的貼文。文字與圖片似乎皆為人工製作。

一個曾於 4 月 19 日發布人工智慧生成內容的帳號,在 2024 年 4 月 22 日發布的貼文。文字與圖片似乎皆為人工製作。

內容

這項行動生成的內容多數為中文。主題涵蓋讚揚中國政府的國際執法合作,以及批評美國侵害美洲原住民等議題。部分內容批評美國政府與 Microsoft 揭露名為「Volt Typhoon」的中國駭客組織之活動。

另有一些內容以英文撰寫。這類內容通常批評中國政府的知名批評者,例如演員兼西藏運動人士 Richard Gere,以及異議人士 Cai Xia。2023 年底生成的少數英文、日文、中文、韓文及俄文文章,指控日本排放福島核電廠⁠(在新視窗中開啟)廢水,污染太平洋水域;這是中國資訊影響行動長期採用的主題。

其中一小組活動著重生成中文正面留言,內容涉及中國公安部部長訪問烏茲別克。過去沒有跡象顯示 Spamouflage 曾觸及這項主題;鑑於 FBI 認定⁠(在新視窗中開啟)該行動先前的部分社群媒體活動與中國公安部有關,因此這一點值得注意。

該網路的部分活動似乎反映了操作代理的個人興趣。例如,其中一名操作代理使用我們的模型研究相機鏡頭。另一名操作代理使用我們的模型,完成一份看似提供給中國共產黨黨員的測驗作業。

影響評估

自從 Spamouflage 於 2019 年首次被公開描述⁠(在新視窗中開啟)以來,已成為全球研究最深入的資訊影響行動之一。幾乎從未有報告指出其活動觸及真實受眾。

使用人工智慧生成內容似乎並未改變這種情況。在調查期間確認的部落格、文章及社群媒體帳號中,沒有任何一個獲得大量真實使用者的互動或追蹤。在某些案例中,現有指標顯示其貼文的瀏覽者只有我們的調查團隊。

我們使用突破量表⁠(在新視窗中開啟)評估資訊影響行動的影響力。該量表按 1(最低)至 6(最高)分級;我們將此行動評為第 2 類,特徵是跨多個平台發布內容,但沒有證據顯示網路外部人士曾大幅擴散這些內容。

指標

我們發現以下網域與這項行動有關。

  • revealscum.com