跳到主要內容
OpenAI

2025年6月1日

安全機制

「垃圾郵件大叔」行動:加劇美國兩極化的影響力行動

OpenAI 封禁了源自中國、利用 AI 生成美國政治內容,並研究人物、社會運動及網上社群的帳戶。

正在載入...

本案例研究最初刊載於 OpenAI 的《2025 年 6 月》⁠(在新視窗中開啟)報告。

行動者

在 Meta 同業提供線索後,我們封禁了多個與一項源自中國的影響力行動⁠(在新視窗中開啟)有關的 ChatGPT 帳戶。該行動針對美國政治論述中的爭議議題,生成支持不同立場、加劇兩極化的社交媒體內容,包括發布於 X 和 Bluesky 等平台的文字及 AI 生成個人檔案圖片。

行為

該網絡利用我們的模型執行多項任務,主要生成支持或批評關稅的社交媒體留言。這些帳戶向我們的模型查詢可盡量提高受眾互動的最佳發文時間,顯示其採取了經過策劃的擴大傳播策略。

「垃圾郵件大叔」行動生成的關稅相關帖文。

該威脅行動者利用我們的模型生成文字的兩則帖文,分別推動關稅爭議的不同立場。

其次,這些帳戶利用我們的圖像生成能力製作風格化標誌,再用作個人檔案圖片,在各個社交平台上塑造虛構人物。這些帳戶尤其着重塑造批評現屆美國政府的美國退伍軍人形象。

使用「退伍軍人爭取公義」標誌的 Bluesky 帳戶。

在 Bluesky 上發布該網絡所生成內容的帳戶。「退伍軍人爭取公義」標誌由我們的模型生成。

最後,這些帳戶持續要求提供程式碼及方法,以 Tweepy、Nitter 和 Bluesky 的公開 API 等工具,從 X 和 Bluesky 等社交平台擷取個人資料,例如用戶個人檔案、追蹤者名單及其他詳情。此外,這些帳戶亦使用我們的模型取得分析個人檔案資料的指引,以了解個人特徵及所屬組織,可能用於把個人分類,或推斷其關係和屬性。

生成內容

這些帳戶生成了涵蓋美國政治論述、加劇兩極化的內容,而且往往在同一次行動工作階段中同時生成。這與影響力行動的已知手法一致,其目的看來很可能是利用現有政治分歧,而非宣揚特定意識形態立場。鑑於內容數量龐大,而且集中針對美國受眾傳播訊息,我們將這項行動稱為「垃圾郵件大叔」。

「垃圾郵件大叔」行動中的虛構人物發布的帖文。

虛構人物發布的帖文,文字由我們的模型生成。

影響

根據衡量影響力行動成效的突破規模量表⁠(在新視窗中開啟),我們把這項行動評為第 2 類:在多個平台活動,但未能突破原有受眾範圍,或只獲得極少互動。發布由我們模型生成內容的社交媒體帳戶只獲得極少真實互動。該網絡在 X 發布的大部分帖文只有很少或完全沒有讚好或轉發,僅有少數帖文獲得一些互動。部分社交媒體帳戶有數千名追蹤者,但我們無法評估這些追蹤者是否真實,而追蹤者人數看來亦未能帶動帖文互動。