跳到主要內容
OpenAI

2024年5月1日

安全機制

「分身」行動:針對烏克蘭的俄羅斯影響力活動

OpenAI 封禁了與源自俄羅斯的「分身」行動有關的帳戶。該行動使用 AI,以多種語言生成反烏克蘭的社交媒體留言、翻譯及網站文案。

正在載入...

本案例研究最初刊載於 OpenAI 的 2024 年 5 月⁠(在新視窗中開啟)報告。

行動者

我們封禁了四組使用我們模型的帳戶,這些帳戶與代表俄羅斯影響力行動 「分身」⁠(在新視窗中開啟)行事的人士有關。每組帳戶採用不同的戰術、技術及程序(TTP),與該行動由不同職能團隊組成的情況吻合。

行為

這些活動以歐洲及北美洲受眾為目標,重點是為網站及社交媒體生成內容。

第一組帳戶以英語、法語、德語、意大利語及波蘭語生成簡短文字留言。這些留言連同迷因、影片及連結發佈於 9GAG 和 X;後三者看來並非使用我們的模型生成。部分迷因從互聯網各處複製而來,似乎已有多年歷史。

在 9GAG 上,發佈此活動內容的帳戶通常以名人或貓隻照片作為個人頭像。他們在各式各樣的頻道發佈迷因及影片,包括「隨機」頻道,以及寵物、體育、幽默,甚至感情與約會主題的頻道。

一個反覆發佈此活動所生成內容的帳戶,在 9GAG 的「汽車」頻道發佈有關烏克蘭的留言及加沙影片。當中提及烏克蘭及美國邊境的內容是使用我們的模型生成。該影片由新聞片段拼貼而成。該帖文獲得 11 個讚好及 93 個負評。

一個反覆發佈此活動所生成內容的帳戶,在 9GAG 的「汽車」頻道發佈有關烏克蘭的留言及加沙影片。當中提及烏克蘭及美國邊境的內容是使用我們的模型生成。該影片由新聞片段拼貼而成。該帖文獲得 11 個讚好及 93 個負評。

此活動每次在 9GAG 發佈迷因或影片,都會有三至五個帳戶回覆,通常只是「哈哈哈」或「笑死」等簡單訊息。這些帳戶全都只曾與此活動的內容互動,而且大部分在同一天建立。這種行為經常引來其他用戶批評,當中許多人指這些帳戶是「機械人帳戶」。

上圖所示影片的留言。最下方三個帳戶(最早留言者)全都在 2024 年 4 月下旬建立,並反覆發佈、讚好或留言回應此活動的帖文,沒有參與其他內容。最上方三個揭穿造假行為的帳戶均於一至十年前建立,活動類型十分廣泛。

上圖所示影片的留言。最下方三個帳戶(最早留言者)全都在 2024 年 4 月下旬建立,並反覆發佈、讚好或留言回應此活動的帖文,沒有參與其他內容。最上方三個揭穿造假行為的帳戶均於一至十年前建立,活動類型十分廣泛。

在 X 上,此活動的留言由通常只發佈過一兩則帖文的帳戶發出。留言通常附有看似隨機的連結,例如「solarpanelfor.sale」。這些連結會重新導向一批屢次被認定與「分身」有關的網站。這些網站設有地理圍欄,只有 IP 位址位於目標國家的人才能瀏覽。不過,營運者似乎出了差錯,導致部分英語、德語及波蘭語文章只能透過法國 IP 位址瀏覽。

X 上的帖文,當中包括使用我們的模型生成的留言。留言譯文為:「令人震驚的行為!政治絕不應與暴力扯上關係。我們需要對話,而非暴力」。隨附的連結會重新導向「分身」品牌網站 rrn.media 的德語版。不過,截至 5 月 20 日,該網站只能透過法國 IP 位址瀏覽。

X 上的帖文,當中包括使用我們的模型生成的留言。留言譯文為:「令人震驚的行為!政治絕不應與暴力扯上關係。我們需要對話,而非暴力。」隨附的連結會重新導向「分身」品牌網站 rrn.media 的德語版。不過,截至 5 月 20 日,該網站只能透過法國 IP 位址瀏覽。

這組帳戶透過一項與俄羅斯及捷克共和國企業有關的服務存取我們的模型,可能是為了逃避偵測。這項服務旨在讓俄羅斯境內的人規避我們的支援國家及地區存取政策⁠(在新視窗中開啟)。我們已停用這項服務的 API 存取權限。

第二組帳戶把文章由俄語翻譯成英語及法語;俄語原文似乎是原創內容。這些文章有許多其後刊登於一個屢次被認定與「分身」有關的網站:rrn.media。同一組帳戶亦為其文章生成簡短留言,這些留言其後出現在社交媒體上。

使用我們的模型生成並發佈於 X 的帖文,附有 rrn.media 文章的連結。

使用我們的模型生成並發佈於 X 的帖文,附有 rrn.media 文章的連結。

第三組帳戶用於生成、校對及修正法語文章。文章其後刊登於另一個被認定與「分身」有關的網站 franceeteu.today。

最後一組帳戶以德語運作。這組帳戶擷取「分身」網站 grenzezank.com 的內容,用來為以該網站命名的 Facebook 群組及專頁生成簡短帖文。

內容

此活動在網上發佈的內容大多聚焦於烏克蘭戰爭。內容負面描繪烏克蘭、美國、北約及歐盟,並正面描繪俄羅斯。典型留言聲稱,俄羅斯是歐洲國家的重要經濟夥伴;批評俄羅斯的西方領袖不了解本國選民;而烏克蘭軟弱、腐敗及/或瀕臨戰敗。

「分身」行動者有時會嘗試要求我們的模型生成歐洲知名政治人物及俄羅斯批評者的卡通圖片。我們的模型拒絕了這些要求。

影響評估

我們識別出的「分身」活動似乎全都未能從真實受眾獲得大量正面互動。

在 9GAG 上,典型帖文獲得 5 至 10 個讚好,主要來自同樣發佈此活動內容的帳戶,另有 15 至 200 個負評。在 X 上,典型帖文約有 1,000 次分享,但沒有回覆或讚好。這種巨大落差顯示,帖文可能經過虛假放大。其中一則帖文有三個回覆,全都指其內容造假。

X 上對「分身」帖文的回覆。

X 上對「分身」帖文的回覆。

我們使用突破規模量表⁠(在新視窗中開啟)評估影響力行動的影響。該量表按 1(最低)至 6(最高)級評分;我們把涉及使用我們模型的活動評為第 2 類,即在多個平台發佈內容,但未能在任何平台取得突破或顯著的受眾互動。