跳到主要內容
OpenAI

2024年5月1日

安全機制

「劣質文法」:與俄羅斯有關的 Telegram 留言活動

OpenAI 封禁了與一項此前未曾曝光、源自俄羅斯的行動有關的帳戶。我們將該行動稱為「劣質文法」;它利用 AI 生成有關烏克蘭、摩爾多瓦、波羅的海國家及美國政治的英文和俄文 Telegram 留言。

正在載入...

本案例研究最初刊載於 OpenAI 的2024 年 5 月⁠(在新視窗中開啟)報告。

行動者

我們封禁了一個此前未曾曝光的帳戶網絡。該網絡利用我們的模型建立留言,再將其發布到 Telegram。我們發現這項活動與俄羅斯人士有關。鑑於該網絡集中使用 Telegram、反覆發布文法錯誤的英文內容,而且難以吸引受眾,我們將其稱為「劣質文法」。

行為

該網絡以俄文和英文內容鎖定俄羅斯、烏克蘭、美國、摩爾多瓦及波羅的海國家的受眾。

該網絡利用我們的模型及 Telegram 帳戶,建立大量發布垃圾留言的流程。首先,營運者利用我們的模型為程式碼除錯;該程式碼顯然旨在自動於 Telegram 發帖。其後,他們生成俄文和英文留言,回覆特定的 Telegram 帖文。最後,他們似乎利用至少十多個 Telegram 帳戶發布這些留言。

與此網絡生成文字相符的公開 Telegram 留言。涉事帳戶多次發布與此網絡輸出內容相符的留言。

與此網絡生成文字相符的公開 Telegram 留言。涉事帳戶多次發布與此網絡輸出內容相符的留言。

在英文內容方面,營運者利用我們的模型,以多個虛假人物的口吻生成留言;這些人物來自不同人口群體,分別代表美國政治光譜的兩端。在俄文內容方面,他們較常使用以主題為本、較少依賴人物設定的指示。

該網絡主要在少數 Telegram 頻道的帖文下留言。最常被提及的是親俄羅斯頻道 @Slavyangrad,其次是英文頻道 @police_frequency 和 @SGTNewsNetwork。(後者假扮成一名立場保守的美國退伍軍人,但 Meta 於 11 月報告⁠(在新視窗中開啟)稱,該頻道實際源自伊朗。)在 2 月份的活動樣本中,該網絡嘗試為這三個頻道生成回覆的次數,是其後十個最常被提及頻道合計的兩倍。

內容

這項行動生成簡短留言,內容集中於少數政治議題。無論英文還是俄文,其在 Telegram 發布的內容主要涉及烏克蘭戰爭、摩爾多瓦和波羅的海國家的政治局勢,以及美國政治。

Telegram 上典型的俄文留言指控烏克蘭和摩爾多瓦總統腐敗、缺乏民眾支持,並為西方「干預」而背叛自己的人民。Telegram 上的英文留言集中討論移民、經濟困境和當日突發新聞等議題。這些留言經常借用時事背景,宣稱美國不應支持烏克蘭。

與此網絡生成文字相符的公開 Telegram 留言。涉事帳戶多次發布與使用我們的模型生成內容相符的留言。

與此網絡生成文字相符的公開 Telegram 留言。涉事帳戶多次發布與使用我們的模型生成內容相符的留言。

有時,多個人物會在同一篇帖文下留言,提出彼此矛盾的觀點。這種假扮政治立場雙方聲音的「兩面派」手法,過往亦曾在俄羅斯行動中出現,可能反映其意圖吸引特定受眾或加劇分化。

與此網絡生成文字相符的公開 Telegram 留言。涉事帳戶多次發布與使用我們的模型生成內容相符的留言。

與此網絡生成文字相符的公開 Telegram 留言。涉事帳戶多次發布與使用我們的模型生成內容相符的留言。

莫斯科於 3 月 22 日發生恐怖襲擊並拘捕四名塔吉克斯坦國民後,這項行動開始使用一組以塔吉克斯坦為焦點的新 Telegram 帳戶。其發布的留言呼籲塔吉克人與俄羅斯人團結,並尊重俄羅斯法律。

影響評估

早在生成式 AI 出現之前,大量發布垃圾留言已是影響力行動的常見手法。儘管「劣質文法」採用新手法生成留言,其發布系統卻難以吸引用戶互動。

其留言極少獲得讚好或回覆。該網絡的留言通常只佔每篇帖文回覆的少數;換言之,即使其目標是淹沒其他觀點,也未能達成。

該網絡偶爾利用我們的模型生成貌似與另一名 Telegram 用戶交換的私人訊息,但生成的文字顯示,該網絡可能正在與一名加密貨幣騙徒對話。

我們採用 Breakout Scale⁠(在新視窗中開啟) 評估影響力行動的影響。此量表由 1 級(最低)至 6 級(最高);我們認為這項行動屬於第 1 級,其特徵是僅在單一平台發帖,且沒有證據顯示網絡以外的人士曾大幅擴散相關內容。