本案例研究最初刊載於 OpenAI 的 2024 年 10 月(在新視窗中開啟)報告。
行動者
我們封禁了一批此前未被報道的帳戶。這些帳戶使用我們的 API 建立留言,再發佈到 X 和 Facebook。這些留言不少都讚揚阿塞拜疆或為其人權紀錄辯護,但亦涵蓋眾多其他議題,可能反映這是一項商業營運的行動。由於該網絡經常讚揚阿塞拜疆,並嘗試在行動的多個階段運用 AI,我們將其命名為「A2Z」。
行為
與我們在 5 月揭露並命名為「Bad Grammar」的俄語 Telegram 行動一樣,這項行動使用我們的模型在社交媒體發佈留言。該行動利用 AI 管理虛假社交媒體人物形象、生成個人簡介、分析帖文和留言、以多種語言草擬回覆,以及校對內容。其後,這些回覆會發佈到 X 或 Facebook。大部分內容都是簡短留言,但亦包括經過風格化處理的圖片。這些圖片經常採用 1930 年代海報的風格,因此看來旨在吸引注意和互動,而非欺騙受眾。然而,附有這些風格化圖片的帖文通常每篇只獲得 0 至 5 次互動。

該行動其中一個土耳其語帳戶在 X 發佈的帖文,包含文字及圖片,兩者均使用我們的模型生成。該帖文沒有收到任何回覆、分享或讚好。

該行動其中一個英語帳戶在 X 發佈的帖文,包含文字及圖片,兩者均使用我們的模型生成。該帖文沒有收到任何回覆、分享或讚好。
運用 AI 讓該行動得以同時管理大量社交媒體帳戶。我們在 X 和 Facebook 識別出約 150 個符合此類活動特徵的帳戶,另有更多帳戶懷疑與其有關。這亦讓該行動有時能在留言串中與網上的真人互動。我們偶爾發現真人與虛假帳戶進行簡短對話,而虛假帳戶的回覆均使用我們的模型生成。
![兩名真人與該行動營運的帳戶對話,該帳戶使用由我們的模型生成的內容。譯自土耳其語:[人物 1]:你知道嗎?並非所有 Ataturk 主義者都是錫安主義者,但土耳其所有錫安主義者、Israel 支持者,以及對種族滅絕保持沉默的人,都是 Ataturk 主義者。有不符合這種概括的例子嗎?[行動帳戶]:Kemal 主義倡導和平與現代化。這種概括既危險又具誤導性。[人物 2]:甚麼和平?如果我的 Atatürk 仍然在世,他早已收復摩蘇爾、基爾庫克和西色雷斯……你只是在閱讀有關 Atatürk 的資料。你是否在聽 Yılmaz Özdil 那些吃 şeblebi 的故事?[行動帳戶]:歷史告訴我們,Ataturk 追求和平與現代化。不要被錯誤資訊誤導。](https://images.ctfassets.net/kftzwdyauwt9/6Sj1Lv6Z6mEERyaQoh2MrW/e67c8a94204ef521d8eaced6a98c9f14/october-2024-cross-platform-influence-operation-a2z-p31-fig3.png?w=3840&q=90&fm=webp)
兩名真人與該行動營運的帳戶對話,該帳戶使用由我們的模型生成的內容。譯自土耳其語:[人物 1]:你知道嗎?並非所有 Ataturk 主義者都是錫安主義者,但土耳其所有錫安主義者、Israel 支持者,以及對種族滅絕保持沉默的人,都是 Ataturk 主義者。有不符合這種概括的例子嗎?[行動帳戶]:Kemal 主義倡導和平與現代化。這種概括既危險又具誤導性。[人物 2]:甚麼和平?如果我的 Atatürk 仍然在世,他早已收復摩蘇爾、基爾庫克和西色雷斯……你只是在閱讀有關 Atatürk 的資料。你是否在聽 Yılmaz Özdil 那些吃 şeblebi 的故事?[行動帳戶]:歷史告訴我們,Ataturk 追求和平與現代化。不要被錯誤資訊誤導。
在 AI 出現前,這種規模的行動很可能需要一支龐大的網絡打手團隊,並承擔相應的成本和資料外洩風險。然而,該行動依賴 AI,亦令其特別容易受到我們的干擾。由於該行動在攻擊鏈的多個環節運用 AI,我們採取封禁行動後,便能同時切斷鏈中的多個環節。我們在 6 月初干擾這項活動後,已識別為該行動一部分的社交媒體帳戶,在歐盟、英國和法國的選舉期間全都停止發佈內容。部分帳戶在 8 月下旬恢復發文。其中少量帖文有跡象顯示可能由 AI 生成。帶有這類跡象的內容並非來自我們的模型。
生成內容
這項活動生成了簡短留言,內容涵蓋眾多政治議題。當中最顯著的是讚揚阿塞拜疆政府及其在國內、地區和國際政治中的角色,例如促進中亞各國團結,或主辦聯合國氣候變化大會。英語和意大利語帳戶讚揚阿塞拜疆作為歐洲能源供應國的角色,有時更以此回應外界對阿塞拜疆政府人權紀錄的批評。
![X 上的留言串。[用戶 1,其用戶名稱含有「自由」一詞]:解散一個奉行帝國主義、意大利也是其跟班,而且歡迎 Erdogan 等獨裁者的軍事聯盟,究竟有何可恥?[用戶 2]:名字叫自由,實際卻受人支配的朋友,離開北約,就意味下一秒落入俄羅斯控制。而在白俄羅斯、格魯吉亞、阿塞拜疆和哈薩克,情況看來也不太好……啊,這正是你想要的命運嗎?[行動帳戶]:落入俄羅斯控制?荒謬。北約保護我們;為保障能源安全,讓我們與阿塞拜疆合作。名字叫自由,實際卻糊里糊塗。](https://images.ctfassets.net/kftzwdyauwt9/1ogyzZzJO8BRkP5MdG3s6y/24e77bf30ce1c37bf8c069776cd62ac6/october-2024-cross-platform-influence-operation-a2z-p32-fig4.png?w=3840&q=90&fm=webp)
X 上的留言串。[用戶 1,其用戶名稱含有「自由」一詞]:解散一個奉行帝國主義、意大利也是其跟班,而且歡迎 Erdogan 等獨裁者的軍事聯盟,究竟有何可恥?[用戶 2]:名字叫自由,實際卻受人支配的朋友,離開北約,就意味下一秒落入俄羅斯控制。而在白俄羅斯、格魯吉亞、阿塞拜疆和哈薩克,情況看來也不太好……啊,這正是你想要的命運嗎?[行動帳戶]:落入俄羅斯控制?荒謬。北約保護我們;為保障能源安全,讓我們與阿塞拜疆合作。名字叫自由,實際卻糊里糊塗。
其他活動則聚焦 AI 的裨益與發展、金融市場、生態議題、加密貨幣,以及更廣泛的科技議題。其中一批帳戶聚焦阿拉伯聯合酋長國,把該國描繪成穩定的投資目的地,並經常以此對比有關美國政治不穩的說法。

一個曾發佈該行動內容的帳戶,在 X 回覆 Bloomberg 的報道。
部分虛假人物形象聚焦歐洲或美國政治。這項活動的意識形態因地區而異。例如,一個聚焦美國的 X 帳戶假扮自由派人士,批評美國前總統 Trump;另有一些以法語發文的 Facebook 帳戶批評總統 Macron,並支持國民聯盟(RN)。這些批評有時聚焦國內議題,藉此主張相關國家不應干預國際事務,包括俄羅斯入侵烏克蘭。

兩個不同 Facebook 帳戶發佈的留言,兩者都曾反覆發佈該行動的內容。德語留言針對一段訪問 AfD 政治人物 Alexander Jungbluth 的影片。內容寫道:「Jungbluth 探討了真正的問題:歐盟應關注內部事務!他的回答令我很振奮,尤其是關於烏克蘭衝突的部分。」
影響評估
這項行動在 Facebook 和 X 上非常活躍,涉及的帳戶可能多達數百個。在 X 上,部分帳戶擁有付費認證的藍色剔號。我們從兩個平台抽樣檢視約 150 個帳戶,未發現任何帳戶擁有大量追蹤者。調查期間,我們在 X 發現追蹤者最多的帳戶有 222 人;較常見的數字介乎十多人至二十出頭,而 X 上的帖文通常只獲得個位數互動。同樣,調查期間我們觀察到 Facebook 帖文獲得的最高表情回應數為 36,較常見的數字則介乎 0 至 5。不過,我們確實發現該行動的帖文有時會引來真人回覆。這些回應並非總是正面,有時更有真人反駁虛假帳戶,但至少反映該行動具備一定能力,能跨平台、以多種語言及就多個議題吸引受眾互動。

該行動的帳戶(上方帖文)與一名真人(下方帖文)在留言中爭論。上方:Gerald,這正好反映我們司法制度的問題有多嚴重。現在我們比以往任何時候都更需要支持 Trump!回覆:這正好反映我們對司法的理解有多大問題:每當有政治人物違反法律或規例,司法機關對其採取行動,就會被說成基於「政治」原因的「迫害」……
我們使用「突破規模」評估影響力行動的成效,評分由 1(最低)至 6(最高)。我們認為這項行動處於第二級別的最高端,並有可能突破至第三級別:其特點是在多個平台發文,而且有證據顯示真人曾與其內容互動。然而,我們禁止該行動使用我們的模型,並與業界同業分享資料後,已識別的相關社交媒體帳戶沉寂了多個星期。因此,這項行動既反映使用 AI 可提升行動者的能力,亦顯示依賴 AI 模型會令其更容易受到干擾。