SweetSpecter：與中國有關的網路活動
OpenAI 封禁了很可能屬於 SweetSpecter 的帳號。這個疑似位於中國的威脅行為者利用 AI 研究漏洞、撰寫程式碼，並支援魚叉式網路釣魚活動。
本案例研究最初刊載於 OpenAI 的 2024 年 10 月(在新視窗中開啟)報告。
行為者
我們發現並封禁了一些帳號。根據可信來源的評估，這些帳號很可能屬於一個疑似位於中國的威脅行為者。該行為者試圖利用我們的模型支援其網路攻擊行動，同時對我們的員工及世界各國政府發動魚叉式網路釣魚攻擊。這個威脅行為者於 2023 年出現，在公開追蹤中被稱為 SweetSpecter。據我們所知，這是首次有公開資訊指出，其攻擊目標包括一家美國 AI 公司；先前的報導指出，其活動主要針對中東、非洲和亞洲的政治實體。
行為
2024 年 5 月，我們接獲可信來源的通報，指出其資安團隊觀察到 SweetSpecter 向我們部分員工的公司及個人電子郵件帳號寄送魚叉式網路釣魚郵件，內含惡意附件。
SweetSpecter 寄給我們少數員工的電子郵件，部分內容已遮蔽。這些郵件已遭我們的安全系統封鎖。圖片由 Proofpoint 惠予提供。
SweetSpecter 在這些郵件中冒充 ChatGPT 使用者，向鎖定的員工尋求支援。郵件附有名為「some problems.zip」的惡意附件，其中包含一個 LNK 檔案。這個檔案內含程式碼，一旦開啟，就會向使用者顯示一份 DOCX 檔案，列出各種看似來自 ChatGPT 的錯誤和服務訊息。然而，名為 SugarGh0st RAT 的 Windows 惡意軟體會在背景解密並執行。這款惡意軟體旨在讓 SweetSpecter 控制遭入侵的電腦，並執行任意指令、擷取螢幕畫面及竊取資料等。
OpenAI 資安團隊聯繫了疑似遭這波魚叉式網路釣魚攻擊鎖定的員工，並確認既有的安全控管措施已阻止這些郵件送達他們的公司信箱。
在分析的惡意 LNK 檔案中，其中一個檔案執行後會顯示的誘餌內容。
在整個過程中，我們與業界夥伴的合作，對於辨識這些未能得逞的員工帳號入侵企圖發揮了關鍵作用。這凸顯了在 AI 時代，若要領先手法高明的威脅行為者，分享威脅情資與相互合作至關重要。透過共享的洞見與集體專業知識，我們能更有效地保護資產，並阻斷平台上與此類活動相關帳號的運作。
模型回應
在分析支援這波攻擊行動的整體基礎設施時，我們發現並阻斷了一批 ChatGPT 帳號的運作。這些帳號使用相同的基礎設施，試圖取得問題解答，並完成指令碼撰寫與漏洞研究任務。我們將這些互動對應至 Microsoft 今年稍早提議納入 MITRE ATT&CK® 框架的 LLM 相關戰術、技術與程序（TTP）。MITRE 框架記錄了網路威脅行為者在現實中使用的戰術與技術。我們列出這些對應關係，旨在讓更廣泛的資安社群了解觀察到的 TTP，並協助提升網路防禦成效。
以下是 SweetSpecter 活動中符合這些 TTP 的部分範例：
活動 | LLM ATT&CK 框架類別 |
|---|---|
詢問各種應用程式的漏洞 | 利用 LLM 提供的資訊進行偵察 |
詢問如何搜尋受 Log4Shell 重大遠端程式碼執行（RCE）漏洞影響的特定 Log4j 版本 | 利用 LLM 提供的資訊進行偵察 |
詢問國外廣泛使用的內容管理系統 | 利用 LLM 提供的資訊進行偵察 |
詢問特定 CVE 編號的相關資訊 | 利用 LLM 提供的資訊進行偵察 |
詢問如何製作涵蓋整個網際網路的掃描工具。 | 利用 LLM 提供的資訊進行偵察 |
詢問如何使用 sqlmap 將可能的網頁後門上傳至目標伺服器。 | 利用 LLM 輔助漏洞研究 |
尋求協助，以找出可利用某知名汽車製造商基礎設施漏洞的方法。 | 利用 LLM 輔助漏洞研究 |
提供程式碼，並進一步尋求協助，以透過程式呼叫通訊服務傳送簡訊。 | 利用 LLM 強化指令碼撰寫技術 |
為開發中的資安工具擴充功能尋求除錯協助。 | 利用 LLM 強化指令碼撰寫技術 |
尋求程式碼除錯協助；該程式碼隸屬於一個更大的框架，用於透過程式向攻擊者指定的號碼傳送簡訊。 | 利用 LLM 輔助開發 |
詢問哪些主題能引起政府部門員工的興趣，以及如何命名附件才不易遭到封鎖。 | 利用 LLM 支援社交工程 |
要求改寫攻擊者提供的徵才訊息，產生不同版本。 | 利用 LLM 支援社交工程 |
在整個調查過程中，我們的資安團隊利用 ChatGPT 分析、分類、翻譯並摘要威脅行為者帳號的互動內容。這讓我們能從大型資料集中迅速獲得洞見，同時盡量減少這項工作所需的資源。隨著模型日益進步，我們預期也將能使用 ChatGPT，對寄給員工的惡意附件進行逆向工程與分析。
影響
與我們在首份威脅報告中的觀察一致，這些行動操作者使用我們的模型，似乎並未獲得任何無法從多種公開資源取得的新能力或方向。我們的安全機制在威脅行為者的惡意郵件送達員工收件匣之前，就已將其封鎖。