SweetSpecter：與中國有關的網絡活動
OpenAI 封禁了一批很可能屬於 SweetSpecter 的帳戶。這個疑似位於中國的威脅組織利用 AI 研究漏洞、編寫程式碼，並支援魚叉式網絡釣魚活動。
本案例研究最初刊載於 OpenAI 的 2024 年 10 月（在新視窗中開啟）報告。
威脅行為者
我們識別並封禁了一批帳戶。根據可靠消息來源的評估，這些帳戶很可能屬於一個疑似位於中國的威脅組織。該組織試圖利用我們的模型支援其進攻性網絡行動，同時對我們的員工及世界各地的政府發動魚叉式網絡釣魚攻擊。這個威脅組織於 2023 年浮現，外界以 SweetSpecter 之名追蹤其活動。據我們了解，這是首次有公開資料指出其攻擊目標包括一家美國 AI 公司；此前的報道指，其活動主要針對中東、非洲及亞洲的政治實體。
行為
2024 年 5 月，我們收到可靠消息來源的通報，指其安全團隊發現 SweetSpecter 向我們部分員工的公司及個人電郵帳戶發送魚叉式網絡釣魚電郵，當中附有惡意附件。
SweetSpecter 發送給我們少數員工的電郵，部分內容已遮蔽。這些電郵已被我們的安全系統攔截。圖片由 Proofpoint 提供。
在這些電郵中，SweetSpecter 冒充 ChatGPT 用戶，向目標員工尋求支援。電郵附有名為「some problems.zip」的惡意附件，內含一個 LNK 檔案。該檔案含有程式碼，一旦開啟，就會向用戶顯示一份 DOCX 文件，列出各種看似來自 ChatGPT 的錯誤及服務訊息。然而，名為 SugarGh0st RAT 的 Windows 惡意軟件會在背景中被解密並執行。這款惡意軟件旨在讓 SweetSpecter 控制受入侵的電腦，並執行任意指令、擷取螢幕畫面及竊取資料等。
OpenAI 的安全團隊聯絡了據信成為這次魚叉式網絡釣魚攻擊目標的員工，發現現有的安全控制措施已成功攔截這些電郵，使其未能送達員工的公司電郵帳戶。
其中一個經分析的惡意 LNK 檔案在執行時會顯示的誘餌內容。
在整個過程中，我們與業界合作夥伴的協作發揮了關鍵作用，協助識別這些入侵員工帳戶但未能得逞的企圖。這凸顯了在 AI 時代，威脅情報共享與協作至關重要，有助我們領先技術高超的對手一步。善用共享情報及各方專業知識，能讓我們更有效地保護自身資產，並阻斷與這類活動相關的平台帳戶運作。
模型回應
在擴大分析範圍、檢視支援這次行動的基礎設施時，我們發現並阻斷了一組 ChatGPT 帳戶的運作。這些帳戶正利用同一套基礎設施，嘗試取得問題的答案，並完成腳本編寫及漏洞研究任務。我們將這些互動對應至 Microsoft 於今年較早前提議納入 MITRE ATT&CK® 框架、與 LLM 相關的戰術、技術及程序（TTP）。MITRE 框架記錄網絡威脅行為者在現實中使用的戰術及技術。我們列出這些對應關係，旨在讓更廣泛的網絡安全社群了解我們觀察到的 TTP，並協助提升網絡防禦成效。
以下是 SweetSpecter 符合這些 TTP 的部分活動例子：
活動 | LLM ATT&CK 框架類別 |
|---|---|
詢問各種應用程式的漏洞 | 利用 LLM 提供的資訊進行偵察 |
詢問如何搜尋受嚴重遠端程式碼執行（RCE）漏洞 Log4Shell 影響的特定 Log4j 版本 | 利用 LLM 提供的資訊進行偵察 |
詢問海外常用的內容管理系統 | 利用 LLM 提供的資訊進行偵察 |
索取特定 CVE 編號的相關資訊 | 利用 LLM 提供的資訊進行偵察 |
詢問如何製作覆蓋整個互聯網的掃描工具。 | 利用 LLM 提供的資訊進行偵察 |
詢問如何利用 sqlmap，將可能用作網頁後門的程式上載至目標伺服器。 | 以 LLM 輔助漏洞研究 |
請求協助尋找方法，利用某知名汽車製造商基礎設施中的漏洞。 | 以 LLM 輔助漏洞研究 |
提供程式碼，並請求進一步協助，以程式方式透過通訊服務發送短訊。 | 以 LLM 強化腳本編寫技術 |
在開發網絡安全工具的擴充功能時，請求協助偵錯。 | 以 LLM 強化腳本編寫技術 |
請求協助偵錯某段程式碼；該程式碼是較大型框架的一部分，用於以程式方式向攻擊者指定的號碼發送短訊。 | 以 LLM 輔助開發 |
詢問哪些主題會引起政府部門員工的興趣，以及附件應如何命名才可避免被封鎖。 | 以 LLM 支援社交工程 |
要求將攻擊者提供的招聘訊息改寫成不同版本。 | 以 LLM 支援社交工程 |
在整個調查過程中，我們的安全團隊利用 ChatGPT 分析、分類、翻譯及摘要威脅行為者帳戶的互動內容。這讓我們能迅速從大型資料集中提取有用資訊，同時盡量減少這項工作所需的資源。隨着模型日益先進，我們預期亦能利用 ChatGPT，對發送給員工的惡意附件進行逆向工程及分析。
影響
與我們在首份威脅報告中的觀察一致，這些行動者使用我們的模型，似乎並未獲得任何無法從多個公開資源取得的新能力或方向。我們的安全機制在這些惡意電郵送達員工收件匣之前，已將其攔截。