本案例研究最初刊載於 OpenAI 的 2025 年 2 月(在新視窗中開啟)報告。
行為者
我們封禁了一批帳戶，其活動可能與公開報導中隸屬朝鮮民主主義人民共和國（DPRK）的威脅行為者有關。其中一些帳戶從事的活動涉及與威脅組織 VELVET CHOLLIMA（又名 Kimsuky、Emerald Sleet）(在新視窗中開啟)一致的戰術、技術與程序（TTP）；其他帳戶則可能與某個行為者有關，可靠來源評估該行為者與 STARDUST CHOLLIMA（又名 APT38、Sapphire Sleet）(在新視窗中開啟)有所關聯。我們在收到可信賴的業界合作夥伴通報後，偵測到這些帳戶。
行為
遭封禁的帳戶主要使用我們的工具，查找可能與網路入侵工具或行動有關的資訊。這些帳戶也對加密貨幣相關主題展現興趣，可能與牟利活動有關。這種結合金融與網路活動的模式，是 DPRK 相關威脅組織的典型特徵。
生成結果
這些行為者使用我們的模型協助編寫程式與除錯，並研究安全相關的開放原始碼。這包括協助對公開工具和程式碼進行除錯與開發；這些工具和程式碼可用於遠端桌面通訊協定（RDP）暴力破解攻擊。此外，模型也提供了使用開放原始碼遠端管理工具（RAT）的協助。
該行為者在針對 macOS 的自動啟動擴充點（ASEP）位置與技術進行除錯時，透露了二進位檔（已編譯的可執行檔）的暫存 URL；當時這些檔案似乎尚不為安全廠商所知。我們將這些暫存 URL 提交至線上掃描服務，以便與資安社群分享。如今，多家廠商均能可靠偵測這些二進位檔，從而保護潛在受害者。
以下是部分活動範例，依照先前提議的 LLM 主題延伸項目，對應至 MITRE ATT&CK® 框架(在新視窗中開啟)：
詢問各類應用程式的弱點：LLM 輔助的偵察。
開發以 C# 為基礎的 RDP 用戶端並排解問題，以進行暴力破解攻擊：LLM 輔助開發。
要求提供程式碼，以繞過未授權 RDP 存取的安全警告：LLM 輔助開發。
要求提供大量 PowerShell 指令碼，用於 RDP 連線、檔案上傳與下載、從記憶體執行程式碼，以及混淆 HTML 內容：LLM 強化的指令碼技術；LLM 強化的異常偵測規避。
討論建立及部署經混淆的承載內容以供執行：LLM 最佳化的承載內容製作。
尋找對加密貨幣投資人與交易者發動針對性網路釣魚及社交工程攻擊的方法，以及較通用的網路釣魚內容：LLM 支援的社交工程。
撰寫網路釣魚電子郵件與通知，誘使使用者洩露敏感資訊：LLM 支援的社交工程。
研究開放原始碼遠端管理工具（RAT）：LLM 輔助的入侵後活動。
影響
該行為者的提示與查詢主要以現有的開放來源資訊為基礎；模型提供的生成內容不是未帶來任何新能力，就是拒絕回應。我們封禁了與該威脅行為者有關的帳戶，並與資安社群分享其承載內容，進一步干擾其行動。