本案例研究最初刊載於 OpenAI 的《2025 年 6 月報告》(在新視窗中開啟)。
行為者
我們封禁了一批疑似由俄語威脅行為者操作的 ChatGPT 帳號。該行為者使用我們的模型協助開發及改良 Windows 惡意軟體、偵錯多種語言的程式碼，以及架設其指揮與控制基礎設施。
該行為者展現出對 Windows 內部機制的瞭解，也採取了一些作業安全措施。鑑於這項行動以植入木馬的「準星」遊戲工具為重點，且採取隱匿手法，我們將其命名為「ScopeCreep」。
行為模式
這名威脅行為者採取了值得注意的作業安全手法。他們使用臨時電子郵件地址註冊 ChatGPT 帳號，且每個 ChatGPT 帳號只進行一次對話，用來對程式碼做一項漸進式改良。接著，他們會棄用原帳號並建立新帳號。
該行為者透過公開的程式碼庫散布 ScopeCreep 惡意軟體；這個程式碼庫冒充合法且廣受歡迎的電玩準星疊加工具 Crosshair-X。不知情的使用者下載並執行惡意版本後，便會在系統上啟動惡意軟體載入器，進而從攻擊者的基礎設施下載並執行其他惡意檔案。
此後，惡意軟體會啟動多階段流程，以提升權限、建立隱匿的持續駐留機制、通知威脅行為者，並在規避偵測的同時外洩敏感資料。
該威脅行為者不斷要求 ChatGPT 實作更多特定功能，利用我們的模型反覆協助開發惡意軟體。ScopeCreep 在遞送、執行、規避與資料外洩方面採用了多種技術，包括：
旨在規避特徵碼偵測的 C2 酬載。
透過 DLL 側載隱匿執行。
使用 Themida 自訂封裝進行混淆。
權限提升與規避。
透過連接埠 80 傳輸 HTTPS。
竊取憑證與工作階段。
透過 Telegram 通知攻擊者。
使用代理伺服器混淆流量。
儘管威脅行為者採取了作業安全措施，惡意軟體本身也具備規避偵測的機制，我們仍透過大規模網路濫用偵測流程發現了這項活動。我們與程式碼代管服務供應商協調，下架該惡意程式碼庫，並封禁所有與這項活動相關的 ChatGPT 帳號。
模型回應
這批帳號與模型的互動涵蓋了各式各樣的開發工作。其中一次互動包含一段 Go 程式碼；威脅行為者無法解決 HTTPS 請求的問題，因此要求模型協助偵錯。另一次互動中，威脅行為者請求協助，試圖透過 Go 使用 PowerShell 命令修改 Windows Defender 設定，以程式化方式新增防毒排除項目。
這些活動的代表性範例可依下列方式對應至 LLM ATT&CK 框架：
使用 LLM 編譯 python310.dll 檔案，使其程式碼在每次執行 python.exe 時一併執行：LLM 輔助開發。
排解用於透過連接埠 80 提供 HTTPS 流量的 SSL/TLS 憑證錯誤：LLM 輔助開發。
在模型協助下，將以 Flask 為基礎的 C2 伺服器遷移至可用於正式環境的 WSGI 伺服器：LLM 輔助開發。
在 Go 中開發 PowerShell 命令，以修改 Windows Defender 設定並新增防毒排除項目：LLM 強化的異常偵測規避。
偵錯相關程式碼，以便在攻陷新受害者時通知攻擊者控制的 Telegram 頻道：LLM 輔助的入侵後活動。
影響
現階段，得益於迅速報告，以及與業界合作夥伴密切協作並下架惡意程式碼庫，ScopeCreep 造成的影響可能已獲得緩解。我們封禁了這名對手使用的 OpenAI 帳號。
我們評估，這名威脅行為者企圖利用我們的模型加快惡意軟體開發作業。但矛盾的是，這也讓我們有機會迅速識別並瓦解這項威脅；當時該威脅看來仍處於初期階段。
雖然這款惡意軟體具備權限提升、持續駐留、憑證擷取和遠端存取等能力，但這些能力並不算新穎。儘管這款惡意軟體可能已在真實環境中活動，VirusTotal 上也出現了部分樣本，但我們未發現其受到廣泛關注或大規模散布的證據。