本個案研究原刊於 OpenAI 的2025 年 6 月（在新視窗中開啟）報告。
行為者
我們封鎖了一批看似由俄語威脅行為者操作的 ChatGPT 帳戶。該行為者使用我們的模型協助開發及改良 Windows 惡意軟件、偵錯多種語言的程式碼，以及建立其指揮及控制基礎設施。
該行為者展現出對 Windows 內部機制的認識，並採取了一些行動安全措施。鑑於此行動集中利用植入木馬的「準星」遊戲工具，並採取隱蔽策略，我們將其命名為「ScopeCreep」。
行為
該威脅行為者採取了一套值得注意的行動安全做法。他們使用臨時電郵地址註冊 ChatGPT 帳戶，並將每個帳戶限於一次對話，每次只要求對程式碼作一項漸進式改進。之後，他們會棄用原有帳戶，再建立新帳戶。
該行為者透過一個公開程式碼庫散播 ScopeCreep 惡意軟件；該程式碼庫冒充一款合法且熱門的電子遊戲準星覆蓋工具 Crosshair-X。毫無戒心的使用者下載並執行惡意版本後，便會在系統上啟動惡意軟件載入器，繼而從攻擊者的基礎設施下載並執行更多惡意檔案。
其後，該惡意軟件會啟動多階段程序，以提升權限、以隱蔽方式維持存取、通知威脅行為者，以及在避過偵測的同時竊取敏感資料。
該威脅行為者持續要求 ChatGPT 實作更多特定功能，利用我們的模型反覆改進惡意軟件。ScopeCreep 在傳遞、執行、規避及資料外洩方面採用多種技術，包括：
旨在避過特徵碼偵測的 C2 有效載荷。
透過 DLL 側載入隱蔽執行。
使用 Themida 自訂封裝來混淆程式碼。
權限提升及規避偵測。
透過連接埠 80 傳輸 HTTPS。
竊取登入憑證及工作階段。
透過 Telegram 通知攻擊者。
透過代理伺服器混淆流量。
儘管該威脅行為者採取行動安全措施，而惡意軟件本身亦設有規避偵測機制，我們仍透過大規模網絡濫用偵測流程發現這項活動。我們與程式碼託管服務供應商協調，下架該惡意程式碼庫，並封鎖與這項活動相關的所有 ChatGPT 帳戶。
模型回應
這批帳戶與模型的互動涵蓋多種開發工作。其中一次互動包含一段 Go 程式碼；該威脅行為者在處理 HTTPS 請求時遇到困難，並要求模型協助偵錯。在另一次互動中，該威脅行為者要求協助透過 Go 使用 PowerShell 指令修改 Windows Defender 設定，以找出以程式方式新增防毒軟件排除項目的方法。
這些活動的代表性例子可對應至 LLM ATT&CK 框架如下：
使用 LLM 編譯 python310.dll 檔案，讓其程式碼在每次執行 python.exe 時運行：LLM Aided Development。
排解用於透過連接埠 80 提供 HTTPS 流量的 SSL/TLS 證書錯誤：LLM Aided Development。
在模型協助下，將以 Flask 為基礎的 C2 伺服器遷移至可用於生產環境的 WSGI 伺服器：LLM Aided Development。
在 Go 中開發 PowerShell 指令，以修改 Windows Defender 設定及新增防毒軟件排除項目：LLM-Enhanced Anomaly Detection Evasion。
偵錯相關程式碼，以便在新受害者遭入侵時通知由攻擊者控制的 Telegram 頻道：LLM-Assisted Post-Compromise Activity。
影響
現階段，ScopeCreep 的影響可能因迅速報告，以及與業界合作夥伴緊密協作並成功下架惡意程式碼庫而得到緩解。我們封鎖了這名攻擊者使用的 OpenAI 帳戶。
我們評估認為，該威脅行為者試圖利用我們的模型加快惡意軟件開發工作。但矛盾的是，這亦讓我們有機會迅速識別並阻止威脅，而當時威脅看來仍處於早期階段。
雖然這款惡意軟件能夠提升權限、維持存取、收集登入憑證及進行遙距存取，但這些能力並不特別新穎。儘管這款惡意軟件可能曾在實際環境中活動，而 VirusTotal 上亦出現過部分樣本，但我們未有發現其受到廣泛關注或大規模散播的證據。