本案例研究最初刊載於 OpenAI 的2025 年 10 月(在新視窗中開啟)報告。
行為者
我們封禁了企圖使用模型協助開發及改良惡意軟體的 ChatGPT 帳戶，涉及遠端存取木馬、憑證竊取程式，以及規避偵測的功能。這些帳戶似乎與俄語犯罪集團有關，因為我們發現他們在專門供這類行為者使用的 Telegram 頻道中，發布其活動證據。根據調查，我們評估這些活動與一名俄語操作代理有關；該操作代理管理多個帳戶，並運用代理伺服器與短期託管基礎設施。
行為
這名威脅行為者使用多個 ChatGPT 帳戶，主要用於製作技術元件的原型並進行疑難排解，以支援入侵後活動與憑證竊取；這些都是此類威脅行為者常見的活動。模型拒絕了直接生成惡意內容的要求，因此操作代理通常會誘導模型產生基礎程式碼，例如將編譯後的可執行檔轉換成 Shellcode、設計記憶體內載入器，或剖析瀏覽器憑證；威脅行為者其後很可能將這些元件組合成惡意工作流程。
該威脅行為者也使用我們的模型生成混淆程式碼與「加密器」模式，例如插入填充指令與無用序列、監控剪貼簿，以及建立簡易的資料外洩輔助工具，包括 Telegram 機器人上傳器和封裝傳送指令碼。這些輸出本身並無惡意，除非威脅行為者在我們的平台外將其用於惡意用途。
該威脅行為者主要使用 ChatGPT 執行技術工作，例如低階 PE／Win32 API、DPAPI／AES GCM Cookie 處理，以及 Chrome DevTools／CDP 自動化。該威脅行為者提出的要求，技術複雜度高低不一：許多提示需要深入的 Windows 平台知識與反覆偵錯，另一些則用於自動執行大量生成密碼及透過指令碼申請工作等常見任務。該操作代理使用少量 ChatGPT 帳戶，並在不同對話中反覆修改同一份程式碼；這種模式更符合持續開發，而非偶爾測試。
完成情況
我們的模型並未用於執行任何威脅行為者的工具或工作流程，而我們也無法獨立驗證任何平台外活動。這名威脅行為者企圖使用我們的模型開發及改良攻擊工具與作業流程；這些工具和流程似乎可用於竊取憑證與加密資產、隱密執行程式碼，以及管理隱蔽的基礎設施。
具體而言，他們使用 ChatGPT 生成並反覆改良可運作的程式碼及部署指南，涵蓋記憶體內執行與 Shellcode 載入器；規避 UAC／SmartScreen／Mark-of-the-Web；擷取瀏覽器憑證／Cookie 與應用程式綁定解密框架；剖析錢包 LevelDB，以及具備資料外洩功能的剪貼簿劫持／內容替換工具；還有遠端存取木馬（RAT）元件，包括視訊與輸入模擬功能。依循自身的安全防護機制，我們的模型拒絕了明顯具有惡意且不存在任何合法用途的要求。
這些活動的代表性範例可對應至 LLM ATT&CK 框架，具體如下：
活動 | LLM ATT&CK 框架類別 |
|---|---|
將 EXE 轉換為位置無關的 Shellcode；建置記憶體內載入器（VirtualAlloc／WriteProcessMemory／遠端執行緒）；為載入器工具鏈進行程式語言轉換。 | LLM 最佳化酬載製作 |
加入混淆／加殼層、加密器及其他技術，目的可能是變更 PE 特徵碼，或以其他方式避開 AV／EDR 偵測、隱藏酬載。 | LLM 強化的異常偵測規避 |
生成可能用於擷取／解密瀏覽器憑證與 Cookie、剖析錢包 LevelDB、監控或替換剪貼簿內容，以及透過 Telegram 等機器人頻道外洩資料的指令碼與程式碼。 | LLM 輔助的入侵後活動 |
建置並改良 C2 與通道基礎設施，包括反向代理、SOCKS5／OpenVPN 設定及遠端桌面通道，並提供遠端串流與輸入模擬的偵錯／部署指南。 | LLM 引導的基礎設施剖析 |
影響
我們已停用所有與這些活動相關的帳戶，並與業界合作夥伴分享相關指標。我們並未發現任何證據顯示，存取我們的模型讓這些行為者獲得了無法透過多種公開資源取得的新能力或新方向。我們的模型拒絕了直接要求提供漏洞利用程式及鍵盤側錄器的請求。