本案例研究最初刊載於 OpenAI 的 2025 年 10 月（在新視窗中開啟）報告。
威脅行為者
我們封禁了企圖利用模型協助開發及改良惡意軟件的 ChatGPT 帳戶，當中涉及遠端存取木馬、憑證竊取程式及規避偵測功能。這些帳戶似乎與俄語犯罪集團有關，因為我們發現他們在一個專門供這類行為者使用的 Telegram 頻道中，發佈其活動證據。根據調查，我們評估這些活動與一名俄語操作代理有關；該操作代理管理多個帳戶，並利用代理伺服器及短期託管基礎設施。
行為
這名威脅行為者使用多個 ChatGPT 帳戶，主要用於製作技術元件的原型及排解問題，以支援入侵後活動和憑證竊取；這些都是此類威脅行為者常見的活動。模型拒絕直接生成惡意內容的要求，因此操作代理一般會利用模型取得可組合的程式碼元件，例如將已編譯的可執行檔轉換為 shellcode、設計記憶體內載入器，或解析瀏覽器憑證；威脅行為者其後很可能將這些元件組合成惡意工作流程。
該威脅行為者亦利用我們的模型生成混淆處理及「crypter」模式的程式碼，例如插入填充指令和垃圾序列，以及製作剪貼簿監察功能與簡單的資料外洩輔助工具，如 Telegram 機械人上載工具及封存後傳送的指令碼。這些輸出本身並無惡意，除非威脅行為者在我們的平台以外將其用於惡意用途。
該威脅行為者主要使用 ChatGPT 執行技術工作，例如處理底層 PE／Win32 API、以 DPAPI／AES GCM 處理 Cookie，以及進行 Chrome DevTools／CDP 自動化。該威脅行為者提出的要求技術複雜程度不一：不少提示需要深入的 Windows 平台知識及反覆除錯，另一些則是把大量生成密碼和透過指令碼提交求職申請等常見工作自動化。該操作代理使用少量 ChatGPT 帳戶，並在多段對話中反覆修改同一套程式碼；這種模式顯示其正在持續開發，而非偶爾測試。
生成內容
我們的模型並未用於執行任何威脅行為者的工具或工作流程，而我們亦無法獨立核實任何平台外活動。該威脅行為者企圖利用我們的模型開發及改良攻擊工具與操作工作流程；這些工具及流程看來可用於竊取憑證和加密資產、隱蔽地執行程式碼，以及管理秘密基礎設施。
具體而言，他們利用 ChatGPT 生成並反覆修改可運作的程式碼及部署指引，內容涵蓋記憶體內執行及 shellcode 載入器；繞過 UAC／SmartScreen／Mark-of-the-Web；擷取瀏覽器憑證及 Cookie，以及應用程式綁定解密框架；解析錢包 LevelDB，以及具備資料外洩功能的剪貼簿劫持／內容替換工具；還有包括視像及輸入模擬在內的遠端存取木馬（RAT）元件。按照安全防護機制，我們的模型拒絕了明顯帶有惡意且不具任何合法用途的要求。
這些活動的代表例子可按以下方式對應至 LLM ATT&CK 框架：
活動 | LLM ATT&CK 框架類別 |
|---|---|
將 EXE 轉換為位置無關的 shellcode；建立記憶體內載入器（VirtualAlloc／WriteProcessMemory／遠端執行緒）；為載入器工具鏈轉換程式語言。 | LLM 最佳化酬載製作 |
加入混淆／封裝層及 crypter，並採用可能旨在更改 PE 簽章或以其他方式避開 AV／EDR 偵測的技術。 | LLM 強化的異常偵測規避 |
生成指令碼及程式碼，可能旨在擷取／解密瀏覽器憑證與 Cookie、解析錢包 LevelDB、監察或替換剪貼簿內容，以及透過 Telegram 等機械人頻道外洩資料。 | LLM 輔助的入侵後活動 |
建立及改良 C2 和隧道基礎設施，包括反向代理、SOCKS5／OpenVPN 設定、遠端桌面隧道，以及遠端串流與輸入模擬的除錯／部署指引。 | LLM 引導的基礎設施分析 |
影響
我們停用了所有與這些活動相關的帳戶，並與業界合作夥伴分享相關指標。我們並無發現任何證據顯示，使用我們的模型為這些行為者帶來了無法從多種公開資源獲得的新能力或新方向。我們的模型拒絕了直接要求製作漏洞利用程式及鍵盤記錄器的請求。