SweetSpecter：与中国有关联的网络活动
OpenAI 封禁了一批很可能属于 SweetSpecter 的账号。该攻击组织疑似位于中国，利用 AI 研究漏洞、编写代码，并支持鱼叉式网络钓鱼活动。
本案例研究最初发表于 OpenAI 的 2024 年 10 月（在新窗口中打开）报告。
行为主体
我们发现并封禁了一批账号。根据可靠消息来源的评估，这些账号很可能属于一个疑似位于中国的攻击组织。该组织试图利用我们的模型支持其进攻性网络行动，同时对我们的员工和世界各国政府开展鱼叉式网络钓鱼攻击。该攻击组织于 2023 年出现，公开追踪名称为 SweetSpecter。据我们了解，这是该组织首次被公开认定将一家美国 AI 公司列为攻击目标；此前的报道显示，其活动主要针对中东、非洲和亚洲的政治实体。
行为
2024 年 5 月，我们收到可靠消息来源提供的线索：其安全团队发现，SweetSpecter 正向我们部分员工的公司邮箱和个人邮箱发送带有恶意附件的鱼叉式网络钓鱼邮件。
SweetSpecter 向我们少数员工发送的邮件，敏感内容已作遮盖处理。这些邮件已被我们的安全系统拦截。图片由 Proofpoint 惠予提供。
在这些邮件中，SweetSpecter 冒充 ChatGPT 用户，向目标员工寻求支持。邮件附有一个名为“some problems.zip”的恶意附件，其中包含一个 LNK 文件。该文件内含代码，一旦被打开，就会向用户展示一份 DOCX 文件，其中列出了各种看似来自 ChatGPT 的错误和服务提示。然而，后台会同时解密并执行一种名为 SugarGh0st RAT 的 Windows 恶意软件。该恶意软件旨在让 SweetSpecter 控制受感染的计算机，并执行任意命令、截取屏幕画面、窃取数据等。
OpenAI 安全团队联系了据信遭到此次鱼叉式网络钓鱼行动攻击的员工，发现现有安全措施已将这些邮件拦截，邮件并未进入他们的公司邮箱。
所分析的一个恶意 LNK 文件在执行时会显示的诱饵内容。
在整个过程中，我们与行业合作伙伴的协作，为识别这些未遂的员工账号入侵企图发挥了关键作用。这凸显了威胁情报共享与协作的重要性，有助于我们在 AI 时代领先于手段复杂的攻击者。通过共享洞察、汇聚专业知识，我们能够更好地保护自身资产，并阻断与此类活动相关的平台账号。
模型输出
在分析支撑此次行动的更广泛基础设施时，我们发现并封禁了一组 ChatGPT 账号。这些账号使用同一套基础设施，试图借助模型解答问题，并完成脚本编写和漏洞研究任务。我们将这些交互行为与微软今年早些时候提议纳入 MITRE ATT&CK® 框架的 LLM 相关战术、技术和程序（TTP）进行了对应。MITRE 框架收录了网络攻击者在现实中使用的战术和技术。我们列出这些对应关系，旨在向更广泛的网络安全社区介绍已观察到的 TTP，并帮助提升网络防御成效。
以下列出了 SweetSpecter 符合这些 TTP 的部分活动示例：
活动 | LLM ATT&CK 框架类别 |
|---|---|
询问各种应用程序中的漏洞 | 借助 LLM 获取信息的侦察 |
询问如何查找受严重远程代码执行（RCE）漏洞 Log4Shell 影响的特定 Log4j 版本 | 借助 LLM 获取信息的侦察 |
询问国外常用的内容管理系统 | 借助 LLM 获取信息的侦察 |
询问特定 CVE 编号的相关信息 | 借助 LLM 获取信息的侦察 |
询问如何构建覆盖整个互联网的扫描器。 | 借助 LLM 获取信息的侦察 |
询问如何使用 sqlmap 将疑似 Web Shell 上传至目标服务器。 | LLM 辅助漏洞研究 |
寻求帮助，寻找利用某知名汽车制造商基础设施漏洞的方法。 | LLM 辅助漏洞研究 |
提供代码，并进一步寻求帮助，以通过程序调用通信服务发送短信。 | LLM 增强的脚本编写技术 |
在开发某网络安全工具的扩展时，寻求调试帮助。 | LLM 增强的脚本编写技术 |
寻求代码调试帮助；这些代码属于一个更大的框架，该框架用于通过程序向攻击者指定的号码发送短信。 | LLM 辅助开发 |
询问哪些话题能引起政府部门员工的兴趣，以及附件使用什么名称能够避免被拦截。 | LLM 支持的社会工程 |
要求为攻击者提供的招聘信息生成不同版本。 | LLM 支持的社会工程 |
在整个调查过程中，我们的安全团队利用 ChatGPT 分析、分类、翻译和总结攻击者账号的交互内容。这使我们能够从大型数据集中快速提炼洞察，同时尽可能减少这项工作所需的资源。随着模型能力不断提升，我们预计也将能够使用 ChatGPT 对发送给员工的恶意附件进行逆向工程和分析。
影响
与我们在首份威胁报告中的观察一致，这些行动人员使用我们的模型后，似乎并未获得新的能力或思路；他们通过多种公开资源也能获取同样的信息。我们的安全机制在攻击者的恶意邮件进入员工收件箱之前就将其拦截。