本案例研究最初发表于 OpenAI 的 2025 年 10 月（在新窗口中打开）报告。
疑似源自柬埔寨、缅甸和尼日利亚的网络滥用 ChatGPT，企图实施网络诈骗。
我们致力于识别、防范和遏制出于有害目的滥用我们模型的行为。此类滥用行为包括诈骗。我们会检测并封禁企图滥用我们模型实施欺骗和诈骗的恶意行为者。过去三个月里，我们遏制了疑似源自柬埔寨、缅甸和尼日利亚的诈骗网络。在调查这些滥用模式的过程中，我们还发现许多人使用我们的模型来帮助识别诈骗，这表明 AI 能够在打击诈骗方面发挥作用。本报告将探讨这两类用例。
滥用我们模型协助诈骗的行为形态不一，既有个人实施的诈骗，也有疑似与有组织犯罪集团有关的大规模持续性行动。无论源自何处、采用何种具体手法，我们遏制的诈骗活动通常都遵循一种共同模式，我们称之为“试探”（冷启动联系）、“煽动”（试图引发兴奋或恐慌）和“收网”（骗取金钱或有价值的信息）。
这些诈骗者首先会通过通信服务和互联网广撒内容，无论内容是否由 AI 生成，手段包括投放社交媒体广告。随后，他们试图让回复者对高回报机会产生热情，或因即将蒙受经济损失而恐惧，并利用这种情绪说服目标交出钱财或敏感信息。
我们还观察到许多案例，其中我们的模型很可能帮助人们免受诈骗侵害。我们发现，人们每月使用 ChatGPT 帮助识别和规避网络诈骗的次数达数百万次；对于本报告涉及的每项诈骗行动，我们都曾看到模型帮助人们正确识别骗局，并向他们建议适当的安全措施。据我们目前估计，ChatGPT 被用于识别诈骗的频率，最高可达其被用于实施诈骗的三倍。
示例：一名 OpenAI 调查人员将自己收到的诈骗短信截图粘贴到 ChatGPT 中，并成功使用模型将其识别为诈骗。在该案例中，威胁行为者试图冒充 TikTok 招聘人员。
自上一份报告发布以来，我们进一步增强了自身检测和遏制诈骗的能力。我们还遏制了更多疑似源自柬埔寨、缅甸和尼日利亚的诈骗网络。结合此前的遏制行动，这些打击成果让我们得以发现多个国家不同诈骗行动中出现的一些新趋势。
老套路，AI 新工具
我们遏制的诈骗活动大多是将 AI 纳入现有诈骗套路，而非围绕 AI 打造新的套路。今年，我们识别并封禁的所有诈骗行动主要都将 AI 用作提升规模和效率的工具。常见用途包括使用我们的模型进行翻译、撰写消息，以及制作社交媒体内容。
例如，我们最近封禁了疑似源自柬埔寨和尼日利亚的诈骗行动。这些团伙冒充“投资公司”，企图诈骗多个国家的受害者。诈骗者创建网站并投放网络广告来宣传虚假公司，还使用疑似虚假的社交媒体账号冒充交易专家，邀请人们加入私人聊天群组。这些威胁行为者以高回报、零风险的赚钱机会为诱饵，企图诱使潜在受害者向虚假交易平台付款。在所有这些骗局中，诈骗者主要使用我们的模型生成和翻译通信内容、为网站和社交媒体账号制作内容，以及开展基础调研。
另一起案例中，我们封禁了一个极有可能位于缅甸的诈骗中心。该团伙不仅使用我们的模型为诈骗活动生成内容，还用其处理日常运营事务。这些事务包括安排日程、起草内部通知、分配工位和宿舍，以及管理财务账户。一些运营人员还询问了从事网络诈骗被捕后可能面临的刑事处罚。
骗子皆“平等”，但有些更会用 AI
我们遏制的诈骗者并非都以相同方式或同等复杂程度使用我们的模型。诈骗者与 ChatGPT 的大多数交互都涉及翻译等相对简单的任务，但有些诈骗行动野心更大，设计也更复杂。
例如，我们遏制的一项疑似源自柬埔寨的诈骗行动使用我们的模型，为虚假投资专家和虚构交易公司的虚构员工生成详细履历。随后，诈骗者要求 ChatGPT 模仿这些角色的口吻撰写社交媒体消息。威胁行为者经常将他们疑似从目标处收到的消息输入我们的模型，并要求模型以虚假身份继续对话。
另一起同样疑似源自柬埔寨的诈骗行动，则先使用我们的模型生成陌生营销短信，再将其批量发送到美国电话号码。其中一条短信发给了一名 OpenAI 调查人员，情况与我们在 6 月报告的案例相似。这些短信邀请收件人加入 WhatsApp 群组。这些后来被封禁的群组使用了与一家正规投资公司相似的名称。
根据发送给 OpenAI 调查人员的一系列 WhatsApp 消息，如果潜在目标加入其中一个群组，很快就会看到六七个不同账号围绕投资展开一场“对话”。其中一个账号冒充“投资专家”，其余账号则冒充信心和经验各不相同的投资者。整场对话完全由诈骗者编写，并由中文一次性整段翻译而成，很可能是为了营造一个活跃群组的假象，让人以为其中聚集着热情且成功的交易者。最终，“投资专家”会建议目标也尝试投资。
另有一起极有可能源自尼日利亚的投资诈骗行动，要求模型逐步指导其如何利用社交媒体广告触达拉丁美洲的富裕人群、如何隐藏所在地，以及如何规避社交媒体平台的限制。为此，他们让模型查阅某平台公开的服务条款，并要求其审核拟投放的广告内容是否合规。
掩饰与借口
诈骗者，尤其是大型诈骗中心，往往会持续作案。遭到打击后，他们经常会试图重启违规活动，同时改变部分行为方式，很可能是为了逃避后续检测。因此，在整个行业内分享有关其活动演变的洞察至关重要。例如，OpenAI 和 Meta 分别分享过威胁行为者的相关信息，为后续调查和执法行动提供了助力。
或许是为了应对打击行动，或是受到网上广泛讨论“哪些迹象会暴露 AI 使用”的影响，我们发现诈骗者试图在网络内容及与目标的通信中掩饰自己使用 AI 的事实。例如，疑似源自柬埔寨的诈骗行动曾要求模型删除输出中的长破折号。
在一个案例中，诈骗者编造被封禁的理由，试图解释其大量社交媒体资产为何遭到集中处置。这涉及上文所述的一个疑似源自柬埔寨、通过短信和 WhatsApp 运作的诈骗中心。WhatsApp 封禁与该行动有关的“投资群组”后，运营人员开始生成消息，声称这些群组遭到竞争对手恶意举报，很可能是为了给封禁编造理由。
WhatsApp 采取下架措施后，与柬埔寨有关联的诈骗团伙向一名 OpenAI 调查人员发送的 WhatsApp 消息截图。