跳至主要内容
OpenAI

2025年2月1日

安全

诱恋诈骗:AI 辅助的“杀猪盘”流程

OpenAI 封禁了一批疑似源自柬埔寨的账号,这些账号利用 AI 翻译和生成恋爱、投资诈骗对话。

正在加载…

本案例研究最初发表于 OpenAI 的 2025 年 2 月⁠(在新窗口中打开)报告。

行动者

我们封禁了一批使用 ChatGPT 翻译和生成日语、中文及英语短评的账号。该活动疑似源自柬埔寨,其特征与恋爱和投资诈骗(又称“杀猪盘”)一致。Meta 最近在其平台上发现了相关活动⁠(在新窗口中打开),这些活动疑似来自柬埔寨一处新设立的诈骗园区。

行为

该网络利用我们的模型翻译和生成短评。这些行动者使用的主要语言似乎是中文。输出内容涉及多种语言,主要是日语和中文,也包括英语。

这些行动者主要利用我们的模型开展两类活动。第一,他们生成评论,并将其公开发布到 Facebook、X 和 Instagram 等社交媒体平台。每个社交媒体账号通常会使用一张或多张年轻女性的头像。我们判断,其中至少部分头像复制自真实模特或网红,并非由 AI 生成。

大多数生成的评论都用于回复真实用户发布的社交媒体帖子。运营者回复的部分帖子已发布数月甚至数年。该行动通常以公开资料显示年龄超过 40 岁的男性为目标,其中许多人从事医疗行业。该行动经常回复高尔夫相关帖子,表明这可能是一种有意为之的目标筛选策略。诈骗者偶尔也会发布政治议题或时事相关内容。

为恋爱和投资诈骗生成的 Facebook 评论。

该行动者利用我们的模型生成的 Facebook 评论,用于回复一名似乎与该行动无关的人所发的高尔夫相关评论。诈骗账号的头像复制自一位美国时尚美妆网红。该诈骗账号发表评论时,原帖已发布一个多月。

为恋爱和投资诈骗生成的 X 评论。

由我们的模型生成的评论,经 X 认证账号发布,用于回复一个似乎与该诈骗无关的账号所发的推文。该账号的头像复制自同一位美国时尚美妆网红。原推文发布于近六个月前。

第二,也是更常见的做法:运营者生成类似网络对话片段的短评。通常,他们会将中文评论翻译成目标语言(日语或英语),或将目标语言的评论翻译回中文。这表明诈骗者主要使用模型翻译正在进行的聊天。

这些账号有时会要求模型以特定语气生成回复,例如模仿善于调情的年轻女性。他们有时会提供详尽的个人背景信息,引导模型作答,包括虚假身份的姓名、教育背景、职业、所在地和爱好。这些人物背景通常还会提到,该虚假身份会参与一些网络投资。

诈骗者似乎使用了大量不同的工具和平台与目标接触。我们的调查发现,他们使用的工具包括 LINE、WhatsApp、X、Facebook、Instagram、其他多种消息服务、Apple 的“隐藏邮件地址”功能⁠(在新窗口中打开),以及加密货币和外汇平台。

生成内容

根据我们从特定角度观察到的情况,诈骗者似乎遵循一套常见流程,逐步引导目标从互动走向虚假投资:

  1. 公开互动:诈骗者会在目标发布的社交媒体帖子下发表评论。这些评论通常以“你怎么看[话题]?”之类的问题结尾,可能是为了提高对方回应的几率。少数情况下,他们会评论政治话题,但更多时候会谈论高尔夫。

  2. 可能转入私信:随后,诈骗者会生成简短、口语化的评论。虽然我们无法完全掌握这些评论被用于何处及如何使用,但其内容符合诈骗者与目标开始通过私信交流的情境。

  3. 转入安全通信:诈骗者很快便会生成建议改用更安全消息应用的内容,通常只需几天。他们有时会以不信任社交媒体为由,有时则会编造现实原因,例如声称即将前往无法使用社交媒体的地方。

  4. 建立恋爱关系:诈骗者会撰写和翻译感情日益浓烈、更加亲密的信息。如果目标索要聊天对象那名“女性”的照片,诈骗者便会找借口推脱。

  5. 引入投资话题:诈骗者会撰写和翻译信息,炫耀自己通过网络投资外汇、加密货币或黄金赚取了大笔钱财。他们通常会声称,这是听从一名金融从业亲属建议的结果。诈骗者会催促目标以同样的方式开始投资,并提出全程指导。

  6. 实施诈骗:诈骗者会撰写和翻译信息,试图说服受害者将资金转入交易应用,并通过夸大其投资收益来鼓动对方。每当受害者试图提取“利润”时,诈骗者都会以需要缴费等借口加以阻挠。

这种活动模式与有关此类诈骗常见运作方式的公开报道⁠(在新窗口中打开)一致。

影响

该活动似乎经历了许多未能得手的尝试和失败。在诈骗者通过我们的模型处理的部分对话中,目标最终识破了骗局,或要求诈骗者不要再骚扰自己。我们还发现,诈骗者在社交媒体上发布的一些帖子完全无人互动。

不过,部分对话提及了数千美元(或等值货币)的单笔交易金额。由于这些运营者使用我们模型的方式所限,我们无法确定这些金融交易是否实际发生,但对话中的相关内容确实表明,诈骗者至少在部分案例中成功骗取了目标的钱财。

OpenAI 的政策严格禁止将我们工具的输出用于欺诈或诈骗。我们致力于与行业伙伴和主管部门合作,了解 AI 如何被用于对抗性行为,并积极打击滥用我们服务的诈骗活动。为履行这一承诺,我们已向行业伙伴和相关主管部门分享有关已被我们打击的诈骗网络的信息。