本案例研究最初发表于 OpenAI 的2024 年 5 月(在新窗口中打开)报告。
行动方
我们封禁了四组使用我们模型的账号,这些账号与代表俄罗斯影响力行动“替身行动”(在新窗口中打开)行事的人员有关。各组采用了不同的战术、技术和程序(TTP),这与该行动由多个职能不同的团队组成的特点相符。
行为
该活动以欧洲和北美受众为目标,主要为网站和社交媒体生成内容。
第一组账号生成了英语、法语、德语、意大利语和波兰语的简短评论。这些评论连同表情包、视频和链接一起发布在 9GAG 和 X 上;后几类内容似乎并非使用我们的模型生成。一些表情包复制自互联网各处,似乎已有数年历史。
在 9GAG 上,发布该活动内容的账号通常使用名人或猫的照片作为头像。这些账号在各种频道中发布表情包和视频,包括“随机”频道,以及宠物、体育、幽默,甚至情感与约会频道。

一个反复发布该活动所生成内容的账号,在 9GAG 的“机动车”频道发布了关于乌克兰的评论和关于加沙的视频。其中提及乌克兰和美国边境的内容是使用我们的模型生成的。该视频由新闻画面拼接而成。该帖子获得了 11 个赞成票和 93 个反对票。
该活动每次在 9GAG 发布表情包或视频时,都会有三至五个账号回复,通常只是“哈哈哈”或“笑死”之类的简单留言。这些账号始终只与该活动的内容互动;其中大多数创建于同一天。这种行为经常引来其他用户的批评性评论,其中许多人直指这些账号是“机器人”。

上图所示视频下方的评论。最下方的三个账号(最早发表评论的账号)均创建于 2024 年 4 月下旬,并反复发布、点赞或评论该活动的帖子,从不与其他内容互动。最上方三个揭露造假的账号创建于一至十年前,活动类型十分广泛。
在 X 上,该活动的评论通常由各自仅发布过一两条帖子的账号发布。这些评论通常附有一个看似随机的链接,例如“solarpanelfor.sale”。这些链接会重定向至一组多次被归因于“替身行动”的网站。这些网站实施了地理围栏限制,只有 IP 地址位于目标国家/地区的人才能访问。不过,运营者似乎出现了疏漏,导致部分英语、德语和波兰语文章只能通过法国 IP 地址访问。

一则 X 帖子,其中包含使用我们的模型生成的评论。评论译文为:“令人震惊的行为!政治绝不应与暴力挂钩。我们需要的是对话,而不是暴力。”随附链接会重定向至“替身行动”旗下网站 rrn.media 的德语版。不过,截至 5 月 20 日,该页面只能通过法国 IP 地址访问。
这组账号通过一项与俄罗斯及捷克公司有关的服务访问我们的模型,很可能是为了逃避检测。该服务旨在帮助俄罗斯境内的用户绕过我们的受支持国家和地区访问政策(在新窗口中打开)。我们已停用该服务的 API 访问权限。
第二组账号将文章从俄语翻译成英语和法语;俄语文本似乎为原创内容。这些文章中有许多随后发布在一个多次被归因于“替身行动”的网站上:rrn.media。同一组账号还围绕这些文章生成简短评论,随后发布在社交媒体上。

使用我们的模型生成的 X 帖子,附有一篇 rrn.media 文章的链接。
第三组账号用于生成、校对和修正法语文章。这些文章随后发布在另一个也被归因于“替身行动”的网站 franceeteu.today 上。
最后一组账号使用德语开展活动。该组从“替身行动”网站 grenzezank.com 获取内容,并据此为一个以该网站命名的 Facebook 小组和公共主页生成短帖。
内容
该活动在网上发布的大部分内容都围绕乌克兰战争展开。这些内容负面描绘乌克兰、美国、北约和欧盟,同时正面描绘俄罗斯。典型评论声称:俄罗斯是欧洲各国的重要经济伙伴;批评俄罗斯的西方领导人不了解本国选民;乌克兰软弱、腐败和/或濒临失败。
“替身行动”的参与者有时会试图让我们的模型生成欧洲知名政治人物及俄罗斯批评者的卡通图像。我们的模型拒绝了这些请求。
影响评估
在我们发现的“替身行动”相关活动中,没有任何一项似乎从真实受众那里获得了大量正面互动。
在 9GAG 上,典型帖子会获得 5 至 10 个赞成票(主要来自同样发布该活动内容的账号),以及 15 至 200 个反对票。在 X 上,典型帖子约有 1,000 次分享,但回复数和点赞数均为零。如此巨大的差异表明,这些内容可能受到了虚假放大。其中一则帖子收到三条回复,全部指出该帖是假的。

在 X 上对“替身行动”帖子的回复。
我们使用突破量表(在新窗口中打开)评估影响力行动的影响。该量表将影响分为 1(最低)至 6(最高)级。我们认为,与使用我们模型有关的活动属于第 2 类:虽然在多个平台上发布了内容,但均未实现破圈传播或获得显著的受众互动。