跳至主要内容
OpenAI

2024年5月1日

安全

“零 Zeno”行动:与以色列有关的影响活动

OpenAI 封禁了与一项此前未被报道、源自以色列的行动相关的账号。我们将该行动称为“零 Zeno”,其利用 AI 生成反对哈马斯、反对卡塔尔、支持以色列、反对印度人民党(BJP)和支持以色列总工会的内容。

正在加载…

本案例研究最初发布于 OpenAI 的2024 年 5 月⁠(在新窗口中打开)报告。

行动方

我们封禁了一批由以色列方面运营的账号,这些账号被用于为一项横跨 X、Facebook、Instagram、网站和 YouTube 的影响行动生成和编辑内容。该网络由以色列政治竞选管理公司 STOIC 运营。为致敬斯多葛学派创始人 Zeno,同时体现该网络获得的互动量之低,我们给它起了“零 Zeno”这一代号。

行为

该行动以加拿大、美国和以色列受众为目标,使用英文和希伯来文发布内容。5 月初,该行动开始用英文内容针对印度受众。该行动似乎还在准备开展一项针对加纳受众的影响行动。

该行动利用我们的模型生成网络文章和社交媒体评论,随后将其发布到多个平台,尤其是 Instagram、Facebook 和 X。

该网络生成并发布到 Instagram 的英文评论。原帖和回复均由该行动生成。

该网络生成并发布到 Instagram 的英文评论。原帖和回复均由该行动生成。

该行动还利用我们的模型,根据年龄、性别和所在地等特定变量,为社交媒体创建虚构人物及个人简介,并调查曾公开评论以色列总工会的以色列人士。我们的模型拒绝根据这些提示提供个人信息。

该网络生成的内容被发布到多个社交媒体平台。大西洋理事会数字取证研究实验室⁠(在新窗口中打开)开展的开源研究在 Facebook、Instagram 和 X 上发现了该网络的部分内容;这些账号被禁用后,该行动又获取了新账号。另一些内容出现在四个网站上,这些网站伪装成关注加沙冲突以及犹太教和伊斯兰教信仰者关系等广泛议题的活动团体:uc4canada.com、the-good-samaritan.com、ufnews.io 和 nonagenda.com。

在某些情况下,我们发现该行动的虚假账号会评论行动方自己发布的社交媒体帖子,很可能是为了营造有受众参与互动的假象。

与 DFRLab 最先发现的活动相关联的账号在 X 上发布的帖子及其回复。图中的所有回复均由该行动生成。

与 DFRLab 最先发现的活动相关联的账号在 X 上发布的帖子及其回复。图中的所有回复均由该行动生成。

许多发布该网络内容的社交媒体账号使用的头像似乎由一种较早出现的人工智能技术生成,即生成对抗网络(GAN)。这类图像很容易从互联网上下载。尽管这类图像很容易生成,但我们发现该网络中有多个社交媒体账号使用同一张图片。有时,使用同一头像的两个或更多账号会回复同一条社交媒体帖子。

发布该网络生成评论的 X 账号头像。图像带有符合生成对抗网络(GAN)生成特征的视觉迹象。

发布该网络生成评论的 X 账号头像。图像带有符合生成对抗网络(GAN)生成特征的视觉迹象。

内容

该行动分为多个主题活动,其中大多数与加沙冲突以及犹太教和伊斯兰教信仰者关系这一更广泛议题存在松散关联。5 月,我们在一项针对印度选举的活动启动后不到 24 小时便将其挫败。

2 月开展的开源研究⁠(在新窗口中打开)称,该网络曾批评联合国近东巴勒斯坦难民救济和工程处(UNRWA)。DFRLab 3 月发布的报告⁠(在新窗口中打开)重点介绍了针对加拿大的内容,这些内容批评了该行动帖子所称的当地“激进伊斯兰主义者”。另一组活动聚焦美国大学,并指控支持巴勒斯坦的抗议者宣扬反犹主义和恐怖主义。第四组活动聚焦卡塔尔,将其在美国的投资描述为对美国生活方式的威胁。第五组活动生成希伯来文社交媒体帖子。这些帖子通常赞扬以色列总工会组织及其领导层。最后,该网络在 5 月开始生成聚焦印度的评论,批评执政党印度人民党(BJP),并赞扬反对党印度国民大会党。

该网络有时似乎会让账号从一个议题转向另一个议题。例如,先前发布加拿大相关内容的账号后来转而关注美国、印度或以色列总工会,有些账号还会关注其中多个议题。

2024 年 5 月 1 日至 4 日,一个反复发布该行动所生成内容的账号在 X 上发布的三条评论。最早的帖子(底部)似乎是一次塑造人设的尝试。第二条帖子关注加拿大,并嵌入了该网络主要加拿大主题账号发布的帖子。第三条帖子关注印度。

2024 年 5 月 1 日至 4 日,一个反复发布该行动所生成内容的账号在 X 上发布的三条评论。最早的帖子(底部)似乎是一次塑造人设的尝试。第二条帖子关注加拿大,并嵌入了该网络主要加拿大主题账号发布的帖子。第三条帖子关注印度。

该网络生成的部分内容以回复形式发布在社交媒体上,回复对象包括西方政治光谱两端的知名人物。这些回复通常与原帖毫无关系。例如,一条有关卡塔尔“买下”美国的评论,被用来回复一条讨论前总统 Trump 音乐偏好的帖子。

上图:Laura Ingraham 发布的有关 Trump 总统音乐偏好的帖子。下图:包含该网络所生成评论的帖子。请注意原帖与回复的互动数据差异。

上图:Laura Ingraham 发布的有关 Trump 总统音乐偏好的帖子。下图:包含该网络所生成评论的帖子。请注意原帖与回复的互动数据差异。

影响评估

除该网络自己的虚假账号外,“零 Zeno”的活动似乎几乎没有获得任何互动。(许多账号已被 Meta 和 X 禁用,因此目前的互动数据可能无法反映全貌。)

我们使用突破量表⁠(在新窗口中打开)评估影响行动的成效。该量表从 1(最低)到 6(最高)分级;我们将此行动评为第 2 类,即在多个平台和网站上发布内容,但没有证据表明其获得了网络之外人群的大规模传播。

与该行动中针对加拿大的活动相关联的 YouTube 频道。截至 2024 年 4 月 25 日,该频道发布了一段视频,但没有获得任何观看。

与该行动中针对加拿大的活动相关联的 YouTube 频道。截至 2024 年 4 月 25 日,该频道发布了一段视频,但没有获得任何观看。

指标

我们发现以下域名与“零 Zeno”的活动有关。

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io