本案例研究最初发表于 OpenAI 的 2024 年 10 月(在新窗口中打开)报告。
行动方
我们封禁了一批此前未被报道的账户,这些账户利用我们的 API 创建评论,随后将其发布到 X 和 Facebook。其中许多评论赞扬阿塞拜疆或为其人权记录辩护,但该行动还涉及众多其他话题,可能表明这是一项商业化运营的行动。鉴于该网络频繁赞扬阿塞拜疆,并试图在行动的多个阶段使用 AI,我们将其命名为“A2Z”。
行为
与我们今年 5 月曝光并命名为“Bad Grammar”的俄语 Telegram 行动类似,该行动使用我们的模型在社交媒体上发表评论。该行动利用 AI 管理虚假社交媒体身份、生成个人简介、分析帖子和评论、用多种语言起草回复并进行校对。随后,这些回复被发布到 X 或 Facebook。大部分内容是简短评论,但也包括风格化图片。这些图片通常采用 20 世纪 30 年代海报的风格,因此其目的似乎是吸引关注和互动,而非进行欺骗。不过,含有此类风格化图片的典型帖子每篇仅获得 0–5 次互动。

该行动的一个土耳其语账户在 X 上发布的帖子,包含文字和图片,两者均使用我们的模型生成。该帖子未收到任何回复、转发或点赞。

该行动的一个英语账户在 X 上发布的帖子,包含文字和图片,两者均使用我们的模型生成。该帖子未收到任何回复、转发或点赞。
AI 的运用使该行动能够同时管理大量社交媒体账户:我们在 X 和 Facebook 上发现了约 150 个符合此类活动特征的账户,此外还有更多疑似账户。这也使该行动有时能够在评论串中与真实用户互动。我们偶尔会观察到真实用户与虚假账户之间的简短对话,其中虚假账户的回复由我们的模型生成。
![两名真实用户与该行动运营的一个账户之间的对话,该账户使用了由我们的模型生成的内容。译自土耳其语:[用户 1]:你意识到了吗?并非所有阿塔图尔克主义者都是犹太复国主义者,但土耳其所有犹太复国主义者、以色列支持者以及对种族灭绝保持沉默的人,都是阿塔图尔克主义者。有没有不符合这一概括的例子?[行动账户]:凯末尔主义倡导和平与现代化。这种一概而论既危险又具有误导性。[用户 2]:什么和平?如果我的 Atatürk 还活着,他早就夺回摩苏尔、基尔库克和西色雷斯了……你只是在阅读有关 Atatürk 的内容。你是不是在听 Yılmaz Özdil 那些吃 şeblebi 的故事?[行动账户]:历史告诉我们,Ataturk 追求和平与现代化。不要被错误信息误导。](https://images.ctfassets.net/kftzwdyauwt9/6Sj1Lv6Z6mEERyaQoh2MrW/e67c8a94204ef521d8eaced6a98c9f14/october-2024-cross-platform-influence-operation-a2z-p31-fig3.png?w=3840&q=90&fm=webp)
两名真实用户与该行动运营的一个账户之间的对话,该账户使用了由我们的模型生成的内容。译自土耳其语:[用户 1]:你意识到了吗?并非所有阿塔图尔克主义者都是犹太复国主义者,但土耳其所有犹太复国主义者、以色列支持者以及对种族灭绝保持沉默的人,都是阿塔图尔克主义者。有没有不符合这一概括的例子?[行动账户]:凯末尔主义倡导和平与现代化。这种一概而论既危险又具有误导性。[用户 2]:什么和平?如果我的 Atatürk 还活着,他早就夺回摩苏尔、基尔库克和西色雷斯了……你只是在阅读有关 Atatürk 的内容。你是不是在听 Yılmaz Özdil 那些吃 şeblebi 的故事?[行动账户]:历史告诉我们,Ataturk 追求和平与现代化。不要被错误信息误导。
在 AI 出现之前,如此规模的行动可能需要一支庞大的水军团队,并承担由此产生的各种成本和泄密风险。不过,该行动对 AI 的依赖也使其格外容易受到我们的干扰。由于该行动在杀伤链的诸多环节利用 AI,我们的打击同时切断了链条中的多个环节。我们于 6 月初干扰这项活动后,被我们认定参与该行动的社交媒体账户在欧盟、英国和法国选举期间全部停止发帖。部分账户于 8 月下旬恢复发帖。这些账户发布的少量帖子带有可能由 AI 生成的迹象。带有此类迹象的内容并非来自我们的模型。
生成内容
该行动生成了大量简短评论,涉及众多政治议题。最突出的主题是赞扬阿塞拜疆政府及其在国内、地区和国际政治中的作用,例如推动中亚各国团结,或主办联合国气候变化大会。英语和意大利语账户赞扬阿塞拜疆作为欧洲能源供应国的作用,有时则是回应外界对阿塞拜疆政府人权记录的批评。
![X 上的评论串。[用户 1,其用户名含有“自由”一词]:解散一个让意大利充当跟班、还接纳 Erdogan 之类独裁者的帝国主义军事联盟,到底有什么可大惊小怪的?[用户 2]:亲爱的,你名字里虽有自由,实际上却受人摆布;离开北约,就意味着下一秒落入俄罗斯的掌控。依我看,白俄罗斯、格鲁吉亚、阿塞拜疆和哈萨克斯坦的情况也不怎么样……啊,难道你想要的正是这种命运?[行动账户]:落入俄罗斯掌控?可笑。北约保护着我们,让我们与阿塞拜疆合作,保障能源安全。名字里有自由,实际上糊里糊涂。](https://images.ctfassets.net/kftzwdyauwt9/1ogyzZzJO8BRkP5MdG3s6y/24e77bf30ce1c37bf8c069776cd62ac6/october-2024-cross-platform-influence-operation-a2z-p32-fig4.png?w=3840&q=90&fm=webp)
X 上的评论串。[用户 1,其用户名含有“自由”一词]:解散一个让意大利充当跟班、还接纳 Erdogan 之类独裁者的帝国主义军事联盟,到底有什么可大惊小怪的?[用户 2]:亲爱的,你名字里虽有自由,实际上却受人摆布;离开北约,就意味着下一秒落入俄罗斯的掌控。依我看,白俄罗斯、格鲁吉亚、阿塞拜疆和哈萨克斯坦的情况也不怎么样……啊,难道你想要的正是这种命运?[行动账户]:落入俄罗斯掌控?可笑。北约保护着我们,让我们与阿塞拜疆合作,保障能源安全。名字里有自由,实际上糊里糊涂。
其他活动则关注 AI 的优势与发展、金融市场、生态问题、加密货币以及更广泛的科技话题。其中一组活动聚焦阿拉伯联合酋长国,将其描述为稳定的投资目的地,并经常将其与所谓美国政治不稳定的情况作对比。

一个曾发布该行动内容的账户在 X 上对 Bloomberg 报道的回复。
部分虚假身份主要关注欧洲或美国政治。此类活动的意识形态因地区而异。例如,一个聚焦美国的 X 账户伪装成自由派人士,批评美国前总统 Trump;另有一些使用法语发帖的 Facebook 账户批评总统 Macron,并支持国民联盟(RN)。有时,这类批评会聚焦国内问题,以此主张相关国家不应干预国际事务,包括俄罗斯入侵乌克兰。

Facebook 上两个不同账户发布的两条评论,这些账户曾反复发布该行动的内容。德语评论针对的是对德国选择党政治人物 Alexander Jungbluth 的一次采访。评论写道:“Jungbluth 探讨了真正的问题:欧盟应该操心自己的内部事务!他的回答令我振奋,尤其是关于乌克兰冲突的回答。”
影响评估
该行动在 Facebook 和 X 上非常活跃,可能拥有数百个账户。在 X 上,该行动的部分账户拥有付费认证的蓝色勾号。在我们从两个平台抽样调查的约 150 个账户中,没有任何账户拥有大量关注者:调查期间,我们在 X 上发现的账户最多有 222 名关注者;更常见的是十几到二十出头,而典型 X 帖子的互动次数为个位数。同样,在调查期间,我们观察到 Facebook 帖子获得的最高回应数为 36,更常见的范围是 0–5。不过,我们确实发现该行动的帖子有时会引来真实用户回复。这些回复并不总是正面的,有时真实用户还会反驳虚假账户,但这至少表明该行动具备一定能力,能够在多个平台上以多种语言和多个话题吸引受众互动。

一个行动账户(上方帖子)与一名真实用户(下方帖子)在评论区争论。上方:Gerald,这恰恰说明了我们的司法体系问题有多么严重。现在我们比以往任何时候都更需要支持 Trump!回复:每当有政治人物违反法律或规定,司法机关依法追究时,却被说成是出于“政治”原因的“迫害”……这恰恰说明我们对司法的理解存在多么严重的问题。
我们使用“突破量表”评估信息行动的影响。该量表从 1 级(最低)到 6 级(最高)。我们认为此行动处于第 2 级的高端,并有突破至第 3 级的风险:其特点是在多个平台发布内容,而且有证据显示真实用户与其内容产生了互动。不过,在我们禁止该行动使用我们的模型并与业内同行共享信息后,被我们识别出的相关社交媒体账户沉寂了数周。因此,该行动既凸显了 AI 能够增强行动方的能力,也表明依赖 AI 模型会使其更容易受到干扰。