メインコンテンツにスキップ
OpenAI

2024年10月1日

安全性

「A2Z」作戦:多言語による影響工作

OpenAI は、AI を使って選挙、ウクライナ、政治に関する多言語の影響工作コンテンツを複数のプラットフォーム向けに生成していた「A2Z」のアカウントを禁止しました。

読み込んでいます...

このケーススタディは、OpenAI の 2024 年 10 月⁠(新しいウィンドウで開く)のレポートで初めて公開されました。

実行主体

当社の API を使ってコメントを作成し、それを X と Facebook に投稿していた、これまで報告例のないアカウント群を禁止しました。こうしたコメントの多くは、アゼルバイジャンを称賛したり、同国の人権状況を擁護したりするものでしたが、ほかにも幅広い話題を扱っており、商業目的で運営された工作だった可能性があります。アゼルバイジャンを頻繁に称賛し、工作の複数の段階で AI の利用を試みていたことから、当社はこのネットワークを「A2Z」と名付けました。

行動

当社が 5 月に公表し、「Bad Grammar」と名付けたロシア語の Telegram 工作と同様に、この工作もソーシャルメディアへのコメント投稿に当社のモデルを利用していました。AI を活用して、ソーシャルメディア上の偽の人格を管理し、プロフィールを生成し、投稿やコメントを分析し、多言語で返信案を作成して校正していました。作成された返信は、その後 X または Facebook に投稿されました。コンテンツの大半は短いコメントでしたが、様式化された画像も含まれていました。こうした画像には 1930 年代のポスター風の表現が多用されていました。そのため、人を欺くというより、注目や反応を集める目的でデザインされたものとみられます。しかし、こうした様式化された画像を含む一般的な投稿が得た反応は、それぞれ 0~5 件にとどまりました。

この工作に関与したトルコ語アカウントの 1 つが X に投稿したテキストと画像。どちらも当社のモデルで生成されました。この投稿に返信、シェア、「いいね」はありませんでした。

この工作に関与したトルコ語アカウントの 1 つが X に投稿したテキストと画像。どちらも当社のモデルで生成されました。この投稿に返信、シェア、「いいね」はありませんでした。

この工作に関与した英語アカウントの 1 つが X に投稿したテキストと画像。どちらも当社のモデルで生成されました。この投稿に返信、シェア、「いいね」はありませんでした。

この工作に関与した英語アカウントの 1 つが X に投稿したテキストと画像。どちらも当社のモデルで生成されました。この投稿に返信、シェア、「いいね」はありませんでした。

AI の利用により、この工作では多数のソーシャルメディアアカウントを同時に管理できました。当社は X と Facebook で、この活動に該当する約 150 のアカウントを特定しており、ほかにも疑わしいアカウントがありました。また、インターネット上の実在の人物とコメントスレッドでやり取りすることもありました。実在の人物と偽アカウントが短いやり取りを交わし、偽アカウントの返信が当社のモデルで生成されている事例も時折確認されました。

当社のモデルで生成したコンテンツを使用する工作用アカウントと、実在する 2 人との会話。トルコ語からの翻訳:[人物 1]:ご存じですか?アタテュルク主義者が全員シオニストというわけではありません。しかし、トルコのシオニスト、イスラエル支持者、ジェノサイドについて沈黙する人は全員アタテュルク主義者です。この一般論に当てはまらない例はありますか?[工作用アカウント]:ケマル主義は平和と近代化を提唱しています。このような一般化は危険で、誤解を招きます。[人物 2]:何が平和ですか?私のアタテュルク氏が存命なら、モスル、キルクーク、西トラキアを奪還していたでしょう……あなたはアタテュルク氏について読んでいるだけです。Yılmaz Özdil 氏の şeblebi を食べる話でも聞いているのですか?[工作用アカウント]:歴史は、アタテュルク氏が平和と近代化を望んでいたことを示しています。誤った情報に惑わされないようにしましょう。

当社のモデルで生成したコンテンツを使用する工作用アカウントと、実在する 2 人との会話。トルコ語からの翻訳:[人物 1]:ご存じですか? アタテュルク主義者が全員シオニストというわけではありません。しかし、トルコのシオニスト、イスラエル支持者、ジェノサイドについて沈黙する人は全員アタテュルク主義者です。この一般論に当てはまらない例はありますか? [工作用アカウント]:ケマル主義は平和と近代化を提唱しています。このような一般化は危険で、誤解を招きます。[人物 2]:何が平和ですか? 私のアタテュルク氏が存命なら、モスル、キルクーク、西トラキアを奪還していたでしょう……あなたはアタテュルク氏について読んでいるだけです。Yılmaz Özdil 氏の şeblebi を食べる話でも聞いているのですか? [工作用アカウント]:歴史は、アタテュルク氏が平和と近代化を望んでいたことを示しています。誤った情報に惑わされないようにしましょう。

AI 登場以前にこの規模の工作を行うには、大勢の荒らし要員が必要だったと考えられ、それに伴う費用や情報漏えいのリスクも発生していたはずです。一方で、この工作は AI に依存していたため、当社による妨害に対して異例なほど脆弱でもありました。キルチェーンの非常に多くの段階で AI を活用していたため、当社の措置によってチェーン内の多くのつながりを一度に断ち切ることができました。6 月初旬に当社がこの活動を妨害した後、工作の一部と特定していたソーシャルメディアアカウントは、EU、英国、フランスの選挙期間を通じて投稿を停止しました。一部は 8 月下旬に投稿を再開しました。それらの投稿のうち少数には、AI で生成された可能性を示す兆候がありました。ただし、そのような兆候が見られたコンテンツは、当社のモデルから生成されたものではありませんでした。

生成内容

このキャンペーンでは、幅広い政治的テーマを扱う短いコメントが生成されました。最も目立ったのは、アゼルバイジャン政府と、国内・地域・国際政治における同国の役割を称賛する内容でした。たとえば、中央アジア諸国の結束促進や、国連気候変動会議の開催などです。英語とイタリア語のアカウントは、欧州へのエネルギー供給国としてのアゼルバイジャンの役割を称賛していました。アゼルバイジャン政府の人権状況への批判に反論する形で投稿することもありました。

X 上のコメントスレッド。[ユーザー 1(ユーザー名に「free」という単語を含む)]:イタリアも使い走りを務め、エルドアン氏のような独裁者を歓迎する帝国主義的な軍事同盟を解体することの、一体何がそれほどけしからんのですか?[ユーザー 2]:名前では自由でも、実際は従属している君へ。NATO を離脱すれば、次の瞬間にはロシアの支配下に置かれます。それに、ベラルーシ、ジョージア、アゼルバイジャン、カザフスタンの状況がそれほど良いとも思えません……ああ、あなたが望んでいるのは、まさにそんな運命ですか?[工作用アカウント]:ロシアの支配下に置かれる?ばかげています。NATO は私たちを守っています。エネルギー安全保障のためにアゼルバイジャンと協力しましょう。名前では自由でも、実際は混乱している。

X 上のコメントスレッド。[ユーザー 1(ユーザー名に「free」という単語を含む)]:イタリアも使い走りを務め、エルドアン氏のような独裁者を歓迎する帝国主義的な軍事同盟を解体することの、一体何がそれほどけしからんのですか? [ユーザー 2]:名前では自由でも、実際は従属している君へ。NATO を離脱すれば、次の瞬間にはロシアの支配下に置かれます。それに、ベラルーシ、ジョージア、アゼルバイジャン、カザフスタンの状況がそれほど良いとも思えません……ああ、あなたが望んでいるのは、まさにそんな運命ですか? [工作用アカウント]:ロシアの支配下に置かれる? ばかげています。NATO は私たちを守っています。エネルギー安全保障のためにアゼルバイジャンと協力しましょう。名前では自由でも、実際は混乱している。

ほかの活動では、AI の利点と進化、金融市場、環境問題、暗号資産、テクノロジー全般が主な話題でした。あるアカウント群はアラブ首長国連邦に焦点を当て、同国を安定した投資先として描き、米国の政治的不安定さを訴える主張と頻繁に対比していました。

この工作のコンテンツを投稿していたアカウントによる、Bloomberg の報道への X 上の返信。

この工作のコンテンツを投稿していたアカウントによる、Bloomberg の報道への X 上の返信。

偽の人格の一部は、欧州または米国の政治に焦点を当てていました。この活動が掲げるイデオロギーは、地域によって異なっていました。たとえば、米国に焦点を当てたある X アカウントはリベラルを装い、Trump 前米国大統領を批判していました。一方、フランス語で投稿する一部の Facebook アカウントは Macron 大統領を批判し、国民連合(RN)を支持していました。こうした批判では、ロシアによるウクライナ侵攻を含む国際問題に当該国が介入すべきではないと主張するため、国内問題に焦点を当てることもありました。

この工作のコンテンツを繰り返し投稿していた、別々の Facebook アカウントによる 2 件のコメント。ドイツ語の文章は、AfD の政治家 Alexander Jungbluth 氏へのインタビューに対するコメントです。内容は次のとおりです。「Jungbluth 氏は本当の問題を論じている。EU は域内の問題を心配すべきだ!彼の回答、特にウクライナ紛争についての回答には胸が躍る」

この工作のコンテンツを繰り返し投稿していた、別々の Facebook アカウントによる 2 件のコメント。ドイツ語の文章は、AfD の政治家 Alexander Jungbluth 氏へのインタビューに対するコメントです。内容は次のとおりです。「Jungbluth 氏は本当の問題を論じている。EU は域内の問題を心配すべきだ! 彼の回答、特にウクライナ紛争についての回答には胸が躍る」

影響評価

この工作は Facebook と X で非常に活発に行われており、数百のアカウントが関与していた可能性があります。X では、一部のアカウントに有料認証の青いチェックマークが付いていました。両プラットフォームから抽出した約 150 のアカウントのうち、多数のフォロワーを持つものは確認されませんでした。調査中に X で確認した最多フォロワー数は 222 人で、通常は 10 人台半ばから 20 人台前半でした。また、X の一般的な投稿が得た反応は 1 桁でした。同様に、調査中に確認した Facebook 投稿へのリアクションの最多件数は 36 件で、通常は 0~5 件でした。ただし、工作による投稿に実在の人物から返信が寄せられた事例も確認されました。返信は必ずしも好意的ではなく、実在の人物が偽アカウントに反論する場合もありました。それでも、複数のプラットフォーム、言語、話題を通じて、少なくとも一定の利用者を引き付ける能力があったことを示しています。

工作用アカウント(上の投稿)と実在の人物(下の投稿)によるコメント欄での議論。上:Gerald 氏、まさにこのことが、私たちの司法制度の問題がいかに根深いかを示しています。今こそ、これまで以上に Trump 氏を支持しなければなりません!返信:法律や規則に違反した政治家が司法によって「政治的」な理由で「迫害」されるたびに、まさにこのことが、私たちの正義に対する理解の問題がいかに根深いかを示しています……

工作用アカウント(上の投稿)と実在の人物(下の投稿)によるコメント欄での議論。上:Gerald 氏、まさにこのことが、私たちの司法制度の問題がいかに根深いかを示しています。今こそ、これまで以上に Trump 氏を支持しなければなりません! 返信:法律や規則に違反した政治家が司法によって「政治的」な理由で「迫害」されるたびに、まさにこのことが、私たちの正義に対する理解の問題がいかに根深いかを示しています……

影響工作を最低の 1 から最高の 6 までで評価する「Breakout Scale」を用いると、当社はこの工作をカテゴリー 2 の最上位、カテゴリー 3 に拡大するリスクがある水準と評価します。複数のプラットフォームで投稿が行われ、実在の人物がコンテンツに反応したことを示す証拠も一部確認されました。しかし、当社がこの工作によるモデルの利用を禁止し、業界各社と情報を共有した後、特定済みのソーシャルメディアアカウントは何週間にもわたり沈黙しました。この工作は、AI の利用によって実行者の能力が高まる一方、AI モデルへの依存により、妨害に対する脆弱性も増すことを浮き彫りにしています。