SweetSpecter：中国との関連があるサイバー活動
OpenAI は、中国を拠点とすると疑われる攻撃者 SweetSpecter に属する可能性が高いアカウントの利用を禁止しました。これらのアカウントは、脆弱性の調査、コードの作成、スピアフィッシング活動の支援に AI を利用していました。
この事例は、OpenAI の 2024 年 10 月（新しいウィンドウで開く）のレポートで初めて公開されました。
攻撃主体
OpenAI は、サイバー攻撃活動を支援するために当社のモデルを利用しようとしていたアカウントを特定し、利用を禁止しました。信頼できる情報源の評価によると、これらのアカウントは、中国を拠点とすると疑われる攻撃者に属していた可能性が高いとされています。この攻撃者は同時に、当社の従業員や世界各国の政府に対し、スピアフィッシング攻撃を行っていました。この攻撃者は 2023 年に出現し、SweetSpecter という名称で公開情報上で追跡されています。当社の認識では、米国に拠点を置く AI 企業を標的としていることが公に明らかになったのは今回が初めてです。過去の活動では、中東、アフリカ、アジアの政治関連組織を主な標的としていたと報告されています。
行動
2024 年 5 月、信頼できる情報源から、そのセキュリティチームが SweetSpecter によるスピアフィッシングメールの送信を確認したとの情報を受け取りました。悪意ある添付ファイルを含むこれらのメールは、当社の一部の従業員の業務用と個人用の両方のメールアカウントに送信されていました。
SweetSpecter が当社の少数の従業員に送信したメール（一部を黒塗り）。これらのメールは当社のセキュリティシステムによってブロックされました。画像提供：Proofpoint。
これらのメールで、SweetSpecter は ChatGPT ユーザーを装い、標的とした従業員にサポートを求めていました。メールには「some problems.zip」という悪意ある添付ファイルが含まれており、その中に LNK ファイルが格納されていました。このファイルには、開くと DOCX ファイルをユーザーに表示するコードが含まれていました。その DOCX ファイルには、ChatGPT のエラーやサービスに関するメッセージに見せかけた内容が複数記載されていました。しかし、その裏では SugarGh0st RAT と呼ばれる Windows マルウェアが復号され、実行される仕組みになっていました。このマルウェアは、侵害した端末を SweetSpecter が制御できるように設計されており、任意のコマンドの実行、スクリーンショットの撮影、データの窃取などを可能にします。
OpenAI のセキュリティチームは、このスピアフィッシング攻撃の標的になったと考えられる従業員に連絡し、既存のセキュリティ対策により、メールが業務用メールアカウントに届く前に阻止されていたことを確認しました。
分析対象の悪意ある LNK ファイルの 1 つを実行すると表示される、おとりのコンテンツ。
この一連の対応を通じて、業界パートナーとの連携は、従業員のアカウントへの侵入を狙ったものの失敗に終わったこれらの試みを特定するうえで、重要な役割を果たしました。これは、AI 時代に高度な攻撃者の先手を打つためには、脅威インテリジェンスの共有と連携が重要であることを示しています。共有された知見と各社の専門性を活用することで、当社の資産をより効果的に保護し、こうした活動に関連するプラットフォーム上のアカウントを停止できます。
モデルの応答
この攻撃活動を支えるインフラを広く分析する中で、同じインフラを使用し、質問への回答を得たり、スクリプト作成や脆弱性調査のタスクを実行したりしようとする一群の ChatGPT アカウントを発見し、停止しました。これらのやり取りを、Microsoft が今年前半に MITRE ATT&CK® フレームワークへの組み込みを提案した、LLM に関連する戦術・技術・手順（TTP）に対応付けました。MITRE フレームワークは、サイバー攻撃者が実際に使用する戦術や技術をまとめたものです。これらの対応関係を示すことで、観測された TTP をサイバーセキュリティコミュニティ全体に伝え、サイバー防御の有効性向上に役立てることを目指しています。
以下に、これらの TTP に該当する SweetSpecter の活動例を示します。
活動 | LLM ATT&CK フレームワークのカテゴリ |
|---|---|
各種アプリケーションの脆弱性に関する質問 | LLM の情報を活用した偵察 |
重大なリモートコード実行（RCE）の脆弱性 Log4Shell の影響を受ける、特定バージョンの Log4j を探す方法に関する質問 | LLM の情報を活用した偵察 |
海外で広く使われているコンテンツ管理システムに関する質問 | LLM の情報を活用した偵察 |
特定の CVE 番号に関する情報の照会 | LLM の情報を活用した偵察 |
インターネット全体を対象とするスキャナーの作成方法に関する質問 | LLM の情報を活用した偵察 |
sqlmap を使い、ウェブシェルになり得るファイルを標的のサーバーにアップロードする方法に関する質問 | LLM を利用した脆弱性調査 |
有名自動車メーカーのインフラを悪用する方法の探索支援を依頼 | LLM を利用した脆弱性調査 |
コードを提示し、通信サービスを利用してプログラムからテキストメッセージを送信するための追加支援を依頼 | LLM によるスクリプト作成技術の強化 |
サイバーセキュリティツールの拡張機能を開発する際のデバッグ支援を依頼 | LLM によるスクリプト作成技術の強化 |
攻撃者が指定した電話番号にプログラムからテキストメッセージを送信する、より大規模なフレームワークの一部を構成するコードのデバッグ支援を依頼 | LLM を利用した開発 |
政府機関の職員が関心を持ちそうな話題や、ブロックを回避しやすい添付ファイル名に関する質問 | LLM を利用したソーシャルエンジニアリング |
攻撃者が提示した採用メッセージの別案を作成するよう依頼 | LLM を利用したソーシャルエンジニアリング |
この調査を通じて、当社のセキュリティチームは ChatGPT を活用し、攻撃者のアカウントによるやり取りの分析、分類、翻訳、要約を行いました。これにより、作業に必要なリソースを最小限に抑えながら、大規模なデータセットから迅速に知見を得ることができました。モデルの高度化に伴い、従業員に送信された悪意ある添付ファイルのリバースエンジニアリングや分析にも ChatGPT を活用できるようになると期待しています。
影響
最初の脅威レポートでの観測結果と同様に、攻撃者が当社のモデルを利用したことで、複数の公開情報源からは得られない新たな能力や方針を獲得した様子は見られませんでした。当社のセキュリティ機構は、攻撃者からの悪意あるメールが従業員の受信トレイに届く前にブロックしました。