OpenAI と Hugging Face、モデル評価中のセキュリティインシデント対応で連携

先週、Hugging Face は、同社のインフラを侵害した AI エージェントを検知して封じ込めた後、新しい種類のセキュリティインシデントを開示しました⁠（新しいウィンドウで開く）。サイバー能力がますます高まるモデルの普及に伴い、こうした事例は今後さらに一般的になると私たちは予想しています。調査の結果、今回のインシデントは、サイバー能力のベンチマーク⁠（新しいウィンドウで開く）で社内テストを行っている間に、OpenAI の複数のモデルの組み合わせによって引き起こされたことが分かりました。これには GPT‑5.6 Sol と、さらに高性能なプレリリースモデルが含まれ、いずれも評価目的でサイバー関連の拒否を抑えていました。

私たちは今回のインシデントを、最先端のサイバー能力が関与した前例のないサイバーインシデントと捉え、それに応じた対応を取っています。現時点での暫定的な知見を共有することで、防御側が何が起きたのかを理解し、現在のモデルに何が可能なのかを見極める助けにしたいと考えています。今後も Hugging Face とともに徹底した調査を続け、調査が完了した時点で、脆弱性、インシデント、知見についてさらに詳しく共有します。

このインシデントは、モデルに複雑な攻撃経路を用いた高度なエクスプロイトを試みさせ、そのサイバー能力を定量化するための社内評価中に発生しました。高リスクのサイバー活動をモデルが追求することを防ぐ本番用分類器を使わずにこの評価を実行することで、最大限のサイバー能力を推定しています。私たちのベンチマークは高度に隔離された環境で実行されます。ネットワークアクセスは、パッケージレジストリのプロキシ兼キャッシュとして機能する社内ホスト型のサードパーティソフトウェアを通じてパッケージをインストールできる範囲に制限されています。

モデルは、OpenAI の研究環境と Hugging Face の本番インフラにまたがる脆弱性を特定して連鎖させ、Hugging Face の本番データベースからテスト解答を直接取得しました。すべての証拠は、モデルが ExploitGym の解答を見つけることに過度に集中し、かなり狭いテスト目標を達成するために極端な手段を取ったことを示しています。

サンドボックス化されたテスト環境で動作している間、私たちのモデルは評価課題を解くために、オープンなインターネットアクセスを得る方法を見つけることに相当量の推論コンピュートを費やしました。アクセスを得るために、モデルはパッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を特定し、悪用しました。この脆弱性については、すでにベンダーに責任ある開示を行っています。このアクセスを使い、私たちのモデルは研究用テスト環境内で一連の権限昇格とラテラルムーブメントを行い、インターネットアクセスを持つノードに到達しました。

インターネットアクセスを得た後、モデルは Hugging Face が ExploitGym のモデル、データセット、解答をホストしている可能性があると推測しました。これを踏まえ、モデルは評価で不正に利用できる秘密情報へのアクセス方法を探し、実際に発見しました。一例では、モデルは盗まれた認証情報やゼロデイ脆弱性の利用を含む複数の攻撃ベクトルを連鎖させ、Hugging Face のサーバー上でリモートコード実行に至る経路を見つけました。OpenAI のセキュリティチームが、この異常な活動を社内で発見しました。

Hugging Face のセキュリティチームとエージェントは、同社のインフラ上でこの活動を検知して停止し、私たちのチームが連携する前から、同社のオープンソースモデルを使って封じ込めとフォレンジック再構築を開始していました。私たちは現在、同社と緊密に連携し、このインシデントの調査を続けています。調査と修復において Hugging Face が迅速かつ緊密に協力してくれていることに感謝しています。

1. 調査の一環として、脆弱性の修正が完了するまで、研究の速度を犠牲にしてインフラ構成に厳格な管理を導入しています。これらの管理策とその影響について、安全・セキュリティ委員会に定期的に報告しています。
2. Hugging Face と連携し、このインシデントのフォレンジック調査を進めています。
3. 社内ホスト型のサードパーティソフトウェアで特定されたゼロデイ脆弱性について、責任ある開示を行い、修正に向けて同社と協力しています。
4. Hugging Face を trusted access⁠ プログラムに迎え入れ、同社のチームが私たちのモデルの能力を迅速に活用して防御を強化できるよう支援しています。
5. 今後のトレーニングと評価における保護策を改善し、より強固な保護策を追加しています。今週、私たちは長期実行モデル時代における安全性とアラインメントの向上⁠に関するブログを公開しました。この評価はサイバー脆弱性のテストを目的としていたため、これらのデプロイ時の安全策は意図的に有効化していませんでした。今回のインシデントは、私たちのモデルのアラインメント、評価時のサイバー保護、社内テスト中のモニタリングをさらに強化する必要性を示しています。

最近⁠共有したように、AI は脆弱性の発見と悪用を加速させています。今回のインシデントから得られる主な教訓は、モデルのセキュリティと安全性が、急速に進歩する能力に遅れず対応しなければならないということです。私たちは、モデル開発中に用いる封じ込め、モニタリング、アクセス制御、評価手法を強化しています。

UK AISI の評価では、GPT‑5.6 Sol などのモデルが、長時間にわたって複雑な多段階のサイバー作戦を継続する能力をますます備えつつあることが示されています。今回のインシデントは、こうした理論上の能力が現実世界でも実際に発揮されることを示唆しています。

また、高度なモデルはソースコードへのアクセスがなくても、現実世界のシステムで新しい攻撃経路を発見し、悪用できることが明らかになりました。これは、高度なサイバー能力を、より強力な安全策や防御ツールと並行して開発しなければならないことを浮き彫りにしています。

高度なサイバー能力を持つモデルは、攻撃者より先に弱点を見つけ、脆弱性がどのように連鎖し得るかを理解し、機械の速度で修復するうえで、セキュリティチームを支援する必要があると考えています。私たちはこれらの能力を活用し、インフラ構成およびモデル評価環境における保護策を引き続き強化しています。得られた知見やベストプラクティスは、学びに応じて共有していきます。他の防御側の皆さまにも、trusted access に申し込み⁠、今すぐこれらのモデルを試して、これらの能力をより優れた予防、より迅速な検知、より効果的なインシデント対応につなげることをお勧めします。