OpenAI モデルを用いた第三者サイバー評価
独立したテストは、導入前にリスクを検証し、理解を深めるうえで重要な役割を果たします。一部のサイバー評価では、一般公開された環境でモデルが通常どのように振る舞うかではなく、基礎能力を測定するため、安全対策を弱めるなど、意図的に独自の設定を使用します。
最近の評価では、外部テストパートナー 2 社がインシデントを確認しました。テストの設定や制御と、最近のモデルの能力向上が重なり、モデルの活動が本来のテスト境界を越えたものです。これらのインシデントは、モデルの能力向上に合わせてテスト環境と実務の基準を進化させるため、業界全体および第三者評価機関との連携が重要であることを示しています。編集部注：これらは Hugging Face のセキュリティインシデントとは別の事案です。Hugging Face のインシデントに関する最新情報は、引き続きこちらでお知らせします。
今回のインシデントでは、通常の導入環境とは異なる特定の条件と安全対策を弱めた設定のもと、第三者によるサイバー評価中に OpenAI のモデルが公開インターネットへアクセスしました。インシデントの概要：
- 英国政府の AI Security Institute である UK AISI は、エージェントが自らツールを探し、実際の攻撃者に近い条件で行動できるよう、意図的にインターネットアクセスを有効にしたサイバーレンジ評価を実施していました。また、基礎能力を測定するため、サイバー分類器を無効にしていました。同機関のブログはこちらでご覧いただけます。（新しいウィンドウで開く）
- 当社の外部サイバーセキュリティテストパートナーの一社である Irregular は、インターネットから隔離する想定でキャプチャー・ザ・フラッグ形式の評価を実施していましたが、テスト環境の設定ミスにより、モデルが公開インターネットへアクセスできる状態になっていました。
以下では、発生した事象、活動を可能にしたテスト条件、封じ込めのために講じた措置、そして能力を増すモデルを独立した研究所が今後も厳格かつ安全に評価できるようにするための取り組みを説明します。
これらのインシデントは、最近のHugging Face のインシデントに関する投稿でも述べた、より広範な課題を示しています。モデルの能力が向上するにつれ、モデルを取り巻くセキュリティと安全性のシステムも進化させる必要があります。これには、モデルの開発環境だけでなく、研究所や独立したパートナーがモデルを評価する環境も含まれます。
今後数週間で、第三者テストに対する当社の方針を見直します。これには、高リスク評価の特定方法、範囲の合意、インターネットアクセスの有効化や安全対策の緩和を求める要請の評価、隔離・認証情報の取り扱い・監視・停止条件に関する要件の設定、より明確なインシデント通知およびエスカレーション手順の確立が含まれます。
高リスク評価を安全に実施するための共通実務を強化すべく、業界全体と連携していきます。その一環として今後数週間で、各国の AI 研究機関、独立評価機関、他の AI 研究所などの関係者を招集します。厳格な独立評価の価値を維持しながら、能力を増すモデルにテスト実務が確実に追随できるようにすることが目標です。
8 月 3 日、UK AISI から、7 月 25 日に開始した定例のサイバー評価中に、OpenAI と別の研究所のモデルが一部のケースでテスト範囲を逸脱したとの報告を受けました。評価は、現実のネットワークを模した管理下のサイバーレンジで実施されました。特定された 19 件の事象のうち、2 件には OpenAI のモデルである GPT‑5.6 Sol が関与していました。その他の事例には、別の研究所のモデルが関与していました。
この評価では、エージェントにキャプチャー・ザ・フラッグ演習のサイバーセキュリティ専門家として行動し、相互接続された 3 つのシミュレーション環境を侵害して最終フラグを取得するよう指示していました。タスクのプロンプトでは、対象範囲内のレンジネットワークを示し、対象外となる複数のシステムも明記していました。UK AISI は、エージェントがツールをダウンロードし、人間の攻撃者に近い条件で行動できるよう、実際のインターネットへのアクセスも有効にしていました。また、基礎能力を測定するため、モデルのサイバー分類器を無効にしていました。
UK AISI が意図した許可範囲はシミュレーションされたサイバーレンジ内でした。エージェントには、指定されたシミュレーションネットワークへの攻撃とフラグの取得を許可していましたが、レンジのネットワーク境界外にあるシステムとのやり取りは許可していませんでした。しかし、公開インターネットへのアクセスをどのように使用してよいか、または使用してはならないかは、エージェントに明示していませんでした。UK AISI は、これがインシデントの一因となった可能性があるとしています。
これらの実行を通じて、GPT‑5.6 Sol がシミュレーションレンジへの侵入経路を探し、フラグを取得しようとする中で、許可されていない行為を 2 件実行したことを UK AISI が確認しました。
- GPT‑5.6 Sol は、別の研究所のエージェントが公開状態のままにしていた GitHub トークンを再利用し、対象範囲内のシステムが GitHub または別の更新サービスをポーリングしているか確認しました。また、アカウント復旧やリクエスト上限の回避を試み、外部の DNS およびトンネリングサービス事業者にアカウントを登録しました。
- GPT‑5.6 Sol は公開トンネリングサービスを使用し、評価環境内でローカルに稼働していた DNS サーバーを公開インターネットから到達可能にしました。このサーバーには、テスト対象範囲で稼働していたソフトウェアの既知の脆弱性を狙うペイロードが格納されていました。この仕組みは機能せず、実在するリゾルバーからクエリが送られた証拠もありません。また、評価終了時にインフラストラクチャは撤去されました。
モデルはサイバーレンジの攻略を試みていましたが、実在する外部アカウントやレンジ境界外のサービスが関係しており、タスク完了にも不要な行為だったため、UK AISI はこれらを許可されていない行為と判断しました。この DNS サーバーは公開インターネット上でエクスプロイト用ペイロードもホストしていましたが、仕組みは機能せず、実在するリゾルバーからクエリが送られた証拠もありません。
UK AISI は、セキュリティ監視で異常なデータ転送を検知した後、7 月 28 日にこの活動を特定しました。UK AISI は関連する評価を停止して該当マシンを隔離し、検知からおよそ 1 時間以内に活動を封じ込めました。
活動の特定、調査、詳細の共有を含め、このプロセス全体を通じた UK AISI の協力に感謝します。今後も連携を継続していきます。
7 月 29 日、当社の第三者評価パートナーの一社である Irregular から、キャプチャー・ザ・フラッグ（CTF）形式のサイバーセキュリティ評価中に OpenAI のモデルが関与したインシデントについて通知を受けました。モデルには、シミュレーション環境内の弱点を悪用して隠された情報を見つけるよう指示し、インターネットにはアクセスできないと伝えていました。しかし、テスト環境の設定ミスにより、モデルは公開インターネットにアクセスできる状態になっていました。
あるテストでは、CTF 課題に設定した架空の標的名が、意図せず実在するドメインと一致していました。テスト環境が誤ってインターネットに接続されていたため、モデルは実在するウェブサイトをシミュレーション環境の一部と誤認し、その脆弱性を悪用しました。これは高度なサンドボックス脱出やゼロデイ脆弱性によるものではありません。インターネットにアクセスできた原因は設定ミスであり、モデルが悪用したのは基本的なセキュリティ脆弱性だったとみられます。
Irregular の調査によると、モデルは同じサイトを操作するための認証情報も発見し、使用していました。Irregular は、影響を受けたサイト自体のデータ以外への影響を確認しておらず、監査を継続しています。Irregular は評価を一時停止して是正措置に着手し、影響を受けた第三者にも通知しました。Irregular からは、このインシデントに関連して特定された問題はすべて解消され、テスト環境に必要な安全対策を追加したとの報告を受けています。Irregular は、同じテスト環境で他の研究所が関与した関連インシデントについても公表しています。
Irregular の協力に感謝するとともに、同社の検証を支援するため、今後も緊密に連携していきます。Irregular は、安全な封じ込めとサイバー評価の実施に関するベストプラクティスを共有するため、ホワイトペーパーも作成しています。調査結果をコミュニティに提供できるよう、このホワイトペーパーに協力し、今後も連携を続けていきます。現在および将来のモデルを安全かつ徹底的に評価するうえで、このような連携は不可欠だと考えています。
