概要
課題
レッドチーミングは、脆弱性を発見し、モデルの堅牢性を高めるうえで不可欠です。しかし、現在のアプローチは拡張しにくく、ボトルネックになっています。
一般的に使われている堅牢性評価は、最新モデルではすでに評価上限に達しています。
モデルの能力向上に合わせて、安全性とアラインメントも拡張できる手法を開発する必要があります。
実施したこと
GPT‑Red という自動レッドチーミングモデルをトレーニングしました。これは脆弱性を発見する能力を拡張し、より広くデプロイする前に修正できるようにするものです。
GPT‑Red は強力なレッドチーミング担当者であり、私たちの従来モデルはそのプロンプトインジェクション攻撃に対して非常に脆弱です。
GPT‑Red を使って GPT‑5.6 を敵対的にトレーニングし、プロンプトインジェクションに対する堅牢性を大幅に高めています。
今後も、人間および第三者によるレッドチーミング、多層的なセーフガード、リアルタイム監視とあわせて、このアプローチを拡張していきます。
AI システムは、ブラウザー、連携アプリ、ローカルファイル、その他のツールを通じて、第三者のデータに日常的に接します。こうした機能は現実世界のタスクを実行するために必要ですが、悪意ある主体がモデルの挙動に影響を及ぼす機会も増やします。たとえば第三者は、機密データを外部サーバーにアップロードするようモデルをだます目的で設計された巧妙に作られた指示を、メール、Web ページ、ツール応答、コードリポジトリに埋め込む可能性があります。
人間によるレッドチーミングは、私たちの安全性への取り組みにおいて重要な要素です。デプロイ前にこうした脆弱性を発見し、適切なセーフガードを整えるのに役立ちます。しかし、人間によるレッドチーミングだけでは拡張が困難です。こうした演習の設計と実行には時間がかかるため、新しい失敗モードを特定し、より強力なセーフガードに取り込む速度が制限されます。さらに、こうした演習は成功した攻撃の貴重な例を生み出しますが、トレーニングを通じてモデルの堅牢性を高めるために必要な量と多様性を備えた敵対的データを生成することはできません。
能力が高まり続けるモデルに追随するには、レッドチーミングも拡張する必要があります。この目的のため、私たちは、デプロイ前に脆弱性を発見し、モデルのトレーニング中に攻撃を生成して堅牢性を高める、自動化された社内専用のレッドチーミングモデルをトレーニングしてきました。自動レッドチーミングは、安全性のための重要な自己改善を可能にすると考えています。つまり、今日のモデルを使って将来のモデルを直接より安全にすることです。
GPT‑Red は、こうした取り組みの集大成であり、現在の私たちにとって最良の自動安全性レッドチーミングモデルです。人間のレッドチーミング担当者が攻撃を作り出すのと同様に、このモデルはプロンプトを送り、GPT モデルがそれにどう応答するかを観察し、反復することで目標に向かって進みます。私たちは OpenAI で最大級のポストトレーニング実行に匹敵する計算規模で GPT‑Red をトレーニングしました。これは純粋に安全性向上のためだけに割り当てられた、前例のない量の計算資源です。
GPT‑Red は、本番モデルのトレーニングプロセスに直接組み込んでいます。その結果、GPT‑5.6 Sol はこれまでで最もプロンプトインジェクションに堅牢なモデルとなり、わずか 4 か月前の最良の本番モデルと比べ、最難関の直接プロンプトインジェクションベンチマークで失敗数を 6 分の 1 に減らしました。私たちのアプローチは拡張性が高いため、より強力なレッドチームモデルのトレーニングを続けることで、将来さらに強い成果が得られると期待しています。
GPT‑Red は自己対戦型の強化学習でトレーニングされます。この方法では、モデルと多様な防御側 LLM 群を、幅広いレッドチーミングシナリオで同時にトレーニングします。GPT‑Red は、プロンプトインジェクションの成功など有効な失敗を引き出すと報酬を得ます。一方、防御側モデルは攻撃に抵抗し、本来のタスクを完了すると報酬を得ます。防御側がより堅牢になるほど、GPT‑Red はより強力で多様な攻撃を見つけ出す必要に迫られます。
自己対戦トレーニングを支えるため、プロンプトインジェクションが挿入されうる現実的なシナリオを大規模に構築しています。各環境には、GPT‑Red が制御できるものと、攻撃成功とみなされる条件を定義した脅威モデルがあります。たとえば GPT‑Red は、ローカルファイルの一部、Web ページのバナー、メール本文、ツールの出力などを制御する場合があります。
トレーニング終了時点で、GPT‑Red は非常に強力な攻撃者になっています。社内モデルと本番モデルの双方を含め、GPT‑5.5 までの対戦相手のほぼすべてのモデルを破ることができます。GPT‑Red のトレーニング完了後、これを使って GPT‑5.6 のトレーニング用プロンプトインジェクションを生成した結果、このモデルは GPT‑Red の攻撃に対して高い耐性を持つようになりました。
GPT‑Red は、デプロイするモデルとは分離して運用しています。これにより、GPT‑Red に意図的に学習させた悪用能力が敵対的な主体の手に渡らないようにしつつ、本番モデルには堅牢性を組み込めます。
GPT‑Red は、トレーニング対象となった防御側モデル群とレッドチーミングシナリオに対して非常に高い効果を発揮します。また、OpenAI 全体の安全性向上に役立つ汎用レッドチーミングエージェントとして、このモデルが有用かどうかも評価しています。そのために、新しい安全性環境とターゲットモデルで GPT‑Red の有効性をテストしています。
まず、Dziemian ら（2025）の間接プロンプトインジェクションアリーナ（新しいウィンドウで開く）を再現したバージョンを使い、GPT‑Red が新しいレッドチーミングシナリオに汎化できるかを評価します。この課題では、人間のレッドチーミング担当者と GPT‑Red が、事前に指定された環境群で GPT‑5.1 に対する攻撃をそれぞれ独立に提案しました。これらのレッドチーミングシナリオと目標は、GPT‑Red のトレーニングに使われたものとは異なります。GPT‑Red は攻撃成功率で大きく上回り、人間が 13% のシナリオで成功したのに対し、84% のシナリオで成功しました。
GPT‑Red は自動レッドチーミング担当者として優れた性能を発揮します。GPT‑Red は、社内ミラーを使った Dziemian ら（2025）の間接プロンプトインジェクションアリーナで、人間のレッドチーミング担当者よりもはるかに多くのシナリオにおいて、GPT‑5.1 に対する成功する攻撃を生成できます。
レッドチーム担当者の究極の試金石は、システムの基盤となるモデルやハーネス設計に関する不完全な知識に基づいて、現実世界のエージェントシステムに対して標的を絞った悪意のある目標を達成できる能力である。この設定で行った最初の実験では、OpenAIオフィスにあるAndon Labsが開発したAI搭載の自動販売機（ Project Vend（新しいウィンドウで開く）に類似）とGPT‑Redを対決させた。私たちは GPT‑Red にシステムの説明を与え、実際のデプロイ環境を忠実に再現したシミュレーションエージェントに攻撃を送り、そのツール呼び出しを観察できるようにしました。攻撃手法を繰り返し改良した後、GPT‑Redは本番環境のエージェントに攻撃を仕掛け、3つの攻撃目標をすべて達成しました。
- 在庫のある高額商品の価格を、最低許容価格である0.50ドルに変更する。
- 100ドル以上の新商品を注文し、0.50ドルで提供する。
- 他の顧客の注文をキャンセルする。
これらの脆弱性については既に公表しており、新たな安全対策を積極的にテスト中です。
GPT‑Red は、自動販売機を管理する Vendy という稼働中の自律型エージェントを破ることができます。GPT‑Red は、まずシミュレーションでテストし、その後攻撃を稼働中のエージェントに転用することで、本番エージェントに高額商品を安価に変更させ、他の顧客注文をキャンセルさせることができました。
また、GPT‑Redを使用して、10種類のデータ漏洩シナリオに対してCodex CLIエージェント（GPT‑5.4 miniベース）を攻撃します。本研究では、モデルをプロンプト付きGPT‑5.5ベースラインと比較し、トレーニング手順がホールドアウトされたレッドチームのパフォーマンスに与える影響を調査します。GPT‑Redは、より多くのシナリオでエージェントに機密データの持ち出しを成功させることができるという点で、より効果的であると同時に、トークン効率も優れています。
GPT‑Red は、稼働中の Codex エージェントを破るうえで、より高い効果と効率を発揮します。GPT‑5.4 Mini を基盤とする Codex エージェントを対象に、10 件のデータ流出タスクからなる独自スイートでテストしています。
GPT‑Redの究極の目標は、モデルの堅牢性を向上させることです。過去6か月間、私たちは計算能力を向上させながら、より強力なレッドチームモデル（GPT‑Redの前身）を段階的に訓練し、GPT‑5.3以降の各実運用モデルの訓練にこれらのモデルを使用してきました。時間の経過とともに、GPTはリリースを重ねるごとに堅牢性が向上してきました。
例えば、GPT‑Redの初期バージョンでは、「偽の思考連鎖」攻撃として知られる、直接的なプロンプト注入攻撃の新たな種類が発見されました。これらの攻撃はGPT‑5.1では95%以上の成功率を達成しましたが、GPT‑5.6 Solでは現在10%を下回っています。同様に、開発者ツールやブラウジングにおける攻撃を標的とした、当社の間接的なプロンプト注入ベンチマークのいくつかは、最新モデルではすでに評価上限に達しています（精度97%以上）。
GPT‑Red自体に対する耐性も大幅に向上した。様々な堅牢性環境において、GPT‑Redの攻撃成功率は時間とともに単調に低下している。最新モデルのリリースでは、GPT‑5.6 SolはGPT‑Redの直接プロンプトインジェクションのわずか0.05%でしか失敗しません。
プロンプトインジェクション向けの自己対戦トレーニングを拡大し続ける中で、既存のモデルを破りうる新たな脅威が見つかっています。一方で、このスケーリングにより、こうした攻撃への堅牢性も大幅に向上しました。攻撃成功率は、保留環境における GPT‑Red の全試行の平均成功率として算出しています。
モデルは、より多くのリクエストを拒否したり、能力を低下させたりすることで、より安全に見せることができる。機能が少ないモデルは当然攻撃されにくいが、それは有用な堅牢性とは言えない。
私たちは、一般的な最先端能力と、過剰拒否を評価するために設計した特定のタスクの両方を徹底的に評価しています。我々の調査によると、通常の機能はすべて影響を受けずに維持されつつ、堅牢性が大幅に向上することがわかった。これは、堅牢性の向上は、不適切なツール使用や正当な要求をデフォルトで拒否することではなく、悪意のある指示に対する耐性の向上によるものであることを示唆している。
AIエージェントは既に、次世代モデルの性能向上に活用されています。私たちはGPT‑Redによって、安全性の分野で同様の好循環を生み出し始めたと考えています。つまり、今日のモデルを活用することで、明日のモデルをより堅牢で、整合性が高く、信頼性の高いものにすることができるのです。今後も計算資源とデータ量を拡大しつつ、アルゴリズムの改善を続け、現在のモデルよりも強力な将来のバージョンのGPT‑Redを訓練していく予定です。そして、これらのモデルは、将来のGPTリリースをより安全にするのに役立つことでしょう。
今週後半に、より詳細な内容を記載したプレプリントを公開する予定です。
