読み込んでいます...
本日、これまで広く展開してきた中で最も高性能なモデル、GPT‑6 Astra をリリースします。Astra は、Preparedness Framework においてサイバーセキュリティ能力が「Critical」レベルに達した初のモデルです。
今回のリリースの安全性について、特に重要な点は次のとおりです。
- GPT‑6 Astra のサイバー能力は大幅に向上し、当社の「Critical」しきい値に達しています。これは、適切なツールとアクセス権があれば、GPT‑6 Astra が未知のセキュリティ上の欠陥を発見し、それを悪用する新たな手法を、人が各手順を指示しなくても、多数の強固に保護されたシステムを対象に開発できることを意味します。そのため、悪用やミスアラインメントによってモデルが有害なサイバー行為を実行することを防ぐ保護策を大幅に強化しました。また、より厳格な隔離、チェックポイントの暗号化、思考の連鎖（CoT）を含む全軌跡の常時監視、社内利用前に必須となるアラインメント評価プロセスなど、Astra および同様のモデルの社内開発と展開を保護する対策も講じました。
- GPT‑6 Astra は従来モデルよりも大幅に堅牢です。新たな堅牢性向上のための安全トレーニング手法を取り入れた GPT‑6 Astra は、長い軌跡を含め、GPT‑5.6 Sol よりもジェイルブレイクへの耐性が大幅に向上しています。これは、オフラインテストに加え、厳格な社内外のジェイルブレイクテストと是正プログラムによって確認しています。潜在的に高リスクと判定されたユーザーについては、モデルの拒否境界をより保守的に調整し、より幅広いデュアルユースリスクに対応できるよう、追加のトレーニングも実施しました。回帰テストにより、過去のテスト期間で見つかったジェイルブレイクに対する Astra の堅牢性を確認しています。また、改善の有効性を検証するため、最新の社内レッドチーミング攻撃モデルを用いて、新たな自動レッドチーミングも複数回実施しました。
- GPT‑6 Astra は GPT‑5.6 Sol よりも適切にアラインされています。Astra ではモデルのアラインメントが大きく前進し、事前学習データの構成から強化学習時の採点まで、幅広い改善を取り入れています。新たな一連のアラインメント評価（新しいウィンドウで開く）を報告しており、GPT‑6 Astra は安全性とセキュリティの境界をより確実に守り、許可された範囲内で動作できることが分かりました。54,000 件を超える社内 Codex タスク（新しいウィンドウで開く）を用いたシミュレーションでも、Astra が重大度の高いミスアラインメント行動としてフラグ付けされた件数は、Sol のおよそ半分でした。
- ミスアラインメント監視を広範に導入しています。モデルのアラインメントは、モデルが起こし得るミスアラインメント行動を防ぐための主要な手段だと考えています。一方、監視によってフロンティアモデルの挙動を幅広く把握でき、アラインメントと安全性をさらに改善する機会が明らかになります。さらに監視は、検出されたミスアラインメント行動に対する追加の防御層としても機能します。こうした理由から、多大な計算コストをかけ、Astra の外部展開に伴うツール使用型の推論すべてにミスアラインメント監視を追加しました。このシステムは、社内の構成に準じています。
- GPT‑6 Astra の監視可能性は、GPT‑5.6 Sol よりも低下しています。GPT‑6 Astra の監視可能性（新しいウィンドウで開く）と制御可能性（新しいウィンドウで開く）について、詳細な調査を実施しました。その結果、GPT‑6 Astra は GPT‑5.6 Sol よりも自身の CoT を制御する能力が高く、CoT に自らの不正を示す情報を含める可能性が低いことが分かりました。敵対的な状況、つまりモデルに監視を回避するよう促した場合、評価で意図的に能力を低く見せるサンドバッギングを行いながら検出を免れられるほか、特定の妨害タスク（新しいウィンドウで開く）を指示すると、社内監視を回避できる場合があることも判明しました。ステガノグラフィーを用いた CoT 推論、たとえば通常の無関係に見える文章内に隠れた推論を埋め込む挙動の証拠は確認されていません。このため、回避リスクは主に推論負荷の低いタスクに限られる可能性があります。
- これらの結果は、Astra クラスのモデルが敵対的な条件下で CoT 監視を回避し得ることを示しています。現時点では、これらの結果は主に敵対的評価、つまりモデルに監視を回避するよう指示した場合に基づいています。また、アラインメント評価全体では、Astra がセキュリティおよび安全上の制限に違反する可能性は、GPT‑5.6 Sol よりも低いことが示されています。
- しかし、この傾向を重く受け止めており、モデルの能力向上に伴って、これらの結果と監視可能性への影響を引き続き調査しています。OpenAI は思考の連鎖の監視を維持・活用する取り組みを進めており、CoT の監視可能性を保つことは、この研究プログラムの中核的な目標です。一方、これらの結果は、モデルの思考の連鎖を調べるだけではない、より幅広いアラインメント監査手法を開発する重要性も浮き彫りにしています。
- GPT‑6 Astra は、ブラウジング環境や職場環境でより責任ある判断を行います：GPT‑6 Astra は、GPT‑5.6 Sol よりもプロンプトインジェクションへの耐性が大幅に向上しています。現実的なブラウジング環境や業務用コンピューター環境でのモデルの挙動もテストしました。その結果、GPT‑5.6 Sol と比べ、ミスアラインメントした潜在的に破壊的な行為（無許可の取引、データ損失、過剰なアクセス、制御の回避など）を実行する可能性が大幅に低いことが分かりました。また、暴力的な攻撃計画への協力や詐欺の実行といった有害な依頼を扱う際も、エージェント型の環境でより安全に行動します。
- GPT‑6 Astra は、高リスクのシナリオで安全性が大幅に向上しています。GPT‑6 Astra は、実環境から抽出した難しいリクエストや、人間による敵対的レッドチーミングのリクエストに対し、GPT‑5.6 Sol よりも安全に応答します。Astra は、危険なリクエストに安全に対応しつつ、無害なリクエストへの不要な拒否も減らすという、パレート改善を実現しています。こうした改善は、明示的な依頼ではなく、より広い文脈から危害のリスクが生じる重大度の高いシナリオにも及びます。また Astra は、18 歳未満のユーザーに対し、年齢に応じた安全境界をより一貫して適用します。
詳細は、完全版 System Card（新しいウィンドウで開く）をご覧ください。
著者
OpenAI
