フロンティア AI のリスク管理:トレーニングから展開まで
2026 年 11 月 18 日 · 安全性
フロンティアモデルの能力は急速に向上しています。その理解、アラインメント、安全の確保に関する当社の能力は、常にその先を行く必要があります。当社はモデルの開発と公開のペースを調整しています。安全基準を満たすために時間が必要な場合は、社内のトレーニング(新しいウィンドウで開く)を一時停止したり、GPT‑6.1 Astra のようにモデルの公開を見送ったりしています。セーフティケースなどの新たなプロセスを導入し、トレーニングの全過程で、意図に沿った挙動を示すより強い証拠を求めています。こうした要件によってモデル公開のペースは遅くなりますが、安全に前進できるという確信は高まります。
7 月の Hugging Face インシデント以降、モデルのトレーニング、テスト、展開に関する安全対策とアラインメント要件を強化してきました。本記事では、厳重に隔離されたサンドボックス内のトレーニング環境から、皆さまのコンピューターで使う Codex の提供環境まで、各段階でどのようにリスクを評価・管理しているかを説明します。各段階でモデルと安全対策の両方を評価し、次の段階に進むには安全性レビューを必須としています。
当社は、複数の保護層を設ける多層防御によって、単一の安全対策への依存を減らしています。ある層が機能しなくても、他の層が危害を防ぎ、影響を抑え、あるいは介入できるよう当社に警告します。
保護の仕組みは、次の 4 つの層で構成しています。
効果的な監視には、モデルの監視可能性が重要です。これは、モデルの推論やアクションから、監視システムが誤りや危険な挙動をどれほど確実に検知できるかを指します。たとえば、思考の連鎖(CoT)の中で不正を行う意図を言語化するモデルは、その情報を省略するモデルよりも監視可能性が高いといえます。当社はトレーニング中と展開前に監視可能性を評価し、より優れた測定方法(新しいウィンドウで開く)を開発するとともに、監視可能性に影響する要因を研究(新しいウィンドウで開く)しています。
Hugging Face インシデントは、高性能なモデルを封じ込めるうえで、サンドボックス化だけに頼るべきではない理由を示しました。現在は、ツールを使用するすべての社内展開を含め、社内外のほとんどの展開環境でフロンティアモデルを監視しています。
各層の役割は、モデルの開発・展開における次の 3 段階で変化します。
研究:サンドボックス環境でモデルをトレーニング、テスト、利用します。
社内展開:OpenAI の従業員が実務でモデルを利用します。
社外展開:より広く個人や組織がモデルを利用できるようになります。
重視する層は段階によって異なります。アラインメントの確実性がまだ低いトレーニング中は、サンドボックス化と監視により大きく依存します。展開に伴ってモデルのアクセス範囲が広がるにつれ、アラインメントとシステムレベルの制御がますます重要になります。各段階で、保護策の組み合わせがモデルの能力とアクセス範囲に対して十分かどうかを評価します。当社の判断は、安全諮問グループとともに検討され、OpenAI Foundation の理事会に設置された安全・セキュリティ委員会による監督の対象となる場合があります。
研究段階では、モデルを評価し、そのアラインメント特性への確信を高めます。危害の防止をまだアラインメントだけに任せられないため、セキュリティとサンドボックス化を重視し、モデルがアクセスできる対象や実行できることを制限します。
アラインメント研究、監視システム、インターネットインフラのセキュリティの現状を踏まえ、フロンティアモデルのトレーニングは外部インターネットに接続しない環境で行うことが、責任あるアプローチだと考えています。Hugging Face インシデントの後、社内研究システムを大幅に再構築し、次の仕組みでモデルを封じ込めています。
モデルの権限を制限するサンドボックス
ワークロードを基盤となるコンピューターからさらに隔離する仮想マシン
クラスター全体をインターネットから切り離すネットワークとクラウドの境界防御
このシステムに対して継続的にレッドチーミングを実施しています。当社で最も高性能なモデルからなるチームに、外部インターネットへの接続、セキュリティ境界からの脱出、本来隔離されているはずのエージェントとの通信を試みさせています。これにより、制約の対象となるモデルの能力に対して、封じ込めが有効に機能するかを検証できます。
追加の防御層として、フロンティアモデルによるすべての推論を監視し、常に維持すべきセキュリティ条件がモデルによって破られていないかを検知します。監視によってモデルのインターネット接続が検知された場合は、セキュリティチームに緊急通知し、ワークロードを自動で一時停止します。
監視は、封じ込めが破られたときの重要な最後の防御線となります。最近のミスアラインメント報告では、監視システムが 社内の研究用モデルによる DNS の設定不備の悪用を検知した(新しいウィンドウで開く)事例を共有しました。モデルはこの不備を利用し、限定的なインターネットアクセスを得ていました。調査とセキュリティ上の不備への対処を進める間、9 月 20 日から 10 月 1 日まで、当社で最も高性能なモデルのトレーニングと評価を一時停止しました。
迅速かつ確実に介入するため、Control Room を構築しました。これは研究ワークロードを一元的に追跡し、ジョブの停止指示を受けてから 35 秒以内にモデルの出力を停止するシステムです。これらの制御は推論インフラで直接適用されるため、各研究ワークロードに個別の停止機構を実装する必要はありません。フロンティアモデルの研究ワークロードでは、Control Room が利用不能になった場合もモデルの出力を停止します。
レッドチーミングと監視は相互に補完し合います。サンドボックスが絶対に突破されないとは保証できませんが、レッドチーミングによって、モデルが脱出にどれほどの労力を要するかを評価できます。モデルに必要な労力が大きいほど、監視システムが検知して阻止する機会も増えます。
研究段階で強固なセキュリティと監視の制御を義務づけている理由は、次のとおりです。
モデルはまだ評価段階にあります。一般公開に必要な安全性トレーニング、アラインメント監査、レビューがまだ完了していないモデルもあります。
フロンティア研究環境では、リスクが増幅することがあります。研究タスクによっては、より野心的な構成が必要となり、通常の社外展開時よりもモデルの粘り強さや能力が高まります。たとえば、ナビエ–ストークス問題の解決には、10,000 のエージェントからなるチームが必要でした。
トレーニングは大規模に行われ、人間による直接的な監督は限られています。通常の Codex セッションとは異なり、トレーニングのワークロードでは、人間が個々のやり取りを追うことなく、モデルが大量のアクションを実行します。
広く公開する前に、従業員はサンドボックス内での研究利用から、フロンティアモデルをサンドボックス外で社内利用する段階へ移行します。たとえば、従業員が ChatGPT でそのモデルを使えるようにします。これにより、モデルが実用環境でどう振る舞うか(新しいウィンドウで開く)への理解が深まり、展開の判断に役立ちます。
この段階では、インターネットへのアクセス範囲を広げるとともに、社内の Slack、コードベース、インフラへのアクセスもモデルに許可します。モデルのアクションが、OpenAI の開発・運営に使うシステムに直接影響するようになるため、リスクは大きく変わります。社内展開では、セキュリティ制御よりも、モデルのアラインメント、システムの安全対策、監視に重点を置く必要があります。
フロンティアモデルをサンドボックス外に展開するには、まずアラインメントと監視可能性のテスト(新しいウィンドウで開く)を受ける必要があります。当社では一連のアラインメント評価を実施しています。安全・セキュリティ上の制限を回避するといった具体的な失敗パターンを検証するとともに、社内の Codex の実行軌跡を再サンプリングしてミスアラインメントを調べるなど、幅広く傾向を測定します。アラインメントと監視可能性の評価については、最新の GPT‑6 Astra System Card(新しいウィンドウで開く) で詳しく紹介しています。
本番環境と同様に、システムレベルの分類器による防御層も追加します。これは、サイバー悪用や生物兵器化など、フロンティアモデルがもたらしうる危害を防ぐためのものです。また、Codex を利用する従業員には原則として Auto-Review(新しいウィンドウで開く) の使用を義務づけています。これはリスクを伴う可能性のあるアクションを評価し、ユーザーに判断を求める仕組みです。
最後に、社内展開中のフロンティアモデルによるすべての推論について、ミスアラインメントを示す挙動がないか監視します。モデルの権限が拡大し、社内の情報やシステムにアクセスできるようになるため、データの不正な持ち出しや機密データの無許可の宛先への送信といったリスクの検知が特に重要になります。監視は、新たな形のミスアラインメント(新しいウィンドウで開く)の調査にも役立ちます。
一般公開すると、モデルははるかに多くのユーザー、タスク、環境に接するため、リスクの規模と種類の両方が増大します。この段階では、モデルが危害を加えるよう意図的に指示する、悪意を持つ可能性のある行為者への対策も必要です。
一般公開の前に、モデルとシステムの安全対策は、当社の社外展開に関する安全要件を満たす必要があります。次の方法で評価します。
より広範なアラインメント・安全性評価を実施します。フロンティアモデルでは、社内の自動レッドチーミングシステムを用いた適応型テストを改めて実施し、モデルの堅牢性に対するストレステストを行います。能力と安全性の評価結果は、System Card(新しいウィンドウで開く) で公開しています。
最も高性能なモデルについては、第三者とのテストも実施し、悪用を防ぐ安全対策と、モデルの根本的なアラインメントの両方にストレステストを行います。
社内展開段階の監視で検出された問題を精査し、基盤モデルの根本的なアラインメントに変化がないか追跡します。
モデルの安全性トレーニングやシステムの分類器といった「同期的な」安全対策に加え、社外展開ではオフラインでの規約違反への対処と調査も活用します。担当チームは、調査エージェントの大規模な運用と人間によるレビューを組み合わせ、潜在的な脅威主体の検知・特定に取り組みます。対象はサイバー悪用、生物兵器化、蒸留から、モデル自体のミスアラインメントまで多岐にわたります。オフラインでの対処は、アカウントを横断して情報を集め、潜在的な脅威の全体像をより包括的に把握するうえで特に有効です。
Daybreak や Rosalind などの信頼できる利用者向けアクセスプログラムは、さらにセキュリティの層を加えます。攻撃者となりうる利用者のアクセスを制限しつつ、防御担当者や正当な研究者の活動を加速します。
安全対策のいずれかの層に不備が見つかった場合は、実際に被害が生じたかどうかにかかわらず、速やかに調査し、対応の優先順位を判断します。可能かつ適切であれば、その不備を社外に開示する方針です。当社のミスアラインメント報告ポリシーでは、どの従業員もインシデントの公開を提案できます。これらの報告を調査し、社外への開示の是非について意見が分かれた場合は、安全諮問グループに判断を委ねます。従業員からの報告に頼るだけでなく、ミスアラインメントのインシデントを積極的に探し、対処と知見の共有につなげています。
ミスアラインメントの報告はこちら(新しいウィンドウで開く)でご覧いただけます。
この取り組みには、研究の進展と厳格な運用の両方が欠かせません。制御を正しく設定し、相互の作用をテストし、機能しないときには断固として対応する必要があります。ネットワークサービスの設定不備や自動停止の失敗は、それ以外の保護策が強固であっても、その効果を損なうおそれがあります。
モデルが新たな能力を獲得するにつれ、安全対策の前提を問い直し、必要に応じて改善し続ける必要があります。研究、社内利用、一般公開から得た教訓は、次のモデルのトレーニング、評価、展開に反映しなければなりません。
当社のアプローチを、その限界も含めて外部の方々に精査していただけるよう、System Card、インシデント報告、社内展開のリスク報告(新しいウィンドウで開く)、外部評価を通じて、引き続き知見を共有します。得られた証拠が当社の安全基準を満たすに足りない場合は、要件が満たされるまで、再びトレーニングを一時停止するか、公開を見送ります。
安全基準の設定
サイバー分野に重大な影響を及ぼす能力の時代におけるモデル開発のペース調整 — 封じ込めの強化、監視の拡大、アラインメントを示す証拠の厳格化を進めながら、フロンティアモデルのトレーニングを減速させた方法を紹介します。
フロンティア AI トレーニングのセーフティケースに向けて — 技術的な安全対策、運用実務、ミスアラインメントの調査を対象に、証拠に基づいて安全性を論証するための初期ガイドラインです。
効果的な第三者評価のための優先事項と原則 — セーフティケース、安全対策、評価、モデルの挙動を独立した立場から精査するために、当社が提案するアプローチです。
社内利用に伴う壊滅的リスク評価の定期サマリー(新しいウィンドウで開く) — 2026 年 6~9 月を対象とした公開報告書です。フロンティアモデルの社内展開、評価されたリスク、安全対策とガバナンスの変更について説明します。
意図に沿った挙動の定義と評価
より高性能で有益な AI のための Model Spec 改訂 — モデルの判断、挙動、人間の監督の尊重を導くため、5 つの中核的価値観を軸に Model Spec を更新した方法を紹介します。
エージェントの安全性における評価・本番間の挙動の差と評価認識の役割(新しいウィンドウで開く) — 安全性評価の結果と本番環境での挙動の違いを調べた研究です。モデルによる評価目的の解釈が性能に与える影響も扱います。
g-mean² を超えて:監視可能性を補完的に測る指標(新しいウィンドウで開く) — 監視システムがモデルの出力を拒否するシミュレーション環境で、監視可能性を比較し、残余リスクを推定するための新たな指標です。
GPT‑6 Astra System Card(新しいウィンドウで開く) — Astra の能力、安全性、アラインメント、監視可能性に関する詳細な評価と、展開時の安全対策および限界を紹介します。
モデルの封じ込めと安全対策の改善
フロンティアモデルのトレーニング環境の保護 — 隔離の強化、オフライン研究環境の構築、当社で最も高性能なモデルを用いた封じ込め境界のテストについて紹介します。
安全性とアラインメントのための活性化分類器のトレーニング(新しいウィンドウで開く) — モデルの内部活性化を分類器が利用し、有害な可能性のある挙動を検知して、応答やツール呼び出しを中断する仕組みを説明します。
人間の同期的な監督を伴わないエージェントのアクションの自動レビュー(新しいウィンドウで開く) — 独立したレビュー用エージェントがサンドボックス境界を越えるアクションを評価し、有害または無許可の可能性があるアクションをブロックしながら、コーディングエージェントの自律的な作業を支える仕組みを説明します。
GPT‑Red:堅牢性を高める自己改善の実現 — 自己対戦を通じて自動レッドチーミングシステムをトレーニングし、脆弱性を発見して、プロンプトインジェクションに対するモデルの堅牢性を高める方法を紹介します。
Control Room — 研究インフラ全体のワークロードを追跡し、安全性やセキュリティ上の懸念から介入が必要になった際、モデルの出力を迅速かつ強制的に停止する仕組みを説明します。
インシデント対応と情報開示
フロンティアモデルのミスアラインメント検知の仕組み — 当社の監視システムは、活性化プローブ、モデルによるレビュー、自動調査、人間による対応を組み合わせ、懸念される挙動を検知・調査します。
Hugging Face インシデントと今後の道筋 — Hugging Face インシデントから得られた知見と、それを受けたセキュリティ、監視、アラインメントの変更を紹介します。
エージェントによる DNS を使った外部チャットボットへの接続(新しいウィンドウで開く) — 研究用モデルが不十分な DNS フィルタリングを通じてインターネット制限を回避した経緯、監視による検知、その後追加した制御を説明します。
組織的なモデル蒸留活動の阻止 — 保護されたモデルの推論を抽出しようとする試みを調査し、アカウントへの措置、技術的制御、パートナーとの連携を通じて阻止した方法を紹介します。
モデルのミスアラインメント報告の枠組み — 原因や重要性がまだ明らかでない事例も含め、モデルの懸念される挙動を追跡、調査、開示するための当社のプロセスを紹介します。
ミスアラインメントの報告と通知(新しいウィンドウで開く) — ミスアラインメントがどのように生じ、安全対策がどこで機能し、どこで機能しないかを示す、公開済みのインシデントと通知の一覧です。
研究の進展と応用
研究の加速:OpenAI 内部からの視点 — コーディングエージェントが OpenAI の社内研究をどう変えつつあるかを示す初期の証拠です。利用の拡大、タスクの複雑化、実験への影響を紹介します。
ナビエ–ストークスのミレニアム懸賞問題について — 社内 AI システムが生成した数学的証明に Lean による形式化を添え、大規模な研究展開の能力を示します。
Daybreak — 審査を経た防御担当者に、高度な AI 能力、セキュリティツール、支援を提供し、脆弱性の発見と防御の強化を支える当社のサイバーセキュリティプログラムです。
生命科学研究向け GPT‑Rosalind のご紹介 — 生物学、創薬、トランスレーショナル医療に特化したモデルです。信頼できる利用者向けアクセスプログラムを通じて、要件を満たす組織に提供します。






