OpenAI

フロンティア AI のリスク管理:トレーニングから展開まで

2026 年 11 月 18 日 · 安全性

フロンティアモデルの能力は急速に向上しています。その理解、アラインメント、安全の確保に関する当社の能力は、常にその先を行く必要があります。当社はモデルの開発と公開のペースを調整しています。安全基準を満たすために時間が必要な場合は、社内のトレーニング⁠(新しいウィンドウで開く)を一時停止したり、GPT‑6.1 Astra のようにモデルの公開を見送ったりしています。セーフティケースなどの新たなプロセスを導入し、トレーニングの全過程で、意図に沿った挙動を示すより強い証拠を求めています。こうした要件によってモデル公開のペースは遅くなりますが、安全に前進できるという確信は高まります。

7 月の Hugging Face インシデント⁠以降、モデルのトレーニング、テスト、展開に関する安全対策とアラインメント要件を強化してきました。本記事では、厳重に隔離されたサンドボックス内のトレーニング環境から、皆さまのコンピューターで使う Codex の提供環境まで、各段階でどのようにリスクを評価・管理しているかを説明します。各段階でモデルと安全対策の両方を評価し、次の段階に進むには安全性レビューを必須としています。

モデルのライフサイクル全体にわたる多層防御

当社は、複数の保護層を設ける多層防御によって、単一の安全対策への依存を減らしています。ある層が機能しなくても、他の層が危害を防ぎ、影響を抑え、あるいは介入できるよう当社に警告します。

保護の仕組みは、次の 4 つの層で構成しています。

効果的な監視には、モデルの監視可能性が重要です。これは、モデルの推論やアクションから、監視システムが誤りや危険な挙動をどれほど確実に検知できるかを指します。たとえば、思考の連鎖(CoT)の中で不正を行う意図を言語化するモデルは、その情報を省略するモデルよりも監視可能性が高いといえます。当社はトレーニング中と展開前に監視可能性を評価し、より優れた測定方法⁠(新しいウィンドウで開く)を開発するとともに、監視可能性に影響する要因を研究⁠(新しいウィンドウで開く)しています。

Hugging Face インシデントは、高性能なモデルを封じ込めるうえで、サンドボックス化だけに頼るべきではない理由を示しました。現在は、ツールを使用するすべての社内展開を含め、社内外のほとんどの展開環境でフロンティアモデルを監視しています。

各層の役割は、モデルの開発・展開における次の 3 段階で変化します。

  • 研究:サンドボックス環境でモデルをトレーニング、テスト、利用します。

  • 社内展開:OpenAI の従業員が実務でモデルを利用します。

  • 社外展開:より広く個人や組織がモデルを利用できるようになります。

重視する層は段階によって異なります。アラインメントの確実性がまだ低いトレーニング中は、サンドボックス化と監視により大きく依存します。展開に伴ってモデルのアクセス範囲が広がるにつれ、アラインメントとシステムレベルの制御がますます重要になります。各段階で、保護策の組み合わせがモデルの能力とアクセス範囲に対して十分かどうかを評価します。当社の判断は、安全諮問グループとともに検討され、OpenAI Foundation の理事会に設置された安全・セキュリティ委員会による監督の対象となる場合があります。

研究段階:サンドボックス環境へのモデルの封じ込め

研究段階では、モデルを評価し、そのアラインメント特性への確信を高めます。危害の防止をまだアラインメントだけに任せられないため、セキュリティとサンドボックス化を重視し、モデルがアクセスできる対象や実行できることを制限します。

アラインメント研究、監視システム、インターネットインフラのセキュリティの現状を踏まえ、フロンティアモデルのトレーニングは外部インターネットに接続しない環境で行うことが、責任あるアプローチだと考えています。Hugging Face インシデントの後、社内研究システムを大幅に再構築し、次の仕組みでモデルを封じ込めています。

  • モデルの権限を制限するサンドボックス

  • ワークロードを基盤となるコンピューターからさらに隔離する仮想マシン

  • クラスター全体をインターネットから切り離すネットワークとクラウドの境界防御

このシステムに対して継続的にレッドチーミングを実施しています。当社で最も高性能なモデルからなるチームに、外部インターネットへの接続、セキュリティ境界からの脱出、本来隔離されているはずのエージェントとの通信を試みさせています。これにより、制約の対象となるモデルの能力に対して、封じ込めが有効に機能するかを検証できます。

追加の防御層として、フロンティアモデルによるすべての推論を監視し、常に維持すべきセキュリティ条件がモデルによって破られていないかを検知します。監視によってモデルのインターネット接続が検知された場合は、セキュリティチームに緊急通知し、ワークロードを自動で一時停止します。

監視は、封じ込めが破られたときの重要な最後の防御線となります。最近のミスアラインメント報告では、監視システムが 社内の研究用モデルによる DNS の設定不備の悪用を検知した⁠(新しいウィンドウで開く)事例を共有しました。モデルはこの不備を利用し、限定的なインターネットアクセスを得ていました。調査とセキュリティ上の不備への対処を進める間、9 月 20 日から 10 月 1 日まで、当社で最も高性能なモデルのトレーニングと評価を一時停止しました。

迅速かつ確実に介入するため、Control Room⁠ を構築しました。これは研究ワークロードを一元的に追跡し、ジョブの停止指示を受けてから 35 秒以内にモデルの出力を停止するシステムです。これらの制御は推論インフラで直接適用されるため、各研究ワークロードに個別の停止機構を実装する必要はありません。フロンティアモデルの研究ワークロードでは、Control Room が利用不能になった場合もモデルの出力を停止します。

レッドチーミングと監視は相互に補完し合います。サンドボックスが絶対に突破されないとは保証できませんが、レッドチーミングによって、モデルが脱出にどれほどの労力を要するかを評価できます。モデルに必要な労力が大きいほど、監視システムが検知して阻止する機会も増えます。

研究段階で強固なセキュリティと監視の制御を義務づけている理由は、次のとおりです。

  • モデルはまだ評価段階にあります。一般公開に必要な安全性トレーニング、アラインメント監査、レビューがまだ完了していないモデルもあります。

  • フロンティア研究環境では、リスクが増幅することがあります。研究タスクによっては、より野心的な構成が必要となり、通常の社外展開時よりもモデルの粘り強さや能力が高まります。たとえば、ナビエ–ストークス問題の解決には、10,000 のエージェントからなるチームが必要でした。

  • トレーニングは大規模に行われ、人間による直接的な監督は限られています。通常の Codex セッションとは異なり、トレーニングのワークロードでは、人間が個々のやり取りを追うことなく、モデルが大量のアクションを実行します。

社内展開:アラインメントの検証と挙動の綿密な監視

広く公開する前に、従業員はサンドボックス内での研究利用から、フロンティアモデルをサンドボックス外で社内利用する段階へ移行します。たとえば、従業員が ChatGPT でそのモデルを使えるようにします。これにより、モデルが実用環境でどう振る舞うか⁠(新しいウィンドウで開く)への理解が深まり、展開の判断に役立ちます。

この段階では、インターネットへのアクセス範囲を広げるとともに、社内の Slack、コードベース、インフラへのアクセスもモデルに許可します。モデルのアクションが、OpenAI の開発・運営に使うシステムに直接影響するようになるため、リスクは大きく変わります。社内展開では、セキュリティ制御よりも、モデルのアラインメント、システムの安全対策、監視に重点を置く必要があります。

フロンティアモデルをサンドボックス外に展開するには、まずアラインメントと監視可能性のテスト⁠(新しいウィンドウで開く)を受ける必要があります。当社では一連のアラインメント評価を実施しています。安全・セキュリティ上の制限を回避するといった具体的な失敗パターンを検証するとともに、社内の Codex の実行軌跡を再サンプリングしてミスアラインメントを調べるなど、幅広く傾向を測定します。アラインメントと監視可能性の評価については、最新の GPT‑6 Astra System Card⁠(新しいウィンドウで開く) で詳しく紹介しています。

本番環境と同様に、システムレベルの分類器による防御層も追加します。これは、サイバー悪用や生物兵器化など、フロンティアモデルがもたらしうる危害を防ぐためのものです。また、Codex を利用する従業員には原則として Auto-Review⁠(新しいウィンドウで開く) の使用を義務づけています。これはリスクを伴う可能性のあるアクションを評価し、ユーザーに判断を求める仕組みです。

最後に、社内展開中のフロンティアモデルによるすべての推論について、ミスアラインメントを示す挙動がないか監視します。モデルの権限が拡大し、社内の情報やシステムにアクセスできるようになるため、データの不正な持ち出しや機密データの無許可の宛先への送信といったリスクの検知が特に重要になります。監視は、新たな形のミスアラインメント⁠(新しいウィンドウで開く)の調査にも役立ちます。

社外展開:大規模な悪用・ミスアラインメント対策

一般公開すると、モデルははるかに多くのユーザー、タスク、環境に接するため、リスクの規模と種類の両方が増大します。この段階では、モデルが危害を加えるよう意図的に指示する、悪意を持つ可能性のある行為者への対策も必要です。

一般公開の前に、モデルとシステムの安全対策は、当社の社外展開に関する安全要件を満たす必要があります。次の方法で評価します。

  • より広範なアラインメント・安全性評価を実施します。フロンティアモデルでは、社内の自動レッドチーミングシステムを用いた適応型テスト⁠を改めて実施し、モデルの堅牢性に対するストレステストを行います。能力と安全性の評価結果は、System Card⁠(新しいウィンドウで開く) で公開しています。

  • 最も高性能なモデルについては、第三者とのテストも実施し、悪用を防ぐ安全対策と、モデルの根本的なアラインメントの両方にストレステストを行います。

  • 社内展開段階の監視で検出された問題を精査し、基盤モデルの根本的なアラインメントに変化がないか追跡します。

モデルの安全性トレーニングやシステムの分類器といった「同期的な」安全対策に加え、社外展開ではオフラインでの規約違反への対処と調査も活用します。担当チームは、調査エージェントの大規模な運用と人間によるレビューを組み合わせ、潜在的な脅威主体の検知・特定に取り組みます。対象はサイバー悪用、生物兵器化、蒸留⁠から、モデル自体のミスアラインメントまで多岐にわたります。オフラインでの対処は、アカウントを横断して情報を集め、潜在的な脅威の全体像をより包括的に把握するうえで特に有効です。

Daybreak や Rosalind⁠ などの信頼できる利用者向けアクセスプログラムは、さらにセキュリティの層を加えます。攻撃者となりうる利用者のアクセスを制限しつつ、防御担当者や正当な研究者の活動を加速します。

インシデント対応と情報開示

安全対策のいずれかの層に不備が見つかった場合は、実際に被害が生じたかどうかにかかわらず、速やかに調査し、対応の優先順位を判断します。可能かつ適切であれば、その不備を社外に開示する方針です。当社のミスアラインメント報告⁠ポリシーでは、どの従業員もインシデントの公開を提案できます。これらの報告を調査し、社外への開示の是非について意見が分かれた場合は、安全諮問グループに判断を委ねます。従業員からの報告に頼るだけでなく、ミスアラインメントのインシデントを積極的に探し、対処と知見の共有につなげています。

ミスアラインメントの報告はこちら⁠(新しいウィンドウで開く)でご覧いただけます。

​


​

この取り組みには、研究の進展と厳格な運用の両方が欠かせません。制御を正しく設定し、相互の作用をテストし、機能しないときには断固として対応する必要があります。ネットワークサービスの設定不備や自動停止の失敗は、それ以外の保護策が強固であっても、その効果を損なうおそれがあります。

モデルが新たな能力を獲得するにつれ、安全対策の前提を問い直し、必要に応じて改善し続ける必要があります。研究、社内利用、一般公開から得た教訓は、次のモデルのトレーニング、評価、展開に反映しなければなりません。

当社のアプローチを、その限界も含めて外部の方々に精査していただけるよう、System Card、インシデント報告、社内展開のリスク報告⁠(新しいウィンドウで開く)、外部評価⁠を通じて、引き続き知見を共有します。得られた証拠が当社の安全基準を満たすに足りない場合は、要件が満たされるまで、再びトレーニングを一時停止するか、公開を見送ります。

関連研究とリソース

安全基準の設定

意図に沿った挙動の定義と評価

モデルの封じ込めと安全対策の改善

インシデント対応と情報開示

研究の進展と応用

  • 研究の加速:OpenAI 内部からの視点 — コーディングエージェントが OpenAI の社内研究をどう変えつつあるかを示す初期の証拠です。利用の拡大、タスクの複雑化、実験への影響を紹介します。

  • ナビエ–ストークスのミレニアム懸賞問題について — 社内 AI システムが生成した数学的証明に Lean による形式化を添え、大規模な研究展開の能力を示します。

  • Daybreak — 審査を経た防御担当者に、高度な AI 能力、セキュリティツール、支援を提供し、脆弱性の発見と防御の強化を支える当社のサイバーセキュリティプログラムです。

  • 生命科学研究向け GPT‑Rosalind のご紹介⁠ — 生物学、創薬、トランスレーショナル医療に特化したモデルです。信頼できる利用者向けアクセスプログラムを通じて、要件を満たす組織に提供します。