ここ数週間で、能力を増す AI システムに伴うリスクの高まりを浮き彫りにする二つの動きがありました。一つはOpenAI–Hugging Face インシデント、もう一つは、近日公開予定のモデル Astra が、OpenAI のPreparedness Framework における 重大なサイバーセキュリティ能力のしきい値に達する可能性を示す初期的な証拠です。これらの動きに社内研究の急速な進展が重なり、トレーニングの全段階でモニタリング、アラインメント、封じ込めの安全策を強化する取り組みの緊急性が増しています。
モデルの能力が高まるほど、社内で開発・テストする際のリスクも増大します。モニタリング、アラインメント、セキュリティの基準は、常にこうしたリスクを先回りする必要があります。この基準を満たすために必要な時間を確保すべく、スケーリングのペースを一時的に落としました。その一環として、研究環境のさらなる堅牢化とレッドチーム演習を行い、モニタリングシステムの対象範囲を拡大する間、デプロイ予定の最新モデルに対する強化学習（RL）トレーニングを 2 週間停止しました。計画中で最大規模のフロンティア RL 実行については、引き続き停止しています。再開に先立ち、小規模なトレーニングと評価を通じてモデルの挙動を検証し、安全策の有効性を確認するとともに、アラインメントを示す証拠をさらに蓄積しています。
AI システムが意図どおりに動作し、人間の監督に応じるようにするアラインメントは、長年にわたり OpenAI の研究プログラムの中核を担ってきました。現在は、すでに進行中の研究と評価を基盤に、トレーニングの全過程を通じてアラインメントされた挙動を示す、より確かな証拠を求めています。能力を増すシステムのアラインメントを維持することは、業界全体で取り組むべき課題です。今後のモデルの進展から得られている兆候は、現行の Preparedness Framework を土台としつつ、その枠を超える、より包括的なアプローチが必要であることを明確に示しています。
OpenAI は、アプローチがどう変化しているかを透明性をもって説明することが重要だと考えています。以下では、研究プロセスとインフラにすでに加えた変更、および現在も進めている取り組みについて説明します。
より高性能なモデルの開発は、相互に補強し合う三つの安全策を柱としています。
- モニタリング：懸念される挙動を検知し、対応を可能にする仕組み
- アラインメント：有害または無許可の行動が起きる可能性を低減する取り組み
- セキュリティ対策：AI システムがアクセスまたは影響できる範囲を制限する仕組み
他のモデルに対する防御を含め、セキュリティ業務の大半を近くモデルが担うようになると見込んでいます。これにより、三つの安全策すべてをモデルの能力に合わせて拡張できるようになります。OpenAI はこれを極めて重要だと考えています。
これらの安全策は研究からデプロイまで一貫して適用し、各モデルの能力、運用環境、リスク水準に応じて調整しています。
フロンティアモデルのサイバーセキュリティ能力が高まるなか、トレーニングと評価を行う環境のセキュリティ基準を引き上げています。この基準を満たすには大規模なエンジニアリング作業が必要であり、フロンティア研究に多額の費用と遅延が生じています。OpenAI–Hugging Face インシデント*の直後、コードを実行できる、またはインターネットにアクセス可能なツールを使用できる実行について、研究クラスター内でのフロンティアモデルの推論を停止しました。その後、コード実行の経路をより限定的かつ安全な形で比較的早く復旧し、各ワークロードを個別に検証して、安全に再開できるかを判断しました。一部の研究ワークロードは新たな制御の下で再開しましたが、追加の変更が必要なものもありました。
その後の数週間で、フロンティア研究のワークロードに対する、より厳格なセキュリティ要件を定め、導入を開始しました。主な例は次のとおりです。
- ワークロードの分離：モデルが生成したコードや、その他の信頼できないコードを実行するワークロードに、より強固な分離環境（「サンドボックス」）を必須としました。これは、モデルの出力を処理する際に侵害される可能性があるソフトウェアにも適用されます。
- ネットワークの分離：高リスクまたは信頼できないワークロードをインターネットから隔離するため、制御を強化しました。一つのワークロードや支援サービスが侵害されても、それだけではインターネットや他の内部ネットワークへの不正アクセスにつながらないよう、これらの制御を設計しています。
- 継続的なセキュリティテスト：脆弱性が生じ得る共有サービスを排除し、常設権限を減らし、セキュリティ境界と信頼境界を強化するため、環境を再構成しました。さらに、セキュリティログの収集・監視能力も向上させています。また、モデルを活用して模擬攻撃に対する境界テストを継続的に行う自動化にも投資しています。
これらの制御を組み合わせることで多層防御を実現し、研究環境を攻撃から守ります。Astra モデルが重大なサイバー能力を持つ可能性があると判断したため、現在、Astra またはサイバーモデルに関わるワークロードには最も厳格なセキュリティ安全策を義務付けています。これらの安全策は、サイバー関連のその他すべてのワークロードにも適用されます。
Astra の一部のトレーニングと評価はこの要件を満たしていますが、多数のワークロードは、新たなセキュリティ基準を満たす環境への移行と強化が完了するまで停止しています。新たな環境への移行では、安全性とアラインメントに関するワークロードを最優先しています。
モニタリングは長年にわたり、社内コーディングエージェントのモニタリングや長時間実行セッションを含め、モデル開発プロセスの重要な一部となってきました。特に重点を置いていたのは、フロンティアモデルの社内デプロイとフロンティア RL トレーニングの実行です。高度なモデル能力と、ツール、機密システム、社内外のネットワークへのアクセスが組み合わさるため、最もリスクの高いワークロードとみなしていました。ツールを使用するすべての推論とトレーニングに適用していたわけではありません。新たなモニタリング体制の導入に伴い、このアプローチを見直し、対象を拡大しました。
新たなモニタリング体制は多段階で構成されています。サンプリングされたすべてのトークンで、モデルの内部活動を調べる検出器である活性化分類器を実行し、潜在的な懸念を、より高度で計算資源を多く用いる自動調査システムへ段階的にエスカレーションします。これらのシステムは、ツールによる操作、確認可能な推論、活動の全シーケンスを調べ、不正アクセス、データ窃取、破壊的行為、安全策を回避しようとする試みを検知します。モニタリングシステムで懸念される活動が検出されてから 30 分以内に、アラートを発することを目標としています。重大なセキュリティ境界への違反の可能性が高いとモニタリングシステムが判断すると、最優先アラートを生成します。現在の実装では、安全性、セキュリティ、研究の各チームに緊急通知が送られます。検出が誤検知だと 30 分以内に確定できない場合、各チームはその活動を停止することになっています。
このモニタリングは、Sol 以上の能力を持つモデルについて、ツールを伴うすべての RL トレーニングと評価で必須です。8 月 7 日に Astra が重大なサイバー能力を持つ可能性があると判断した後、RL トレーニングと評価だけでなく、ツールを使用する Astra のすべての推論にも追加のモニタリング要件を設けました。
これらの安全策には相当量の計算資源が必要です。現在の推定では、モニタリングのオーバーヘッドは対象となる推論計算量の約 20% ですが、コストはトレーニングと評価の各ワークロードによって大きく異なります。このシステムの詳細は、近日公開予定のブログ記事でお伝えします。
アラインメント研究は、OpenAI の使命の中核です。OpenAI の使命は、汎用人工知能が全人類に利益をもたらすようにすることです。モデルがサイバー攻撃能力などの高度な能力を獲得し、より複雑な環境で動作するようになると、報酬ハッキング（意図した成果を実際には達成せずに、トレーニングで高い報酬を得る方法を見つけること）、欺瞞、不正アクセスといったアラインメントされていない挙動が、ますます深刻なリスクをもたらします。
現在、最も高性能なモデルの RL 実行では、トレーニングプロセスのより多くの段階に中核的なアラインメント手法を適用しています。具体的には、タスクや環境をまたいで危険な挙動をより適切に検知・抑制できるよう報酬モデルを改善すること、モデルが自身の行動、能力、限界をより正直に説明するようトレーニングすること、報酬、評価器、ツール、監督の弱点を悪用する挙動を減らすことが含まれます。モデルが外部のシステムやリソースとやり取りする際に危害をもたらし得る挙動についても、トレーニングの対象範囲を広げています。
アラインメント研究への積極的な投資を続け、評価範囲を拡大し、得られた知見をトレーニングと安全策に反映していきます。モデルの挙動について得られた知見や、新たに判明した課題を含め、アラインメント研究について近くさらに詳しく共有する予定です。
トレーニングからデプロイまで、これらの安全策を統合し、将来のモデルの能力と運用環境をより適切に反映できるよう、Preparedness Framework を発展させていきます。こうした能力に合わせて拡張できる手法の開発には、モデルを活用したセキュリティへの継続的な投資、より効果的なモニタリング、アラインメント研究のさらなる進展が必要です。アプローチの発展に伴い、外部組織にも参加を求め、得られた知見をさらに広く共有していく考えです。
フロンティアモデルの能力は急速に向上しています。モデルを理解し、アラインメントを確保し、安全に運用する OpenAI の能力は、常にその進歩を先回りしなければなりません。
*今後数週間以内に、得られた知見をまとめた技術報告書を公開します。
