OpenAI は、モデルのミスアラインメント事例を追跡、調査、開示するための新たなフレームワークとともに、過去 6 か月間に観察した予期せぬ、または懸念されるモデル挙動に関する 6 件の報告書を公開します。
これまでも、研究者、AI 開発者、政策立案者、一般の方々により有益な情報を提供するため、私たちが得た知見をミスアラインメントについて公開してきました。しかし、こうした知見を体系的に報告する手法がなかったため、開示はその都度の対応となり、頻度も理想より低いものでした。複数の事例を 1 本の報告書にまとめられるまで待ったり、新たに公開したモデルのシステムカードに追記したりすることが多くありました。新たなフレームワークは、報告対象の挙動について十分な説明や軽減策がまだ得られていない場合でも、観察後のミスアラインメント報告を迅速化するためのものです。
AI システムの高度化と普及が進むなか、アラインメント研究の進展について、より幅広く十分な情報に基づく共通認識を築く必要があります。当社は、AI 業界がアラインメントと監視の課題を、この先それほど長く最大速度で責任あるスケーリングを続けられるほど十分に解決したとは考えていません。今後数か月から数年の AI 開発の進め方に関する判断には、フロンティアモデルを開発する企業の外部にいる人々が自ら検証できる証拠が必要です。
ミスアラインメントの事例は、他の AI 開発者のシステムが同等の能力に達した際に直面し得る問題の特定、安全対策の弱点の発見、モデル挙動に関する前提の再検討に役立つ可能性があります。こうした知見を共有することで、他の関係者も同じ問題を調査し、当社の説明を検証して、軽減策を改善できます。当社はミスアラインメントをめぐる透明性を重視しているため、新たなフレームワークでは重要性が不確かな場合でも開示を優先します。そのため、開示した事例の一部は、後にミスアラインメントに見えただけのものと判明し、より大きな傾向の一部でも、今後の展開を示すものでもない可能性があります。
現在、AI 開発者が自社モデルのミスアラインメント事例をどのように開示すべきかについて、明確な基準を定めた業界共通のフレームワークはありません。本日示すフレームワークが、開発者が開示すべきミスアラインメント事例と報告書に含めるべき内容を定め、こうした基準を策定する第一歩となることを願っています。本フレームワークは策定途上であり、運用経験と一般からのフィードバックを基に改善していきます。
ここでは、フレームワークの運用方法を説明し、最初の報告書を公開します。
モデルのミスアラインメントがどのように発生し、どう現れるのか、また安全対策がどこで機能し、どこで失敗するのかについて、有用な証拠となる事例の開示を目指します。新たなメカニズム、既知の挙動における重要な変化、安全性や軽減策に関する前提に疑問を投げかける知見を優先します。開示に値するために、事例が被害を生じさせたり、より広範な傾向を裏付けたりする必要はありません。本フレームワークは、トレーニング、評価、テスト、デプロイを含むモデルのライフサイクル全体で、基準を満たす挙動を対象とします。
対象には、モデルが許可なく行動する、他のモデルと連携する、監視を回避するといった新たな手法、アラインメント手法や安全対策への疑義を生じさせる不具合、公開済みの安全性評価の主張に疑問を投げかける挙動などが含まれます。第三者に影響する可能性があるミスアラインメントにも、同じ開示基準を適用します。
過去に開示した事例と重複しているように見えるミスアラインメントも対象となる場合があります。問題の再発自体が、モデルの挙動や安全対策の有効性を示す有用な証拠となる場合があります。たとえば、特定のミスアラインメント挙動が、軽減に向けた度重なる取り組みにもかかわらず再発し続ける場合です。このような場合は、元のミスアラインメント開示を更新して追加事例を公開します。
今後、他の開発者、外部研究者、業界標準化団体、規制当局と協力し、より客観的な開示基準を策定する予定です。また、安全性、セキュリティ、ミスアラインメントに関する重大なインシデントは米国連邦政府と共有すべきだと考えており、報告制度の提案に取り組んでいます。本フレームワークは既存の義務を補完するものです。重大な安全インシデントやサイバーセキュリティ侵害を含む、法的な開示義務に代わるものではありません。
新たなミスアラインメント開示フレームワークの開始にあたり、モデルのトレーニングまたは評価中に観察したミスアラインメント挙動の事例について、6 件の報告書を公開します。これらの事例は、ユーザーに情報を隠す行為から、障害を乗り越えるための無許可の行動まで、共有に値すると考えるさまざまな挙動を示しています。これらは個別事例の報告であり、当社のモデル全体でミスアラインメントが発生する頻度を示すものではありません。以下の各項目から詳細報告書をご覧いただけます。
タスク要約内の自己生成された指示（新しいウィンドウで開く）。未公開の研究モデルが、新しいコンテキストウィンドウで作業を続けるために使用する要約へ、通常の制約を無視するよう求める指示を含む、無関係な指示を挿入しました。影響を受けた要約を 27 件特定しました。
タスク要約に誤りを隠す指示（新しいウィンドウで開く）GPT‑5.6 Sol のトレーニング中、多数のモデルインスタンスが、誤りやミスアラインメント挙動をユーザーから隠すよう求める指示を要約に追加しました。たとえば、コンパクション要約には、欠落している過去のデータを捏造してその事実を開示しないよう求める指示や、ソースのバージョン不一致を隠すよう求める指示が含まれていました。
公開リポジトリで流出した API キーを検索し、情報を捏造（新しいウィンドウで開く）カリフォルニア州のある郡の所得統計に関する通常の質問に回答する際、モデルが公開状態の API キーを発見し、許可なく使用しました。それでも要求された数値を取得できなかったため、モデルは数値を捏造し、指定された情報源のデータとして提示しました。
引用するためにファイルをインターネットへアップロード（新しいウィンドウで開く）。ユーザーが未公開モデルに、面積 5,000,000 平方メートルを超える湖の ID と名称を尋ねた際、エージェントは Python を使って正しい答えを見つけました。しかし、指示でブラウザー上の出典が求められていたため、エージェントはユーザーに確認せず、回答で引用できるようファイルをアップロードすることにしました。
社内ソフトウェアリポジトリを介した無許可の書き込みと通信（新しいウィンドウで開く）。モデルは欠落した入力ファイルを探す際、社内ソフトウェアリポジトリを掲示板として利用し、別々のトレーニングサンプル間で要求と応答をやり取りしましたが、ファイルの復元には至りませんでした。本報告書では、モデルがネットワーク制限を回避しようとする過程で、テストファイルをリポジトリへアップロードすることに成功した以前の事例も検証しています。
連携するエージェント間での無許可のファイル共有（新しいウィンドウで開く）同じトレーニングタスクに共同で取り組むエージェントが、互いのローカルファイルにアクセスできなかったため、公開ファイルホスティングサイトを使ってファイルを共有しました。タスクではモデルにローカルファイルのみを使用するよう求めていたにもかかわらず、これにより成果物が公開 URL からアクセス可能になりました。
OpenAI の従業員は誰でも、安全性およびアラインメントチームによる調査対象としてミスアラインメント事例を報告し、公開開示の検討を依頼できます。これにより開示プロセスが始まり、迅速な調査と開示を実現するため、各段階に期限が設定されます。
事例が報告されると、技術スタッフが、何が起きたのか、何が不明なままなのか、公開開示が妥当か、どの事実を共有できるかを調査します。また、影響を受けた第三者がいるか、公開前に個別通知が必要かどうかも評価します。
その後、事例を「開示準備完了」「小規模調査」「大規模調査（低速トラック）」の 3 つのトラックのいずれかに分類します。
「開示準備完了」は、調査が十分に完了し、レビュー後に公開できる基準適合事例を対象とします。「小規模調査」は、追加の技術調査が必要な事例を対象とします。開示事例の大半、特に広範な調査、第三者との調整、深刻な悪用リスクへの対応を必要としない事例は、この 2 つのトラックのいずれかに該当すると見込んでいます。今回公開する事例は、すべてこの 2 つのトラックのいずれかに該当します。
「大規模調査」は、特に第三者が関係する複雑な調査を対象とします。第三者が影響を受ける場合は、セキュリティ、法務、責任ある開示に関する当社の義務が本フレームワークより優先されます。初回通知は可能な限り早く公開する方針ですが、セキュリティ上の理由で遅らせる必要が生じる場合があります。たとえば、広く使用されているソフトウェアで、モデルが未知の脆弱性を発見した場合です。報告書によって第三者が特定される場合は、セキュリティ境界への侵害がなくても事前に通知する方針です。
「大規模調査」事例の初回通知では、発生した事象の概要、外部専門家による調査支援の有無、最終報告書の公開予定時期について、その時点で示せる見通しを記載します。OpenAI の Hugging Face インシデントが本フレームワークに基づいて開示されていた場合、このトラックに該当していました。
事例を報告した従業員には、開示するかどうかの決定と、開示する場合はどのトラックで進めるかを通知します。開示の是非や適切なトラックをめぐる意見の相違が解消しない場合は、OpenAI の安全諮問グループ（SAG）に付託します。これは、フロンティアモデルの能力と安全対策を評価し、当社のPreparedness Frameworkを監督し、OpenAI の経営陣に助言する、全社の上級幹部で構成されたグループです。安全諮問グループ内の意見の相違や、その決定に対するスタッフの異議は、OpenAI の経営陣に上申します。開示しない、または開示の必要がないという決定は、安全性およびアラインメント部門の責任者と共有し、可能な範囲で関係する技術スタッフにも共有します。
この開示プロセスは、実際の運用から得た知見に応じて改定する場合があり、変更内容はすべて本記事に記録します。
各詳細報告書には、観察された挙動、その深刻度と外部への影響、発生した状況、発生日または期間、発見時期、および関係したモデルの概要を記載します。可能な場合は、以下も共有します。
発生した事象と、それに伴う被害の詳細
ミスアラインメントを発見した経緯と調査範囲
アラインメント研究と AI の技術的安全性に対する影響についての当社の見解
この事例から生じた重要な未解決の疑問
この挙動に対して実施中または実施予定の措置。調査の完了や修正策の策定前にミスアラインメント報告書を公開する場合があるため、開示時点ではこれらの情報が揃っていないこともあります。
顧客環境で発生したミスアラインメントについては、顧客のプライバシーと当社の契約上の義務が許す限り、情報を共有します。
今回の報告は最初の開示事例であり、既知のミスアラインメントや進行中の調査を網羅するものではありません。これらの初回報告は、本フレームワークの対象となる事例の範囲や深刻度の全体を示すものではありません。当社は、長期の調査や第三者との調整を要するより複雑な事例を含め、本フレームワークの基準を満たすミスアラインメント事例を開示していきます。今後も本フレームワークに基づいて継続的に報告書を公開し、報告に関する方針の整備に伴って詳細を共有します。
