本日、安全性分類タスク向けのオープンウェイトリーズニングモデル、gpt-oss-safeguard の研究プレビューをリリースしました。gpt-oss-safeguard-120b と gpt-oss-safeguard-20b の2つのサイズで提供します。これらのモデルは、当社の gpt-oss オープンモデルをファインチューニングしたもので、同じ制約の少ない Apache 2.0 ライセンスで提供されるため、誰でも自由に使用、変更、デプロイできます。どちらのモデルも、本日より Hugging Face（新しいウィンドウで開く） からダウンロードできます。
gpt-oss-safeguard モデルは、推論時に開発者が指定したポリシーを推論によって直接解釈し、開発者のニーズに応じてユーザーメッセージ、コンプリーション、チャット全体を分類します。使用するポリシーは常に開発者が決定するため、モデルの出力は開発者のユースケースとの関連性が高く、その用途に即したものになります。このモデルは思考の連鎖を用いており、開発者はそれを確認することで、モデルがどのように判断に至ったかを把握できます。さらに、ポリシーはモデル自体に学習させるのではなく推論時に与えるため、開発者は性能の向上に向けてポリシーを繰り返し調整できます。当初社内向けに開発したこのアプローチは、大量のラベル付きサンプルから決定境界を間接的に推定するようクラシファイアを学習させる従来の手法よりも、はるかに柔軟です。
gpt-oss-safeguard により、開発者はユースケースに最も適したポリシーの線引きを行えます。たとえば、ビデオゲームのフォーラムでゲーム内の不正行為に関する投稿を分類するポリシーを作成したり、製品レビューサイトで偽レビューと思われる投稿を独自のポリシーによって選別したりできます。
モデルは、ポリシーと、そのポリシーに基づいて分類するコンテンツを同時に入力として受け取り、コンテンツがポリシー上どの区分に該当するかという結論と、その推論過程を出力します。開発者は、その結論を独自の安全性パイプラインで利用するかどうか、利用する場合はどのように利用するかを決定します。これまでの検証では、この推論ベースのアプローチは、特に次のような状況で高い効果を示しています。
- 潜在的な危害が新たに生じている、または変化し続けており、ポリシーを迅速に適応させる必要がある。
- 対象領域では微妙な判断が求められ、小規模なクラシファイアでは対応が難しい。
- 開発者の手元に、プラットフォーム上のリスクごとに高品質なクラシファイアを学習させるのに十分なサンプルがない。
- 低レイテンシよりも、高品質で説明可能なラベルを生成することが重視される。
研究・安全性コミュニティからフィードバックを得てモデルの性能をさらに改善するため、gpt-oss-safeguard のプレビューを公開します。数か月にわたり、ROOST（新しいウィンドウで開く） と協力してこのオープンウェイトモデルのリリースに取り組み、開発者にとって特に重要なニーズを特定し、モデルをテストして、開発者向けドキュメントを作成しました。今回のリリースに合わせ、ROOST は本日、オンライン空間の保護にオープンな AI モデルを活用する方法を探るモデルコミュニティ（新しいウィンドウで開く）を立ち上げます。このリリースに合わせて、このプレビューモデルの安全性に関する性能を詳述した簡潔な技術レポートも公開します。
安全性に関して、当社では多層防御を重視しています。モデルが安全に応答するよう学習させるとともに、当社のポリシーに照らして安全でない可能性のある入力と出力を検出し、対処するための保護レイヤーを追加しています。特定のリスク領域で安全なコンテンツと安全でないコンテンツを区別する安全性クラシファイアは、長年にわたり、当社のモデルやその他の大規模言語モデルを守る主要な防御層となっています。
当社の Moderation API（新しいウィンドウで開く） を通じて提供しているものなど、従来の安全性クラシファイアは、事前に定義された安全性ポリシーに基づき、安全なコンテンツと安全でないコンテンツのサンプルを数千件、人手で選定・整備して開発されています。この学習データを使って、クラシファイアは安全な出力と安全でない出力を区別できるようになります。この従来のアプローチでは、クラシファイアが安全性ポリシーそのものを参照することはありません。代わりに、安全でないとラベル付けされたコンテンツ同士の共通点と、安全なコンテンツとの差異を見つけることで、各サンプルのラベル付けの根底にあるポリシーを推定しようとします。
従来のクラシファイアは、低レイテンシかつ低い運用コストで、高い性能を発揮できます。しかし、十分な数の学習用サンプルを集めるには時間もコストもかかる場合があり、ポリシーを更新・変更するにはクラシファイアを再学習させる必要があります。
gpt-oss-safeguard は、その推論能力によって、開発者自身が作成したポリシーや他のソースから取り入れたポリシーを含む、どのようなポリシーでも適用できます。また、推論によって、新たに作成されたポリシーにもモデルが対応できるようになります。安全性ポリシー以外にも、gpt-oss-safeguard は、製品やプラットフォームごとに重要となる別の基準でコンテンツを分類する用途にも使用できます。
現在、当社の主要なリーズニングモデルは、安全性ポリシーを直接学習し、推論能力を使って何が安全かを判断します。当社が熟慮的アライメントと呼ぶこのアプローチは、従来の安全性学習手法を大きく改善するもので、当社のリーズニングモデルは、能力が向上しても、従来の非推論モデルより複数の観点で安全性が高くなります。ただし、推論が役立つのは、モデル自体の学習だけではありません。多層防御にも新たな可能性をもたらします。推論ベースのアプローチは柔軟性が高く、過去の学習内容の細部による制約を受けにくいため、追加の計算コストやレイテンシを伴っても、十分に採用する価値がある場合があります。
gpt-oss-safeguard は、当社が Safety Reasoner と呼ぶ社内ツールで開発したアプローチを、オープンウェイトで実装したものです。まず、ポリシーのラベル付けタスクで強化ファインチューニングを行い、人間の専門家による正しい判断を再現できた場合に、モデルに報酬を与えました。この学習により、モデルは、ポリシーからどのように判断を導き出すかを推論できるようになりました。現在、Safety Reasoner を使用することで、クラシファイアを再学習するよりも短時間で、本番環境の安全性ポリシーを動的に更新できます。これにより、Safety Reasoner は反復的デプロイメントの主要なツールとなります。新しいモデルを本番環境にデプロイする際には、多くの場合、まずより厳格なポリシーから始め、Safety Reasoner がそれらのポリシーを慎重に適用できるよう、必要に応じて比較的大量の計算リソースを使用します。その後、本番環境におけるリスクへの理解が深まるにつれて、ポリシーを調整します。最近のリリースでは、安全性推論に割り当てた計算量が、総計算量の最大16%に達した例もあります。
Safety Reasoner は、当社の安全性スタックの中核を担うコンポーネントとなっています。画像生成と Sora 2 では、Safety Reasoner が出力を動的かつ段階的に評価し、安全でない生成結果をリアルタイムで検出してブロックします。生物学や自傷行為などの領域では、Moderation API で使用しているようなモデルを、小型・高速で再現率の高いクラシファイアとして運用し、どのコンテンツが対象領域に該当するかを判定します。そのうえで、該当するコンテンツを Safety Reasoner で審査します。Safety Reasoner は、詳細な分類体系に照らしてモデルの出力を分類し、最適な対応方法を判断します。これは、GPT‑5 や ChatGPT エージェントなどのシステム全体に設けた多層的な安全対策の一部です。そして現在、gpt-oss-safeguard モデルにより、誰でも同じアプローチを利用できるようになりました。
gpt-oss-safeguard モデルを、社内評価セットと外部評価セットの両方で評価しました。
社内評価では、推論時に gpt-oss-safeguard に複数のポリシーを同時に入力しました。各テスト入力について、gpt-oss-safeguard が、入力されたすべてのポリシーに基づいてテキストを正しく分類できるかを評価しました。これは難度の高いタスクであり、入力されたすべてのポリシーについてゴールデンセットのラベルと完全に一致した場合にのみ、モデルの分類が正しいとみなされます。
当社の gpt-oss-safeguard モデルと社内の Safety Reasoner は、複数ポリシーでの分類精度において、gpt-5-thinking と gpt-oss のオープンモデルを上回っています。gpt-oss-safeguard モデルはサイズが小さいにもかかわらず gpt-5-thinking を上回っており、これは特に注目すべき結果です。
さらに、モデレーションデータセット（新しいウィンドウで開く）（2022年の研究論文（新しいウィンドウで開く）とともに公開）と、オープンソースのチャットボットに寄せられたユーザークエリに基づく公開ベンチマーク ToxicChat（新しいウィンドウで開く） で、これらのモデルを評価しました。
2022年のモデレーション評価セットでは、社内の安全性ポリシーを用いて評価しました（その後の変更を反映するため、1つのポリシーを調整しました）。gpt-oss-safeguard は、社内の Safety Reasoner や gpt-5-thinking など、評価したほかのすべてのモデルをわずかに上回りました。ただし、Safety Reasoner と gpt-oss-safeguard の差に統計的有意性はありませんでした。
ToxicChat については、社内の安全性ポリシーの一部を基に、人手で作成した短いプロンプトを使って評価しました。社内の Safety Reasoner は、ここでも gpt-5-thinking を上回りました。また、gpt-5-thinking と Safety Reasoner はいずれも、gpt-oss-safeguard-120b および gpt-oss-safeguard-20b をわずかに上回りました。それでも、gpt-oss-safeguard は比較的サイズが小さいことから、この種のタスクではより適していると考えています。
gpt-oss-safeguard には、次の2つの制限事項があります。第1に、数万件の高品質なラベル付きサンプルで学習させたクラシファイアは、gpt-oss-safeguard がポリシーから直接推論して分類する場合よりも、コンテンツの分類性能が高くなることがあります。複雑なリスクに対してより高い性能が求められる場合は、時間をかけて専用クラシファイアを学習させる方が適していることがあります。
第2に、gpt-oss-safeguard は処理に時間と多くの計算リソースを要するため、プラットフォーム上のすべてのコンテンツを対象に運用規模を拡大するのは困難です。当社では、Safety Reasoner を用いて、次のようにこの問題に対処しています。(1) より小型で高速なクラシファイアを使って、評価対象となるコンテンツを選別します。(2) 状況に応じて Safety Reasoner を非同期で使用し、低レイテンシの利用体験を提供しながら、安全でないコンテンツが検出された場合には介入できるようにしています。
gpt-oss-safeguard は、OpenAI がコミュニティと共同で開発した初のオープンな安全性モデル群です。初期テストの一環として、SafetyKit、ROOST、Tomoro、Discord のトラスト＆セーフティの専門家と連携し、gpt-oss-safeguard の改良を重ねてきました。ROOST の CTO、Vinay Rao 氏は、次のように述べています。「gpt-oss-safeguard は、『独自のポリシーと危害の定義を持ち込める』設計を採用した、初のオープンソースのリーズニングモデルです。組織は、重要な安全技術を自由に研究、改変、利用し、イノベーションを生み出せるべきです。私たちのテストでは、さまざまなポリシーを理解し、推論過程を説明し、ポリシーをきめ細かく適用する能力に優れていました。これは、開発者や安全対策チームにとって有益だと考えています。」
今後も、ROOST Model Community（RMC）などを通じてコミュニティと連携し、オープンな安全性ツール群の改良を続けます。RMC は、安全性分野の実務家と研究者が、評価結果やモデルへのフィードバックをはじめ、オープンソース AI モデルを安全性ワークフローに導入するためのベストプラクティスを共有する場です。このパートナーシップや参加方法について詳しくは、RMC の GitHub リポジトリ（新しいウィンドウで開く）をご覧ください。
これらのモデルを使った開発を始めるには、Hugging Face（新しいウィンドウで開く） からダウンロードしてください。
