Einführung von gpt-oss-safeguard

Heute veröffentlichen wir eine Forschungsvorschau von gpt-oss-safeguard, unseren Open-Weight-Reasoning-Modellen für Sicherheitsklassifizierungsaufgaben, erhältlich in zwei Größen: gpt-oss-safeguard-120b und gpt-oss-safeguard-20b. Diese Modelle sind feinabgestimmte Versionen unserer offenen gpt-oss⁠-Modelle und stehen unter derselben freizügigen Apache-2.0-Lizenz zur Verfügung, die es jedem ermöglicht, sie frei zu verwenden, zu ändern und bereitzustellen. Beide Modelle können ab heute von Hugging Face⁠(wird in einem neuen Fenster geöffnet) heruntergeladen werden.

Die GPT‑OSS‑Safeguard‑Modelle nutzen Reasoning, um eine von Entwickler:innen bereitgestellte Richtlinie während der Inferenz direkt zu interpretieren. Sie klassifizieren Benutzernachrichten, Abschlüsse und ganze Chats entsprechend den Anforderungen der Entwickler:innen. Entwickler:innen entscheiden immer, welche Richtlinie verwendet wird, sodass die Reaktionen relevanter sind und auf den jeweiligen Anwendungsfall der Entwickler:innen zugeschnitten werden können. Das Modell verwendet eine Gedankenkette, die Entwickler:innen einsehen können, um zu verstehen, wie das Modell zu seinen Entscheidungen gelangt. Außerdem wird die Richtlinie während der Inferenz bereitgestellt, anstatt durch Training ins Modell integriert zu werden. So können Entwickler:innen ihre Richtlinien iterativ überarbeiten, um die Leistung zu verbessern. Wir haben diesen Ansatz ursprünglich für den internen Gebrauch entwickelt. Er ist deutlich flexibler als die herkömmliche Methode, bei der ein Klassifizierer trainiert wird, um aus vielen beschrifteten Beispielen indirekt eine Entscheidungsgrenze abzuleiten.

gpt-oss-safeguard ermöglicht es Entwickler:innen, Richtlinien festzulegen, die genau auf ihren Anwendungsfall abgestimmt sind. So könnte beispielsweise für ein Forum für Videospieldiskussionen eine Richtlinie zur Klassifizierung von Beiträgen, die sich mit Betrug im Spiel befassen, entwickelt werden oder für eine Produktbewertungsseite könnte eigene Richtlinie zur Prüfung von Rezensionen, die vermutlich gefälscht sind, verwendet werden.

Das Modell verarbeitet gleichzeitig zwei Eingaben – eine Richtlinie und den Inhalt, der unter dieser Richtlinie klassifiziert werden soll – und gibt eine Schlussfolgerung darüber aus, wo der Inhalt einzuordnen ist, zusammen mit seinem Reasoning. Entwickler:innen entscheiden selbst, ob und wie sie diese Schlussfolgerungen in ihre eigenen Sicherheitspipelines einbinden. Wir haben gesehen, dass dieser auf Reasoning basierende Ansatz besonders gut in Situationen funktioniert, in denen:

• das potenzielle Risiko neu entsteht oder sich weiterentwickelt, und Richtlinien schnell angepasst werden müssen.
• das Themenfeld stark differenziert und für kleinere Klassifizierer schwer zu handhaben ist.
• Entwickler:innen nicht genügend Beispiele haben, um für jedes Risiko auf ihrer Plattform einen hochwertigen Klassifizierer zu trainieren.
• Latenz weniger wichtig ist als die Erstellung hochwertiger, nachvollziehbarer Beschriftungen.

Wir veröffentlichen diese Vorschau von gpt-oss-safeguard, um Feedback aus der Forschungs- und Sicherheitscommunity zu erhalten und die Modellleistung weiter zu verbessern. Über mehrere Monate hinweg haben wir gemeinsam mit ROOST⁠(wird in einem neuen Fenster geöffnet) an dieser Open-Weight-Freigabe gearbeitet, um die wichtigsten Bedürfnisse von Entwickler:innen zu identifizieren, das Modell zu testen und Dokumentation für Entwickler:innen zu erstellen. Im Rahmen dieser Einführung wird ROOST eine Modell-Community⁠(wird in einem neuen Fenster geöffnet) aufbauen, die ebenfalls heute startet, um offene KI-Modelle zu erforschen, die dem Schutz von Online-Räumen dienen. Parallel zur Veröffentlichung erscheint ein kurzer technischer Bericht⁠, der die Sicherheitsleistung dieses Vorschaumodells beschreibt.

Wenn es um Sicherheit geht, setzen wir auf tiefgehend Verteidigung⁠ (Defense in Depth). Wir trainieren unsere Modelle so, dass sie sicher reagieren, und fügen zusätzliche Schutzebenen hinzu, um potenziell unsichere Eingaben und Ausgaben gemäß unseren Richtlinien zu erkennen und zu beheben. Sicherheitsklassifizierer, die sichere von unsicheren Inhalten in einem bestimmten Risikobereich unterscheiden, bilden seit Langem eine zentrale Verteidigungsschicht für unsere eigenen und andere große Sprachmodelle.

Herkömmliche Sicherheitsklassifizierer, wie sie etwa über unsere Moderation API⁠(wird in einem neuen Fenster geöffnet) verfügbar sind, werden entwickelt, indem Tausende von Beispielen für sichere und unsichere Inhalte gemäß vordefinierten Sicherheitsrichtlinien manuell kuratiert werden. Aus diesen Trainingsdaten lernt der Klassifizierer, sichere von unsicheren Ausgaben zu unterscheiden. In diesem herkömmlichen Ansatz sieht der Klassifizierer die Sicherheitsrichtlinie jedoch nie. Stattdessen versucht er, die zugrunde liegende Richtlinie zu erschließen, die zur Kennzeichnung der Beispiele verwendet wurde, indem er Ähnlichkeiten in den als unsicher markierten Inhalten und Unterschiede zwischen unsicheren und sicheren Inhalten erkennt.

Herkömmliche Klassifizierer können eine hohe Leistung bei niedriger Latenz und geringen Betriebskosten erreichen. Doch das Sammeln einer ausreichenden Menge an Trainingsbeispielen ist zeitaufwendig und kostspielig, und das Aktualisieren oder Ändern der Richtlinie erfordert ein erneutes Training des Klassifizierers.

gpt-oss-safeguard unterscheidet sich, weil seine Reasoning-Fähigkeiten Entwickler:innen ermöglichen, beliebige Richtlinien anzuwenden, auch solche, die sie selbst schreiben oder aus anderen Quellen übernehmen, und weil das Reasoning den Modellen hilft, neu formulierte Richtlinien allgemein umzusetzen. Über Sicherheitsrichtlinien hinaus kann gpt-oss-safeguard auch dazu verwendet werden, Inhalte in anderer Hinsicht zu kennzeichnen, etwa in Bereichen, die für bestimmte Produkte und Plattformen relevant sind.

Unsere primären Reasoning-Modelle lernen nun direkt unsere Sicherheitsrichtlinien und nutzen ihre Reasoning-Fähigkeiten, um zu beurteilen, was sicher ist. Dieser Ansatz, den wir deliberatives Alignment⁠ nennen, stellt eine deutliche Verbesserung gegenüber früheren Sicherheits-Trainingsmethoden dar und macht unsere Reasoning-Modelle in mehreren Bereichen sicherer als ihre nicht auf Reasoning basierenden Vorgänger – selbst wenn ihre Fähigkeiten zunehmen. Aber Reasoning ist nicht nur nützlich, um die Modelle selbst zu trainieren. Es eröffnet auch neue Möglichkeiten für eine tiefgehende Verteidigung. Reasoning-basierte Ansätze sind flexibler und weniger durch die Details ihres vorherigen Trainings begrenzt, Vorteile, die den zusätzlichen Rechenaufwand und die höhere Latenz oft mehr als rechtfertigen.

gpt-oss-safeguard ist eine Open-Weight-Implementierung eines Ansatzes, den wir intern in einem Tool namens „Safety Reasoner“ entwickelt haben. Wir begannen mit Reinforcement Fine-Tuning bei Aufgaben zur Richtlinienkennzeichnung und belohnten das Modell dafür, die richtigen Bewertungen von menschlichen Expert:innen zu übernehmen. Dadurch lernte das Modell, mithilfe von „Reasoning“ nachzuvollziehen, wie die Richtlinie zu seiner Bewertung führt. Heute ermöglicht uns Safety Reasoner, unsere Sicherheitsrichtlinien in der Produktion dynamisch zu aktualisieren und das in kürzerer Zeit, als ein Klassifizierer für das erneute Training benötigen würde. Dadurch wird Safety Reasoner zu einem wichtigen Tool für die iterative Bereitstellung⁠: Wenn wir neue Modelle in die Produktion überführen, beginnen wir häufig mit strengeren Richtlinien und setzen, wo nötig, größere Rechenressourcen ein, damit Safety Reasoner diese Richtlinien sorgfältig anwenden kann. Anschließend passen wir unsere Richtlinien an, sobald sich unser Verständnis der Risiken in der Produktion verbessert. Bei einigen unserer jüngsten Produkteinführungen lag der Anteil der gesamten Rechenleistung, der für Sicherheits-Reasoning aufgewendet wurde, bei bis zu 16 %.

Safety Reasoner ist zu einem zentralen Bestandteil unseres Sicherheits-Stacks geworden. Für Bildgenerierung und Sora 2 führt er dynamische, schrittweise Bewertungen von Ausgaben durch, um unsichere Generierungen in Echtzeit zu erkennen und zu blockieren. In Bereichen wie Biologie und Selbstverletzung verwenden wir Modelle wie jene in der Moderation API als kleine, schnelle Klassifizierer mit hoher Trefferquote, um zu bestimmen, welche Inhalte in einen relevanten Themenbereich fallen, und lassen diese anschließend vom Safety Reasoner prüfen. Safety Reasoner vergleicht Modellausgaben mit einer detaillierten Taxonomie, um die bestmögliche Reaktion zu bestimmen, und ist Teil unserer mehrschichtigen Sicherheitsmechanismen in Systemen wie GPT‑5 und ChatGPT Agent. Mit den gpt-oss-safeguard-Modellen steht dieser Ansatz nun allen zur Verfügung.

Wir haben die gpt-oss-safeguard-Modelle anhand interner und externer Evaluierungssets bewertet.

In der internen Evaluation haben wir gpt-oss-safeguard während der Inferenz mehrere Richtlinien gleichzeitig bereitgestellt. Für jede Testeingabe prüfen wir, ob gpt-oss-safeguard den Text unter allen enthaltenen Richtlinien korrekt klassifiziert. Diese Aufgabe ist anspruchsvoll – das Modell gilt nur dann als korrekt, wenn es exakt mit den Goldstandard-Labels für alle enthaltenen Richtlinien übereinstimmt.

Unsere gpt-oss-safeguard-Modelle und der interne Safety Reasoner übertreffen gpt-5-thinking und die offenen gpt-oss-Modelle in der Genauigkeit bei mehreren Richtlinien. Dass die gpt-oss-safeguard-Modelle gpt-5-thinking übertreffen, ist angesichts der geringen Größe der erstgenannten Modelle besonders überraschend.

Wir haben diese Modelle außerdem anhand des Moderationsdatensatzes⁠(wird in einem neuen Fenster geöffnet) evaluiert, den wir zusammen mit unserer Forschungsarbeit von 2022⁠(wird in einem neuen Fenster geöffnet) veröffentlicht haben, sowie anhand von ToxicChat⁠(wird in einem neuen Fenster geöffnet), einem öffentlichen Benchmark, der auf Benutzeranfragen an einen Open-Source-Chatbot basiert.

Für den Moderations-Evaluationsdatensatz 2022 führten wir die Bewertung anhand unserer internen Sicherheitsrichtlinien durch, wobei eine Richtlinie angepasst wurde, um spätere Änderungen zu berücksichtigen. gpt-oss-safeguard schnitt leicht besser ab als alle anderen getesteten Modelle, darunter auch unser interner Safety Reasoner und gpt-5-thinking, wobei dieser Unterschied zwischen Safety Reasoner und gpt-oss-safeguard jedoch statistisch nicht signifikant ist.

Für ToxicChat haben wir einen kurzen, handgeschriebenen Prompt verwendet, der aus einigen unserer internen Richtlinien abgeleitet wurde. Unser interner Safety Reasoner übertraf erneut gpt-5-thinking, während sowohl gpt-5-thinking als auch Safety Reasoner geringfügig besser abschnitten als gpt-oss-safeguard-120b und gpt-oss-safeguard-20b. Wir gehen davon aus, dass gpt-oss-safeguard aufgrund seiner vergleichsweise kleinen Größe für diese Art von Aufgabe weiterhin bevorzugt wird.

Es gibt zwei spezifische Einschränkungen von gpt-oss-safeguard. Erstens haben wir beobachtet, dass Klassifizierer, die mit Zehntausenden hochwertiger, beschrifteter Beispiele trainiert wurden, Inhalte teilweise besser klassifizieren können als gpt-oss-safeguard, wenn dieser direkt mithilfe von Reasoning aus der Richtlinie arbeitet. Für höhere Leistung bei komplexeren Risiken kann es daher sinnvoll sein, die Zeit in das Training eines speziellen Klassifizierers zu investieren.

Zweitens kann gpt-oss-safeguard zeit- und rechenintensiv sein, was es schwierig macht, es plattformweit zu skalieren. Intern handhaben wir dies mit dem Safety Reasoner auf verschiedene Weise: (1) Wir verwenden kleinere und schnellere Klassifizierer, um zu bestimmen, welche Inhalte bewertet werden sollen, und (2) in bestimmten Fällen setzen wir den Safety Reasoner asynchron ein, um eine Benutzererfahrung mit niedriger Latenz zu ermöglichen und gleichzeitig die Fähigkeit beizubehalten, einzugreifen, wenn unsichere Inhalte erkannt werden.

gpt-oss-safeguard ist OpenAIs erstes Set offener Sicherheitsmodelle, das gemeinsam mit der Community entwickelt wurde. Wir haben gpt-oss-safeguard im Rahmen der frühen Testphase gemeinsam mit Vertrauens- und Sicherheitsexpert:innen von SafetyKit, ROOST, Tomoro und Discord weiterentwickelt. ROOST-CTO Vinay Rao sagt: „gpt-oss-safeguard ist das erste Open-Source-Reasoning-Modell mit einem Design, das die Einbringung eigener Richtlinien und Schadensdefinitionen zulässt. Organisationen sollen die Möglichkeit haben, sicherheitskritische Technologien frei zu studieren, zu verändern und zu nutzen und so Innovation zu fördern. In unseren Tests zeigte es großes Geschick im Verständnis unterschiedlicher Richtlinien, bei der Erklärung seines Reasoning und bei der differenzierten Anwendung dieser Richtlinien, was unserer Ansicht nach für Entwicklungs- und Sicherheitsteams von Vorteil sein wird.“

Wir werden weiterhin gemeinsam mit der Community an der Verbesserung offener Sicherheitstools arbeiten, unter anderem über die ROOST Model Community (RMC). Die RMC bringt Sicherheitsfachkräfte und Forscher:innen zusammen, um bewährte Verfahren für die Integration von Open-Source-KI-Modellen in Sicherheits-Workflows auszutauschen – einschließlich der Bewertung von Ergebnissen und Feedback zu Modellen. Besuche das RMC-GitHub-Repository⁠(wird in einem neuen Fenster geöffnet), um mehr über diese Partnerschaft und Möglichkeiten zur Mitwirkung zu erfahren.

Um mit diesen Modellen zu arbeiten, lade sie von Hugging Face⁠(wird in einem neuen Fenster geöffnet) herunter.