Neu: gpt-oss

Wir veröffentlichen gpt-oss-120b und gpt-oss-20b – zwei hochmoderne Open-Weight-Sprachmodelle, die starke Performance in der Praxis zu niedrigen Kosten bieten. Diese Modelle sind unter der flexiblen Apache-2.0-Lizenz verfügbar, übertreffen bei Reasoning-Aufgaben offene Modelle ähnlicher Größe, verfügen über leistungsfähige Tool-Nutzungsfunktionen und sind für die effiziente Bereitstellung auf Verbraucherhardware optimiert. Sie wurden mit einer Kombination aus verstärkendem Lernen und Techniken trainiert, die auf den fortgeschrittenen internen Modellen von OpenAI basieren, darunter o3 und andere Grenzsysteme.

Das Modell „gpt-oss-120b“ erreicht bei Core-Reasoning-Benchmarks nahezu Parität mit OpenAI o4-mini und kann gleichzeitig effizient auf einer einzelnen 80-GB-GPU ausgeführt werden. Das Modell „gpt-oss-20b“ liefert bei gängigen Benchmarks ähnliche Ergebnisse wie OpenAI o3‑mini und kann auf Edge-Geräten mit nur 16 GB Speicher ausgeführt werden. Dadurch ist es ideal für Anwendungsfälle auf Geräten lokale Inferenz oder schnelle Iteration ohne kostenintensive Infrastruktur. Beide Modelle schneiden zudem bei der Tool-Nutzung, beim Funktionsaufruf mit wenigen Treffern, beim CoT-Reasoning (wie in den Ergebnissen der agentischen Bewertungs-Suite Tau-Bench zu sehen) sowie bei HealthBench (wobei sie sogar proprietäre Modelle wie OpenAI o1 und GPT‑4o übertreffen) überaus gut ab.

Diese Modelle sind mit unserer Responses API⁠(wird in einem neuen Fenster geöffnet) kompatibel und wurden mit außergewöhnlichen Fähigkeiten zur Befolgung von Anweisungen, Einsatz von Tools wie Internetsuche und Ausführung von Python-Code sowie Reasoning-Fähigkeiten für die Verwendung in Agenten-Workflows entwickelt – einschließlich der Möglichkeit, den Reasoning-Aufwand für Aufgaben anzupassen, die kein komplexes Denken erfordern und/oder auf Endergebnisse mit sehr niedriger Latenz abzielen. Sie lassen sich vollständig anpassen, bieten einen kompletten Denkvorgang (CoT – Chain of Thought) und unterstützen strukturierte Outputs⁠(wird in einem neuen Fenster geöffnet).

Sicherheit liegt im Kern unseres Ansatzes bei der Veröffentlichung aller unserer Modelle und ist bei offenen Modellen ganz besonders wichtig. Neben der Durchführung umfassender Sicherheitstrainings und -bewertungen für die Modelle haben wir eine zusätzliche Bewertungsebene eingeführt, indem wir im Rahmen unseres Preparedness Framework⁠(wird in einem neuen Fenster geöffnet) eine fein abgestimmte Version von gpt-oss-120b getestet haben. Die Leistung der gpt-oss-Modelle ist bei internen Sicherheits-Benchmarks mit unseren Grenzmodellen vergleichbar und bietet Entwicklern dieselben Sicherheitsstandards wie unsere aktuellen proprietären Modelle. Die Ergebnisse dieser Arbeit und weitere Einzelheiten veröffentlichen in einer Forschungsarbeit und auf der Modellkarte. Unsere Methodik wurde von externen Experten geprüft und stellt einen Fortschritt bei der Festlegung neuer Sicherheitsstandards für Open-Weight-Modelle dar.

In Zusammenarbeit mit frühen Partnern wie AI Sweden⁠(wird in einem neuen Fenster geöffnet), Orange⁠(wird in einem neuen Fenster geöffnet) und Snowflake⁠(wird in einem neuen Fenster geöffnet) wollten wir außerdem mehr über die realen Anwendungen unserer offenen Modelle erfahren, vom Hosting dieser Modelle vor Ort zur Datensicherheit bis hin zu ihrer Feinabstimmung anhand spezialisierter Datensätze. Wir freuen uns, diese erstklassigen offenen Modelle anbieten zu können, die es jedem – von individuellen Entwicklern über Großunternehmen bis hin zu Regierungsbehörden – ermöglichen, KI auf ihrer eigenen Infrastruktur auszuführen und anzupassen. In Verbindung mit den in unserer API verfügbaren Modellen können Entwickler die Leistung, Kosten und Latenz auswählen, die für die Unterstützung von KI-Arbeitsabläufen erforderlich sind.

Die gpt-oss-Modelle wurden anhand unserer modernsten Vor- und Nachtrainingstechniken trainiert, mit besonderem Schwerpunkt auf Reasoning, Effizienz und praktischer Benutzerfreundlichkeit in einer Vielzahl von Bereitstellungsumgebungen. Während wir andere Modelle wie Whisper⁠ und CLIP⁠ offen verfügbar gemacht haben, sind gpt-oss-Modelle unsere ersten Open-Weight-Sprachmodelle seit GPT‑2^[1].

Jedes Modell ist ein Transformer, der mithilfe von Mixture-of-Experts (MoE^[2]) die Anzahl der aktiven Parameter reduziert, die zur Verarbeitung der Eingaben erforderlich sind. „gpt-oss-120b“ aktiviert 5,1 Milliarden Parameter pro Token, während „gpt-oss-20b“ 3,6 Milliarden aktiviert. Die Modelle haben jeweils 117b bzw. 21b Gesamtparameter. Die Modelle verwenden, ähnlich wie GPT‑3[3], abwechselnd dichte und lokal gebänderte spärliche Aufmerksamkeitsmuster. Für Inferenz- und Speichereffizienzzwecke verwenden die Modelle außerdem gruppierte Multi-Query-Aufmerksamkeit mit einer Gruppengröße von 8. Wir nuten Rotary Positional Embedding (RoPE [4] ) für die Positionskodierung und bieten nativen Support für Kontextlängen von bis zu 128 KB.

Wir haben die Modelle anhand eines hochwertigen, überwiegend englischen reinen Text-Datensatzes trainiert, mit Schwerpunkt auf MINT, Codierung und Allgemeinwissen. Wir haben die Daten mithilfe einer Obermenge unseres für OpenAI o4-mini und GPT‑4o verwendeten Tokenizers „o200k_harmony“ tokenisiert, den wir heute ebenfalls als Open Source bereitstellen.

Weitere Informationen zur Architektur und Schulung unserer Modelle findest du auf der Modellkarte.

Die Modelle wurden mit einem ähnlichen Prozess wie für o4-mini nachtrainiert – inklusive überwachter Feinabstimmungsphase und RL-Phase mit hoher Rechenleistung. Unser Ziel bestand darin, das Modell an die OpenAI Model Spec⁠(wird in einem neuen Fenster geöffnet) anzugleichen und ihm beizubringen, CoT-Argumentation⁠ und Tool-Nutzung anzuwenden, bevor es seine Antwort produziert. Da sie dieselben Techniken wie unsere proprietären SoTA-Reasoning-Modelle verwenden, zeigen die Modelle nach dem Training außergewöhnliche Funktionen.

Ähnlich wie die OpenAI-Reasoning-Modelle der o-Serie in der API unterstützen die beiden Open-Weight-Modelle drei Reasoning-Bemühungen – niedrig, mittel und hoch –, die einen Kompromiss zwischen Latenz und Leistung repräsentieren. Entwickler können den „Reasoning_Aufwand“ einfach mit einem Satz in der Systemnachricht festlegen.

Wir haben gpt-oss-120b und gpt-oss-20b anhand akademischer Standard-Benchmarks bewertet, um ihre Funktionen in den Bereichen Codierung, Wettbewerbsmathematik, Gesundheitswesen und Verwendung von agentischen Tools im Vergleich zu anderen Reasoning-Modellen von OpenAI, einschließlich o3, o3‑mini und o4-mini, zu messen.

gpt-oss-120b übertrifft OpenAI o3‑mini und erreicht oder übertrifft OpenAI o4-mini im Bereich Wettbewerbscodierung (Codeforces), allgemeiner Problemlösung (MMLU und HLE) und Tool-Aufrufen (TauBench). Weiterhin erzielt es bei gesundheitsbezogenen Abfragen (HealthBench⁠) und in der Wettbewerbsmathematik (AIME 2024 & 2025) sogar noch bessere Ergebnisse als o4-mini. gpt-oss-20b erreicht bei denselben Bewertungen dieselbe oder sogar eine höhere Leistung, trotz seiner geringen Größe, und war im Bereich Wettbewerbsmathematik und Gesundheit sogar überlegen.

Unsere jüngste Forschung⁠ zeigt, dass die Überwachung des Denkvorgangs eines Reasoning-Modells hilfreich sein kann, um Fehlverhalten zu erkennen, solange das Modell nicht mit direkter Überwachung für die Ausrichtung der CoT trainiert wurde. Diese Ansicht wird auch von anderen in der Branche geteilt⁠(wird in einem neuen Fenster geöffnet). Im Einklang mit unseren Prinzipien seit der Einführung von OpenAI o1‑preview⁠ haben wir für keins der gpt-oss-Modelle eine direkte Überwachung des CoT vorgenommen. Wir glauben, dass dies von entscheidender Bedeutung für die Überwachung von Fehlverhalten, Täuschung und Missbrauch des Modells ist. Wir hoffen, dass die Veröffentlichung eines offenen Modells mit nicht-überwachtem Denkvorgang Entwicklern und Forschern die Möglichkeit geben wird, ihre eigenen CoT-Überwachungssysteme zu untersuchen und zu implementieren.

Entwickler sollten Benutzern CoTs nicht direkt in ihren Anwendungen anzeigen. Sie enthalten möglicherweise halluzinierte oder schädliche Inhalte, darunter eine Sprache, die nicht den Standardsicherheitsrichtlinien von OpenAI entspricht. Sie können auch Informationen enthalten, die das Modell ausdrücklich nicht in den endgültige Output aufnehmen soll.

Die gpt-oss-Modelle nutzen unsere hochmodernen Ansätze für Sicherheitstrainings. In der Vortrainingsphase haben wir bestimmte schädliche Daten im Zusammenhang mit chemischen, biologischen, radiologischen und nuklearen Gefahren (CBRN) herausgefiltert. Während des Nachtrainings verwendeten wir die abwägende Angleichung⁠ sowie die Anweisungshierarchie⁠(wird in einem neuen Fenster geöffnet), um dem Modell beizubringen, unsichere Eingabeaufforderungen abzulehnen und sich gegen Prompt-Injections zu verteidigen.

Sobald ein Open-Weight-Modell veröffentlicht wird, können Angreifer dieses möglicherweise für böswillige Zwecke abstimmen. Wir haben diese Risiken direkt bewertet, indem wir das Modell anhand von Biologie- und Cybersicherheitsdaten präzisiert und für jeden Bereich eine Domain-spezifische, nicht-ablehnende Version entwickelt haben, so wie es ein Angreifer tun würde. Diese Tests haben gezeigt, dass solche auf böswillige Absichten abgestimmten Modelle selbst mit äußerst umfangreicher Feinabstimmung, die den branchenführenden Trainingsstapel von OpenAI nutzte, nicht in der Lage waren, hohe Fähigkeitslevels gemäß unserem Preparedness Framework⁠ zu erreichen. Diese Methode der böswilligen Feinabstimmung wurde von drei unabhängigen Expertengruppen überprüft, die Empfehlungen zur Verbesserung des Trainingsprozesses und der Bewertungen abgaben, von denen wir viele übernommen haben. Diese Empfehlungen werden in der Modellkarte im Detail beschrieben. Diese Verfahren stellen einen bedeutenden Fortschritt für die Sicherheit offener Modelle dar. Diese Ergebnisse haben unsere Entscheidung für die Veröffentlichung der gpt-oss-Modelle bekräftigt. Wir hoffen, dass diese Modelle dazu beitragen werden, das Sicherheitstraining und Alignment Research in der gesamten Branche zu beschleunigen.

Um zu mehr Sicherheit innerhalb des Open-Source-Ökosystems beizutragen, veranstalten wir eine Red Teaming Challenge, in der wir Forscher, Entwickler und Enthusiasten aus der ganzen Welt auffordern, bei der Identifizierung neuer Sicherheitsprobleme mitzuhelfen. Den Gewinner erwartet Preisgeld von 500.000 USD, das auf Grundlage der Bewertung durch eine Expertenjury von OpenAI und anderer führender Labore vergeben wird. Am Ende der Challenge werden wir einen Bericht veröffentlichen und Auswertungsdaten auf Grundlage validierter Ergebnisse als Open Source bereitstellen, sodass die breitere Community sofort davon profitieren kann. Hier⁠(wird in einem neuen Fenster geöffnet) kannst du mehr erfahren und teilnehmen.

Die Gewichte für „gpt-oss-120b“ und „gpt-oss-20b“ können auf Hugging Face kostenlos heruntergeladen werden und sind in MXFP4 nativ quantisiert. Dadurch kann das Modell „gpt-oss-120B“ mit 80 GB Speicher ausgeführt werden, während „gpt-oss-20b“ lediglich 16 GB benötigt.

Die Modelle wurden auf unserem Harmony-Prompt-Format⁠(wird in einem neuen Fenster geöffnet) nachtrainiert stellen sowohl in Python als auch Rust einen Harmony-Renderer⁠(wird in einem neuen Fenster geöffnet) zu Verfügung, um die Annahme zu erleichtern. Wir veröffentlichen auch Referenzimplementierungen für die Ausführung von Inferenzen mit PyTorch und auf der Metal-Plattform von Apple sowie eine Sammlung von Beispieltools für das Modell.

Diese Modelle wurden so entwickelt, dass sie flexibel und überall problemlos ausgeführt werden können – lokal, auf dem Gerät oder über Dritt-Inferenzanbieter. Um dies zu unterstützen, arbeiten wir mit führenden Bereitstellungsplattformen wie Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare und OpenRouter zusammen, damit Entwickler allgemeinen Zugang zu den Modellen haben. Auf der Hardwareseite haben wir uns mit Branchenführern wie NVIDIA, AMD, Cerebras und Groq zusammengetan, um optimale Leistung auf einer Reihe von Systemen sicherzustellen.

Im Rahmen der heutigen Veröffentlichung bringt Microsoft auch GPU-optimierte Versionen des Modells „gpt-oss-20b“ auf Windows-Geräte. Diese Modelle stützen sich auf ONNX Runtime, unterstützen lokale Inferenz und sind über Foundry Local und das AI Toolkit für VS Code verfügbar, was Windows-Entwicklern den Aufbau mit offenen Modellen erleichtert.

Für Entwickler, die vollständig anpassbare Modelle möchten, die sie optimieren und in ihren eigenen Umgebungen bereitstellen können, ist gpt-oss eine großartige Lösung. Für alle, die multimodalen Support, integrierte Tools und eine nahtlose Integration mit unserer Plattform wünschen, sind die über unsere API-Plattform verfügbaren Modelle nach wie vor die beste Option. Wir hören uns das Feedback der Entwickler weiterhin aufmerksam an und werden in Zukunft möglicherweise den API-Support für gpt-oss erwägen.

Auf unserem Playground für offene Modelle⁠(wird in einem neuen Fenster geöffnet) kannst du diese gerne ausprobieren. In unseren Leitfäden⁠(wird in einem neuen Fenster geöffnet) erfährst du mehr darüber, wie du die Modelle mit verschiedenen Ökosystemanbietern verwenden oder diese optimieren kannst.

Die Veröffentlichung von „gpt-oss-120b“ und „gpt-oss-20b“ stellt einen wichtigen Fortschritt für Open-Weight-Modelle dar. In ihrer Größe bieten diese Modelle bedeutende Fortschritte sowohl hinsichtlich der Reasoning-Fähigkeiten als auch bezüglich der Sicherheit. Durch das Hinzufügen dieser offenen Modelle zu unserem bestehenden API-Angebot möchten wir Spitzenforschung beschleunigen, Innovation fördern und eine sicherere, transparentere KI-Entwicklung für eine breite Auswahl von Anwendungsfällen ermöglichen.

Diese offenen Modelle bauen außerdem Hindernisse für Schwellenmärkte, ressourcenbeschränkte Sektoren und kleinere Organisationen ab, denen möglicherweise das Budget oder die Flexibilität für die Einführung proprietärer Modelle fehlt. Mithilfe leistungsstarker, leicht zugänglicher Tools können Menschen auf der ganzen Welt neue Möglichkeiten für sich und andere schaffen, Innovationen vorantreiben und entwickeln. Der breite Zugriff auf diese leistungsfähigen, in den USA entwickelten Open-Weight-Modellen trägt dazu bei, die demokratischen KI-Schienen auszuweiten.

Ein gesundes Open-Model-Ökosystem ist eine Dimension, die dabei hilft, KI allgemein zugänglich und für alle profitabel zu machen. Wir veröffentlichen unsere eigenen offenen Modelle, um zu ermitteln, wie wir zu diesem Ökosystem beitragen und ob die Stärken und Vorteile dieser Modelle künftige Investitionen durch OpenAI in offene Modelle rechtfertigen. Wenn du mit unseren offenen Modellen entwickelst, spielt dein Feedback zu den Stärken und realen Anwendungen der Modelle eine wichtige Rolle für unsere Entscheidungsfindung.

Wir laden Entwickler und Forscher dazu ein, mit diesen Modellen zu experimentieren, zusammenzuarbeiten und die Grenzen des Machbaren zu erweitern. Wir freuen uns, zu sehen, was du entwickelst.