Vi introducerer gpt-oss

Vi lancerer gpt-oss-120b og gpt-oss-20b – to avancerede open-weight-sprogmodeller, der leverer stærk ydeevne i praksis til lave omkostninger. Disse modeller, der er tilgængelige under den fleksible Apache 2.0-licens, overgår åbne modeller af samme størrelse i ræsonneringsopgaver, udviser stærke evner til at bruge værktøjer og er optimerede til effektiv implementering i forbrugerhardware. De blev trænet ved hjælp af en kombination af forstærkningslæring og teknikker baseret på OpenAI's mest avancerede interne modeller, herunder o3 og andre banebrydende systemer.

Gpt-oss-120b-modellen opnår næsten samme ydeevne som OpenAI o4-mini på centrale benchmark-tests for logisk tænkning, samtidig med at den kører effektivt på en enkelt 80 GB GPU. Gpt-oss-20b-modellen leverer resultater, der svarer til OpenAI o3‑mini på gængse benchmarks, og kan køre på edge-enheder med kun 16 GB hukommelse, hvilket gør den ideel til brugsscenarier på enheder, lokal inferens eller hurtig iteration uden dyr infrastruktur. Begge modeller klarer sig også godt inden for værktøjsbrug, few-shot-funktionskald, CoT-resonering (som det ses i resultaterne i Tau-Bench-agentvurderingspakken) og HealthBench (hvor de endda overgår proprietære modeller som OpenAI o1 og GPT‑4o).

Disse modeller er kompatible med vores Respons-API⁠(åbner i et nyt vindue) og er designet til at blive brugt i agentbaserede arbejdsgange med exceptionel instruktionsopfølgning, brug af værktøjer som websøgning eller Python-kodeudførelse og ræsonneringsevner – herunder evnen til at justere ræsonneringsindsatsen for opgaver, der ikke kræver kompleks ræsonnering og/eller er målrettet endelige outputs med lav latens. De kan tilpasses fuldstændigt, levere fuldkomne tænkerækker (CoT) og understøtter strukturerede outputs⁠(åbner i et nyt vindue).

Sikkerhed er grundlæggende for vores tilgang til lancering af alle modeller og er af særlig betydning, når det kommer til åbne modeller. Ud over at gennemføre omfattende sikkerhedstræning og evalueringer af modellerne har vi også indført et ekstra evalueringsniveau ved at teste en modstandsjusteret version af gpt-oss-120b under vores Beredskabsramme⁠(åbner i et nyt vindue). Gpt-oss-modellerne klarer sig på niveau med vores bedste modeller i interne sikkerhedsbenchmarks og tilbyder udviklere de samme sikkerhedsstandarder som vores nyeste modeller. Vi deler resultaterne af dette arbejde og flere oplysninger i en forskningsartikel og på modelkortet. Vores metodologi blev gennemgået af eksterne eksperter og markerer et skridt fremad i forhold til at sætte nye sikkerhedsstandarder for open-weight-modeller.

Vi har også arbejdet sammen med tidlige partnere, som AI Sweden⁠(åbner i et nyt vindue), Orange⁠(åbner i et nyt vindue) og Snowflake⁠(åbner i et nyt vindue), for at lære om anvendelsen af vores åbne modeller i praksis, fra at hoste modellerne lokalt for øget datasikkerhed til at finjustere dem på specialiserede datasæt. Vi er stolte af at kunne levere disse førsteklasses åbne modeller, som giver alle – fra individuelle udviklere til store virksomheder og offentlige myndigheder – mulighed for at køre og tilpasse AI i deres egen infrastruktur. Sammen med de modeller, der er tilgængelige i vores API, kan udviklere vælge præstation, omkostninger og latenstid, de har brug for for at drive AI-arbejdsgange.

Gpt-oss-modellerne blev trænet ved hjælp af vores mest avancerede foruddannelses- og efteruddannelsesteknikker, med særlig fokus på ræsonnering, effektivitet og anvendelighed i den virkelige verden på tværs af en lang række implementeringsmiljøer. Selvom vi har gjort andre modeller, herunder Whisper⁠ og CLIP⁠, frit tilgængelige, er gpt-oss-modellerne vores første open-weight-sprogmodeller siden GPT‑2^[1].

Hver model er en transformer, der anvender mixture-of-experts (MoE^[2]) til at reducere antallet af aktive parametre, der er nødvendige for at behandle input. Gpt-oss-120b aktiverer 5,1 mia. parametre pr. token, mens gpt-oss-20b aktiverer 3,6 mia. Modellerne har henholdsvis 117B og 21B parametre. Modellerne bruger skiftende tætte og lokalt stribede sparsomme opmærksomhedsmønstre, svarende til GPT‑3^[3]. Til inferens og hukommelseseffektivitet bruger modellerne også grupperet opmærksomhed på flere forespørgsler med en gruppestørrelse på 8. Vi brugte Rotary Positional Embedding (RoPE^[4]) til positionskodning og naturlig understøttelse af kontekstlængder på op til 128k.

Vi trænede modellerne på et datasæt af høj kvalitet, for det meste engelsk, text-only-datasæt, med fokus på STEM, kodning og generel viden. Vi tokeniserede dataene ved hjælp af et supersæt af vores tokenizer, der blev brugt til OpenAI o4-mini og GPT‑4o: 'o200k_harmony', som vi også er open sourcer i dag.

For mere om vores modellers arkitektur og træning, læs modelkortet.

Modellerne blev eftertrænet ved hjælp af en proces, der lignede den, der blev brugt til o4-mini, herunder en monitoreret finjusteringsfase og en højtydende RL-fase. Vores mål er at justere modellen med OpenAI-modelspecifikationer⁠(åbner i et nyt vindue) og lære den at anvende CoT-ræsonnering⁠ og brug af værktøjer, før den producerer sit svar. Ved at anvende de samme teknikker som vores mest banebrydende ræsonneringsmodeller viser modellerne exceptionelle evner efter eftertræningen.

Ligesom OpenAI o-seriens ræsonneringsmodeller i API'en understøtter de to open-weight-modeller tre ræsonneringsindsatser – lav, medium og høj – som afvejer latenstid mod ydeevne. Udviklere kan nemt indstille ydeevnen med en enkelt sætning i systembeskeden.

Vi evaluerede gpt-oss-120b og gpt-oss-20b på tværs af akademiske standardbenchmarks for at måle deres evner inden for kodning, konkurrencematematik, sundhed og brug af agentiske værktøjer sammenlignet med andre OpenAI-ræsonneringsmodeller, herunder o3, o3‑mini og o4-mini.

gpt-oss-120b overgår OpenAI o3‑mini og matcher eller overgår OpenAI o4-mini inden for konkurrencekodning (Codeforces), generel problemløsning (MMLU og HLE) og værktøjskald (TauBench). Den klarer sig desuden endnu bedre end o4-mini inden for sundhedsrelaterede forespørgsler (HealthBench⁠) og konkurrencematematik (AIME 2024 & 2025). gpt-oss-20b matcher eller overgår OpenAI o3‑mini i de samme evalueringer på trods af sin lille størrelse og klarer sig endda bedre inden for konkurrencematematik og sundhed.

Vores nylige research⁠ har vist, at monitorering af en ræsonneringsmodels tankerækker kan være nyttigt til at opdage forkert adfærd, så længe modellen ikke blev trænet med direkte monitorering til at tilpasse CoT. Dette perspektiv deles⁠(åbner i et nyt vindue) også af andre i branchen. I overensstemmelse med vores principper siden lanceringen af OpenAI o1‑preview⁠ har vi ikke lagt direkte monitorering på CoT for nogen af gpt-oss-modellerne. Vi mener, at dette er afgørende for at overvåge dårlig opførsel, vildledning og misbrug. Vores håb er, at frigivelsen af en åben model med en ikke-monitoreret tankegang vil give udviklere og forskere mulighed for at undersøge og implementere deres egne CoT-monitoreringsystemer.

Udviklere bør ikke direkte vise tankekæder til brugere i deres applikationer. De kan indeholde hallucineret eller skadeligt indhold, herunder sprog, der ikke afspejler OpenAI’s standard sikkerhedspolitikker, og kan indeholde information, som modellen eksplicit bliver bedt om ikke at medtage i det endelige output.

Gpt-oss-modellerne udnytter vores avancerede tilgange til sikkerhedstræning. Under fortræning filtrerede vi visse skadelige data relateret til kemiske, biologiske, radiologiske og nukleare forhold (CBRN). Under eftertræning brugte vi bevidst justering⁠ og instruktionshierarki⁠(åbner i et nyt vindue) for at lære modellen at afvise usikre forespørgsler og forsvare mod skjulte forespørgsler.

Når en åben vægtmodel er lanceret, kan modstandere muligvis finjustere modellen til ondsindede formål. Vi vurderede disse risici direkte ved at finjustere modellen inden for specialiseret biologi og cybersikkerhedsdata og skabe en domænespecifik ikke-afvisende version til hvert domæne på samme måde, som en ondsindet aktør ville gøre. Denne test viste, at selv med ekstremt omfattende finjustering, der udnyttede OpenAI's førende træningsstack, var disse ondsindede finjusterede modeller ikke i stand til at nå høje kapacitetsniveauer i henhold til vores Beredskabsramme⁠. Denne ondsindede finjusteringsmetodik blev gennemgået af tre uafhængige ekspertgrupper, der fremsatte henstillinger om at forbedre træningsprocessen og evalueringerne, som vi vedtog mange af. Vi beskriver disse anbefalinger i modelkortet. Disse processer markerer et meningsfuldt fremskridt for åben modelsikkerhed. Disse fund bekræftede vores beslutning om at lancere gpt-oss-modellerne. Vi håber, at disse modeller vil hjælpe med at fremskynde sikkerhedstræning og tilpasningsundersøgelser i hele branchen.

For at bidrage til et mere sikkert open source-økosystem afholder vi en Red Teaming Challenge⁠(åbner i et nyt vindue) for at opfordre forskere, udviklere og entusiaster fra hele verden til at hjælpe med at identificere nye sikkerhedsproblemer. Udfordringen har en præmiesum på 500.000 USD, som vil blive tildelt på baggrund af en bedømmelse fra et panel af ekspertdommere fra OpenAI og andre førende laboratorier. Når udfordringen er slut, offentliggør vi en rapport og open sourcer et evalueringsdatasæt baseret på validerede resultater, så bredere fællesskaber straks kan drage fordel af den. Få mere at vide og deltag her⁠(åbner i et nyt vindue).

Vægtene for både gpt-oss-120b og gpt-oss-20b kan downloades gratis på Hugging Face og er oprindeligt kvantiseret i MXFP4. Dette gør det muligt for gpt-oss-120B-modellen at køre med 80 GB hukommelse, mens gpt-oss-20b kun kræver 16 GB.

Modellerne er blevet eftertrænede i vores Harmony-forespørgselsformat⁠(åbner i et nyt vindue), og vi open-sourcer en Harmony-rendering⁠(åbner i et nyt vindue) i både Python og Rust for at gøre implementeringen nemmere. Vi lancerer også referencegennemførsler til at køre inferens med Pytorch og på Apples Metal-platform sammen med en samling af eksempelværktøjer til modellen.

Vi har designet modellerne, så de er fleksible og nemme at køre hvor som helst – lokalt, på enheder eller via tredjepartsudbydere. For at understøtte dette indgik vi inden lanceringen et samarbejde med førende implementeringsplatforme såsom Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare og OpenRouter for at gøre modellerne bredt tilgængelige for udviklere. På hardwaresiden har vi samarbejdet med brancheførende virksomheder som NVIDIA, AMD, Cerebras og Groq for at sikre optimeret ydeevne på tværs af en række systemer.

Som en del af dagens lancering bringer Microsoft også GPU-optimerede versioner af gpt-oss-20b-modellen til Windows-enheder. Modellerne, som drives af ONNX Runtime, understøtter lokal inferens og er tilgængelige via Foundry Local og AI Toolkit for VS Code, hvilket gør det nemmere for Windows-udviklere at udvikle med åbne modeller.

For udviklere, der ønsker fuldt tilpassede modeller, de kan finjustere og implementere i deres egne miljøer, er gpt-oss et godt valg. For dem, der søger multimodal support, indbyggede værktøjer og problemfri integration med vores platform, forbliver modeller, der er tilgængelige via vores API-platform, den bedste mulighed. Vi lytter fortsat nøje til udvikler-feedback og overvejer API-support til gpt-oss i fremtiden.

Hvis du vil prøve modellerne, gå til vores playground for åbne modeller⁠(åbner i et nyt vindue). For at høre mere om, hvordan man bruger modellerne ved hjælp af forskellige økosystemudbydere, eller hvordan man finjusterer modellerne, se vores vejledninger⁠(åbner i et nyt vindue).

Frigivelsen af gpt-oss-120b og gpt-oss-20b markerer et vigtigt skridt fremad for open-weight-modeller. Modellernes størrelse gør, at de leverer vigtige fremskridt inden for både ræsonneringssevne og sikkerhed. Ved at tilføje de åbne modeller til vores eksisterende API-tilbud sigter vi mod at fremskynde førende forskning, fremme innovation og muliggøre en mere sikker og gennemsigtig AI-udvikling på tværs af en lang række anvendelsesområder.

Disse åbne modeller sænker også barrierer til nye markeder, ressourcebegrænsede sektorer og mindre organisationer, der måske mangler budgettet eller fleksibiliteten til at vedtage proprietære modeller. Med kraftfulde, tilgængelige værktøjer i hænderne kan mennesker over hele verden udvikle, innovere og skabe nye muligheder for sig selv og andre. Bred adgang til kompetente open-weight-modeller, der er skabt i USA, er med til at udvide demokratisk AI.

Et sundt økosystem med åbne modeller er en dimension, der hjælper med at gøre AI bredt tilgængelig og til gavn for alle. Vi lancerer vores egne åbne modeller for at undersøge, hvordan vi bidrager til dette økosystem, og om styrkerne og fordelene ved modellerne berettiger OpenAI til at investere i åbne modeller i fremtiden. Hvis du udvikler med vores åbne modeller, vil din feedback om modellernes styrker og anvendelser i praksis spille en vigtig rolle i vores beslutning.

Vi inviterer udviklere og forskere til at bruge modellerne til at eksperimentere, samarbejde og skubbe grænserne for, hvad der er muligt. Vi ser frem til at se, hvad du bygger.