Vi presenterar gpt-oss

Vi lanserar gpt-oss-120b and gpt-oss-20b – två avancerade öppen vikt-språkmodeller som levererar kraftfulla resultat i verkligheten till låg kostnad. De här modellerna är tillgängliga under den flexibla Apache 2.0-licensen och överträffar andra open models av motsvarande storlek när det gäller resonemangsuppgifter. De ger också prov på kraftfull kapacitet för verktygsanvändning samt är optimerade för effektiv implementering på maskinvara för konsumenter. De är tränade med en kombination av förstärkningsinlärning och teknik som baseras på OpenAI:s mest avancerade interna modeller, däribland o3 och andra banbrytande system.

gpt-oss-120b-modellen uppnår nästan samma resultat som OpenAI o4-mini på riktmärken för grundläggande resonemang samtidigt som den kan köras effektivt på en enda GPU på 80 GB. gpt-oss-20b-modellen levererar ungefär samma resultat som OpenAI o3‑mini på vanliga riktmärken och kan köras på edge-enheter med bara 16 GB minne, vilket gör att den passar perfekt för användningsfall på enheter, lokal inferens eller snabb iteration utan att någon dyr infrastruktur behövs. Båda modellerna presterar också kraftfullt när det gäller verktygsanvändning, few-shot-funktionsanrop, tankedkedjeresonemang (vilket framgår av resultatet på den agentiska utvärderingssviten Tau-Bench) och HealthBench (presterar till och med bättre än egenutvecklade modeller som OpenAI o1 och GPT‑4o).

Dessa modeller är kompatibla med vårt Svar-API⁠(öppnas i ett nytt fönster) och är utformade för att användas i arbetsflöden för agenter. De är utomordentliga på att följa instruktioner, använda verktyg som webbsökning eller Python-kodkörning, och resonemangsfunktioner – inklusive möjligheten att justera resonemangsnivån för uppgifter som inte kräver komplext resonemang och/eller fokusera på slutresultat med mycket låg latens. De är helt anpassningsbara, erbjuder en fullständig tankekedja och har stöd för strukturerade utdata⁠(öppnas i ett nytt fönster).

Säkerheten är grundläggande i vårt sätt att arbeta när vi lanserar våra modeller och det är extra viktigt när det gäller open models. Utöver att låta modellerna genomgå omfattande säkerhetsträning och säkerhetsutvärderingar har vi också infört ett ytterligare utvärderingslager genom att testa en version av gpt-oss-120b som är illvilligt finjusterad inom ramen för vårt Preparedness Framework⁠(öppnas i ett nytt fönster). gpt-oss-modeller presterar på ungefär samma nivå som våra banbrytande modeller på interna riktmärken för säkerhet och erbjuder utvecklarna samma säkerhetsstandarder som våra senaste egenutvecklade modeller. Vi delar resultaten av det arbetet och erbjuder mer information i en forskningsartikel och i modellkortet. Vår metod har granskats av externa experter och utgör ett steg framåt för hur man tar fram nya säkerhetsstandarder för modeller med öppna vikter.

Vi har också arbetat med tidiga partner som AI Sweden⁠(öppnas i ett nytt fönster), Orange⁠(öppnas i ett nytt fönster) och Snowflake⁠(öppnas i ett nytt fönster) för att ta fram användningsområden för våra öppna modeller, från att hysa dem lokalt för datasäkerhet till att finjustera dem på specialiserade datamängder. Vi är glada att kunna erbjuda dessa förstklassiga öppna modeller för att ge alla – från enskilda utvecklare till stora företag och myndigheter – möjlighet att köra och anpassa AI på egen infrastruktur. Tillsammans med modellerna som finns tillgängliga i vårt API kan utvecklare välja den prestanda, kostnad och latens de behöver för att möjliggöra AI-arbetsflöden.

Gpt-oss-modellerna tränades med våra mest avancerade tekniker före och efter, med särskilt fokus på resonemang, effektivitet och verklig användbarhet i ett antal olika implementeringsmiljöer. Vi har gjort andra modeller öppet tillgängliga, inklusive Whisper⁠ och CLIP⁠, men gpt-oss-modellerna är våra första öppen vikt-språkmodeller sedan GPT‑2^[1].

Varje modell är en transformator som utnyttjar mixture-of-experts (MoE ^[2]) för att minska antalet aktiva parametrar som behövs för att bearbeta indata. Gpt-oss-120b aktiverar 5,1 miljarder parametrar per token, medan gpt-oss-20b aktiverar 3,6 miljarder. Modellerna har totalt 117 miljarder respektive 21 miljarder parametrar. Modellerna växlar mellan tät och inhemsk gles uppmärksamhet, i likhet med GPT‑3^[3]. För inferens och minneseffektivitet använder modellerna även grupperad uppmärksamhet med flera frågor, med en gruppstorlek på 8. Vi använder Rotary Positional Embedding (RoPE ^[4]) för positionskodning och har inbyggt stöd för kontextlängder på upp till 128k.

Vi har tränat modellerna på textbaserade data av hög kvalitet och mestadels på engelska, med fokus på STEM, kodning och allmän kunskap. Vi tokeniserade datan med hjälp av ett superset av vår tokeniserare som används för OpenAI o4-mini och GPT‑4o: o200k_harmony, som vi även öppnar källkoden för idag.

För mer information om våra modellers arkitektur och träning, läs modellkortet.

Efter träningen av modellerna användes en liknande process som för o4-mini, inklusive ett övervakat finjusteringssteg och ett RL-steg med hög beräkningsförmåga. Vårt mål var att modellerna ska följa OpenAI Model Spec⁠(öppnas i ett nytt fönster) och att lära dem tillämpa resonemang med tankekedjor⁠ och verktygsanvändning innan de genererar ett svar. Genom att använda samma teknik som våra egenutvecklade SoTA-resonemangsmodeller ger de här modellerna prov på mycket hög kapacitet efter att de tränats.

I likhet med OpenAI o-seriens resonemangsmodeller i API:et har de två modellerna stöd för tre resonemangsnivåer – låg, medel och hög – vilket viktar latens mot prestanda. Utvecklare kan enkelt konfigurera parametern resonemangsnivå med en mening i systemmeddelandet.

Vi har utvärderat gpt-oss-120b och gpt-oss-20b på olika akademiska standardriktmärken för att mäta deras kapacitet vad gäller kodning, tävlingsmatematik, hälsa och agentisk verktygsanvändning i jämförelse med andra resonemangsmodeller från OpenAI, inklusive o3, o3‑mini och o4-mini.

gpt-oss-120b överträffar OpenAI o3‑mini och matchar eller överträffar OpenAI o4-mini på tävlingskodning (Codeforces), allmän problemlösning (MMLU och HLE) samt verktygsanrop (TauBench). Dessutom presterar den bättre än o4-mini på hälsorelaterade frågor (HealthBench⁠) och tävlingsmatematik (AIME 2024 & 2025). gpt-oss-20b matchar eller överträffar OpenAI o3‑mini i samma utvärderingar, trots dess begränsade storlek, och överträffar den till och med vad gäller tävlingsmatematik och hälsa.

Vår senaste forskning⁠ visar att övervakning av en resonemangsmodells tankekedja kan vara till hjälp för att upptäcka felaktigt beteende, så länge modellen inte tränats med direkt övervakning för att justera tankekedjan. Denna uppfattning delas⁠(öppnas i ett nytt fönster) även av andra i branschen. I enlighet med de principer vi utgått från sedan lanseringen av OpenAI o1‑preview⁠ har vi inte lagt någon direkt övervakning på tankekedjan för någon av gpt-oss-modellerna. Vi anser att detta är avgörande för att kunna övervaka felaktiga beteenden, vilseledande och missbruk hos modellen. Vi hoppas att vi genom att lansera en open model med en tankekedja som inte övervakas ger utvecklare och forskare möjlighet att undersöka och implementera egna övervakningssystem för tankekedjor.

Utvecklare bör inte visa applikationernas tankekedjor för användare. De kan innehålla vanföreställningar eller skadligt material, inklusive språk som inte följer OpenAI:s säkerhetspolicyer, och kan omfatta information som modellen inte ska inkludera i den slutliga utdatan.

Gpt-oss-modellerna använder sig av våra toppmoderna metoder för säkerhetsträning. Under förträningen filtrerade vi bort vissa skadliga data relaterade till kemiska, biologiska, radiologiska och nukleära hot (CBRN). Efter träningsfasen använde vi reflekterande anpassning⁠ och instruktionshierarki⁠(öppnas i ett nytt fönster) för att lära modellen att avvisa osäkra prompter och försvara sig mot promptinjektioner.

När en modell med öppna vikter släpps kan illasinnade finjustera den för skadliga syften. Vi bedömer dessa risker direkt genom att finjustera modellen baserat på specialiserade säkerhetsdata för biologiska hot och cyberhot, och skapa en domänspecifik, icke-avvisande version för varje domän på samma sätt som en angripare skulle kunna göra. Den här typen av tester indikerade att även med mycket omfattande finjustering som utnyttjade OpenAI:s ledande träningsstack, kunde dessa illvilligt finjusterade modeller inte nå höga kapacitetsnivåer enligt vårt Preparedness Framework⁠. Tre oberoende expertgrupper granskade metoden för illvillig finjustering och gav oss rekommendationer på hur vi kunde förbättra träningsprocessen och utvärderingarna – och vi införde många av dem. Vi beskriver dessa rekommendationer närmare i modellkortet. Dessa processer markerar ett betydande framsteg för säkerheten i öppna modeller. Dessa resultat gav stöd för vårt beslut att släppa gpt-oss-modellerna. Vi hoppas att dessa modeller bidrar till att påskynda säkerhetsträning och forskning om anpassning i branschen.

För att bidra till ett säkrare ekosystem med öppen källkod ordnar vi en red teaming-tävling⁠(öppnas i ett nytt fönster) för att uppmuntra forskare, utvecklare och entusiaster från hela världen att hjälpa till att identifiera nya säkerhetsproblem. Tävlingens prisfond uppgår till 500 000 USD som kommer att delas ut baserat på granskning av en expertpanel från OpenAI och andra ledande laboratorier. I slutet av tävlingen kommer vi att publicera en rapport och presentera en utvärdering baserad på validerade resultat, så att hela communityn kan dra nytta av den. Läs mer och delta här⁠(öppnas i ett nytt fönster).

Vikterna för både gpt-oss-120b och gpt-oss-20b kan laddas ner utan kostnad på Hugging Face och är kvantiserade i MXFP4. Detta gör att modellen gpt-oss-120b kan köras i ett minne på 80 GB, medan gpt-oss-20b bara kräver 16 GB.

Efter träningen användes harmony-promptformat⁠(öppnas i ett nytt fönster) på modellerna, och vi öppnar upp källkoden för en harmony-renderare⁠(öppnas i ett nytt fönster) i både Python och Rust för enklare användning. Vi släpper även referensimplementeringar för att köra inferens med PyTorch och på Apples Metal-plattform, tillsammans med en samling exempelverktyg för modellen.

Vi har utformat de här modellerna så att de är flexibla och enkla att köra oavsett plats – lokalt, på enheten eller via tredjepartsleverantörer av inferensdata. För att ge stöd för detta samarbetade inför vi lanseringen med ledande distributionsplattformar som Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare och OpenRouter för att göra modellerna allmänt tillgängliga för utvecklare. På maskinvarusidan samarbetar vi med branschledare, bland annat NVIDIA, AMD, Cerebras och Groq, för att säkerställa optimerade prestanda i en rad olika system.

Som en del av dagens lansering inför Microsoft också GPU-optimerade versioner av gpt-oss-20b-modellen i Windows-enheter. De här modellerna drivs av ONNX Runtime och stödjer lokal inferens samt är tillgängliga via Foundry Local och AI Toolkit for VS Code. På så sätt blir det enklare för Windows-utvecklare att utveckla med open models.

För utvecklare som vill ha helt anpassningsbara modeller som de kan finjustera och driftsätta i egna miljöer är gpt-oss ett utmärkt val. För de som söker multimodalt stöd, inbyggda verktyg och smidig integration med vår plattform är modeller som är tillgängliga via vår API-plattform fortfarande det bästa alternativet. Vi fortsätter att vara lyhörda för feedback från utvecklare och kan komma att överväga API-stöd för gpt-oss i framtiden.

Om du vill testa modellerna kan du gå till vår Open Model Playground⁠(öppnas i ett nytt fönster). Kolla in våra guider⁠(öppnas i ett nytt fönster) för att få veta mer om hur man använder modellerna med olika ekosystemleverantörer eller hur man finjusterar dem.

Lanseringen av gpt-oss-120b och gpt-oss-20b innebär ett viktigt steg framåt för öppen vikt-modeller. Med sin storlek erbjuder dessa modeller betydande förbättringar inom både resonemangsförmåga och säkerhet. Genom att lägga till de här modellerna till vårt befintliga API-erbjudande strävar vi efter att påskynda spetsforskning, främja innovation och möjliggöra säkrare och mer transparent AI-utveckling inom många olika användningsområden.

Öppna modeller sänker hindren för tillväxtmarknader, resursbegränsade sektorer och mindre organisationer som kan sakna pengar eller flexibilitet för att införa egna modeller. Tack vare tillgången till kraftfulla verktyg kan människor runt om i världen bygga, förnya sig och skapa nya möjligheter för sig själva och andra. Bred tillgång till dessa kraftfulla öppen vikt-modeller som skapats i USA bidrar till att utöka den demokratiska AI-infrastrukturen.

Ett sunt ekosystem för open model är en dimension som bidrar till att göra AI brett tillgängligt och gynnsamt för alla. Vi släpper egna open models för att utforska hur vi bidrar till detta ekosystem, och om styrkorna och fördelarna med dessa motiverar OpenAI:s investeringar i open models i framtiden. Om du bygger med våra öppna modeller kommer din feedback angående deras styrkor och användningsområden i verkliga livet att spela en viktig roll i vårt beslut.

Utvecklare och forskare är välkomna att använda dessa modeller för att experimentera, samarbeta och tänja på gränserna för vad som är möjligt. Vi ser fram emot att se vad du skapar.