Vi introduserer gpt-oss

Vi lanserer gpt-oss-120b og gpt-oss-20b – to toppmoderne språkmodeller med åpen vekting som leverer sterk faktisk ytelse til lav kostnad. Disse modellene er tilgjengelige under den fleksible Apache 2.0-lisensen, og overgår open model-er av lignende størrelse for resonneringsoppgaver, demonstrerer sterke ferdigheter i verktøybruk og er optimalisert for effektiv distribusjon på forbrukermaskinvare. De ble opplært ved hjelp av en blanding av forsterkningslæring og teknikker basert på OpenAIs mest avanserte interne modeller, inkludert o3 og andre banebrytende systemer.

gpt-oss-120b-modellen oppnår nesten paritet med OpenAI o4-mini på viktige referansemålinger for resonnement, samtidig som den kjører effektivt på en enkelt 80 GB GPU. gpt-oss-20b-modellen gir lignende resultater som OpenAI o3‑mini på vanlige referansemålinger, og kan kjøre på enheter med bare 16 GB minne, noe som gjør den ideell for bruksområder på enheter, lokal inferens eller rask iterasjon uten kostbar infrastruktur. Begge modellene presterer også sterkt på verktøybruk, few-shot funksjonskall, CoT-resonnement (som sett i resultater fra Tau-Bench agentevalueringssuite) og HealthBench (og til og med overgår proprietære modeller som OpenAI o1 og GPT‑4o).

Disse modellene er kompatible med Responses API⁠(åpnes i et nytt vindu) og er designet for å brukes med agentbaserte arbeidsflyter med en eksepsjonell evne til å følge instruksjoner, verktøybruk som nettsøk eller kjøring av Python-kode og resonnementfunksjonalitet – inkludert evnen til å justere «reasoning_effort» for oppgaver som ikke krever kompleks resonnement og/eller prioritere veldig lav ventetid for endelige utdata. De er helt tilpassbare, gir fullstendig tankerekke (CoT) og støtter strukturerte utdata⁠(åpnes i et nytt vindu).

Sikkerhet er grunnleggende for tilnærmingen til å utgi alle modellene våre, og er av spesiell betydning for open model-er. I tillegg til å kjøre modellene gjennom omfattende sikkerhetstrening og -evalueringer, introduserte vi også et ekstra lag med evaluering ved å teste en fiendtlig finjustert versjon av gpt-oss-120b under Beredskapsrammeverket⁠(åpnes i et nytt vindu) vårt. gpt-oss-modeller presterer sammenlignbart med grensemodellene våre på interne sikkerhetsmål, og tilbyr utviklere de samme sikkerhetsstandardene som våre nylige proprietære modeller. Vi deler resultatene fra det arbeidet og flere detaljer i en forskningsartikkel og i modellkortet. Metodikken vår ble gjennomgått av eksterne eksperter og utgjør fremgang innen angivelse av nye sikkerhetsstandarder for modeller med åpen vekting.

Vi har også jobbet med tidlige partnere som AI Sweden⁠(åpnes i et nytt vindu), Orange⁠(åpnes i et nytt vindu) og Snowflake⁠(åpnes i et nytt vindu) for å lære om faktiske bruksområder for open model-ene våre, fra å ha å ha disse modellene lokalt for datasikkerhet til finjustering av dem på spesialiserte datasett. Vi gleder oss til å levere disse førsteklasses open model-ene for å la alle – fra individuelle utviklere til store konsern til myndigheter – kjøre og tilpasse AI i sin egen infrastruktur. Sammen med modellene som er tilgjengelige i API-et vårt, kan utviklere velge ytelsen, kostnaden og ventetiden de trenger for å drive AI-arbeidsflyter.

gpt-oss-modellene ble opplært med de mest avanserte teknikkene våre for forhåndsopplæring og etteropplæring, med spesielt fokus på resonnement, effektivitet og faktisk brukbarhet fra et stort spekter miljøer for utrulling. Selv om vi har gjort andre modeller som Whisper⁠ og CLIP⁠ tilgjengelige offentlig, er gpt-oss-modellene våre de første språkmodellene med åpen vekting siden GPT‑2^[1].

Hver modell er en transformer som benytter «blanding av eksperter» (mixture-of-experts, MoE^[2]) for å redusere antallet aktive parametre som kreves for å behandle inndata. gpt-oss-120b aktiverer 5,1 milliarder parametre per token, mens gpt-oss-20b aktiverer 3,6 milliarder. Modellene har henholdsvis 117 milliarder og 21 milliarder parametre totalt. Modellene bruker veksling mellom tette og lokalt båndbaserte sparsomme oppmerksomhetsmønstre, på lignende måte som GPT‑3^[3]. For inferens- og minneeffektivitet bruker modellene også gruppert oppmerksomhet for flere spørringer, med en gruppestørrelse på 8. Vi bruker Rotary Positional Embedding (RoPE^[4]) for posisjonell koding og har integrert støtte for kontekstlengder på opptil 128 000.

Vi har lært opp modellene på tekstbaserte datasett av høy kvalitet, hovedsakelig på engelsk, med fokus på STEM, koding og allmennkunnskap. Vi opprettet tokener for dataene med et supesett av tokeniseringsfunksjonen som brukes for OpenAI o4-mini og GPT‑4o: «o200k_harmony», som vi også gir ut som åpen kildekode i dag.

Les modellkortet for mer informasjon om arkitekturen og opplæringen til modellene våre.

Modellene ble etteropplært med en lignende prosess som ble brukt for o4-mini, inkludert et overvåket trinn for finjustering og et RL-trinn med høy databehandling. Målet vårt var å rette inn modellene med OpenAI Model Spec⁠(åpnes i et nytt vindu) og lære dem å bruke CoT-resonnement⁠ og verktøy før den gir svaret. Ved å bruke de samme teknikkene som våre SoTA-eide resonnementmodeller, viser modellene eksepsjonelle evner etter etteropplæring.

På lignende måte som resonnementmodellene i API-et til OpenAI o-serien, støtter de to modellene med åpen vekting tre resonnementanstrengelser – lav, middels og høy – som har avveiinger innen ventetid kontra ytelse. Utviklere kan enkelt angi resonneringsinnsats med én setning i systemmeldingen.

Vi evaluerte gpt-oss-120b og gpt-oss-20b på tvers av standard akademiske referansemålinger for å måle evnene innen koding, konkurransematematikk, helse og agentbasert verktøybruk sammenlignet med andre OpenAI-resonnementmodeller inkludert o3, o3‑mini og o4-mini.

gpt-oss-120b overgår OpenAI o3‑mini og matcher eller overgår OpenAI o4-mini i konkurransekoding (Codeforces), generell problemløsning (MMLU og HLE) og verktøykall (TauBench). Den gjør det dessuten enda bedre enn o4-mini på helserelaterte forespørsler (HealthBench⁠) og konkurransematematikk (AIME 2024 og 2025). gpt-oss-20b matcher eller overgår OpenAI o3‑mini på de samme evalueringene, til tross for sin lille størrelse, og overgår den til og med på konkurransematematikk og helse.

Nylig forskning⁠ har vist at overvåking av tankerekken til en resonnementmodell kan være nyttig for å registrere dårlig adferd så lenge modellen ikke ble opplært med direkte tilsyn for innretting av tankerekken. Dette perspektivet deles⁠(åpnes i et nytt vindu) også av andre i bransjen. I tråd med prinsippene våre siden lanseringen av OpenAI o1‑preview⁠, satte vi ikke noe direkte tilsyn på tankerekken for noen av gpt-oss-modellene. Vi mener det er kritisk å overvåke modellfeil, svindel og misbruk. Vi håper at å utgi en open model med en tankerekke uten tilsyn gir utviklere og forskere muligheten til å forske og implementere sine egne tilsynssystemer for tankerekker.

Utviklere bør ikke vise tankerekker direkte til brukere i bruksområdene deres. De kan inneholde hallusinert eller skadelig innhold, inkludert språk som ikke gjenspeiler OpenAIs standard retningslinjer for sikkerhet, og kan inkludere informasjon som modellen uttrykkelig bes om å ekskludere i de endelige utdataene.

gpt-oss-modellene benytter de toppmoderne tilnærmelsene våre for sikkerhetsopplæring. Under forhåndsopplæring filtrerte vi bort visse skadelige data knyttet til kjemiske, biologiske, radiologiske og nukleære (CBRN) data. Under etteropplæring brukte vi bevisst tilpasning⁠ og instruksjonshierarkiet⁠(åpnes i et nytt vindu) for å lære modellen å nekte usikre meldinger og forsvare seg mot innsetting av meldinger.

Når en modell med åpen vekting lanseres, kan ondsinnede brukere muligens finjustere modellen for skadelige formål. Vi vurderte disse risikoene ved å finjustere modellen med data om spesialisert biologi og cybersikkerhet, og skapte en domenespesifikk ikke-avvisende versjon for hvert domene på samme måte som en angriper kunne gjort. Denne testingen indikerte at selv med ekstremt omfattende finjustering som benyttet OpenAIs bransjeledende opplæringsstruktur, kunne ikke de finjusterte modellene med skadelig formål nå høye funksjonalitetsnivå i henhold til Beredskapsrammeverket⁠ vårt. Denne metodikken for skadelig finjustering ble gjennomgått av tre uavhengige ekspertgrupper som ga anbefalinger for å forbedre opplæringsprosessen og evalueringer, og mange av disse ble tatt i bruk. Vi utdyper disse anbefalingene på modellkortet. Disse prosessene markerer et betydelig sikkerhetsfremskritt for open model-er. Disse funnene bekreftet avgjørelsen vår om å utgi gpt-oss-modellene. Vi håper at disse modellene kommer til å bidra til akselerering av sikkerhetsopplæring og innrettingsforskning for hele bransjen.

For å bidra til et tryggere økosystem for åpen kildekode er vi vert for en red team-utfordring⁠(åpnes i et nytt vindu) for å oppmuntre forskere, utviklere og entusiaster fra hele verden til å bidra til å identifisere nye sikkerhetsproblemer. Utfordringen har en premiepott på 500 000 USD, som blir tildelt basert på gjennomgang fra et panel med ekspertdommere fra OpenAI og andre ledende laboratorier. Ved slutten av utfordringen publiserer vi en rapport og gir ut et datasett med evaluering basert på bekreftete funn som åpen kildekode, slik at det bredere fellesskapet kan dra nytte av det umiddelbart. Finn ut mer og delta her⁠(åpnes i et nytt vindu).

Vektingene for både gpt-oss-120b og gpt-oss-20b er fritt tilgjengelige for nedlasting på Hugging Face og kommer naturlig kvantifisert i MXFP4. Dette gjør at gpt-oss-120b-modellen kan kjøres innenfor 80 GB minne, mens gpt-oss-20b bare krever 16 GB.

Modellene er blitt etteropplært på harmony-meldingsformatet⁠(åpnes i et nytt vindu) vårt, og vi gir ut en harmony-gjengiver⁠(åpnes i et nytt vindu) som åpen kildekode i både Python og Rust for å gjøre adopsjon enklere. Vi lanserer også referanseimplementeringer for å kjøre inferens med PyTorch og på Apples Metal-plattform, sammen med en samling eksempelverktøy for modellen.

Vi har designet disse modellene til å være fleksible og enkle å kjøre hvor som helst – lokalt, på enheter eller via tredjepartsleverandører av inferens. For å støtte dette samarbeidet vi med ledende distribusjonsplattformer før lanseringen, som Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare og OpenRouter, for å gjøre modellene bredt tilgjengelige for utviklere. På maskinvaresiden jobbet vi med bransjeledere inkludert NVIDIA, AMD, Cerebras og Groq for å sikre optimalisert ytelse over et stort spekter av systemer.

Som en del av dagens utgivelse, introduserer Microsoft også GPU-optimaliserte versjoner av gpt-oss-20b-modellen til Windows-enheter. Disse modellene er drevet av ONNX Runtime og støtter lokal inferens, og er tilgjengelige gjennom Foundry Local og AI Toolkit for VS Code, noe som gjør det enklere for Windows-utviklere å bygge med open model-er.

For utviklere som vil ha fullstendig tilpassbare modeller de kan finjustere og rulle ut i sine egne miljøer, er gpt-oss er utmerket valg. For de som vil ha multimodal støtte, innebygde verktøy og sømløs integrering med plattformen vår, er modeller tilgjengelige via API-plattformen vår fremdeles det beste alternativet. Vi lytter kontinuerlig til tilbakemeldinger fra utviklere og kan vurdere API-støtte for gpt-oss i fremtiden.

Hvis du vil prøve modellene, kan du gå til open model playground⁠(åpnes i et nytt vindu). For å finne ut mer om hvordan du bruker modellene med forskjellige leverandører av økosystem eller finjusterer modellene, kan du sjekke ut veiledningene våre⁠(åpnes i et nytt vindu).

Lansering av gpt-oss-120b og gpt-oss-20b er en betydelig fremgang for modeller med åpen vekting. I forhold til størrelsen leverer disse modellene viktige fremskritt innen både resonnementfunksjonalitet og sikkerhet. Ved å legge disse open model-ene til det eksisterende API-tilbudet vårt, har vi som mål å akselerere det ypperste innen forskning, fostre innovasjon og muliggjøre sikrere, mer åpen AI-utvikling over et bredt spekter av bruksområder.

Disse open model-ene senker også barrierer for fremvoksende markeder, sektorer med begrensede ressurser og mindre organisasjoner som muligens mangler budsjettet eller fleksibiliteten til å ta i bruk proprietære modeller. Med kraftige, tilgjengelige verktøy i hånden kan folk over hele verden bygge, innovere og skape nye muligheter for seg selv og andre. Bred tilgang til disse kapable modellene med åpen vekting som er utviklet i USA, bidrar til å utvide demokratiske AI-rammer.

Et sunt økosystem for open model-er er én av dimensjonene som bidrar til å gjøre AI bredt tilgjengelig og nyttig for alle. Vi lanserer våre egne open model-er for å utforske hvordan vi bidrar til dette økosystemet og hvorvidt styrkene og fordelene til disse modellene berettiger OpenAIs investering i open model-er i fremtiden. Hvis du bygger med open model-ene våre, kommer tilbakemeldingen din om modellens styrker og bruksområder i den virkelige verdenen til å ha en viktig rolle for veiledning av avgjørelsen vår.

Vi ber utviklere og forskere om å bruke disse modellene til å eksperimentere, samarbeide og skyve grensene for det som er mulig. Vi ser fram til å se hva du bygger.