Predstavljamo gpt-oss

Izdajamo gpt-oss-120b in gpt-oss-20b, dva najsodobnejša odprtokodna jezikovna modela, ki zagotavljata močne zmogljivosti v resničnem svetu po nizki ceni. Ti modeli, ki so na voljo pod prilagodljivo licenco Apache 2.0, presegajo open modele podobne velikosti pri nalogah sklepanja, kažejo močne zmogljivosti uporabe orodij in so optimizirani za učinkovito uvajanje na potrošniško strojno opremo. Usposobljeni so bili z uporabo mešanice okrepljenega učenja in tehnik, ki jih obveščajo najnaprednejši notranji modeli OpenAI, vključno z o3 in drugimi naprednimi sistemi.

Model gpt-oss-120b dosega skoraj enakovrednost z OpenAI o4-mini na osnovnih merilih sklepanja, hkrati pa učinkovito deluje na enem samem 80 GB grafičnem procesorju. Model gpt-oss-20b zagotavlja podobne rezultate kot OpenAI o3‑mini na običajnih merilih uspešnosti in lahko deluje na robnih napravah s samo 16 GB pomnilnika, zaradi česar je idealen za uporabo na napravi, lokalno sklepanje ali hitro iteracijo brez drage infrastrukture. Oba modela se odlično izkažeta pri uporabi orodij, klicanju funkcij z nekaj primeri, sklepanju z miselno verigo (kot je razvidno iz rezultatov na zbirki agentskih vrednotenj Tau-Bench) in HealthBench (celo presegata lastniške modele, kot sta OpenAI o1 in GPT‑4o).

Ti modeli so združljivi z našim Responses API⁠(odpre se v novem oknu) in so zasnovani za uporabo v agentskih delovnih potekih z izjemnim sledenjem navodilom, uporabo orodij, kot je spletno iskanje ali izvajanje kode Python, ter sposobnostmi sklepanja, vključno z možnostjo prilagajanja prizadevanj za naloge, ki ne zahtevajo zapletenega sklepanja in/ali ciljajo na končne izhode z zelo nizko zakasnitvijo. So popolnoma prilagodljivi, zagotavljajo popolno miselno verigo (CoT) in podpirajo Strukturirane Izhode⁠(odpre se v novem oknu).

Varnost je temelj našega pristopa k izdaji vseh naših modelov in je še posebej pomembna za open modele. Poleg izvajanja modelov s celovitim varnostnim usposabljanjem in ocenjevanjem smo uvedli tudi dodaten sloj ocenjevanja s testiranjem nasprotno natančno nastavljene različice GPT‑oss‑120b v okviru našega Okvira pripravljenosti⁠(odpre se v novem oknu). Modeli GPT‑oss delujejo primerljivo z našimi naprednimi modeli na notranjih varnostnih merilih, razvijalcem pa ponujajo enake varnostne standarde kot naši nedavni lastniški modeli. Rezultate tega dela in več podrobnosti objavljamo v raziskovalnem članku⁠(odpre se v novem oknu) in v kartici modela⁠(odpre se v novem oknu). Našo metodologijo so pregledali zunanji strokovnjaki in pomeni korak naprej pri določanju novih varnostnih standardov za odprtokodne modele.

Sodelovali smo tudi z zgodnjimi partnerji, kot so AI Sweden⁠(odpre se v novem oknu), Orange⁠(odpre se v novem oknu) in Snowflake⁠(odpre se v novem oknu), da bi spoznali resnične aplikacije naših open modelov, od gostovanja teh modelov na lokaciji zaradi varnosti podatkov do njihovega prilagajanja na specializiranih naborih podatkov. Navdušeni smo, da lahko ponudimo te vrhunske open modele, ki bodo vsem od posameznih razvijalcev do velikih podjetij do vlad omogočili izvajanje in prilagajanje umetne inteligence na lastni infrastrukturi. V povezavi z modeli, ki so na voljo v našem API-ju, lahko razvijalci izberejo zmogljivost, stroške in zakasnitve, ki jih potrebujejo za poganjanje delovnih tokov umetne inteligence.

Modeli GPT‑oss so bili usposobljeni z uporabo naših najnaprednejših tehnik predusposabljanja in pousposabljanja, s posebnim poudarkom na sklepanju, učinkovitosti in uporabnosti v resničnem svetu v številnih okoljih uvajanja. Medtem ko smo druge modele, vključno z Whisper⁠ in CLIP⁠, dali na voljo odprto, so modeli gpt-oss naši prvi jezikovni odprtokodni modeli po GPT‑2^[1].

Vsak model je Transformer, ki uporablja mešanico strokovnjakov (MoE^[2]) za zmanjšanje števila aktivnih parametrov, potrebnih za obdelavo vnosa. GPT‑oss‑120b aktivira 5.1B parametre na token, GPT‑oss‑20b pa 3.6B. Modeli imajo skupaj 117b in 21b parametrov. Modeli uporabljajo izmenično goste in lokalno pasovno razpršene vzorce pozornosti, podobno kot GPT‑3^[3]. Za sklepanje in učinkovitost pomnilnika modeli uporabljajo tudi združeno pozornost z več poizvedbami, pri čemer je velikost skupine 8. Za pozicijsko kodiranje uporabljamo Rotary Positional Embedding (RoPE^[4]) in izvorno podpiramo dolžine sobesedila do 128k.

Modele smo urili na večinoma angleškem, besedilnem naboru podatkov, s poudarkom na STEM, kodiranju in splošnem znanju. Podatke smo tokenizirali z uporabo supernabora našega tokenizatorja, ki se uporablja za OpenAI o4-mini in GPT‑4o: o200k_harmony, ki ga danes tudi odprtokodno objavljamo.

Za več informacij o arhitekturi in usposabljanju naših modelov preberite kartico modela⁠(odpre se v novem oknu).

Modeli so bili naknadno usposobljeni s podobnim postopkom kot za o4-mini, vključno s fazo vodenega natančnega prilagajanja in fazo RL z visoko računsko zahtevnostjo. Naš cilj je bil uskladiti modele s specifikacijo modela OpenAI⁠(odpre se v novem oknu) in jih naučiti uporabljati sklepanje z miselno verigo⁠ in uporabo orodij, preden pripravijo svoj odgovor. Z uporabo enakih tehnik kot naši lastniški modeli sklepanja SoTA, modeli po dodatnem usposabljanju pokažejo izjemne zmogljivosti.

Podobno kot modeli utemeljevanja serije OpenAI o v API, tudi ta dva odprtokodna modela podpirata tri stopnje utemeljevanja, tj. nizko, srednjo in visoko, ki uravnotežijo zakasnitev in zmogljivost. Razvijalci lahko zlahka določijo stopnjo sklepanja z enim stavkom v sistemskem sporočilu.

Ocenili smo gpt-oss-120b in gpt-oss-20b po standardnih akademskih merilih, da bi izmerili njihove zmožnosti pri programiranju, tekmovalni matematiki, zdravju in uporabi agentskih orodij v primerjavi z drugimi modeli sklepanja OpenAI, vključno z o3, o3‑mini in o4-mini.

gpt-oss-120b presega OpenAI o3‑mini in se ujema ali presega OpenAI o4-mini pri tekmovalnem kodiranju (Codeforces), splošnem reševanju problemov (MMLU in HLE) in klicanju orodij (TauBench). Poleg tega deluje celo bolje kot o4-mini pri poizvedbah, povezanih z zdravjem (HealthBench⁠) in tekmovalno matematiko (AIME 2024 & 2025). gpt-oss-20b se ujema ali presega OpenAI o3‑mini na teh istih evalih, kljub svoji majhnosti, celo presega OpenAI o3‑mini na področju tekmovalne matematike in zdravja.

Naše nedavne raziskave⁠ so pokazale, da je spremljanje miselne verige modela sklepanja lahko koristno za odkrivanje slabega vedenja, dokler model ni bil usposobljen z neposrednim nadzorom za uskladitev miselne verige. To perspektivo delijo⁠(odpre se v novem oknu) tudi drugi v industriji. V skladu z našimi načeli od uvedbe OpenAI o1‑predogled⁠ nismo uvedli neposrednega nadzora nad miselno verigo za noben model GPT‑oss. Verjamemo, da je to ključnega pomena za spremljanje napačnega vedenja modela, zavajanja in zlorabe. Naše upanje je, da bo izdaja open modela z nenadzorovano miselno verigo razvijalcem in raziskovalcem omogočila raziskovanje in izvajanje lastnih sistemov za spremljanje miselne verige.

Razvijalci ne smejo neposredno prikazovati miselnih verig uporabnikom v svojih aplikacijah. Lahko vsebujejo halucinirane ali škodljive vsebine, vključno z jezikom, ki ne odraža standardnih varnostnih politik OpenAI-ja, in lahko vključujejo informacije, za katere je model izrecno zaprošen, da jih ne vključi v končni izhod.

Modeli gpt-oss uporabljajo naše najsodobnejše pristope za varnostno usposabljanje. Med usposabljanjem smo filtrirali nekatere škodljive podatke, povezane s kemičnimi, biološkimi, radiološkimi in jedrskimi (CBRN). Med post-usposabljanjem smo uporabili deliberativno usklajevanje⁠ in hierarhijo navodil⁠(odpre se v novem oknu), da smo model naučili zavrniti nevarne pozive in se braniti pred pozivnimi injekcijami.

Ko je lansiran odprtokodni model, ga lahko nepridipravi prilagodijo za zlonamerne namene. Ta tveganja smo neposredno ocenili z natančnim prilagajanjem modela na specializirane podatke iz biologije in kibernetske varnosti ter ustvarili različico, specifično za domeno, ki ne zavrača, za vsako domeno, kot bi to storil napadalec. Nato smo z notranjim in zunanjim testiranjem ocenili raven zmogljivosti teh modelov. To testiranje, kot je podrobno opisano v priloženem varnostnem dokumentu, je pokazalo, da tudi z zanesljivim natančnim uglaševanjem, ki je izkoristilo vodilni niz za usposabljanje OpenAI, ti zlonamerno natančno uglašeni modeli niso mogli doseči visokih ravni zmogljivosti v skladu z našim Okvirom pripravljenosti⁠. To zlonamerno metodologijo natančnega prilagajanja so pregledale tri neodvisne skupine strokovnjakov, ki so podale priporočila za izboljšanje postopka usposabljanja in ocenjevanja, od katerih smo jih veliko sprejeli. Ta priporočila podrobno opisujemo v kartici modela. Ti postopki pomenijo pomemben napredek za varnost open modelov. Te ugotovitve so nas obvestile o naši odločitvi za izdajo modelov GPT‑oss. Upamo, da bodo ti modeli pomagali pospešiti varnostno usposabljanje in raziskave usklajenosti v celotni panogi.

Da bi prispevali k varnejšemu odprtokodnemu ekosistemu, gostimo Red Teaming Challenge⁠(odpre se v novem oknu), da spodbudimo raziskovalce, razvijalce in navdušence z vsega sveta, da pomagajo prepoznati nova varnostna vprašanja. Izziv ima nagradni sklad v višini 500.000 dolarjev, ki bo podeljen na podlagi pregleda strokovne žirije iz OpenAI-ja in drugih vodilnih laboratorijev. Ob koncu izziva bomo objavili poročilo in odprli izvorno kodo zbirke podatkov za ocenjevanje, ki bo temeljila na potrjenih ugotovitvah, tako da bo širša skupnost lahko takoj imela koristi. Več o tem in sodelujte tukaj⁠(odpre se v novem oknu).

Prenosi za GPT‑oss‑120b in GPT‑oss‑20b so brezplačno na voljo na Hugging Face in so nativno kvantizirani v MXFP4. To omogoča, da model gpt-oss-120B deluje znotraj 80 GB pomnilnika, medtem ko gpt-oss-20B zahteva le 16 GB.

Modeli so bili naknadno usposobljeni na našem harmoničnem formatu pozivov⁠(odpre se v novem oknu), in odprtokodno objavljamo harmonični upodabljalnik⁠(odpre se v novem oknu) tako v Pythonu kot v Rustu, da olajšamo sprejetje. Prav tako objavljamo referenčne implementacije za izvajanje inferenc s PyTorchom in na Appleovi platformi Metal, skupaj z zbirko primerov orodij za model.

Te modele smo zasnovali tako, da so prilagodljivi in enostavni za uporabo kjer koli, lokalno, na napravi ali prek ponudnikov sklepanja tretjih oseb. Da bi to podprli, smo pred lansiranjem sodelovali z vodilnimi platformami za uvajanje, kot so Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare in OpenRouter, da bodo modeli razvijalcem široko dostopni. Na področju strojne opreme smo sodelovali z vodilnimi v industriji, vključno z NVIDIA, AMD, Cerebras in Groq, da bi zagotovili optimizirano delovanje v različnih sistemih.

V okviru današnje izdaje Microsoft prinaša tudi različice modela gpt-oss-20b, optimizirane za GPU, na naprave Windows. Ti modeli, ki jih poganja ONNX Runtime, podpirajo lokalno sklepanje in so na voljo prek Foundry Local in AI Toolkit za VS Code, kar razvijalcem sistema Windows olajša gradnjo z open modeli.

Za razvijalce, ki želijo popolnoma prilagodljive modele, ki jih lahko prilagodijo in uporabijo v svojih okoljih, je gpt-oss odlična izbira. Za tiste, ki iščejo multimodalno podporo, vgrajena orodja in brezhibno integracijo z našo platformo, ostajajo modeli, ki so na voljo prek naše API platforme, najboljša možnost. Nadaljujemo pozorno poslušati povratne informacije razvijalcev in lahko v prihodnosti razmislimo o podpirati API za GPT‑oss.

Če želite preizkusiti modele, se odpravite na naš open model Playground⁠(odpre se v novem oknu). Če želite izvedeti več o tem, kako uporabljati modele z različnimi ponudniki ekosistemov ali kako prilagoditi modele, preverite naše vodnike⁠(odpre se v novem oknu).

Izdaja gpt-oss-120b in gpt-oss-20b pomeni pomemben korak naprej za odprtokodne modele. Pri svoji velikosti ti modeli prinašajo pomemben napredek tako na področju sposobnosti sklepanja kot varnosti. Open modeli dopolnjujejo naše gostujoče modele, razvijalcem pa ponujajo širši nabor orodij za pospešitev vrhunskih raziskav, spodbujanje inovacij in omogočanje varnejšega ter preglednejšega razvoja umetne inteligence v številnih primerih uporabe.

Ti open modeli prav tako zmanjšujejo ovire za nastajajoče trge, sektorje z omejenimi viri in manjše organizacije, ki morda nimajo proračuna ali prilagodljivosti za sprejetje lastniških modelov. Z zmogljivimi in dostopnimi orodji v rokah lahko ljudje po vsem svetu gradijo, inovirajo in ustvarjajo nove priložnosti zase in za druge. Širok dostop do teh zmogljivih odprtokodnih modelov, ustvarjenih v ZDA, pomaga razširiti demokratične tirnice umetne inteligence.

Zdrav ekosistem open model je ena od razsežnosti, ki pripomore k temu, da bo umetna inteligenca široko dostopna in koristna za vse. Razvijalce in raziskovalce vabimo, da te modele uporabijo za eksperimentiranje, sodelovanje in premikanje meja mogočega. Veselimo se, da bomo videli, kaj boste ustvarili.