Predstavujeme gpt-oss

Vydávame gpt-oss-120b a gpt-oss-20b—dva špičkové open-weight jazykové modely, ktoré poskytujú silný výkon v reálnom svete za nízke náklady. Dostupné pod flexibilnou licenciou Apache 2.0, tieto modely prekonávajú podobne veľké open modely v úlohách zameraných na uvažovanie, vykazujú silné schopnosti práce s nástrojmi a sú optimalizované na efektívne nasadenie na bežnom spotrebiteľskom hardvéri. Boli trénované kombináciou posilňovacieho učenia a techník vychádzajúcich z najpokročilejších interných modelov OpenAI, vrátane o3 a ďalších špičkových systémov.

Model gpt-oss-120b dosahuje takmer rovnakú úroveň ako OpenAI o4-mini v hlavných benchmarkoch zameraných na uvažovanie, pričom beží efektívne na jednej 80 GB GPU. Model gpt-oss-20b poskytuje podobné výsledky ako OpenAI o3‑mini v bežných benchmarkoch a môže bežať na koncových zariadeniach s pouhými 16 GB pamäte, čo z neho robí ideálnu voľbu pre lokálne použitie, lokálnu inferenciu alebo rýchlu iteráciu bez nákladnej infraštruktúry. Oba modely podávajú silný výkon aj v oblastiach práce s nástrojmi, few-shot vyvolávania funkcií, CoT uvažovania (čo dokazujú výsledky v hodnotiacom balíku Tau-Bench pre agentné modely) a v HealthBench (kde dokonca prekonávajú proprietárne modely ako OpenAI o1 a GPT‑4o).

Tieto modely sú kompatibilné s naším Responses API⁠(otvorí sa v novom okne) a sú navrhnuté na použitie v agentných pracovných postupoch s výnimočným dodržiavaním inštrukcií, prácou s nástrojmi, ako je vyhľadávanie na webe či vykonávanie kódu v Pythone, a s pokročilými schopnosťami uvažovania — vrátane možnosti upraviť úroveň potrebného uvažovania pri úlohách, ktoré nevyžadujú zložitý proces uvažovania a/alebo cieľom je veľmi nízka latencia výsledného výstupu. Sú úplne prispôsobiteľné, poskytujú úplný reťazec uvažovania (CoT) a podporujú Štruktúrované Výstupy⁠(otvorí sa v novom okne).

Bezpečnosť je základom nášho prístupu k vydávaniu všetkých našich modelov a pri otvorených modeloch má obzvlášť veľký význam. Okrem komplexného bezpečnostného tréningu a hodnotení modelov sme zaviedli aj ďalšiu vrstvu hodnotenia tým, že sme otestovali adversariálne vyladenú verziu gpt-oss-120b v rámci nášho Rámca pripravenosti⁠(otvorí sa v novom okne). Modely gpt-oss dosahujú porovnateľné výsledky s našimi najpokročilejšími modelmi v interných bezpečnostných benchmarkoch, čím poskytujú vývojárom rovnaké bezpečnostné štandardy ako naše najnovšie proprietárne modely. Zdieľame výsledky tejto práce a ďalšie podrobnosti vo výskumnom dokumente⁠(otvorí sa v novom okne) a v modelovej karte⁠(otvorí sa v novom okne). Našu metodiku posúdili externí odborníci a predstavuje krok vpred pri stanovovaní nových bezpečnostných štandardov pre open-weight modely.

Taktiež spolupracujeme s prvými partnerskými organizáciami, ako sú AI Sweden⁠(otvorí sa v novom okne), Orange⁠(otvorí sa v novom okne) a Snowflake⁠(otvorí sa v novom okne), aby sme sa dozvedeli viac o reálnych spôsoboch využitia našich otvorených modelov, od ich nasadzovania v lokálnej infraštruktúre kvôli bezpečnosti dát až po ich jemného ladenia na špecializovaných datasetoch. S nadšením poskytujeme tieto špičkové open modely, aby sme umožnili každému — od individuálnych vývojárov cez veľké podniky až po vlády — prevádzkovať a prispôsobovať si umelú inteligenciu vo vlastnej infraštruktúre. V kombinácii s modelmi dostupnými v našom rozhraní API si vývojári môžu vybrať výkon, náklady a latenciu, ktoré potrebujú na pohon pracovných postupov umelej inteligencie.

Modely gpt-oss boli trénované pomocou našich najpokročilejších techník pre-tréningu aj post-tréningu, so zameraním najmä na uvažovanie, efektivitu a praktickú použiteľnosť v širokej škále prostredí. Aj keď sme sprístupnili ďalšie modely vrátane Whisper⁠ a CLIP⁠ otvorene, modely gpt-oss sú našimi prvými jazykovými open-weight modelmi od GPT‑2^[1].

Každý model je typu Transformer a využíva architektúru mixture-of-experts (MoE^[2]), ktorá znižuje počet aktívnych parametrov potrebných na spracovanie vstupu. gpt-oss-120b aktivuje 5,1 miliardy parametrov na token, zatiaľ čo gpt-oss-20b aktivuje 3,6 miliardy. Modely majú celkovo 117b a 21b parametrov. Modely používajú striedajúce sa husté a lokálne pásmové riedke attention patterns, podobne ako GPT‑3^[3]. Pre efektívnu inferenciu a prácu s pamäťou modely tiež využívajú grouped multi-query attention s veľkosťou skupiny 8. Na pozičné kódovanie používame Rotary Positional Embedding (RoPE^[4]) a natívne podporujeme kontextovú dĺžku až do 128k.

Modely sme trénovali na prevažne anglickom, čisto textovom datasete so zameraním na STEM oblasti, programovanie a všeobecné znalosti. Dáta sme tokenizovali pomocou nadmnožiny nášho tokenizéra používaného pri OpenAI o4-mini a GPT‑4o: o200k_harmony, ktorý dnes taktiež sprístupňujeme ako open-source.

Pre viac informácií o architektúre a tréningu našich modelov si prečítajte kartu modelu⁠(otvorí sa v novom okne).

Modely boli post-trénované podobným procesom ako o4-mini, vrátane fázy riadeného doladenia (supervised fine-tuning) a fázy posilňovacieho učenia s vysokou výpočtovou náročnosťou. Naším cieľom bolo zosúladiť modely so špecifikáciou OpenAI Model Spec⁠(otvorí sa v novom okne) a naučiť ich aplikovať CoT uvažovanie⁠ a prácu s nástrojmi ešte pred vytvorením odpovede. Použitím rovnakých techník ako pri našich najlepších proprietárnych modeloch zameraných na uvažovanie modely po post-tréningu vykazujú výnimočné schopnosti.

Podobne ako modely na uvažovanie zo série OpenAI o v API, aj tieto dva open-weight modely podporujú tri úrovne uvažovacieho úsilia — nízku, strednú a vysokú — ktoré predstavujú kompromis medzi latenciou a výkonom. Vývojári môžu jednoducho nastaviť úroveň úsilia na odôvodnenie jednou vetou v systémovej správe.

Modely gpt-oss-120b a gpt-oss-20b sme hodnotili na štandardných akademických benchmarkoch, aby sme zmerali ich schopnosti v oblasti programovania, súťažnej matematiky, zdravotníctva a agentného používania nástrojov, a porovnali ich s ďalšími OpenAI modelmi na uvažovanie, vrátane o3, o3‑mini a o4-mini.

gpt-oss-120b prekonáva OpenAI o3‑mini a zhoduje sa alebo prekonáva OpenAI o4-mini v súťažnom programovaní (Codeforces), všeobecnom riešení problémov (MMLU a HLE) a v používaní nástrojov (TauBench). Navyše, prekonáva o4-mini v otázkach týkajúcich sa zdravia (HealthBench⁠) a súťažnej matematiky (AIME 2024 a 2025). gpt-oss-20b sa vyrovnáva alebo prekonáva OpenAI o3‑mini v tých istých hodnoteniach napriek svojej malej veľkosti, pričom ho dokonca prekonáva v súťažnej matematike a zdravotníckych úlohách.

Náš nedávny výskum⁠ ukázal, že sledovanie reťazca uvažovania (CoT) u modelu zameraného na uvažovanie môže byť užitočné pri odhaľovaní nesprávneho správania, pokiaľ model nebol trénovaný priamym dohľadom na zosúladenie tohto reťazca uvažovania. Tento pohľad zdieľajú⁠(otvorí sa v novom okne) aj iní v tomto odvetví. V súlade s našimi princípmi od spustenia OpenAI o1‑preview⁠ sme ani pri jednom z modelov gpt-oss neaplikovali žiadny priamy dohľad nad reťazcom uvažovania (CoT). Veríme, že je to kľúčové pre sledovanie nesprávneho správania modelu, podvodov a zneužitia. Dúfame, že vydanie open modelu s nerevidovaným reťazcom uvažovania (CoT) dá vývojárom a výskumníkom príležitosť skúmať a implementovať vlastné systémy monitorovania CoT.

Vývojári by nemali vo svojich aplikáciách priamo zobrazovať reťazce uvažovania (CoT) používateľom. Môžu obsahovať halucinovaný alebo škodlivý obsah vrátane jazykových formulácií, ktoré nezodpovedajú štandardným bezpečnostným zásadám OpenAI, a môžu zahŕňať aj informácie, ktoré má model výslovne zakázané uvádzať vo finálnom výstupe.

Modely gpt-oss využívajú naše najmodernejšie prístupy k bezpečnostnému tréningu. Počas pre-tréningu sme odfiltrovali určité škodlivé dáta súvisiace s chemickými, biologickými, radiačnými a jadrovými (CBRN) hrozbami. Počas post-tréningu sme použili deliberatívne zarovnanie⁠ a hierarchiu inštrukcií⁠(otvorí sa v novom okne), aby sme model naučili odmietať nebezpečné podnety a brániť sa proti prompt injekciám.

Po zverejnení open-weight modelu môžu byť protivníci schopní doladiť model na škodlivé účely. Tieto riziká sme priamo posúdili tým, že sme model jemne vyladili na špecializované biologické a kyberbezpečnostné dáta, čím sme pre každý doménový okruh vytvorili špecifickú verziu modelu, ktorá neodmieta odpovede — podobne, ako by to urobil útočník. Následne sme úroveň schopností týchto modelov hodnotili prostredníctvom interného aj externého testovania. Toto testovanie, podrobne opísané v našom sprievodnom bezpečnostnom dokumente, ukázalo, že aj pri robustnom doladení využívajúcom špičkový tréningový stack OpenAI tieto škodlivo doladené modely nedokázali dosiahnuť vysokú úroveň schopností podľa nášho Rámca pripravenosti⁠. Túto metodiku škodlivého doladenia posúdili tri nezávislé expertné skupiny, ktoré poskytli odporúčania na zlepšenie tréningového procesu a hodnotení, mnohé z nich sme zapracovali. Tieto odporúčania podrobne uvádzame v modelovej karte. Tieto procesy predstavujú významný pokrok v oblasti bezpečnosti open modelov. Tieto zistenia ovplyvnili naše rozhodnutie vydať modely gpt-oss. Dúfame, že tieto modely pomôžu urýchliť výskum v oblasti bezpečnostného tréningu a zarovnávania naprieč celým odvetvím.

Aby sme prispeli k bezpečnejšiemu open-source ekosystému, organizujeme Red Teaming Challenge⁠(otvorí sa v novom okne), ktorého cieľom je povzbudiť výskumníkov, vývojárov a nadšencov z celého sveta, aby pomohli identifikovať nové bezpečnostné problémy. Výzva má prize pool vo výške 500 000 amerických dolárov, ktorý bude udelený na základe posúdenia porotou odborníkov z OpenAI a ďalších popredných laboratórií. Na konci výzvy zverejníme správu a sprístupníme ako open-source hodnotiaci dátový súbor založený na overených zisteniach, aby z neho mohla okamžite profitovať širšia komunita. Zistite viac a zapojte sa tu⁠(otvorí sa v novom okne).

Weight pre GPT‑oss‑120b aj GPT‑oss‑20b sú voľne dostupné na stiahnutie na Hugging Face a sú natívne kvantizované v MXFP4. Vďaka tomu môže model gpt-oss-120B bežať v rámci 80 GB pamäte, zatiaľ čo gpt-oss-20b vyžaduje iba 16 GB.

Modely boli post-trénované pomocou nášho harmony prompt formátu⁠(otvorí sa v novom okne) a sprístupňujeme ako open-source aj harmony renderer⁠(otvorí sa v novom okne) v Python aj v Rust, aby sme uľahčili ich používanie. Zároveň uverejňujeme referenčné implementácie na spúšťanie inferencie v PyTorch a na platforme Apple Metal, spolu so súborom ukážkových nástrojov pre tento model.

Tieto modely sme navrhli tak, aby boli flexibilné a jednoducho spustiteľné kdekoľvek — lokálne, priamo na zariadení alebo prostredníctvom poskytovateľov inferencie tretích strán. Aby sme to podporili, ešte pred uvedením sme nadviazali partnerstvá s poprednými platformami na nasadzovanie, ako sú Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare a OpenRouter, aby boli modely široko dostupné pre vývojárov. Na strane hardvéru sme spolupracovali s poprednými spoločnosťami vrátane NVIDIA, AMD, Cerebras a Groq, aby sme zabezpečili optimalizovaný výkon naprieč rôznymi systémami.

Ako súčasť dnešného vydania Microsoft prináša aj GPU-optimalizované verzie modelu gpt-oss-20b na zariadenia so systémom Windows. Tieto modely, využívajúce ONNX Runtime, podporujú lokálnu inferenciu a sú dostupné prostredníctvom Foundry Local a AI Toolkit pre VS Code, čo vývojárom na Windows uľahčuje prácu s open modelmi.

Pre vývojárov, ktorí chcú plne prispôsobiteľné modely, ktoré môžu doladiť a nasadiť vo vlastných prostrediach, je gpt-oss skvelou voľbou. Pre tých, ktorí hľadajú multimodálnu podporu, vstavané nástroje a bezproblémovú integráciu s našou platformou, zostávajú najlepšou voľbou modely dostupné prostredníctvom nášho API. Naďalej pozorne počúvame spätnú väzbu vývojárov a v budúcnosti môžeme zvážiť podporu gpt-oss v API.

Ak si želáte vyskúšať modely, navštívte náš open model playground⁠(otvorí sa v novom okne). Ak sa chcete dozvedieť viac o tom, ako modely používať prostredníctvom rôznych poskytovateľov v ekosystéme alebo ako ich doladiť, pozrite si naše príručky⁠(otvorí sa v novom okne).

Uvedenie gpt-oss-120b a gpt-oss-20b predstavuje významný krok vpred pre open-weight modely. Na svoju veľkosť prinášajú tieto modely významný pokrok v schopnostiach uvažovania aj v oblasti bezpečnosti. Open-modely dopĺňajú naše hostované modely a poskytujú vývojárom širšiu škálu nástrojov na urýchlenie špičkového výskumu, podporu inovácií a umožnenie bezpečnejšieho a transparentnejšieho vývoja umelej inteligencie v rámci širokej škály použití.

Tieto open modely zároveň znižujú bariéry pre rozvíjajúce sa trhy, odvetvia s obmedzenými zdrojmi a menšie organizácie, ktoré nemusia mať rozpočet ani flexibilitu na používanie proprietárnych modelov. S výkonnými a dostupnými nástrojmi v rukách môžu ľudia na celom svete budovať, inovovať a vytvárať nové príležitosti pre seba aj pre ostatných. Široký prístup k týmto výkonným open-weights modelom vytvoreným v USA pomáha rozširovať demokratické základy pre rozvoj umelej inteligencie.

Zdravý ekosystém open modelov je jedným z rozmerov, ktoré pomáhajú sprístupniť umelú inteligenciu širokej verejnosti a zabezpečiť, aby z nej mali úžitok všetci. Pozývame vývojárov a výskumníkov, aby tieto modely využívali na experimentovanie, spoluprácu a posúvanie hraníc toho, čo je možné. Tešíme sa na to, čo vytvoríte.