Představujeme gpt-oss

Uvádíme gpt-oss-120b a gpt-oss-20b – dva nejmodernější jazykové modely s otevřeným přístupem, které v reálném světě poskytují silný výkon za nízké náklady. Modely dostupné pod flexibilní licencí Apache 2.0 překonávají open modely podobné velikosti v úlohách odůvodňování, vykazují silné schopnosti používání nástrojů a jsou optimalizovány na efektivní využívání na spotřebitelském hardwaru. Byly vyškoleny za využití kombinace posilovací výuky a technik inspirovaných nejpokročilejšími interními modely OpenAI, včetně o3 a dalších průkopnických systémů.

Model gpt-oss-120b dosahuje v základních testech logického zdůvodňování téměř stejné úrovně jako OpenAI o4-mini, přičemž efektivně běží na jediné jednotce 80 GB GPU. Model GPT‑oss‑20b poskytuje v běžných srovnávacích testech podobné výsledky jako OpenAI o3‑mini a může běžet v hraničních zařízeních s pouhými 16 GB paměti, což je ideální při použití přímo v zařízení, při lokální inferenci nebo rychlé iteraci bez nákladné infrastruktury. Oba modely také dosahují vynikajících výsledků při používání nástrojů, volání funkcí few-shot, odůvodnění CoT (jak je vidět na výsledcích v agentní hodnotící sadě Tau-Bench) a HealthBench (dokonce překonávají proprietární modely jako OpenAI o1 a GPT‑4o).

Tyto modely jsou kompatibilní s naším Responses API⁠(otevře se v novém okně) a jsou určeny k použití v agentních pracovních postupech s výjimečným sledováním instrukcí, s využitím nástrojů, jako je vyhledávání na webu nebo spouštění kódu v jazyce Python, a s možnostmi odůvodňování – včetně možnosti přizpůsobit úsilí o uvažování úkolům, které nevyžadují složité odůvodňování a/nebo cílí na velmi nízkou latenci konečných výstupů. Jsou zcela přizpůsobitelné, poskytují úplný řetězec úvah (CoT) a plně podporují strukturované výstupy⁠(otevře se v novém okně).

Základem našeho přístupu k uveřejnění všech našich modelů je bezpečnost a ta je zvláště důležitá pro otevřené modely. Kromě toho, že jsme modely podrobili komplexnímu bezpečnostnímu školení a vyhodnocování, zavedli jsme v rámci našeho Preparedness Framework⁠(otevře se v novém okně) také další vrstvu vyhodnocování testováním nepříznivě vyladěné verze gpt-oss-120b. Modely gpt-oss dosahují srovnatelných výsledků s našimi modely rozhraní Frontier v interních bezpečnostních testech a nabízejí vývojářům stejné bezpečnostní standardy jako naše nedávné proprietární modely. Výsledky této práce a další podrobnosti sdílíme ve výzkumné práci⁠(otevře se v novém okně) a v modelové kartě⁠(otevře se v novém okně). Naše metodika byla přezkoumána externími odborníky a představuje krok vpřed při stanovování nových bezpečnostních standardů pro modely s otevřeným přístupem.

Abychom se dozvěděli o reálných aplikacích našich open modelů, od jejich hostování na místě kvůli zabezpečení dat až po jejich doladění na specializovaných datových sadách, jsme také v rané fázi spolupracovali s partnery, jako jsou AI Sweden⁠(otevře se v novém okně), Orange⁠(otevře se v novém okně) a Snowflake⁠(otevře se v novém okně), . Těší nás, že můžeme poskytnout tyto špičkové otevřené modely, které umožní všem – od jednotlivých vývojářů přes velké podniky až po vlády – provozovat a přizpůsobovat AI své vlastní infrastruktuře. Ve spojení s modely dostupnými v našem API si vývojáři mohou zvolit výkon, náklady a latenci, jaké potřebují na podporu AI pracovních postupů.

Modely gpt-oss byly školeny našimi nejpokročilejšími technikami přípravy školení a následných školení, se zvláštním zaměřením na logické odůvodňování, efektivitu a použitelnost v reálném světě v široké škále prostředí využití. I když jsme jiné modely (včetně Whisper⁠ a CLIP⁠) otevřeně zpřístupnili, modely gpt-oss jsou od dob GPT‑2^[1] našimi prvními jazykovými modely s otevřeným přístupem.

Každý model je transformátor, který využívá směs expertů (MoE^[2]) ke snížení počtu aktivních parametrů potřebných ke zpracování vstupu. gpt-oss-120b aktivuje 5,1 miliardy parametrů na token, zatímco gpt-oss-20b aktivuje 3,6 miliardy. Modely mají celkem 117 miliard a 21 miliard parametrů. Modely používají podobně jako GPT‑3^[3] střídavě husté a lokálně pásmové rozptýlené vzory pozornosti. Pro inferenci a efektivitu paměti používají modely také seskupenou pozornost na více dotazů s velikostí skupiny 8. Při pozičním kódování používáme Rotary Positional Embedding (RoPE^[4]) a nativně máme podporu kontextových délek až do 128k.

Modely jsme školili na převážně anglickém, výhradně textovém datovém souboru se zaměřením na STEM, programování a všeobecné znalosti. Data jsme tokenizovali za použití nadmnožiny našeho tokenizátoru používaného pro OpenAI o4-mini a GPT‑4o: o200k_harmony, který dnes také zveřejňujeme jako open-source.

Více informací o architektuře a školení našich modelů je uvedeno na modelové kartě⁠(otevře se v novém okně).

Modely byly následně školeny podobným procesem jako u o4-mini včetně fáze vylaďování s dohledem a fáze RL s vysokým výpočetním výkonem. Naším cílem bylo sladit modely se OpenAI Model Spec⁠(otevře se v novém okně) a naučit je aplikovat odůvodnění CoT⁠ a používat nástroje před vytvořením odpovědi. Použitím stejných technik jako naše proprietární modely odůvodňování SoTA vykazují modely po následném školení výjimečné schopnosti.

Podobně jako modely odůvodňování OpenAI řady o v API, dva modely s otevřenými váhami poskytují podporu třem úrovním odůvodňování – nízké, střední a vysoké – které vyvažují latenci a výkon. Vývojáři mohou snadno nastavit úroveň úsilí vynaložené na odůvodnění jednou větou v systémové zprávě.

Vyhodnotili jsme gpt-oss-120b a gpt-oss-20b napříč standardními akademickými srovnávacími testy, abychom změřili jejich schopnosti v oblasti kódování, soutěžní matematice, zdraví a používání agentních nástrojů ve srovnání s jinými modely odůvodňování OpenAI včetně o3, o3‑mini a o4-mini.

gpt-oss-120b překonává OpenAI o3‑mini a vyrovnává se nebo překonává OpenAI o4-mini v soutěžním programování (Codeforces), obecném řešení problémů (MMLU a HLE) a volání nástrojů (TauBench). Navíc si vede ještě lépe než o4-mini v dotazech týkajících se zdraví (HealthBench⁠) a soutěžní matematiky (AIME 2024 & 2025). gpt-oss-20b odpovídá nebo překonává OpenAI o3‑mini ve stejných hodnoceních, navzdory své malé velikosti, dokonce jej překonává v soutěžní matematice a zdraví.

Náš nedávný výzkum⁠ ukázal, že pokud model nebyl školen s přímým dohledem pro sladění CoT, může být sledování CoT modelu uvažování užitečné při odhalování chybného chování. Tento názor sdílejí⁠(otevře se v novém okně) i další lidé v oboru. V souladu s našimi zásadami jsme od spuštění OpenAI o1‑preview⁠ nezavedli na CoT žádný přímý dohled pro žádný z modelů GPT. Věříme, že je to klíčové ke sledování nesprávného chování, klamání a zneužívání modelů. Doufáme, že vydání open modelu s nehlídaným řetězcem úvah dává vývojářům a výzkumníkům příležitost zkoumat a implementovat jejich vlastní monitorovací systémy CoT.

Vývojáři by ve svých aplikacích neměli uživatelům přímo zobrazovat CoT. Mohou obsahovat halucinovaný nebo škodlivý obsah včetně jazyka, který neodráží standardní bezpečnostní zásady OpenAI, a mohou zahrnovat informace, u kterých bylo modelu výslovně řečeno, aby je nezahrnoval do konečného výstupu.

Modely gpt-oss využívají naše špičkové přístupy k bezpečnostnímu školení. Během předběžného školení jsme odfiltrovali určité škodlivé údaje týkající se chemických, biologických, radiologických a jaderných (CBRN) témat. Během následného školení jsme použili deliberativní sladění⁠ a hierarchii instrukcí⁠(otevře se v novém okně), abychom naučili model odmítat nebezpečné prompty a bránit se proti injekcím promptů.

Jakmile je model s otevřeným přístupem zveřejněn, mohou být protivníci schopni ho vyladit ke škodlivým účelům. Tato rizika jsme přímo posoudili jemným vyladěním modelu na specializovaných datech z biologie a kybernetické bezpečnosti, čímž jsme vytvořili pro každou doménu specifickou, neodmítající verzi, podobně jako by to mohl udělat útočník. Poté jsme posoudili úroveň schopností těchto modelů prostřednictvím interního a externího testování. Jak je podrobně popsáno v našem doprovodném bezpečnostním dokumentu, ukázalo toto testování, že i při robustním jemném vyladění, které využilo špičkové školení stack OpenAI, nebyly tyto záludně vyladěné modely schopny dosáhnout vysokých úrovní schopností podle našeho Rámce připravenosti⁠. Uvedená škodlivá metodika jemného vyladění byla přezkoumána třemi nezávislými odbornými skupinami, které poskytly doporučení ke zlepšení procesu školení a hodnocení, z nichž mnohé jsme přijali. Tato doporučení podrobně uvádíme v modelové kartě. Zmíněné procesy znamenají smysluplný pokrok ve zlepšování bezpečnosti open modelů. Uvedená zjištění nás vedla k rozhodnutí zveřejnit modely gpt-oss. Doufáme, že tyto modely pomohou urychlit školení v oblasti bezpečnosti a výzkum slaďování v celém odvětví.

S cílem přispět k bezpečnějšímu ekosystému open source, pořádáme Red Teaming Challenge⁠(otevře se v novém okně), abychom povzbudili výzkumníky, vývojáře a nadšence z celého světa k identifikaci nových bezpečnostních problémů. Výzva má cenový fond 500 000 dolarů, který bude udělen na základě hodnocení odborné poroty z OpenAI a dalších předních laboratoří. Na konci výzvy zveřejníme zprávu a otevřeme soubor hodnotících dat založený na ověřených zjištěních, aby z něj mohla okamžitě těžit širší komunita. Zjistěte více a zúčastněte se zde⁠(otevře se v novém okně).

Váhy pro gpt-oss-120b a gpt-oss-20b jsou volně dostupné ke stažení na Hugging Face a jsou nativně kvantovány v MXFP4. To umožňuje, aby model gpt-oss-120B běžel s 80 GB paměti, zatímco gpt-oss-20B vyžaduje pouze 16 GB.

Modely byly následně školeny v našem formátu promptu Harmony⁠(otevře se v novém okně) a pro snazší přijetí nabízíme open-source renderer Harmony⁠(otevře se v novém okně) v jazycích Python a Rust. Také vydáváme referenční implementace ke zpracování inference pomocí PyTorch a na platformě Apple Metal spolu se sbírkou příkladů nástrojů pro model.

Tyto modely jsme navrhli tak, aby byly flexibilní a snadno spustitelné kdekoli – lokálně, v zařízení nebo prostřednictvím poskytovatelů inferencí třetích stran. Abychom tuto podporu zajistili, spojili jsme se před spuštěním s předními rozvojovými platformami, jako jsou Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare a OpenRouter, aby byly modely široce přístupné vývojářům. Abychom zajistili optimalizovaný výkon napříč různými systémy, spolupracovali jsme na straně hardwaru s předními firmami v oboru, jako jsou NVIDIA, AMD, Cerebras a Groq.

V rámci současného zveřejnění přináší Microsoft na zařízení se systémem Windows také verze modelu gpt-oss-20b optimalizované pro GPU. Tyto modely využívající ONNX Runtime podporují lokální inferenci a jsou dostupné prostřednictvím Foundry Local a AI Toolkit pro VS Code, což usnadňuje vývojářům v systému Windows vytváření s open modely.

Pro vývojáře, kteří chtějí plně přizpůsobitelné modely, jež mohou doladit a využívat ve svých vlastních prostředích, je gpt-oss skvělou volbou. Pro ty, kdo hledají multimodální podporu, vestavěné nástroje a bezproblémovou integraci s naší platformou, zůstávají tou nejlepší volbou modely dostupné prostřednictvím naší API platformy. Nadále pozorně nasloucháme zpětné vazbě od vývojářů a v budoucnu možná zvážíme podporu API pro gpt-oss.

Pokud si chceš modely vyzkoušet, zamiř na naše open model playground⁠(otevře se v novém okně). Pokud se chceš dozvědět více o tom, jak používat modely s různými poskytovateli ekosystémů nebo jak modely jemně vyladit, podívej se na naše průvodce⁠(otevře se v novém okně).

Zveřejnění modelů gpt-oss-120b a gpt-oss-20b představuje pro modely s otevřeným přístupem významný krok vpřed. Tyto modely při své velikosti přinášejí významný pokrok jak v oblasti odůvodňovacích schopností, tak i bezpečnosti. Open modely doplňují naše hostované modely, poskytují vývojářům širší škálu nástrojů pro urychlení špičkového výzkumu, podporu inovací a povolit bezpečnější a transparentnější vývoj AI v široké škále případů použití.

Tyto open modely také snižují překážky pro rozvíjející se trhy, sektory s omezenými zdroji a menší organizace, které mohou postrádat rozpočet nebo flexibilitu k přijetí proprietárních modelů. S výkonnými a dostupnými nástroji v rukou mohou lidé po celém světě budovat, inovovat a vytvářet nové příležitosti pro sebe i ostatní. Široký přístup k těmto schopným modelům s otevřeným přístupem vytvořeným v USA pomáhá rozšiřovat demokratické koleje AI.

Zdravý ekosystém open modelů je jedním z aspektů, který pomáhá učinit umělou inteligenci široce dostupnou a přínosnou pro každého. Zveme vývojáře a výzkumníky, aby tyto modely používali k experimentování, spolupráci a posouvání hranic toho, co je možné. Těšíme se na to, co postavíš.