Представљамо gpt-oss

Објављујемо gpt-oss-120b и gpt-oss-20b — два врхунска језичка модела са отвореним тежинама који пружају снажне перформансе у стварном свету по ниској цени. Доступни под флексибилном лиценцом Apache 2.0, ови модели надмашују отворене моделе сличне величине на задацима резоновања, показују снажне способности коришћења алата и оптимизовани су за ефикасно распоређивање на потрошачком хардверу. Обучавани су коришћењем комбинације подстицајног учења и техника заснованих на најнапреднијим OpenAI интерним моделима, укључујући o3 и друге граничне системе.

Модел gpt-oss-120b постиже готово паритет са OpenAI o4-mini на основним мерилима резоновања, уз ефикасан рад на једном GPU-у од 80 GB. Модел gpt-oss-20b пружа сличне резултате као OpenAI o3‑mini на уобичајеним мерилима и може да ради на edge уређајима са само 16 GB меморије, што га чини идеалним за случајеве употребе на самом уређају, локалну инференцију или брзу итерацију без скупе инфраструктуре. Оба модела такође постижу снажне резултате у коришћењу алата, позивању функције са малим бројем уноса, CoT резоновању (као што се види у резултатима на Tau-Bench пакету за агентске евалуације) и на HealthBench-у (чак надмашујући власничке моделе као што су OpenAI o1 и GPT‑4o).

Ови модели су компатибилни са нашим Responses API-јем⁠(отвара се у новом прозору) и дизајнирани су за употребу у оквиру агентских токова рада уз изузетно добро праћење инструкција, коришћење алата као што су веб претрага или извршавање Python кода и способности резоновања — укључујући могућност прилагођавања нивоа напора резоновања за задатке који не захтевају сложено резоновање и/или циљају веома ниску латенцију коначног излаза. У потпуности су прилагодљиви, обезбеђују цео chain-of-thought (CoT) и подржавају структуриране излазе⁠(отвара се у новом прозору).

Безбедност је темељ нашег приступа објављивању свих наших модела и посебно је важна за отворене моделе. Поред тога што смо моделе подвргли свеобухватној безбедносној обуци и евалуацијама, увели смо и додатни слој евалуације тестирањем адверзаријално фино подешене верзије gpt-oss-120b у оквиру нашег Оквира спремности⁠(отвара се у новом прозору). gpt-oss модели постижу упоредиве резултате са нашим граничним моделима на интерним безбедносним мерилима, нудећи програмерима исте безбедносне стандарде као наши недавни власнички модели. Резултате тог рада и више детаља делимо у истраживачком раду⁠(отвара се у новом прозору) и у картици модела⁠(отвара се у новом прозору). Нашу методологију су прегледали спољни стручњаци и она представља корак напред у постављању нових безбедносних стандарда за моделе са отвореним тежинама.

Такође смо сарађивали са раним партнерима као што су AI Sweden⁠(отвара се у новом прозору), Orange⁠(отвара се у новом прозору) и Snowflake⁠(отвара се у новом прозору) како бисмо сазнали више о применама наших отворених модела у стварном свету, од хостовања ових модела локално ради безбедности података до њиховог финог подешавања на специјализованим скуповима података. Узбуђени смо што можемо да понудимо ове најбоље отворене моделе у класи како бисмо оснажили све — од појединачних програмера преко великих предузећа до влада — да покрећу и прилагођавају AI на сопственој инфраструктури. Заједно са моделима доступним у нашем API-ју, програмери могу да изаберу перформансе, цену и латенцију које су им потребне за покретање AI токова рада.

gpt-oss модели су обучавани коришћењем наших најнапреднијих техника предобуке и накнадне обуке, са посебним фокусом на резоновање, ефикасност и употребљивост у стварном свету у широком спектру окружења за распоређивање. Иако смо и друге моделе, укључујући Whisper⁠ и CLIP⁠, учинили јавно доступним, gpt-oss модели су наши први језички модели са отвореним тежинама још од GPT‑2^[1].

Сваки модел је трансформатор који користи mixture-of-experts (MoE^[2]) да смањи број активних параметара потребних за обраду улаза. gpt-oss-120b активира 5.1B параметара по токену, док gpt-oss-20b активира 3.6B. Модели имају 117b, односно 21b укупних параметара. Модели користе наизменичне густе и локално тракасте обрасце ретке пажње, слично GPT‑3^[3]. Ради ефикасности инференције и меморије, модели такође користе груписану multi-query пажњу, са величином групе 8. За позиционо кодирање користимо Rotary Positional Embedding (RoPE^[4]) и изворно подржавамо дужину контекста до 128k.

Моделе смо обучавали на углавном енглеском скупу података који садржи само текст, са фокусом на STEM, кодирање и опште знање. Податке смо токенизовали користећи надскуп нашег токенизатора који се користи за OpenAI o4-mini и GPT‑4o: o200k_harmony, који такође данас објављујемо као отворени код.

За више информација о архитектури и обуци наших модела, прочитајте картицу модела⁠(отвара се у новом прозору).

Модели су накнадно обучени коришћењем процеса сличног оном који се користи за o4-mini, укључујући фазу финог подешавања под надзором и RL фазу са високим рачунарским ресурсима. Наш циљ је био да моделе ускладимо са OpenAI Model Spec-ом⁠(отвара се у новом прозору) и научимо их да примењују CoT резоновање⁠ и коришћење алата пре него што произведу свој одговор. Коришћењем истих техника као код наших SoTA власничких модела резоновања, модели после накнадне обуке показују изузетне способности.

Слично моделима резоновања OpenAI o-series у API-ју, два модела са отвореним тежинама подржавају три нивоа напора резоновања — low, medium и high — који праве компромис између латенције и перформанси. Програмери могу лако да подесе ниво напора резоновања једном реченицом у системској поруци.

Евалуирали смо gpt-oss-120b и gpt-oss-20b на стандардним академским мерилима како бисмо измерили њихове способности у кодирању, такмичарској математици, здравству и агентском коришћењу алата у поређењу са другим OpenAI моделима резоновања, укључујући o3, o3‑mini и o4-mini.

gpt-oss-120b надмашује OpenAI o3‑mini и парира OpenAI o4-mini или га премашује у такмичарском програмирању (Codeforces), општем решавању проблема (MMLU и HLE) и позивању алата (TauBench). Поред тога, постиже још боље резултате од o4-mini на здравственим упитима (HealthBench⁠) и такмичарској математици (AIME 2024 и 2025). gpt-oss-20b парира OpenAI o3‑mini или га надмашује на истим овим евалуацијама, упркос својој малој величини, чак га надмашујући у такмичарској математици и здравству.

Наше недавно истраживање⁠ показало је да праћење CoT-а модела резоновања може бити корисно за откривање непримереног понашања све док модел није обучаван уз директан надзор ради поравнавања CoT-а. Ово гледиште деле и други⁠(отвара се у новом прозору) у индустрији. У складу са нашим принципима још од покретања OpenAI o1‑preview⁠, нисмо ставили никакав директан надзор на CoT ни за један gpt-oss модел. Верујемо да је ово кључно за праћење непримереног понашања модела, обмане и злоупотребе. Надамо се да објављивање отвореног модела са ненадгледаним chain-of-thought-ом даје програмерима и истраживачима прилику да истражују и имплементирају сопствене системе за праћење CoT-а.

Програмери не би требало директно да приказују CoT-ове корисницима у својим апликацијама. Они могу садржати халуциниран или штетан садржај, укључујући језик који не одражава стандардне OpenAI безбедносне политике, и могу укључивати информације за које се од модела изричито тражи да их не укључи у коначни излаз.

gpt-oss модели користе наше најсавременије приступе за безбедносну обуку. Током предобуке, филтрирали смо одређене штетне податке повезане са хемијским, биолошким, радиолошким и нуклеарним (CBRN) темама. Током накнадне обуке користили смо пажљиво поравнање⁠ и хијерархију инструкција⁠(отвара се у новом прозору) да научимо модел да одбија небезбедне инструкције и да се брани од уметања инструкције.

Када се модел са отвореним тежинама објави, противници могу бити у могућности да га фино подесе за злонамерне сврхе. Те ризике смо директно проценили тако што смо модел фино подесили на специјализованим подацима из биологије и сајбер-безбедности, стварајући за сваки домен доменски специфичну верзију која не одбија захтеве, онако како би то нападач могао да уради. Затим смо ниво способности ових модела проценили кроз интерно и екстерно тестирање. Ово тестирање, како је детаљно описано у нашем пратећем раду о безбедности, показало је да чак ни уз робусно фино подешавање које је користило OpenAI-јев водећи стек за обуку, ови злонамерно фино подешени модели нису могли да достигну висок ниво способности према нашем Оквиру спремности⁠. Ову методологију злонамерног финог подешавања прегледале су три независне групе стручњака, које су дале препоруке за унапређење процеса обуке и евалуација, од којих смо многе усвојили. Те препоруке детаљно описујемо у картици модела. Ови процеси представљају значајан напредак за безбедност отворених модела. Ови налази утицали су на нашу одлуку да објавимо gpt-oss моделе. Надамо се да ће ови модели помоћи да се убрзају истраживања безбедносне обуке и поравнања у целој индустрији.

Да бисмо допринели безбеднијем екосистему отвореног кода, организујемо изазов црвене команде⁠(отвара се у новом прозору) како бисмо подстакли истраживаче, програмере и ентузијасте из целог света да помогну у идентификовању нових безбедносних проблема. Изазов има наградни фонд од 500.000 $ који ће бити додељен на основу прегледа панела стручних судија из OpenAI-а и других водећих лабораторија. На крају изазова објавићемо извештај и као отворени код објавити скуп података за евалуацију заснован на потврђеним налазима, тако да шира заједница може одмах имати користи. Сазнајте више и учествујте овде⁠(отвара се у новом прозору).

Тежине за gpt-oss-120b и gpt-oss-20b доступне су бесплатно за преузимање на Hugging Face-у и изворно долазе квантизоване у MXFP4. То омогућава да модел gpt-oss-120B ради у оквиру 80GB меморије, док gpt-oss-20b захтева само 16GB.

Модели су накнадно обучени на нашем harmony формату инструкција⁠(отвара се у новом прозору), а ми као отворени код објављујемо и harmony renderer⁠(отвара се у новом прозору) у Python-у и Rust-у како бисмо олакшали усвајање. Такође објављујемо референтне имплементације за покретање инференције са PyTorch-ом и на Apple Metal платформи, заједно са колекцијом примерних алата за модел.

Ове моделе смо дизајнирали тако да буду флексибилни и лаки за покретање било где — локално, на уређају или преко независних пружалаца инференције. Да бисмо то подржали, пре лансирања смо сарађивали са водећим платформама за распоређивање као што су Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare и OpenRouter како бисмо моделе учинили широко доступним програмерима. На страни хардвера, радили смо са индустријским лидерима, укључујући NVIDIA, AMD, Cerebras и Groq, како бисмо обезбедили оптимизоване перформансе на различитим системима.

Као део данашњег објављивања, Microsoft такође доноси верзије модела gpt-oss-20b оптимизоване за GPU на Windows уређаје. Покретани ONNX Runtime-ом, ови модели подржавају локалну инференцију и доступни су кроз Foundry Local и AI Toolkit за VS Code, што Windows програмерима олакшава рад са отвореним моделима.

За програмере који желе потпуно прилагодљиве моделе које могу фино подешавати и распоређивати у сопственим окружењима, gpt-oss је одличан избор. За оне који траже мултимодалну подршку, уграђене алате и беспрекорну интеграцију са нашом платформом, модели доступни преко наше API платформе остају најбоља опција. Настављамо пажљиво да слушамо повратне информације програмера и можда ћемо у будућности размотрити API подршку за gpt-oss.

Ако желите да испробате моделе, посетите наш playground за отворене моделе⁠(отвара се у новом прозору). Да бисте сазнали више о томе како да користите моделе преко различитих пружалаца у екосистему или како да фино подешавате моделе, погледајте наше водиче⁠(отвара се у новом прозору).

Објављивање gpt-oss-120b и gpt-oss-20b представља значајан корак напред за моделе са отвореним тежинама. За своју величину, ови модели доносе значајан напредак и у способностима резоновања и у безбедности. Отворени модели допуњују наше хостоване моделе, дајући програмерима шири избор алата за убрзавање истраживања на самом технолошком врху, подстицање иновација и омогућавање безбеднијег, транспарентнијег развоја AI-а у широком спектру случајева употребе.

Ови отворени модели такође снижавају баријере за тржишта у развоју, секторе са ограниченим ресурсима и мање организације које можда немају буџет или флексибилност да усвоје власничке моделе. Са моћним и доступним алатима у рукама, људи широм света могу да граде, иновирају и стварају нове прилике за себе и друге. Широк приступ овим способним моделима са отвореним тежинама створеним у САД помаже ширењу демократских AI основа.

Здрав екосистем отворених модела једна је од димензија које помажу да AI буде широко доступан и користан за све. Позивамо програмере и истраживаче да користе ове моделе за експериментисање, сарадњу и померање граница могућег. Радујемо се да видимо шта ћете изградити.