Pristatome „gpt-oss“

Išleidžiame „gpt-oss-120b“ ir „gpt-oss-20b“ – du moderniausius atvirojo svorio kalbos modelius, kurie užtikrina puikų veikimą realiomis sąlygomis ir nedidelius kaštus. Pagal lanksčią „Apache 2.0“ licenciją prieinami modeliai atliekant samprotavimo užduotis lenkia panašaus dydžio atvirus modelius, demonstruoja puikius įrankių naudojimo gebėjimus ir yra optimizuoti efektyviai veikti vartotojams skirtoje techninėje įrangoje. Jie buvo mokomi naudojant pastiprinimo mokymosi ir metodų, pagrįstų pažangiausiais „OpenAI“ vidau modeliais, įskaitant „o3“ ir kitas pažangiausias sistemas, derinį.

„gpt-oss-120b“ modelis pagrindiniuose samprotavimo testuose beveik prilygsta „OpenAI o4-mini“, tačiau efektyviai veikia su vienu 80 GB grafikos procesoriumi. „gpt-oss-20b“ modelis įprastuose testuose rodo panašius rezultatus kaip „OpenAI o3‑mini“ ir gali veikti periferiniuose įrenginiuose, turinčiuose vos 16 GB atminties, todėl idealiai tinka naudoti įrenginiuose, vietiniam modelių vykdymui arba greitai iteracijai be brangios infrastruktūros. Abu modeliai taip pat labai gerai dirba su įrankiais, iškviečia funkcijas po kelių pavyzdžių (few-shot), atlieka CoT samprotavimą (kaip matyti iš „Tau-Bench“ agentinio vertinimo rinkinio rezultatų) ir „HealthBench“ (šioje srityje lenkia net patentuotus modelius, tokius kaip „OpenAI o1“ ir „GPT‑4o“).

Šie modeliai suderinami su mūsų Responses API⁠(atsidaro naujame lange) ir sukurti naudoti agentinėse darbo eigose, pasižyminčiose išskirtiniu instrukcijų vykdymu, įrankių, pavyzdžiui, interneto paieškos ar „Python“ kodo vykdymo, naudojimu ir samprotavimo gebėjimais – įskaitant galimybę koreguoti samprotavimo pastangas užduotims, kurioms nereikia sudėtingo samprotavimo ir (arba) kurioms reikalinga labai maža galutinių išvesčių delsa. Jie yra visiškai pritaikomi, pateikia visą minčių eigą (angl. chain-of-thought, CoT) ir palaiko susistemintas išvestis⁠(atsidaro naujame lange).

Saugumas yra mūsų požiūrio į visų modelių išleidimą pagrindas ir ypač svarbus atviriems modeliams. Mes ne tik taikėme modeliams išsamų saugos mokymą ir vertinimus, bet ir įdiegėme papildomą vertinimo lygmenį – išbandėme tyčia klaidnančiai pakoreguotą „gpt-oss-120b“ versiją pagal mūsų Pasirengimo sistemą⁠(atsidaro naujame lange). „gpt-oss“ modeliai vidausaugos testuose veikia panašiai kaip mūsų pažangiausios sistemos, todėl kūrėjams siūlomi tokie patys saugos standartai kaip ir mūsų naujausiuose patentuotuose modeliuose. Mes dalijamės šio darbo rezultatais ir išsamesne informacija moksliniame straipsnyje⁠(atsidaro naujame lange) ir modelio kortelėje⁠(atsidaro naujame lange). Mūsų metodiką peržiūrėjo išorės ekspertai; tai žingsnis pirmyn nustatant naujus atvirojo svorio modelių saugos standartus.

Taip pat bendradarbiavome su ankstyvaisiais partneriais, tokiais kaip AI Sweden⁠(atsidaro naujame lange), Orange⁠(atsidaro naujame lange) ir Snowflake⁠(atsidaro naujame lange), siekdami sužinoti apie realias mūsų atvirų modelių pritaikymo galimybes – nuo šių modelių talpinimo vietos sistemose dėl duomenų saugumo iki jų koregavimo specializuotais duomenų rinkiniais. Džiaugiamės galėdami pristatyti šiuos geriausius savo klasėje atvirus modelius ir suteikti galimybę visiems – nuo pavienių programuotojų iki didelių įmonių bei vyriausybių – naudoti ir pritaikyti DI savo infrastruktūroje. Derindami juos su mūsų API prieinamais modeliais, programuotojai gali pasirinkti našumą, kainą ir delsą, reikalingą jų DI darbo eigoms palaikyti.

„gpt-oss“ modeliai buvo mokomi naudojant pažangiausius parengiamojo mokymo ir papildomo derinimo metodus, ypatingą dėmesį skiriant samprotavimui, efektyvumui ir realiam pritaikomumui įvairiose diegimo aplinkose. Nors esame atvėrę kitus modelius, įskaitant Whisper⁠ ir CLIP⁠, „gpt-oss“ modeliai yra mūsų pirmieji atvirojo svorio kalbos modeliai nuo GPT‑2^[1] laikų.

Kiekvienas modelis yra „Transformer“, naudojantis ekspertų mišinį (MoE^[2]), kad sumažintų aktyvių parametrų, reikalingų įvesčiai apdoroti, skaičių. „gpt-oss-120b“ aktyvina 5,1 mlrd. parametrų vienam prieigos raktui, o „gpt-oss-20b“ – 3,6 mlrd. Modeliai atitinkamai turi 117 mlrd. ir 21 mlrd. bendrų parametrų. Modeliuose naudojami kintantys tankieji ir lokaliai juostiniai retieji dėmesio modeliai, panašiai kaip GPT‑3^[3]. Siekiant modelių vykdymo ir atminties efektyvumo, modeliuose taip pat naudojamas grupuotas daugybinės užklausos dėmesys, kai grupės dydis yra 8. Poziciniam kodavimui naudojame sukamąjį pozicinį įterpimą (angl. Rotary Positional Embedding, RoPE^[4]) ir natūraliai palaikome iki 128 tūkst. siekiančius konteksto ilgius.

Mokėme modelius naudodami daugiausia anglišką, tik tekstinį duomenų rinkinį, daugiausia dėmesio skirdami STEM, programavimui ir bendrosioms žinioms. Duomenis tokenizavome naudodami mūsų „OpenAI o4-mini“ ir „GPT‑4o“ naudojamos tokenizavimo priemonės poaibį „o200k_harmony“, kurį šiandien taip pat atveriame.

Daugiau apie mūsų modelių architektūrą ir mokymą skaitykite modelio kortelėje⁠(atsidaro naujame lange).

Modelių papildomas derinimas buvo atliekamas panašiu procesu, koks buvo naudojamas „o4-mini“, įskaitant prižiūrimo koregavimo etapą ir didelės skaičiavimo galios reikalaujantį pastiprinimo mokymosi etapą. Mūsų tikslas buvo suderinti modelius su „OpenAI“ modelių specifikacija⁠(atsidaro naujame lange) ir išmokyti juos prieš pateikiant atsakymą taikyti CoT samprotavimą⁠ bei naudoti įrankius. Naudojant tuos pačius metodus kaip ir mūsų pažangiausiuose (SoTA) patentuotuose samprotavimo modeliuose, po papildomo derinimo modeliai demonstruoja išskirtinius gebėjimus.

Kaip ir API esantys „OpenAI“ „o“ serijos samprotavimo modeliai, du atvirojo svorio modeliai palaiko tris samprotavimo pastangų lygius – mažą, vidutinį ir didelį, kurie subalansuoja delsą ir našumą. Programuotojai gali lengvai nustatyti samprotavimo pastangas vienu sakiniu sistemos pranešime.

Įvertinome „gpt-oss-120b“ ir „gpt-oss-20b“ pagal standartinius akademinius lyginamuosius standartus, siekdami išmatuoti jų gebėjimus programavimo, konkursinės matematikos, sveikatos ir agentinio įrankių naudojimo srityse, palyginti su kitais „OpenAI“ samprotavimo modeliais, įskaitant „o3“, „o3‑mini“ ir „o4-mini“.

„gpt-oss-120b“ lenkia „OpenAI o3‑mini“ ir prilygsta arba lenkia „OpenAI o4-mini“ konkursinio programavimo („Codeforces“), bendrojo problemų sprendimo (MMLU ir HLE) ir įrankių kvietimo („TauBench“) srityse. Be to, jis dar geriau nei „o4-mini“ susidoroja su su sveikata susijusiomis užklausomis (HealthBench⁠) ir konkursine matematika (AIME 2024 ir 2025). „gpt-oss-20b“ tuose pačiuose vertinimuose prilygsta „OpenAI o3‑mini“ arba jį lenkia, nepaisant mažo dydžio; jis lenkia jį net konkursinės matematikos ir sveikatos srityse.

Mūsų naujausi tyrimai⁠ parodė, kad samprotavimo modelio CoT stebėjimas gali padėti aptikti netinkamą veikseną, jei modelis nebuvo mokomas tiesiogiai prižiūrint CoT suderinimą. Šiai nuomonei pritaria⁠(atsidaro naujame lange) ir kiti srities atstovai. Laikydamiesi savo principų nuo pat OpenAI o1‑preview⁠ išleidimo, nė vienam „gpt-oss“ modeliui netaikėme jokios tiesioginės CoT priežiūros. Manome, kad tai labai svarbu norint stebėti netinkamą modelio elgesį, apgaulę ir piktnaudžiavimą. Tikimės, kad atviro modelio su neprižiūrima minčių eiga išleidimas suteiks programuotojams ir tyrėjams galimybę tirti ir diegti savo CoT stebėsenos sistemas.

Programuotojai neturėtų tiesiogiai rodyti CoT naudotojams savo programose. Jose gali būti prasimanyto ar žalingo turinio, įskaitant kalbą, neatitinkančią „OpenAI“ standartinės saugos politikos, taip pat informacijos, kurios modelio aiškiai prašoma neįtraukti į galutinę išvestį.

„gpt-oss“ modeliuose naudojami mūsų pažangiausi saugos mokymo metodai. Per parengiamąjį mokymą išfiltravome tam tikrus žalingus duomenis, susijusius su cheminėmis, biologinėmis, radiologinėmis ir branduolinėmis (ChBRB) grėsmėmis. Per papildomą derinimą pasitelkėme apgalvotą suderinimą⁠ ir instrukcijų hierarchiją⁠(atsidaro naujame lange), kad išmokytume modelį atsisakyti vykdyti nesaugius raginimus ir apsiginti nuo raginimų injekcijų.

Išleidus atvirojo svorio modelį, priešiški veikėjai gali jį pakoreguoti piktavališkais tikslais. Mes tiesiogiai įvertinome šią riziką koreguodami modelį specializuotais biologijos ir kibernetinio saugumo duomenimis bei sukurdami konkrečiai sričiai skirtą neatsisakančią vykdyti užduočių versiją, kaip tai darytų užpuolikas. Tuomet įvertinome šių modelių gebėjimų lygį atlikdami vidaus ir išorės bandymus. Šie bandymai, kaip išsamiai aprašyta pridedamame saugos straipsnyje, parodė, kad net ir atlikus patikimą koregavimą naudojant „OpenAI“ lyderiaujantį mokymo technologijų rinkinį, šie piktavališkai pakoreguoti modeliai negalėjo pasiekti aukšto gebėjimų lygio pagal mūsų Pasirengimo sistemą⁠. Šią piktavališko koregavimo metodiką peržiūrėjo trys nepriklausomos ekspertų grupės, kurios pateikė rekomendacijas, kaip patobulinti mokymo procesą ir vertinimus; daugelį jų pritaikėme. Šias rekomendacijas išsamiai aprašome modelio kortelėje. Šie procesai žymi reikšmingą atvirų modelių saugos pažangą. Šios išvados lėmė mūsų sprendimą išleisti „gpt-oss“ modelius. Tikimės, kad šie modeliai padės paspartinti saugos mokymų ir suderinimo tyrimus visoje industrijoje.

Siekdami prisidėti prie saugesnės atvirojo kodo ekosistemos, rengiame Red Teaming Challenge⁠(atsidaro naujame lange) iššūkį, kad paskatintume tyrėjus, prograuotojus ir entuziastus iš viso pasaulio padėti nustatyti naujas saugos problemas. Iššūkio prizinį fondą sudaro 500 tūkst. JAV dolerių, kurie bus skiriami remiantis „OpenAI“ ir kitų pirmaujančių laboratorijų ekspertų komisijos vertinimu. Iššūkio pabaigoje paskelbsime ataskaitą ir atversime vertinimo duomenų rinkinį, pagrįstą patvirtintomis išvadomis, kad platesnė bendruomenė galėtų iš karto juo pasinaudoti. Sužinokite daugiau ir dalyvaukite čia⁠(atsidaro naujame lange).

Abiejų modelių – „gpt-oss-120b“ ir „gpt-oss-20b“ – svorius galima nemokamai atsisiųsti iš „Hugging Face“; jie yra natūraliai kvantuoti MXFP4 formatu. Tai leidžia „gpt-oss-120B“ modeliui veikti naudojant 80 GB atminties, o „gpt-oss-20b“ užtenka vos 16 GB.

Modelių papildomas derinimas atliktas naudojant mūsų „Harmony“ raginimų formatą⁠(atsidaro naujame lange), taip pat atveriame „Harmony“ atvaizdavimo modulį⁠(atsidaro naujame lange) „Python“ ir „Rust“ kalbomis, kad būtų lengviau pradėti naudotis. Taip pat išleidžiame pavyzdinius diegimus, skirtus modelio vykdymui naudojant „PyTorch“ ir „Apple Metal“ platformą, kartu su pavyzdinių modelio įrankių rinkiniu.

Šiuos modelius sukūrėme taip, kad jie būtų lankstūs ir lengvai valdomi bet kur – vietoje, įrenginyje arba per trečiųjų šalių išvedimo paslaugų teikėjus. Siekdami tai palaikyti, prieš paleidimą bendradarbiavome su pirmaujančiomis diegimo platformomis, tokiomis kaip „Azure“, „Hugging Face“, „vLLM“, „Ollama“, „llama.cpp“, „LM Studio“, AWS, „Fireworks“, „Together AI“, „Baseten“, „Databricks“, „Vercel“, „Cloudflare“ ir „OpenRouter“, kad modeliai būtų plačiai prieinami programuotojams. Techninės įrangos srityje dirbome su pramonės lyderiais, įskaitant NVIDIA, AMD, „Cerebras“ ir „Groq“, kad optimizuotume veikimą įvairiose sistemose.

Šiandieninio išleidimo proga „Microsoft“ taip pat pristato grafikos procesoriui optimizuotas „gpt-oss-20b“ modelio versijas „Windows“ įrenginiams. Šie „ONNX Runtime“ pagrindu veikiantys modeliai palaiko vietos modelio vykdymą ir yra prieinami per „Foundry Local“ bei „AI Toolkit for VS Code“, todėl „Windows“ programuotojams lengviau kurti naudojant atvirus modelius.

Programuotjams, norintiems visiškai pritaikomų modelių, kuriuos jie galėtų koreguoti ir diegti savo aplinkoje, „gpt-oss“ puikiai tinka. Tiems, kurie ieško multimodalinio palaikymo, integruotų įrankių ir sklandžios integracijos su mūsų platforma, per mūsų API platformą prieinami modeliai išlieka geriausiu pasirinkimu. Mes ir toliau atidžiai klausomės programuotojų atsiliepimų ir ateityje galime apsvarstyti „gpt-oss“ API palaikymą.

Jei norite išbandyti modelius, apsilankykite mūsų atvirų modelių „Playground“⁠(atsidaro naujame lange). Norėdami sužinoti daugiau, kaip naudoti modelius pasitelkiant skirtingus ekosistemos teikėjus arba kaip koreguoti modelius, peržiūrėkite mūsų vadovus⁠(atsidaro naujame lange).

„gpt-oss-120b“ ir „gpt-oss-20b“ išleidimas žymi reikšmingą žingsnį į priekį atvirojo svorio modelių srityje. Būdami tokio dydžio, šie modeliai suteikia reikšmingų pasiekimų tiek samprotavimo gebėjimų, tiek saugumo srityse. Atviri modeliai papildo mūsų talpinamus modelius, suteikdami programuotojams platesnį įrankių spektrą, kad būtų galima paspartinti pažangiausius tyrimus, skatinti naujoves ir užtikrinti saugesnį, skaidresnį DI kūrimą įvairiais naudojimo atvejais.

Šie atviri modeliai taip pat sumažina kliūtis besivystančioms rinkoms, ribotų išteklių sektoriams ir mažesnėms organizacijoms, kurioms gali trūkti biudžeto ar lankstumo priimti patentuotus modelius. Turėdami galingus ir prieinamus įrankius savo rankose, žmonės visame pasaulyje gali kurti, diegti naujoves ir atverti naujas galimybes sau bei kitiems. Plati prieiga prie šių pajėgių atvirojo svorio modelių, sukurtų JAV, padeda plėsti demokratines DI gaires.

Tinkamai veikianti atvirų modelių ekosistema yra vienas iš aspektų, padedančių padaryti DI plačiai prieinamą ir naudingą visiems. Kviečiame programuotojus ir tyrėjus naudoti šiuos modelius eksperimentuojant, bendradarbiaujant ir plečiant galimybių ribas. Nekantriai laukiame pamatyti, ką sukursite.