Tunawaletea gpt-oss

Tunatoa gpt-oss-120b na gpt-oss-20b—miundo miwili ya kisasa ya lugha yenye uzito wazi inayotoa utendaji bora katika hali halisi kwa gharama nafuu. Inapatikana chini ya leseni rahisi ya Apache 2.0, miundo hii inazidi open model za ukubwa sawa katika shughuli za uwazaji, inaonyesha uwezo mkubwa wa matumizi ya zana na imeboreshwa kwa utumiaji mzuri kwenye vifaa vya watumiaji. Ilifundishwa kwa kutumia mchanganyiko wa mafunzo ya uimarishaji na mbinu zilizoarifiwa na miundo ya hali ya juu zaidi ya ndani ya OpenAI, ikijumuisha o3 na mifumo mingine ya kisasa.

Muundo wa gpt-oss-120b unafikia usawa wa karibu na OpenAI o4-mini kwenye viwango vya msingi vya uwazaji, huku ukiendesha kwa ufanisi kwenye GPU moja ya GB 80. Muundo wa gpt-oss-20b unatoa matokeo yanayofanana na OpenAI o3‑mini kwenye kiwango cha kawaida na unaweza kuendeshwa kwenye vifaa vya kisasa ukiwa na kumbukumbu ya GB 16 pekee na kuufanya uwe bora kwa matumizi ya kifaa, uamuzi wa ndani, au urudiaji wa haraka bila miundombinu ya gharama kubwa. Miundo yote miwili pia hufanya vizuri katika matumizi ya zana, kupiga simu za kazi chache, uwazaji wa CoT (kama inavyoonekana katika matokeo kwenye seti ya tathmini ya ajenti ya Tau-Bench) na HealthBench (hata kuzidi miundo mingine kama OpenAI o1 na GPT‑4o).

Miundo hii inaendana na API yetu ya Majibu⁠(fungua katika dirisha jipya) na imeundwa kutumika ndani ya mtiririko wa kazi wa wakala na ufuatiliaji wa maagizo wa kipekee, matumizi ya zana kama utafutaji wa wavuti au utekelezaji wa msimbo wa Python, na uwezo wa uwazaji—pamoja na uwezo wa kurekebisha jitihada za uwazaji kwa shughuli ambazo hazihitaji uwazaji wa kina na/au kulenga utoaji wa mwisho wenye ufichwaji mdogo sana. Zinaweza kuwekewa mapendeleo, hutoa mlolongo kamili wa mawazo (CoT) na usaidizi Utoaji uliopangwa⁠(fungua katika dirisha jipya).

Usalama ni msingi wa mbinu yetu ya kutoa miundo yetu yote na ni muhimu sana kwa open models. Pamoja na kuendesha miundo kupitia mafunzo na tathmini za kina za usalama, pia tulianzisha safu ya ziada ya tathmini kwa kujaribu toleo lililosawazishwa la gpt-oss-120b chini ya Mfumo wetu wa Maandalizi⁠(fungua katika dirisha jipya). Miundo ya gpt-oss hufanya kazi kwa kulinganishwa na miundo yetu ya kisasa kwenye viwango vya usalama vya ndani, ikiwapa msanidi programu viwango sawa vya usalama kama miundo yetu ya hivi karibuni. Tunashiriki matokeo ya kazi hiyo na maelezo zaidi katika karatasi ya utafiti⁠(fungua katika dirisha jipya) na katika kadi ya muundo⁠(fungua katika dirisha jipya). Mbinu yetu ilikaguliwa na wataalamu wa nje na inaashiria hatua mbele katika kuweka viwango vipya vya usalama kwa miundo ambao vigezo vyake vinaweza kufikiwa.

Pia tumekuwa tukifanya kazi na washirika wa awali kama AI Sweden⁠(fungua katika dirisha jipya), Orange⁠(fungua katika dirisha jipya) na Snowflake⁠(fungua katika dirisha jipya) ili kujifunza kuhusu programu halisi za open models zetu, kutoka kwa kuhifadhi miundo hii kwenye eneo la ndani kwa usalama wa data hadi kuyarekebisha kwa usahihi kwenye seti maalum za data. Tunafurahi kutoa miundo bora ya open model ili kumwezesha kila mtu—kutoka kwa wasanidi programu binafsi hadi makampuni makubwa hadi serikali—kuendesha na kubadilisha AI kwenye miundombinu yao wenyewe. Pamoja na miundo inayopatikana katika API yetu, wasanidi programu wanaweza kuchagua utendaji, gharama, na ufichwaji wanaohitaji kuwezesha mtiririko wa kazi za AI.

Miundo ya gpt-oss ilifundishwa kwa kutumia mbinu zetu za hali ya juu zaidi za mafunzo ya awali na ya baadaye, kwa kuzingatia hasa uwazaji, ufanisi, na utumiaji wa ulimwengu halisi katika mazingira mbalimbali ya utekelezaji. Ingawa tumefanya miundo mingine ikiwa ni pamoja na Whisper⁠ na CLIP⁠ kupatikana wazi, miundo ya GPT‑oss ni miundo yetu ya kwanza ya lugha yenye vigezo vinavyoweza kufikiwa tangu GPT‑2^[1].

Kila muundo ni Transfoma ambayo hutumia mchanganyiko wa wataalamu (MoE^[2]) ili kupunguza idadi ya vigezo amilifu vinavyohitajika kuchakata ingizo. gpt-oss-120b huamilisha vigezo bilioni 5.1 kwa kila tokeni, ilhali GPT‑oss‑20b huamilisha bilioni 3.6. Miundo ina jumla ya vigezo 117b na 21b mtawalia. ^{Miundo hiyo hutumia mifumo ya uangalifu yenye msongamano na yenye upungufu wa ndani kwa ndani, sawa na GPT‑3[3].} Kwa ufanisi wa utambuzi na ufanisi wa kumbukumbu, miundo pia hutumia umakini wa maswali mengi ya kikundi na ukubwa wa kikundi wa 8. Tunatumia Rotary Positional Embedding (RoPE^[4]) kwa usimbaji wa nafasi na kwa asili tunatoa usaidizi wa urefu wa muktadha wa hadi 128k.

Tulifunza miundo kwenye seti ya data iliyo katika Kiingereza kwa kiasi kikubwa, ya maandishi pekee, kwa kuzingatia STEM, usimbaji na maarifa ya jumla. Tuliorodhesha data kwa kutumia seti yetu kuu ya uorodheshaji inayotumika kwa OpenAI o4-mini na GPT‑4o: o200k_harmony, ambayo pia tunafungua chanzo chake leo.

Kwa maelezo zaidi kuhusu usanifu na mafunzo ya miundo yetu, soma kadi ya muundo⁠(fungua katika dirisha jipya).

Miundo hiyo ilifunzwa baada ya mafunzo kwa kutumia mchakato sawa na uliotumika kwa o4-mini, ikijumuisha hatua ya urekebishaji mzuri inayosimamiwa na hatua ya RL ya kompyuta ya juu. Lengo letu lilikuwa kulinganisha miundo na OpenAI Model Spec⁠(fungua katika dirisha jipya) na kuifundisha kutumia ufahamu wa CoT⁠ na matumizi ya zana kabla ya kutoa jibu lake. Kwa kutumia mbinu sawa na miundo yetu ya SoTA ya ufunzaji, miundo huonyesha uwezo wa kipekee baada ya mafunzo ya baadaye.

Sawa na mifano ya uwazaji ya mfululizo wa OpenAI katika API, miundo miwili yenye vigezo vyake vinaweza kufikiwa hutoa usaidizi kwa juhudi tatu za uwazaji—za chini, za kati na za juu—ambazo hubadilishana kati ya ufichwaji na utendaji. Wasanidi programu wanaweza kwa urahisi kuweka juhudi za uwazaji kwa sentensi moja katika ujumbe wa mfumo.

Tulipima gpt-oss-120b na gpt-oss-20b katika viwango vya kawaida vya kitaaluma ili kupima uwezo wao katika usimbaji, hesabu ya ushindani, afya, na matumizi ya zana za kiwakala ikilinganishwa na miundo mingine ya OpenAI ikiwa ni pamoja na o3, o3‑mini na o4-mini.

gpt-oss-120b inazidi OpenAI o3‑mini na inalingana au inazidi OpenAI o4-mini katika usimbaji wa mashindano (Codeforces), utatuzi wa matatizo ya jumla (MMLU na HLE) na kupiga simu za zana (TauBench). Zaidi ya hayo, inafanya vizuri zaidi kuliko o4-mini katika maswali yanayohusiana na afya (HealthBench⁠) na hisabati ya mashindano (AIME 2024 & 2025). gpt-oss-20b inalingana au inazidi OpenAI o3‑mini kwenye tathmini hizi sawa, licha ya ukubwa wake mdogo, hata inaizidi katika hisabati ya mashindano na afya.

Utafiti wetu wa hivi karibuni⁠ umeonyesha kuwa ufuatiliaji wa CoT ya muundo wa uwazaji unaweza kusaidia kugundua tabia mbaya bora tu muundo haukufundishwa kwa usimamizi wa moja kwa moja ili kulinganisha CoT. Mtazamo huu unashirikiwa⁠(fungua katika dirisha jipya) na wengine katika sekta pia. Kulingana na kanuni zetu tangu kuzinduliwa kwa uonyesha awali wa OpenAI⁠, hatukuweka usimamizi wowote wa moja kwa moja kwenye CoT kwa muundo wowote wa GPT. Tunaamini hili ni muhimu kufuatilia tabia mbaya ya muundo, udanganyifu na matumizi mabaya. Matumaini yetu ni kwamba kutolewa kwa open model na mnyororo wa mawazo usiosimamiwa huwapa wasanidi programu na watafiti fursa ya kutafiti na kutekeleza mifumo yao ya ufuatiliaji wa CoT.

Wasanidi programu hawapaswi kuonyesha moja kwa moja CoTs kwa watumiaji katika programu zao. Inaweza kuwa na maudhui ya kubuniwa au hatari, ikiwa ni pamoja na lugha ambayo haionyeshi sera za kawaida za usalama za OpenAI na inaweza kujumuisha habari ambazo muundo unaombwa wazi usijumuishe katika utoaji wa mwisho.

Miundo ya GPT‑oss hutumia mbinu zetu za kisasa kwa mafunzo ya usalama. Wakati wa mafunzo ya awali, tulichuja data fulani hatari zinazohusiana na Kemikali, Biolojia, Radiolojia na Nyuklia (CBRN). Wakati wa baada ya mafunzo, tulitumia upatanishi wa kimakusudi⁠ na viwango vya maagizo⁠(fungua katika dirisha jipya) kufunza muundo kukataa vidokezo visivyo salama na kujilinda dhidi ya ujumuishaji wa vidokezo hatarishi.

Mara tu muundo ambao vigezo vyake vinaweza kufikiwa utakapokuwa umetolewa, wapinzani wanaweza kuwa na uwezo wa kuufanyia marekebisho muundo huo kwa madhumuni mabaya. Tulithathmini moja kwa moja hatari hizi kwa kuboresha muundo kwa kutumia data maalum ya biolojia na usalama wa mtandao, na kuunda toleo maalum la kikoa lisilokataa kwa kila kikoa jinsi mshambuliaji anavyoweza kufanya. Kisha tuliathmini kiwango cha uwezo wa miundo hii kupitia majaribio ya ndani na nje. Tathmini hii, kama ilivyoelezwa katika karatasi yetu ya usalama, ilionyesha kuwa, hata kwa uboreshaji thabiti ambao ulitumia safu ya mafunzo inayoongoza ya OpenAI, miundo hii iliyoboreshwa kwa nia mbaya haikuweza kufikia viwango vya juu vya uwezo kulingana na Mfumo wetu wa Utayari⁠. Mbinu hii ya kuboresha kwa nia mbaya ilikaguliwa na vikundi vitatu vya wataalamu huru ambao walitoa mapendekezo ya kuboresha mchakato wa mafunzo na tathmini, mengi ambayo tulikubali. Tunafafanua mapendekezo haya katika kadi ya muundo. Michakato hii inaashiria maendeleo muhimu kwa usalama wa open model. Matokeo haya yaliarifu uamuzi wetu wa kutoa miundo ya GPT‑oss. Tunatumai kwamba miundo hii itasaidia kuharakisha mafunzo ya usalama na utafiti wa ulinganifu katika tasnia nzima.

Ili kuchangia katika mfumo salama wa chanzo wazi, tunaandaa Shindano la Kutambua Hitilafu⁠(fungua katika dirisha jipya) ili kuhamasisha watafiti, wasanidi programu na wapenda teknolojia kutoka kote ulimwenguni kusaidia kutambua masuala mapya ya usalama. Shindano hilo tuzo la $500,000 ambalo litatolewa kulingana na ukaguzi kutoka kwa jopo la majaji wataalamu kutoka OpenAI na maabara mengine yanayoongoza. Mwishoni mwa shindano, tutachapisha ripoti na kufungua chanzo cha seti ya data ya tathmini kulingana na matokeo yaliyothibitishwa, ili jamii pana iweze kufaidika mara moja. Pata maelezo zaidi na ushiriki hapa⁠(fungua katika dirisha jipya).

GPT‑oss‑120b na GPT‑oss‑20b zinapatikana bila malipo kwa kupakuliwa kwenye Hugging Face na huja kukadiriwa katika MXFP4. Hii inaruhusu muundo wa gpt-oss-120B kuendeshwa ndani ya GB 80 ya kumbukumbu, wakati gpt-oss-20B inahitaji tu GB 16.

Miundo hiyo imefunzwa baada ya umbizo letu la maelewano⁠(fungua katika dirisha jipya), na tunatoa chanzo huria cha kionyeshi cha maelewano⁠(fungua katika dirisha jipya) katika Python na Rust ili kurahisisha kupitishwa. Pia tunatoa utekelezaji wa marejeleo kwa kuendesha uhitimishaji na PyTorch na kwenye jukwaa la Metal la Apple, pamoja na mkusanyiko wa zana za mfano kwa ajili ya muundo.

Tumebuni miundo hii kuwa rahisi kubadilika na rahisi kuendesha mahali popote—kieneo, kwenye kifaa, au kupitia wahusika wengine wa utambuzi. Kwa usaidizi huu, tulishirikiana kabla ya uzinduzi na majukwaa yanayoongoza ya utekelezaji kama vile Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare na OpenRouter ili kufanya miundo ipatikane kwa upana kwa wasanidi programu. Kwa upande wa vifaa, tulifanya kazi na viongozi wa tasnia ikiwa ni pamoja na NVIDIA, AMD, Cerebras na Groq ili kuhakikisha utendaji ulioboreshwa katika mifumo mbalimbali.

Kama sehemu ya toleo la leo, Microsoft pia inaleta matoleo yaliyoboreshwa na GPU ya muundo wa gpt-oss-20b kwenye vifaa vya Windows. Ikiendeshwa na ONNX Runtime, miundo hii ina usaidizi wa ubashiri wa ndani na zinapatikana kupitia Foundry Local na AI Toolkit ya VS Code na kuwarahisishia wasanidi programu wa Windows kujenga kwa kutumia miundo wazi.

Kwa wasanidi programu wanaotaka miundo inayoweza kubadilishwa kikamilifu ambayo wanaweza kurekebisha na kutumia katika mazingira yao wenyewe, gpt-oss inafaa sana. Kwa wale wanaotafuta usaidizi wa aina nyingi, zana zilizojengwa ndani na ujumuishaji usio na hitilafu na jukwaa letu, miundo inayopatikana kupitia jukwaa letu la API bado ni chaguo bora zaidi. Tunaendelea kusikiliza kwa makini majibu ya wasanidi programu na huenda tukazingatia usaidizi wa API kwa gpt-oss katika siku zijazo.

Ikiwa unataka kujaribu miundo, nenda kwenye open model Playground⁠(fungua katika dirisha jipya). Ili kupata maelezo zaidi kuhusu jinsi ya kutumia miundo kwa kutumia watoa huduma tofauti wa mazingira au jinsi ya kurekebisha miundo, tazama miongozo yetu⁠(fungua katika dirisha jipya).

Kutolewa kwa GPT‑oss‑120b na GPT‑oss‑20b kunaashiria hatua kubwa mbele kwa miundo ambayo vigezo vyake vinaweza kufikiwa. Kwa ukubwa wao, miundo hii inatoa maendeleo muhimu katika uwezo wa kuhoji na usalama. Open model inakamilisha miundo yetu iliyohifadhiwa, ikiwapa wasanidi programu zana mbalimbali za kuharakisha utafiti wa kisasa, kukuza uvumbuzi na kuwasha maendeleo salama na ya uwazi zaidi ya AI katika matumizi mbalimbali.

Open model hizi pia zinapunguza vizuizi kwa masoko yanayoibuka, sekta zenye rasilimali chache, na mashirika madogo ambayo yanaweza kukosa bajeti au kubadilika kuchukua miundo ya umiliki. Kwa zana zenye nguvu na wanazoweza kufikia mwao, watu ulimwenguni kote wanaweza kujenga, kubuni na kuunda fursa mpya kwa ajili yao wenyewe na wengine. Ufikiaji mpana wa miundo hii yenye uwezo wa uzito wazi iliyoundwa nchini Marekani husaidia kupanua reli za kidemokrasia za AI.

Mazingira yenye afya ya open model ni kipengele kimoja cha kusaidia kufanya AI ipatikane kwa urahisi na iwe na manufaa kwa kila mtu. Tunawaalika wasanidi programu na watafiti kutumia miundo hii kufanya majaribio, kushirikiana na kuvuka mipaka ya kile kinachowezekana. Tunatazamia kuona kile unachojenga.