gpt-oss á chur i láthair
Brúnn gpt-oss-120b agus gpt-oss-20b teorainn na samhlacha réasúnaíochta meáchain oscailte
Táimid ag scaoileadh gpt-oss-120b agus gpt-oss-20b—dhá shamhail teanga meáchain oscailte den scoth a sholáthraíonn feidhmíocht láidir sa saol fíor ar chostas íseal. Ar fáil faoin gceadúnas solúbtha Apache 2.0, sáraíonn na samhlacha seo samhlacha oscailte eile den mhéid céanna ar thascanna réasúnaíochta, léiríonn siad cumais láidre úsáide uirlisí, agus tá siad optamaithe le haghaidh imlonnú éifeachtach ar chrua-earraí tomhaltóra. Cuireadh oiliúint orthu ag úsáid meascán d’fhoghlaim atreisiúcháin agus de theicnící ar a raibh tionchar ag na samhlacha inmheánacha is úire de chuid OpenAI, lena n-áirítear o3 agus córais teorainn eile.
Baineann an tsamhail gpt-oss-120b amach beagnach comhionannas le OpenAI o4-mini ar phríomh-thagarmharcanna réasúnaíochta, agus í ag rith go héifeachtúil ar GPU aonair 80 GB. Soláthraíonn an tsamhail gpt-oss-20b torthaí cosúil le OpenAI o3‑mini ar ghnáth-thagarmharcanna agus is féidir léi rith ar ghléasanna imeallacha nach bhfuil ach 16 GB cuimhne acu, rud a fhágann gur rogha iontach í do chásanna úsáide ar ghléas, d’inmheas áitiúil, nó d’atriall tapa gan bonneagar costasach. Feidhmíonn an dá shamhail go láidir freisin maidir le húsáid uirlisí, glao feidhme beagiarracht, réasúnaíocht CoT (mar a fheictear i dtorthaí ar shraith mheasúnaithe ghníomhaireach Tau-Bench) agus HealthBench (ag sárú fiú samhlacha dílseánaigh ar nós OpenAI o1 agus GPT‑4o).
Tá na samhlacha seo comhoiriúnach lenár Responses API(osclaíonn i bhfuinneog nua) agus tá siad deartha le húsáid laistigh de shreafaí oibre gníomhaireacha le cumas eisceachtúil maidir le treoracha a leanúint, úsáid uirlisí cosúil le cuardach gréasáin nó forghníomhú cód Python, agus cumais réasúnaíochta—lena n-áirítear an cumas an iarracht réasúnaíochta a choigeartú do thascanna nach dteastaíonn réasúnaíocht chasta uathu agus/nó a dhíríonn ar aschuir deiridh le han-mhoill íseal. Tá siad go hiomlán inoiriúnaithe, soláthraíonn siad sraith smaointe (CoT) iomlán, agus tacaíonn siad le Aschur Struchtúrtha(osclaíonn i bhfuinneog nua).
Tá an tsábháilteacht bunúsach dár gcur chuige maidir lenár samhlacha uile a scaoileadh, agus tá tábhacht ar leith léi do shamhlacha oscailte. Chomh maith leis na samhlacha a chur trí oiliúint agus meastóireachtaí cuimsitheacha sábháilteachta, thugamar isteach sraith bhreise meastóireachta freisin trí leagan de gpt-oss-120b a bhí mionchoigeartaithe go hionsaitheach a thástáil faoinár Creata Ullmhachta(osclaíonn i bhfuinneog nua). Feidhmíonn samhlacha gpt-oss ar bhealach inchomparáide lenár samhlacha teorainn ar thagarmharcanna inmheánacha sábháilteachta, ag tairiscint do fhorbróirí na caighdeáin sábháilteachta chéanna lenár samhlacha dílseánaigh is déanaí. Táimid ag comhroinnt torthaí na hoibre sin agus tuilleadh sonraí i bpáipéar taighde(osclaíonn i bhfuinneog nua) agus sa cárta samhail(osclaíonn i bhfuinneog nua). Rinne saineolaithe seachtracha athbhreithniú ar ár modheolaíocht agus is céim chun cinn í maidir le caighdeáin nua sábháilteachta a leagan síos do shamhlacha meáchain oscailte.
Táimid tar éis a bheith ag obair freisin le comhpháirtithe luatha cosúil le AI Sweden(osclaíonn i bhfuinneog nua), Orange(osclaíonn i bhfuinneog nua), agus Snowflake(osclaíonn i bhfuinneog nua) chun foghlaim faoi fheidhmchláir fhíorshaoil dár samhlacha oscailte, ó na samhlacha seo a óstáil ar an láthair ar mhaithe le slándáil sonraí go dtí iad a mhionchoigeartú ar thacair shonraí speisialaithe. Táimid ar bís na samhlacha oscailte den chéad scoth seo a chur ar fáil chun cumhacht a thabhairt do chách—ó fhorbróirí aonair go fiontair mhóra go rialtais—AI a rith agus a shaincheapadh ar a mbonneagar féin. In éineacht leis na samhlacha atá ar fáil inár API, is féidir le forbróirí an fheidhmíocht, an costas agus an mhoill a theastaíonn uathu chun sreafaí oibre AI a chumhachtú a roghnú.
Cuireadh oiliúint ar na samhlacha gpt-oss ag úsáid ár dteicnící réamh-oiliúna agus iar-oilte is úire, le fócas ar leith ar réasúnaíocht, éifeachtúlacht agus inúsáidteacht sa saol fíor ar fud réimse leathan timpeallachtaí imlonnaithe. Cé gur chuireamar samhlacha eile lena n-áirítear Whisper agus CLIP ar fáil go hoscailte, is iad samhlacha gpt-oss ár gcéad samhlacha teanga meáchain oscailte ó GPT‑2[1] i leith.
Is Trasfhoirmitheoir í gach samhail a bhaineann leas as mixture-of-experts (MoE[2]) chun líon na bparaiméadar gníomhach is gá chun ionchur a phróiseáil a laghdú. Gníomhaíonn gpt-oss-120b 5.1B paraiméadar in aghaidh an téacschomhartha, agus gníomhaíonn gpt-oss-20b 3.6B. Tá 117b agus 21b paraiméadar iomlán ag na samhlacha faoi seach. Úsáideann na samhlacha patrúin mhalartacha aird dhlúth agus aird thearc bhanda áitiúil, cosúil le GPT‑3[3]. Ar mhaithe le héifeachtúlacht inmheasa agus cuimhne, úsáideann na samhlacha aird ilcheiste grúpáilte freisin, le méid grúpa de 8. Úsáidimid Rotary Positional Embedding (RoPE[4]) le haghaidh ionchódú suímh, agus tacaímid go dúchasach le faid chomhthéacs suas le 128k.
Samhail | Sraitheanna | Paraiméadair Iomlána | Paraiméadair Ghníomhacha in aghaidh an Téacschomhartha | Saineolaithe Iomlána | Saineolaithe Gníomhacha in aghaidh an Téacschomhartha | Fad an Chomhthéacs |
gpt-oss-120b | 36 | 117B | 5.1B | 128 | 4 | 128k |
gpt-oss-20b | 24 | 21B | 3.6B | 32 | 4 | 128k |
Chuireamar oiliúint ar na samhlacha ar thacar sonraí téacs-amháin, Béarla den chuid is mó, le fócas ar STEM, códú, agus eolas ginearálta. Rinneamar an data a théacschomharthú ag úsáid forshraith dár téacschomharthóir a úsáidtear do OpenAI o4-mini agus GPT‑4o: o200k_harmony, atáimid ag oscailt an fhoinse dó inniu freisin.
Chun tuilleadh a fháil faoi ailtireacht agus oiliúint ár samhlacha, léigh an cárta samhail(osclaíonn i bhfuinneog nua).
Cuireadh iar-oiliúint ar na samhlacha ag úsáid próisis cosúil leis an bpróiseas a úsáideadh le haghaidh o4-mini, lena n-áirítear céim mionchoigeartaithe faoi mhaoirseacht agus céim RL ard-ríomhaireachta. Ba é ár gcuspóir na samhlacha a ailíniú leis an OpenAI Model Spec(osclaíonn i bhfuinneog nua) agus iad a mhúineadh chun réasúnaíocht CoT agus úsáid uirlisí a chur i bhfeidhm sula dtáirgíonn siad a bhfreagra. Trí na teicnící céanna a úsáid lenár samhlacha dílseánaigh réasúnaíochta SoTA, léiríonn na samhlacha cumais eisceachtúla i ndiaidh iar-oiliúna.
Cosúil le samhlacha réasúnaíochta sraith o OpenAI san API, tacaíonn an dá shamhail mheáchain oscailte le trí iarracht réasúnaíochta—íseal, meánach, agus ard—a mhalartaíonn moill i gcoinne feidhmíochta. Is féidir le forbróirí an iarracht réasúnaíochta a shocrú go héasca le habairt amháin sa teachtaireacht chórais.
Rinneamar measúnú ar gpt-oss-120b agus gpt-oss-20b ar fud gnáth-thagarmharcanna acadúla chun a gcumais i gcódú, matamaitic iomaíochta, sláinte, agus úsáid ghníomhaireach uirlisí a thomhas nuair a chuirtear i gcomparáid iad le samhlacha réasúnaíochta eile OpenAI lena n-áirítear o3, o3‑mini agus o4-mini.
Sáraíonn gpt-oss-120b OpenAI o3‑mini agus meaitseálann nó sáraíonn sé OpenAI o4-mini i gcódú iomaíochta (Codeforces), réiteach ginearálta fadhbanna (MMLU agus HLE) agus glao uirlisí (TauBench). Ina theannta sin, éiríonn níos fearr fós leis ná o4-mini ar fhiosruithe a bhaineann le sláinte (HealthBench) agus matamaitic iomaíochta (AIME 2024 & 2025). Meaitseálann nó sáraíonn gpt-oss-20b OpenAI o3‑mini ar na meastóireachtaí céanna seo, in ainneoin a mhéid bhig, agus sáraíonn sé é fiú i matamaitic iomaíochta agus sláinte.
Ní chuirtear samhlacha gpt-oss in ionad gairmí leighis agus níl siad ceaptha chun galar a dhiagnóisiú ná a chóireáil
Samplaí rollaithe amach
Tá gpt-oss-120b in ann faisnéis cothrom le dáta a bhailiú go tapa ag baint úsáide as uirlis bhrabhsála, lena n-áirítear slabhra de dheicheanna glaonna ina dhiaidh sin.
Léirigh ár taighde le déanaí gur féidir monatóireacht ar CoT samhla réasúnaíochta a bheith úsáideach chun mí-iompar a bhrath fad is nár cuireadh oiliúint ar an tsamhail le maoirseacht dhíreach chun an CoT a ailíniú. Tá an dearcadh seo roinnte(osclaíonn i bhfuinneog nua) ag daoine eile sa tionscal freisin. Ag teacht lenár bprionsabail ó seoladh OpenAI o1‑preview, níor chuir muid aon mhaoirseacht dhíreach ar an CoT ar cheachtar samhail gpt-oss. Creidimid go bhfuil sé seo ríthábhachtach chun monatóireacht a dhéanamh ar mhí-iompar samhla, ar mheabhlaireacht agus ar mhí-úsáid. Tá súil againn go dtugann scaoileadh samhla oscailte le sraith smaointe neamh-mhaoirsithe an deis d’fhorbróirí agus do thaighdeoirí a gcórais monatóireachta CoT féin a thaighde agus a chur i bhfeidhm.
Níor chóir d’fhorbróirí CoTs a thaispeáint go díreach d’úsáideoirí ina bhfeidhmchláir. D’fhéadfadh ábhar bréagshamhlaíoch nó díobhálach a bheith iontu, lena n-áirítear teanga nach léiríonn gnáthbheartais sábháilteachta OpenAI, agus d’fhéadfadh faisnéis a bheith san áireamh iontu atá á hiarraidh go sainráite ar an tsamhail gan a áireamh san aschur deiridh.
Leanann gpt-oss-120b treoracha córais go hiontaofa ina aschur, ach is minic a dhéanfaidh sé neamhshuim shoiléir de threoracha ina CoT.
Baineann na samhlacha gpt-oss leas as ár gcur chuige den chéad scoth i leith oiliúna sábháilteachta. Le linn na réamh-oiliúna, rinneamar scagadh amach ar shonraí díobhálacha áirithe a bhain le Ceimiceach, Bitheolaíoch, Raideolaíoch, agus Núicléach (CBRN). Le linn na hiar-oiliúna, d’úsáideamar ailíniú breithniúcháin agus an ordlathas treoracha(osclaíonn i bhfuinneog nua) chun an tsamhail a mhúineadh diúltú do leideanna neamhshábháilte agus cosaint a dhéanamh ar ionsaí treoracha.
Nuair a scaoiltear samhail mheáchain oscailte, d’fhéadfadh lucht naimhde an tsamhail a mhionchoigeartú chun críocha mailíseacha. Rinneamar measúnú díreach ar na rioscaí seo trí mhionchoigeartú a dhéanamh ar an tsamhail ar shonraí speisialaithe bitheolaíochta agus cibearshlándála, agus trí leagan sainfhearainn neamh-dhiúltaithe a chruthú do gach fearann ar an mbealach a d’fhéadfadh ionsaitheoir a dhéanamh. Ansin rinneamar measúnú ar leibhéal cumais na samhlacha seo trí thástáil inmheánach agus sheachtrach. Léirigh an tástáil seo, mar atá mionsonraithe inár bpáipéar sábháilteachta tionlacain, nach raibh na samhlacha seo a bhí mionchoigeartaithe go mailíseach in ann leibhéil arda cumais a bhaint amach de réir ár Creata Ullmhachta, fiú le mionchoigeartú láidir a bhain leas as cruach oiliúna ceannródaíoch OpenAI sa réimse. Rinne trí ghrúpa saineolaithe neamhspleácha athbhreithniú ar an modheolaíocht mionchoigeartaithe mhailísigh seo agus rinne siad moltaí chun an próiseas oiliúna agus na meastóireachtaí a fheabhsú, agus ghlacamar le go leor acu. Mínímid na moltaí seo sa chárta samhail. Léiríonn na próisis seo dul chun cinn suntasach do shábháilteacht samhlacha oscailte. Chuir na torthaí seo lenár gcinneadh na samhlacha gpt-oss a scaoileadh. Tá súil againn go gcuideoidh na samhlacha seo le taighde ar oiliúint sábháilteachta agus ailíniú a luathú ar fud an tionscail.
Chun cur le héiceachóras foinse oscailte níos sábháilte, táimid ag óstáil Dúshlán Modh na Foirne Deirge(osclaíonn i bhfuinneog nua) chun taighdeoirí, forbróirí agus díograiseoirí ó ar fud an domhain a spreagadh chun cabhrú le saincheisteanna nua sábháilteachta a aithint. Tá ciste duaise $500,000 ag an dúshlán a bhronnfar bunaithe ar athbhreithniú ó phainéal moltóirí saineolacha ó OpenAI agus ó shaotharlanna ceannródaíocha eile. Ag deireadh an dúshláin, foilseoimid tuarascáil agus osclóimid an fhoinse do thacar sonraí meastóireachta bunaithe ar thorthaí bailíochtaithe, ionas gur féidir leis an bpobal níos leithne tairbhe a bhaint as láithreach. Foghlaim níos mó agus glac páirt anseo(osclaíonn i bhfuinneog nua).
Tá na meáchain do gpt-oss-120b agus gpt-oss-20b araon ar fáil go saor le híoslódáil ar Hugging Face agus tagann siad cainníochtaithe go dúchasach in MXFP4. Ligeann sé seo don tsamhail gpt-oss-120B rith laistigh de 80GB cuimhne, agus níl de dhíth ar gpt-oss-20b ach 16GB.
Cuireadh iar-oiliúint ar na samhlacha ar ár fhormáid leid harmony(osclaíonn i bhfuinneog nua), agus táimid ag oscailt na foinse do rindreálaí harmony(osclaíonn i bhfuinneog nua) i Python agus Rust araon chun glacadh leis a dhéanamh níos éasca. Táimid ag scaoileadh cur chun feidhme tagartha freisin chun inmheas a rith le PyTorch agus ar ardán Metal Apple, mar aon le bailiúchán d’uirlisí samplacha don tsamhail.
Dhearamar na samhlacha seo le bheith solúbtha agus éasca le rith in áit ar bith—go háitiúil, ar ghléas, nó trí sholáthraithe inmheasa tríú páirtí. Chun tacú leis seo, chuaigh muid i gcomhpháirtíocht roimh an seoladh le hardáin imlonnaithe cheannródaíocha ar nós Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare, agus OpenRouter chun na samhlacha a dhéanamh inrochtana go forleathan d’fhorbróirí. Ó thaobh crua-earraí de, d’oibríomar le ceannairí tionscail lena n-áirítear NVIDIA, AMD, Cerebras, agus Groq chun feidhmíocht optamaithe a chinntiú ar fud réimse córas.
Mar chuid de scaoileadh an lae inniu, tá Microsoft ag tabhairt leaganacha den tsamhail gpt-oss-20b atá optamaithe do GPU chuig gléasanna Windows freisin. Cumhachtaithe ag ONNX Runtime, tacaíonn na samhlacha seo le hinmheas áitiúil agus tá siad ar fáil trí Foundry Local agus an AI Toolkit do VS Code, rud a fhágann go bhfuil sé níos éasca d’fhorbróirí Windows tógáil le samhlacha oscailte.
D’fhorbróirí atá ag iarraidh samhlacha lán-inoiriúnaithe is féidir leo a mhionchoigeartú agus a imscaradh ina dtimpeallachtaí féin, is rogha iontach é gpt-oss. Dóibh siúd atá ag lorg tacaíocht ilmhodach, uirlisí ionsuite, agus comhtháthú gan uaim lenár n-ardán, is iad na samhlacha atá ar fáil tríd ár n-ardán API an rogha is fearr i gcónaí. Táimid ag leanúint orainn ag éisteacht go géar le haiseolas forbróirí agus d’fhéadfaimis tacaíocht API do gpt-oss a mheas amach anseo.
Más mian leat na samhlacha a thriail, tabhair cuairt ar ár clós súgartha samhla oscailte(osclaíonn i bhfuinneog nua). Chun tuilleadh a fhoghlaim faoi conas na samhlacha a úsáid le soláthraithe éagsúla san éiceachóras nó conas na samhlacha a mhionchoigeartú, féach ar ár dtreoracha(osclaíonn i bhfuinneog nua).
Is céim mhór chun cinn do shamhlacha meáchain oscailte é scaoileadh gpt-oss-120b agus gpt-oss-20b. Ag a méid, seachadann na samhlacha seo dul chun cinn suntasach i gcumais réasúnaíochta agus i sábháilteacht araon. Comhlánaíonn samhlacha oscailte ár samhlacha óstáilte, rud a thugann réimse níos leithne uirlisí d’fhorbróirí chun taighde ceannródaíoch a luathú, nuálaíocht a chothú agus forbairt AI níos sábháilte agus níos trédhearcaí a chumasú ar fud réimse leathan cásanna úsáide.
Laghdaíonn na samhlacha oscailte seo constaicí freisin do mhargaí atá ag teacht chun cinn, d’earnálacha atá srianta ag acmhainní, agus d’eagraíochtaí níos lú nach mb’fhéidir go mbeadh an buiséad nó an tsolúbthacht acu chun samhlacha dílseánaigh a ghlacadh. Le huirlisí cumhachtacha inrochtana ina lámha, is féidir le daoine ar fud an domhain tógáil, nuáil, agus deiseanna nua a chruthú dóibh féin agus do dhaoine eile. Cuidíonn rochtain leathan ar na samhlacha cumasacha meáchain oscailte seo a cruthaíodh sna SA le ráillí daonlathacha AI a leathnú.
Is gné amháin d’fhonn AI a dhéanamh inrochtana go forleathan agus tairbheach do chách é éiceachóras sláintiúil samhlacha oscailte. Tugaimid cuireadh d’fhorbróirí agus do thaighdeoirí na samhlacha seo a úsáid chun triail a bhaint astu, comhoibriú agus teorainneacha an méid is féidir a bhrú níos faide. Táimid ag súil le feiceáil cad a thógfaidh sibh.
Údar
Tagairtí
Rannpháirtithe
Zoran Martinovic, Zhuohan Li, Zhiqing Sun, Zach Johnson, Yu Yang, Yu Bai, Yang Song, Xin Wang, Wenting Zhan, Volodymyr Kyrylov, Vlad Fomenko, Tyler Bertao, Tong Mu, Timur Garipov, Tarun Gogineni, Suvansh Sanjeev, Steve Mostovoy, Song Mei, Shengjia Zhao, Sebastien Bubeck, Scott McKinney, Scott Lessans, Sandhini Agarwal, Sam Toizer, Sam Altman, Saachi Jain, Romain Huet, Rahul K. Arora, Philippe Tillet, Olivia Watkins, Nivedita Brett, Nikhil Vyas, Miles Wang, Michihiro Yasunaga, Michelle Pokrass, Mia Glaese, Max Schwarzer, Mark Chen, Mario Lezcano-Casado, Marat Dukhan, Lukas Gross, Ludovic Peran, Ludovic Peran, Lindsay McCallum, Lin Yang, Lily (Xiaoxuan) Liu, Leher Pathak, Lama Ahmad, Kristian Georgiev, Kristen Ying, Kimmy Richardson, Kevin Whinnery, Kevin Weil, Kevin Lu, Kevin Fives, Kendal Simon, Katia Gil Guzman, Karan Singhal, Karan Singhal, Kai Chen, Josh McGrath, Jordan Liss, Jongsoo Park, John Hallman, Johannes Heidecke, Jiancheng Liu, Ji Lin, Jason Kwon, Jason Ai, James Park Lennon, Jakub Pachocki, Jacob Huh, Jackie Hehir, Irina Kofman, Huida Qiu, Hongyu Ren, Harshit Sikchi, Hannah Wong, Haitang Hu, Haitang Hu, Haiming Bao, Hadi Salman, Guillaume Leclerc, Greg Brockman, Gideon Myles, Giambattista Parascandolo, Gaby Raila, Foivos Tsimpourlas, Filippo Raso, Eugene Brevdo, Eric Wallace, Enoch Cheung, Elizabeth Proehl, Elaine Ya Le, Edwin Arbus, Eddie Zhang, Dominik Kundel, Dmitry Pimenov, David Robinson, Dane Stuckey, Dana Palmie, Dan Cook, Cyril Zhang, Chris Lu, Chris Koch, Che Chang, Cedric Whitney, Casey Dvorak, Carolina Paz, Brian Zhang, Bowen Baker, Bob Rotsted, Boaz Barak, Ashley Pantuliano, Andy Applebaum, Amy Wendling, Ally Bennett, Alexander Neitz, Alex Paino, Alex Nichol, Alec Helyar, Aidan McLaughlin, Aidan Clark, Adam Goucher


