gpt-oss-пен таныстыру

Біз gpt-oss-120b және gpt-oss-20b-ті шығарып жатырмыз — бұл төмен құнмен нақты әлемде күшті өнімділік беретін заманауи екі ашық салмақты тілдік модель. Икемді Apache 2.0 лицензиясымен қолжетімді бұл модельдер ой қорыту тапсырмаларында ұқсас көлемдегі ашық модельдерден озады, құралдарды қолданудың мықты мүмкіндіктерін көрсетеді және тұтынушылық құрылғыларда тиімді орналастыруға оңтайландырылған. Олар OpenAI-дің ең озық ішкі модельдерінен, соның ішінде o3 және басқа озық жүйелерден алынған тәсілдер мен күшейтпелі оқытудың қоспасын пайдаланып үйретілді.

gpt-oss-120b моделі негізгі ой қорыту бенчмарктарында OpenAI o4-mini-мен шамалас нәтижеге жетеді, сонымен қатар бір 80 ГБ GPU-де тиімді жұмыс істейді. gpt-oss-20b моделі кең таралған бенчмарктарда OpenAI o3‑mini‑ге ұқсас нәтижелер береді және бар болғаны 16 ГБ жадысы бар шеткі құрылғыларда жұмыс істей алады, бұл оны құрылғының өзінде қолдану, жергілікті инференс немесе қымбат инфрақұрылымсыз жылдам итерация үшін өте қолайлы етеді. Екі модель де құрал қолдануда, аз мысалмен үйрету арқылы функция шақыруда, CoT ой қорытуында (Tau-Bench агенттік бағалау жиынтығындағы нәтижелерден көрінетіндей) және HealthBench-та мықты нәтиже көрсетеді (тіпті OpenAI o1 және GPT‑4o сияқты меншікті модельдерден де озады).

Бұл модельдер біздің Responses API⁠(жаңа терезеде ашылады)-мен үйлесімді және ерекше нұсқауды орындауымен, вебтен іздеу немесе Python кодын орындау сияқты құралдарды қолдануымен және ой қорыту қабілеттерімен агенттік жұмыс ағындарында пайдалануға арналған — соның ішінде күрделі ой қорыту қажет етпейтін тапсырмалар үшін және/немесе өте төмен кідірісті түпкілікті нәтижелерге бағытталған кезде ой қорыту күшін реттеу мүмкіндігі бар. Олар толықтай теңшеледі, толық ойлау тізбегін (CoT) береді және Құрылымдалған нәтижелерді⁠(жаңа терезеде ашылады) қолдайды.

Қауіпсіздік — барлық модельдерімізді шығарудағы тәсіліміздің іргетасы, әрі ашық модельдер үшін оның маңызы ерекше. Модельдерді жан-жақты қауіпсіздікке үйрету мен бағалаудан өткізумен қатар, біз gpt-oss-120b-тің қарсылас тәсілмен бапталған нұсқасын Дайындық шеңбері⁠(жаңа терезеде ашылады) бойынша сынау арқылы қосымша бағалау қабатын енгіздік. gpt-oss модельдері ішкі қауіпсіздік бенчмарктарында біздің озық модельдерімізбен салыстырмалы нәтиже көрсетіп, әзірлеушілерге соңғы меншікті модельдеріміздегідей қауіпсіздік стандарттарын ұсынады. Біз бұл жұмыстың нәтижелерін және қосымша мәліметтерді зерттеу мақаласында⁠(жаңа терезеде ашылады) және модель картасында⁠(жаңа терезеде ашылады) бөлісеміз. Біздің әдіснамамызды сыртқы сарапшылар қарап шықты, және бұл ашық салмақты модельдер үшін жаңа қауіпсіздік стандарттарын орнатудағы алға қадамды білдіреді.

Сондай-ақ біз AI Sweden⁠(жаңа терезеде ашылады), Orange⁠(жаңа терезеде ашылады) және Snowflake⁠(жаңа терезеде ашылады) сияқты ерте серіктестермен ашық модельдеріміздің нақты қолданылуын зерттеу үшін жұмыс істеп келеміз — бұл модельдерді дерек қауіпсіздігі үшін жергілікті серверлерде орналастырудан бастап, оларды мамандандырылған деректер жиынтықтарында баптауға дейін. Біз осы үздік ашық модельдерді жеке әзірлеушілерден бастап ірі кәсіпорындар мен үкіметтерге дейін барлығына өз инфрақұрылымында AI-ды іске қосып, баптауға мүмкіндік беру үшін ұсынуға қуаныштымыз. Біздің API-дегі модельдермен бірге әзірлеушілер AI жұмыс ағындарын іске қосу үшін өздеріне қажет өнімділік, құн және кідіріс деңгейін таңдай алады.

gpt-oss модельдері біздің ең озық алдын ала үйрету және кейін дайындатылған тәсілдерімізбен үйретілді, мұнда әртүрлі орналастыру орталарының кең ауқымында ой қорытуға, тиімділікке және нақты әлемде қолдануға ерекше назар аударылды. Біз Whisper⁠ және CLIP⁠ сияқты басқа модельдерді ашық қолжетімді еткенімізбен, gpt-oss модельдері GPT‑2^[1]-ден бергі алғашқы ашық салмақты тілдік модельдеріміз.

Әр модель — кірісті өңдеу үшін қажет белсенді параметрлер санын азайтуға мүмкіндік беретін mixture-of-experts (MoE^[2]) тәсілін қолданатын трансформер. gpt-oss-120b бір токенге 5.1B параметрді, ал gpt-oss-20b 3.6B параметрді белсендіреді. Модельдердегі жалпы параметрлер саны тиісінше 117b және 21b. Модельдер GPT‑3^[3]-ке ұқсас, кезектесетін тығыз және жергілікті жолақты сирек attention үлгілерін қолданады. Инференс пен жад тиімділігі үшін модельдер 8 топ өлшемімен топталған multi-query attention да қолданады. Біз позициялық кодтау үшін Rotary Positional Embedding (RoPE^[4]) пайдаланамыз және 128k-ге дейінгі контекст ұзындығын табиғи түрде қолдаймыз.

Біз модельдерді негізінен ағылшын тіліндегі, тек мәтіннен тұратын деректер жиынтығында STEM, кодтау және жалпы білімге назар аудара отырып үйреттік. Деректерді OpenAI o4-mini және GPT‑4o үшін қолданылатын токенизаторымыздың кеңейтілген нұсқасы — o200k_harmony арқылы токендерге бөлдік, оны да бүгін ашық бастапқы кодқа шығарып отырмыз.

Модельдердің архитектурасы мен үйретілуі туралы толығырақ модель картасынан⁠(жаңа терезеде ашылады) оқыңыз.

Модельдер o4-mini үшін қолданылғанға ұқсас үдеріс арқылы кейін дайындатылды, соның ішінде қадағаланатын баптау кезеңі және жоғары есептеу ресурстарын қажет ететін RL кезеңі бар. Біздің мақсатымыз модельдерді OpenAI Model Spec⁠(жаңа терезеде ашылады)-пен сәйкестендіру және оған жауабын шығармас бұрын CoT ой қорытуын⁠ және құрал қолдануды үйрету болды. Біздің SoTA меншікті ойлайтын модельдерімізбен бірдей тәсілдерді пайдалану арқылы, модельдер кейінгі үйретуден соң айрықша мүмкіндіктер көрсетеді.

API-дегі OpenAI o-series ойлайтын модельдеріне ұқсас, бұл екі ашық салмақты модель ой қорыту күшінің үш деңгейін — low, medium және high — қолдайды, олар кідіріс пен өнімділік арасындағы айырбасты ұсынады. Әзірлеушілер жүйелік хабарламада бір сөйлеммен ой қорыту күшін оңай орната алады.

Біз gpt-oss-120b және gpt-oss-20b модельдерін кодтау, олимпиадалық математика, денсаулық және агенттік құрал қолдану салаларындағы мүмкіндіктерін o3, o3‑mini және o4-mini сияқты басқа OpenAI ойлайтын модельдерімен салыстыра отырып өлшеу үшін стандартты академиялық бенчмарктар бойынша бағаладық.

gpt-oss-120b OpenAI o3‑mini‑ден озады және жарыстық кодтауда (Codeforces), жалпы мәселе шешуде (MMLU және HLE) және құрал шақыруда (TauBench) OpenAI o4-mini-мен теңеседі не одан асады. Бұдан бөлек, ол денсаулыққа қатысты сұрауларда (HealthBench⁠) және жарыстық математикада (AIME 2024 және 2025) o4-mini-ден де жақсы нәтиже көрсетеді. gpt-oss-20b шағын көлеміне қарамастан дәл осы бағалауларда OpenAI o3‑mini‑мен теңеседі не одан асады, тіпті жарыстық математика мен денсаулықта одан да озады.

Біздің жуырдағы зерттеуіміз⁠ ойлайтын модельдің CoT-сін бақылау, егер модель CoT-ті сәйкестендіру үшін тікелей қадағалаумен үйретілмесе, теріс қылықты анықтауға пайдалы болуы мүмкін екенін көрсетті. Бұл көзқарасты саладағы басқалар да қолдайды⁠(жаңа терезеде ашылады). OpenAI o1‑preview⁠ іске қосылғаннан бергі қағидаттарымызға сай, біз gpt-oss модельдерінің ешқайсысының CoT-іне тікелей қадағалау қолданған жоқпыз. Біз мұны модельдің теріс қылығын, алдауын және теріс пайдаланылуын бақылау үшін аса маңызды деп санаймыз. Біздің үмітіміз — қадағаланбаған ойлау тізбегі бар ашық модельді шығару әзірлеушілер мен зерттеушілерге өздерінің CoT бақылау жүйелерін зерттеп, енгізуге мүмкіндік береді.

Әзірлеушілер өз қолданбаларында CoT-терді пайдаланушыларға тікелей көрсетпеуі керек. Оларда галлюцинацияланған немесе зиянды мазмұн болуы мүмкін, соның ішінде OpenAI-дің стандартты қауіпсіздік саясаттарын көрсетпейтін тіл болуы ықтимал, сондай-ақ модельден соңғы нәтижеге қоспау нақты сұралған ақпарат та болуы мүмкін.

gpt-oss модельдері қауіпсіздікке үйретудегі біздің ең озық тәсілдерімізді пайдаланады. Алдын ала үйрету кезінде біз химиялық, биологиялық, радиологиялық және ядролық (CBRN) тақырыптарға қатысты кейбір зиянды деректерді сүзгіден өткіздік. Кейінгі үйрету барысында біз саналы сәйкестендіруді⁠ және нұсқаулар иерархиясын⁠(жаңа терезеде ашылады) қолданып, модельге қауіпті көмексөздерден бас тартуды және көмексөзге зиян келтіруден қорғануды үйреттік.

Ашық салмақты модель шығарылғаннан кейін, қарсы тараптар оны зиянды мақсаттар үшін баптай алуы мүмкін. Біз бұл тәуекелдерді арнайы биология және киберқауіпсіздік деректері бойынша модельді баптау арқылы тікелей бағаладық, яғни шабуылдаушы істеуі мүмкіндей әр домен үшін бас тартпайтын доменге тән нұсқа құрдық. Одан кейін бұл модельдердің қабілет деңгейін ішкі және сыртқы тестілеу арқылы бағаладық. Ілеспе қауіпсіздік мақаласында егжей-тегжейлі сипатталған бұл тестілеу OpenAI-дің салада озық үйрету стегін пайдаланған мықты баптауға қарамастан, осылайша зиянды түрде бапталған бұл модельдер біздің Дайындық шеңберіміз⁠ бойынша жоғары қабілет деңгейіне жете алмағанын көрсетті. Бұл зиянды баптау әдіснамасын үш тәуелсіз сарапшылар тобы қарап, үйрету үдерісі мен бағалауларды жақсарту жөнінде ұсыныстар берді, олардың көбін біз қабылдадық. Бұл ұсыныстарды модель картасында егжей-тегжейлі сипаттаймыз. Бұл үдерістер ашық модель қауіпсіздігі үшін мәнді ілгерілеуді білдіреді. Осы қорытындылар gpt-oss модельдерін шығару туралы шешімімізге әсер етті. Бұл модельдер сала бойынша қауіпсіздікке үйрету мен сәйкестендіру зерттеулерін жеделдетуге көмектеседі деп үміттенеміз.

Қауіпсіздеу ашық бастапқы кодты экожүйеге үлес қосу үшін біз зерттеушілерді, әзірлеушілерді және әлемнің түкпір-түкпіріндегі әуесқойларды жаңа қауіпсіздік мәселелерін анықтауға ынталандыру мақсатында Red Teaming Challenge⁠(жаңа терезеде ашылады) өткізіп жатырмыз. Байқаудың жүлде қоры $500,000, ол OpenAI мен өзге жетекші зертханалардың сарапшы төрешілер алқасының қарауы негізінде тағайындалады. Байқау соңында біз есеп жариялап, расталған қорытындыларға негізделген бағалау деректер жиынтығын ашық бастапқы кодқа шығарамыз, сонда кең қауымдастық бірден пайда көре алады. Толығырақ біліп, қатысу үшін осында⁠(жаңа терезеде ашылады) өтіңіз.

gpt-oss-120b және gpt-oss-20b үшін салмақтар Hugging Face-те еркін жүктеп алуға қолжетімді және MXFP4 форматында алдын ала квантталған түрде келеді. Бұл gpt-oss-120B моделінің 80GB жад көлемінде жұмыс істеуіне мүмкіндік береді, ал gpt-oss-20b үшін небәрі 16GB қажет.

Модельдер біздің harmony prompt format⁠(жаңа терезеде ашылады) форматымызбен кейінгі үйретуден өтті, сондай-ақ енгізуді жеңілдету үшін Python және Rust тілдерінде harmony renderer⁠(жаңа терезеде ашылады)-ді ашық бастапқы кодқа шығарып жатырмыз. Сонымен қатар PyTorch-пен және Apple-дің Metal платформасында инференс іске қосуға арналған анықтамалық іске асыруларды, сондай-ақ модельге арналған мысал құралдар жиынтығын жариялап жатырмыз.

Біз бұл модельдерді кез келген жерде — жергілікті, құрылғының өзінде немесе үшінші тарап инференс провайдерлері арқылы — икемді әрі оңай іске қосылатын етіп жасадық. Мұны қолдау үшін іске қосылар алдында Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare және OpenRouter сияқты жетекші орналастыру платформаларымен серіктестік орнаттық, осылайша модельдер әзірлеушілерге кеңінен қолжетімді болды. Аппараттық құралдар жағында біз NVIDIA, AMD, Cerebras және Groq секілді сала көшбасшыларымен әртүрлі жүйелерде оңтайлы өнімділікті қамтамасыз ету үшін жұмыс істедік.

Бүгінгі шығарылым аясында Microsoft сондай-ақ gpt-oss-20b моделінің GPU үшін оңтайландырылған нұсқаларын Windows құрылғыларына әкеліп жатыр. ONNX Runtime негізінде жұмыс істейтін бұл модельдер жергілікті инференсті қолдайды және Foundry Local мен VS Code үшін AI Toolkit арқылы қолжетімді, бұл Windows әзірлеушілеріне ашық модельдермен құрастыруды жеңілдетеді.

Өз орталарында баптап, орналастыра алатын толық теңшелетін модельдерді қалайтын әзірлеушілер үшін gpt-oss — тамаша таңдау. Ал мультимодаль қолдауды, кірістірілген құралдарды және платформамызбен кедергісіз интеграцияны іздейтіндер үшін біздің API платформасы арқылы қолжетімді модельдер әлі де ең жақсы нұсқа болып қала береді. Біз әзірлеушілердің пікірлерін мұқият тыңдауды жалғастырып отырмыз және болашақта gpt-oss үшін API қолдауын қарастыруымыз мүмкін.

Егер модельдерді байқап көргіңіз келсе, біздің ашық модель playground⁠(жаңа терезеде ашылады)-қа өтіңіз. Түрлі экожүйе провайдерлерін пайдаланып модельдерді қалай қолдану немесе модельдерді қалай баптау туралы көбірек білу үшін нұсқаулықтарымызды қараңыз⁠(жаңа терезеде ашылады).

gpt-oss-120b және gpt-oss-20b-ті шығару ашық салмақты модельдер үшін маңызды алға қадамды білдіреді. Осындай көлемде бұл модельдер ой қорыту мүмкіндіктері мен қауіпсіздік тұрғысынан елеулі ілгерілеуді ұсынады. Ашық модельдер біздің хостингтегі модельдерімізді толықтырып, әзірлеушілерге алдыңғы шептегі зерттеулерді жеделдетуге, инновацияны дамытуға және әртүрлі қолдану жағдайларында қауіпсіздеу әрі ашығырақ AI әзірлеуін мүмкін етуге арналған құралдардың кеңірек ауқымын береді.

Бұл ашық модельдер сондай-ақ дамушы нарықтар, ресурсы шектеулі секторлар және меншікті модельдерді қабылдауға бюджеті немесе икемділігі жетпейтін шағын ұйымдар үшін кедергілерді азайтады. Қуатты әрі қолжетімді құралдар олардың қолында болғанда, әлемнің түкпір-түкпіріндегі адамдар өздері мен өзгелер үшін құрастырып, жаңалық ашып, жаңа мүмкіндіктер жасай алады. АҚШ-та жасалған осы қуатты ашық салмақты модельдерге кең қолжетімділік демократиялық AI рельстерін кеңейтуге көмектеседі.

Сау ашық модель экожүйесі — AI-ды баршаға кеңінен қолжетімді әрі пайдалы етуге көмектесетін өлшемдердің бірі. Біз әзірлеушілер мен зерттеушілерді осы модельдерді тәжірибе жасауға, бірлесіп жұмыс істеуге және мүмкіндіктің шекарасын кеңейтуге қолдануға шақырамыз. Не жасайтындарыңызды көруге асықпыз.