gpt-oss-ийг танилцуулж байна

Бид gpt-oss-120b болон gpt-oss-20b-ийг гаргаж байна—бага зардлаар бодит хэрэглээнд өндөр гүйцэтгэл үзүүлдэг, хамгийн сүүлийн үеийн нээлттэй жинтэй хоёр хэлний загвар. Уян хатан Apache 2.0 лицензээр ашиглах боломжтой эдгээр загвар нь сэтгэн бодох даалгаварт ижил хэмжээтэй нээлттэй загваруудаас илүү, хэрэгсэл ашиглах чадвар сайтай бөгөөд хэрэглэгчийн түвшний төхөөрөмж дээр үр ашигтай байршуулалтад оновчлогдсон. Эдгээрийг бататгах сургалт болон OpenAI-ийн o3 болон бусад хил хязгаар системүүдийг багтаасан хамгийн дэвшилтэт дотоод загваруудаас сэдэвлэсэн арга техникийг хослуулан сургажээ.

gpt-oss-120b загвар нь үндсэн сэтгэн бодох шалгуур үзүүлэлтүүд дээр OpenAI o4-mini-тэй бараг эн зэрэгцэх үр дүнд хүрдэг бөгөөд нэг 80 GB GPU дээр үр ашигтай ажиллана. gpt-oss-20b загвар нь нийтлэг шалгуур үзүүлэлтүүд дээр OpenAI o3‑mini‑тэй төстэй үр дүн үзүүлдэг бөгөөд ердөө 16 GB санах ойтой захын төхөөрөмж дээр ажиллаж чаддаг тул төхөөрөмж дээрх хэрэглээ, локал inference, эсвэл өндөр өртөгтэй дэд бүтэцгүйгээр хурдан давталт хийхэд нэн тохиромжтой. Мөн хоёр загвар хоёулаа хэрэгсэл ашиглалт, цөөн оролдлого функц дуудах, CoT сэтгэн бодох (Tau-Bench агент үнэлгээний багцын үр дүнгээс харж болно), мөн HealthBench дээр хүчтэй үзүүлэлттэй бөгөөд OpenAI o1, GPT‑4o зэрэг өмчийн загваруудаас ч илүү гарсан.

Эдгээр загвар нь манай Responses API⁠(шинэ цонхонд нээгдэнэ)-тай нийцдэг бөгөөд заавар маш сайн дагах, вэб хайлт эсвэл Python код ажиллуулах зэрэг хэрэгсэл ашиглах, мөн сэтгэн бодох чадвартай агент урсгал дотор ашиглахаар бүтээгдсэн—үүнд төвөгтэй сэтгэн бодох шаардлагагүй даалгаварт сэтгэн бодох хүчин чармайлтыг тохируулах болон/эсвэл маш бага сааталтай эцсийн гаралт авах боломж багтана. Эдгээр нь бүрэн өөрчлөн тохируулах боломжтой, бодлын бүрэн хэлхээ (CoT)-г өгдөг бөгөөд Бүтцийн гаралт⁠(шинэ цонхонд нээгдэнэ)-ыг дэмждэг.

Аюулгүй байдал нь манай бүх загварыг гаргах арга барилын үндэс бөгөөд нээлттэй загваруудын хувьд бүр ч чухал. Загваруудыг иж бүрэн аюулгүй байдлын сургалт, үнэлгээнд хамруулахаас гадна бид gpt-oss-120b-ийн дайсагнасан байдлаар нарийн тохируулсан хувилбарыг Preparedness Framework⁠(шинэ цонхонд нээгдэнэ)-ийн хүрээнд туршсанаар нэмэлт үнэлгээний давхарга нэвтрүүлсэн. gpt-oss загварууд нь дотоод аюулгүй байдлын шалгуур дээр манай хил хязгаар загваруудтай ойролцоо үзүүлэлттэй бөгөөд хөгжүүлэгчдэд манай сүүлийн үеийн өмчийн загваруудтай ижил аюулгүй байдлын стандартыг санал болгодог. Бид энэ ажлын үр дүн болон дэлгэрэнгүй мэдээллийг судалгааны өгүүлэлд⁠(шинэ цонхонд нээгдэнэ) болон загварын карт⁠(шинэ цонхонд нээгдэнэ)-д хуваалцаж байна. Манай аргачлалыг гаднын шинжээчид хянасан бөгөөд нээлттэй жинтэй загваруудын аюулгүй байдлын шинэ стандартыг тогтооход нэг алхам урагшлуулж байна.

Мөн бид AI Sweden⁠(шинэ цонхонд нээгдэнэ), Orange⁠(шинэ цонхонд нээгдэнэ), Snowflake⁠(шинэ цонхонд нээгдэнэ) зэрэг эрт үеийн түншүүдтэй хамтран нээлттэй загваруудын бодит хэрэглээг судалж байна—өгөгдлийн аюулгүй байдлын үүднээс эдгээр загварыг дотоод орчинд байршуулахаас эхлээд тусгайлсан өгөгдлийн багц дээр нарийн тохируулах хүртэл. Хувь хөгжүүлэгчээс эхлээд томоохон байгууллага, засгийн газрууд хүртэл хүн бүр өөрийн дэд бүтэц дээр AI-г ажиллуулж, өөрчлөн тохируулах боломжтой болгохын тулд бид ангилалдаа тэргүүлэгч эдгээр нээлттэй загваруудыг хүргэж байгаадаа баяртай байна. Манай API-д байгаа загваруудтай хослуулснаар хөгжүүлэгчид AI урсгалыг ажиллуулахад хэрэгтэй гүйцэтгэл, өртөг, саатлын түвшнээ сонгох боломжтой.

gpt-oss загваруудыг манай хамгийн дэвшилтэт урьдчилсан сургалт болон үндсэн сургалтын дараах сургалтын аргуудаар сургаж, ялангуяа сэтгэн бодох, үр ашиг, мөн төрөл бүрийн байршуулалтын орчин дахь бодит хэрэглээнд төвлөрсөн. Бид өмнө нь Whisper⁠ болон CLIP⁠ зэрэг бусад загваруудыг нээлттэй болгож байсан ч gpt-oss загварууд нь GPT‑2^[1]-оос хойших манай анхны нээлттэй жинтэй хэлний загварууд юм.

Загвар бүр нь оролтыг боловсруулахад шаардлагатай идэвхтэй параметрийн тоог бууруулахын тулд mixture-of-experts (MoE^[2])-ийг ашигладаг трансформер юм. gpt-oss-120b нь токен тутамд 5.1B параметр, харин gpt-oss-20b нь 3.6B параметр идэвхжүүлдэг. Загварууд нийтдээ тус тус 117b ба 21b параметртэй. Загварууд нь GPT‑3^[3]-тай төстэйгээр ээлжилсэн нягт болон локал зурваслаг сийрэг attention хэв маяг ашигладаг. Inference болон санах ойн үр ашгийг сайжруулахын тулд загварууд 8-ын бүлгийн хэмжээтэй grouped multi-query attention ашигладаг. Бид байрлалын кодчилолд Rotary Positional Embedding (RoPE^[4])-ийг ашигладаг бөгөөд 128k хүртэлх контекстийн уртыг төрөлх байдлаар дэмждэг.

Бид загваруудыг ихэнхдээ англи хэл дээрх, зөвхөн текстэн өгөгдлийн багц дээр STEM, кодчилол, ерөнхий мэдлэгт төвлөрүүлэн сургасан. Бид өгөгдлийг OpenAI o4-mini болон GPT‑4o‑д ашигладаг токен үүсгэгчийн өргөтгөсөн хувилбар болох o200k_harmony-аар токен үүсгэж боловсруулсан бөгөөд үүнийг мөн өнөөдөр нээлттэй болгож байна.

Загваруудын архитектур болон сургалтын талаар илүү ихийг мэдэхийг хүсвэл загварын карт⁠(шинэ цонхонд нээгдэнэ)-ыг уншина уу.

Загваруудыг o4-mini-д ашигласан үйл явцтай төстэй аргаар, үүнд хяналттай нарийн тохиргооны шат болон өндөр тооцооллын RL шат орсон байдлаар үндсэн сургалтын дараа сургажээ. Манай зорилго нь загваруудыг OpenAI Model Spec⁠(шинэ цонхонд нээгдэнэ)-тэй уялдуулж, хариултаа өгөхөөсөө өмнө CoT сэтгэн бодох⁠ болон хэрэгсэл ашиглалтыг хэрэгжүүлж сургах явдал байв. Манай SoTA өмчийн сэтгэн бодох загваруудтай ижил арга техникийг ашигласнаар эдгээр загварууд үндсэн сургалтын дараа онцгой чадвар үзүүлж байна.

API дахь OpenAI o-series сэтгэн бодох загваруудын адил эдгээр хоёр нээлттэй жинтэй загвар нь бага, дунд, өндөр гэсэн гурван сэтгэн бодох хүчин чармайлтыг дэмждэг бөгөөд энэ нь саатал ба гүйцэтгэлийн хоорондын тэнцвэрийг тохируулна. Хөгжүүлэгчид системийн мессежид ганц өгүүлбэрээр сэтгэн бодох хүчин чармайлтыг хялбархан тохируулж болно.

Бид gpt-oss-120b болон gpt-oss-20b-ийг кодчилол, өрсөлдөөнт математик, эрүүл мэнд, агент маягийн хэрэгсэл ашиглалтын чадварыг хэмжихийн тулд стандарт академик шалгуур үзүүлэлтүүд дээр үнэлж, o3, o3‑mini, o4-mini зэрэг бусад OpenAI сэтгэн бодох загваруудтай харьцуулсан.

gpt-oss-120b нь өрсөлдөөнт кодчилол (Codeforces), ерөнхий асуудал шийдэлт (MMLU ба HLE), хэрэгсэл дуудах (TauBench) дээр OpenAI o3‑mini‑ээс илүү, мөн OpenAI o4-mini-тэй эн зэрэгцэх эсвэл давсан. Цаашлаад эрүүл мэндтэй холбоотой асуултууд дээр (HealthBench⁠) болон өрсөлдөөнт математикт (AIME 2024 & 2025) o4-mini-ээс ч илүү үзүүлэлттэй. gpt-oss-20b нь хэмжээ бага ч эдгээр ижил үнэлгээнүүд дээр OpenAI o3‑mini‑тэй эн зэрэгцэх эсвэл давж, тэр ч байтугай өрсөлдөөнт математик болон эрүүл мэндийн чиглэлд илүү гарсан.

Манай сүүлийн үеийн судалгаа⁠ нь сэтгэн бодох загварын CoT-ийг хянах нь, хэрэв загварыг CoT-ийг уялдуулах шууд хяналтаар сургаагүй бол, зөрчилтэй үйлдлийг илрүүлэхэд тустай болохыг харуулсан. Энэ үзэл баримтлалыг салбарын бусад оролцогчид ч мөн хуваалцдаг⁠(шинэ цонхонд нээгдэнэ). Бид OpenAI o1‑preview⁠-ийг танилцуулснаас хойших зарчмуудынхаа дагуу gpt-oss аль ч загварын CoT дээр шууд хяналт тавиагүй. Бид үүнийг загварын зөрчилтэй үйлдэл, төөрөгдүүлэлт, буруу ашиглалтыг хянахад маш чухал гэж үздэг. Хяналтгүй бодлын хэлхээтэй нээлттэй загварыг гаргаснаар хөгжүүлэгчид болон судлаачдад өөрсдийн CoT хяналтын системийг судалж, хэрэгжүүлэх боломж олдоно гэж найдаж байна.

Хөгжүүлэгчид CoT-ийг хэрэглэгчдэд програмдаа шууд харуулах ёсгүй. Эдгээр нь OpenAI-ийн стандарт аюулгүй байдлын бодлогыг тусгахгүй хэллэг зэрэг хийсвэр эсвэл хор хөнөөлтэй агуулга агуулж болох бөгөөд загвараас эцсийн гаралтдаа оруулахгүй байхыг илт хүссэн мэдээллийг ч багтааж болзошгүй.

gpt-oss загварууд аюулгүй байдлын сургалтын манай хамгийн дэвшилтэт арга барилыг ашигладаг. Урьдчилсан сургалтын үеэр бид Chemical, Biological, Radiological, and Nuclear (CBRN)-тай холбоотой зарим хортой өгөгдлийг шүүн хассан. Үндсэн сургалтын дараах сургалтын үеэр бид оновчтой уялдуулах⁠ болон зааврын шатлал⁠(шинэ цонхонд нээгдэнэ)-ыг ашиглан загварыг аюулгүй бус өгөгдөлөөс татгалзах, зааварт халдлагаас хамгаалах байдлаар сургасан.

Нээлттэй жинтэй загвар нэгэнт гарсны дараа дайсагнагчид загварыг хортой зорилгоор нарийн тохируулах боломжтой байж болно. Бид эдгээр эрсдэлийг тусгайлсан биологи болон кибер аюулгүй байдлын өгөгдөл дээр загварыг нарийн тохируулж, халдагчийн хийж болохтой адил домэйн тус бүрт татгалздаггүй хувилбар үүсгэн шууд үнэлсэн. Дараа нь бид эдгээр загварын чадварын түвшнийг дотоод болон гадаад туршилтаар үнэлсэн. Манай хавсаргасан аюулгүй байдлын өгүүлэл-д дэлгэрэнгүй тайлбарласан энэ туршилт нь OpenAI-ийн салбартаа тэргүүлэх сургалтын стек ашигласан хүчтэй нарийн тохиргоо хийсэн ч эдгээр хортойгоор нарийн тохируулсан загварууд манай Preparedness Framework⁠-ийн дагуу өндөр чадварын түвшинд хүрч чадаагүйг харуулсан. Энэхүү хортой нарийн тохиргооны аргачлалыг бие даасан гурван шинжээчийн бүлэг хянаж, сургалтын үйл явц болон үнэлгээг сайжруулах зөвлөмж өгсөн бөгөөд тэдгээрийн ихэнхийг бид хэрэгжүүлсэн. Бид эдгээр зөвлөмжийг загварын картанд дэлгэрэнгүй тайлбарласан. Эдгээр үйл явц нь нээлттэй загварын аюулгүй байдлын хувьд ач холбогдолтой ахиц дэвшлийг илэрхийлж байна. Эдгээр дүгнэлт нь gpt-oss загваруудыг гаргах шийдвэрт нөлөөлсөн. Эдгээр загварууд салбар даяарх аюулгүй байдлын сургалт болон уялдуулах судалгааг хурдасгахад тусална гэж найдаж байна.

Илүү аюулгүй нээлттэй эхийн экосистемд хувь нэмэр оруулахын тулд бид дэлхийн өнцөг булан бүрийн судлаач, хөгжүүлэгч, сонирхогчдыг аюулгүй байдлын шинэ асуудлыг илрүүлэхэд дэмжих зорилгоор Улаан багийн сорилт⁠(шинэ цонхонд нээгдэнэ)-ыг зохион байгуулж байна. Уг сорилт нь $500,000 шагналын сантай бөгөөд OpenAI болон бусад тэргүүлэх лабораторийн шинжээч шүүгчдийн үнэлгээнд үндэслэн олгоно. Сорилтын төгсгөлд бид тайлан нийтэлж, баталгаажсан олдворуудад үндэслэсэн үнэлгээний өгөгдлийн багцыг нээлттэй эхээр гаргана, ингэснээр өргөн хүрээний хамтын нийгэмлэг нэн даруй үр шимийг хүртэнэ. Дэлгэрэнгүйг үзэж, энд⁠(шинэ цонхонд нээгдэнэ) оролцоорой.

gpt-oss-120b болон gpt-oss-20b-ийн жингүүдийг Hugging Face дээрээс үнэгүй татаж авах боломжтой бөгөөд MXFP4 хэлбэрээр төрөлх байдлаар квантчилсан байдлаар ирдэг. Ингэснээр gpt-oss-120B загвар 80GB санах ой дотор ажиллах боломжтой бол gpt-oss-20b-д ердөө 16GB шаардлагатай.

Эдгээр загваруудыг манай harmony prompt format⁠(шинэ цонхонд нээгдэнэ)-аар үндсэн сургалтын дараа сургаж, нэвтрүүлэлтийг хялбарчлахын тулд Python болон Rust дээр harmony renderer⁠(шинэ цонхонд нээгдэнэ)-ийг нээлттэй болгож байна. Мөн бид PyTorch-оор inference ажиллуулах, Apple-ийн Metal платформ дээр ажиллуулах лавлагаа хэрэгжүүлэлтүүд, түүнчлэн загварт зориулсан жишээ хэрэгслүүдийн цуглуулгыг гаргаж байна.

Бид эдгээр загваруудыг хаана ч ажиллуулахад уян хатан, хялбар байхаар зохиосон—локал, төхөөрөмж дээр эсвэл гуравдагч талын inference үйлчилгээ үзүүлэгчээр дамжуулан. Үүнийг дэмжихийн тулд бид Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare, OpenRouter зэрэг тэргүүлэх байршуулалтын платформуудтай нээлтийн өмнө түншлэл байгуулж, загваруудыг хөгжүүлэгчдэд өргөн хүрээнд хүртээмжтэй болгосон. Техник хангамжийн талд бид NVIDIA, AMD, Cerebras, Groq зэрэг салбарын тэргүүлэгчидтэй хамтран төрөл бүрийн систем дээр оновчтой гүйцэтгэлийг хангасан.

Өнөөдрийн нээлтийн хүрээнд Microsoft мөн Windows төхөөрөмжүүдэд зориулан gpt-oss-20b загварын GPU-д оновчлогдсон хувилбаруудыг авчирч байна. ONNX Runtime-ээр ажилладаг эдгээр загвар нь локал inference-ийг дэмждэг бөгөөд Foundry Local болон VS Code-д зориулсан AI Toolkit-ээр дамжуулан ашиглах боломжтой тул Windows хөгжүүлэгчид нээлттэй загвараар бүтээхэд илүү хялбар болж байна.

Өөрийн орчинд нарийн тохируулж, байршуулж болох бүрэн өөрчлөн тохируулах загвар хүсэж буй хөгжүүлэгчдэд gpt-oss маш сайн сонголт. Харин олон төрлийн оролт дэмжих, суурилуулсан хэрэгслүүд, манай платформтой саадгүй интеграц хүсэж буй хүмүүст манай API платформоор дамжих загварууд хамгийн зөв сонголт хэвээр байна. Бид хөгжүүлэгчдийн санал хүсэлтийг анхааралтай сонссоор байгаа бөгөөд ирээдүйд gpt-oss-д API дэмжлэг үзүүлэх боломжийг авч үзэж магадгүй.

Хэрэв та загваруудыг туршиж үзэхийг хүсвэл манай нээлттэй загварын playground⁠(шинэ цонхонд нээгдэнэ)-руу орно уу. Янз бүрийн экосистемийн үйлчилгээ үзүүлэгчээр дамжуулан загваруудыг хэрхэн ашиглах, эсвэл тэдгээрийг хэрхэн нарийн тохируулах талаар илүү ихийг мэдэхийг хүсвэл манай гарын авлагуудыг үзнэ үү⁠(шинэ цонхонд нээгдэнэ).

gpt-oss-120b болон gpt-oss-20b-ийг гаргаж буй нь нээлттэй жинтэй загваруудын хувьд чухал ахиц юм. Энэ хэмжээний загварууд нь сэтгэн бодох чадвар болон аюулгүй байдлын аль алинд нь бодитой дэвшил авчирч байна. Нээлттэй загварууд манай байршуулсан загваруудыг нөхөж, хөгжүүлэгчдэд тэргүүлэх судалгааг хурдасгах, инновацыг дэмжих, илүү аюулгүй, ил тод AI хөгжүүлэлтийг төрөл бүрийн хэрэглээнд нэвтрүүлэх өргөн хүрээний хэрэгслийг өгдөг.

Эдгээр нээлттэй загварууд нь мөн төсөв эсвэл уян хатан байдал дутмаг байж болох хөгжиж буй зах зээлүүд, нөөц хязгаарлагдмал салбарууд, жижиг байгууллагуудын босгыг бууруулдаг. Хүчирхэг, хүртээмжтэй хэрэгслүүдийг гартаа авснаар дэлхийн өнцөг булан бүрийн хүмүүс бүтээж, шинэчилж, өөртөө болон бусдад шинэ боломж бий болгож чадна. АНУ-д бүтээгдсэн эдгээр чадвартай нээлттэй жинтэй загваруудад өргөн хандалт олгох нь ардчилсан AI суурийг өргөжүүлэхэд тусалдаг.

Эрүүл нээлттэй загварын экосистем нь AI-г хүн бүрт өргөн хүртээмжтэй, үр өгөөжтэй болгоход туслах нэг хэмжээс юм. Бид хөгжүүлэгчид болон судлаачдыг эдгээр загварыг ашиглан туршиж, хамтран ажиллаж, боломжийн хил хязгаарыг тэлэхийг урьж байна. Та бүхний юу бүтээхийг харахыг бид тэсэн ядан хүлээж байна.