Po prezantojmë GPT‑oss

Ne po lançojmë GPT‑oss‑120b dhe GPT‑oss‑20b—dy modele gjuhe më të avancuara me peshë të hapur që ofrojnë performancë të fortë në botën reale me kosto të ulët. Të disponueshme nën licencën fleksibël Apache 2.0, këto modele tejkalojnë modelet e hapura me madhësi të ngjashme në detyrat e arsyetimit, demonstrojnë aftësi të forta në përdorimin e mjeteve dhe janë të optimizuara për vendosje efikase në pajisjet e konsumatorit. Ata u trajnuan duke përdorur një përzierje të të mësuarit përforcues dhe teknikave të informuara nga modelet e brendshme më të avancuara të OpenAI, përfshirë o3 dhe sisteme të tjera të avancuara.

Modeli GPT‑oss‑120b arrin pothuajse barazi me OpenAI o4-mini në testet kryesore të arsyetimit, ndërsa funksionon në mënyrë efikase në një GPU të vetme prej 80 GB. Modeli GPT‑oss‑20b ofron rezultate të ngjashme me OpenAI o3‑mini në standardet e zakonshme dhe mund të funksionojë në pajisje të skajshme me vetëm 16 GB memorie, duke e bërë atë ideal për përdorime në pajisje, inferencë lokale ose përsëritje të shpejtë pa infrastrukturë të kushtueshme. Të dy modelet gjithashtu performojnë fuqishëm në përdorimin e mjeteve, thirrjen e disa funksioneve, arsyetimin CoT (siç shihet në rezultatet në paketën e vlerësimit agjentik Tau-Bench) dhe HealthBench (madje duke tejkaluar modelet pronësore si OpenAI o1 dhe GPT‑4o).

Këto modele janë të pajtueshme me Responses API⁠(hapet në një dritare të re) dhe janë projektuar për t'u përdorur brenda rrjedhave të punës agjentike me ndjekje të jashtëzakonshme të udhëzimeve, përdorim mjetesh si kërkimi në internet ose ekzekutimi i kodit Python dhe aftësi arsyetimi - duke përfshirë aftësinë për të rregulluar përpjekjen e arsyetimit për detyra që nuk kërkojnë arsyetim kompleks dhe/ose synojnë dalje përfundimtare me vonesë shumë të ulët. Ato janë plotësisht të personalizueshme, ofrojnë zinxhirin e plotë të mendimit (CoT) dhe mbështesin Daljet e strukturuara⁠(hapet në një dritare të re).

Siguria është themelore për qasjen tonë për të lëshuar të gjitha modelet dhe është e një rëndësie të veçantë për open model. Përveç ekzekutimit të modeleve përmes trajnimeve dhe vlerësimeve gjithëpërfshirëse të sigurisë, ne gjithashtu prezantuam një shtresë vlerësimi shtesë duke testuar një version të rregulluar në mënyrë kundërshtare të GPT‑oss‑120b nën Kornizën tonë të gatishmërisë⁠(hapet në një dritare të re). Modelet GPT‑oss performojnë në mënyrë të krahasueshme me modelet tona më të avancuara në standardet e brendshme të sigurisë, duke u ofruar zhvilluesve të njëjtat standarde sigurie si modelet tona të fundit pronësore. Ne po ndajmë rezultatet e asaj pune dhe më shumë detaje në një punim kërkimor⁠(hapet në një dritare të re) dhe në kartën e modelit⁠(hapet në një dritare të re). Metodologjia jonë u rishikua nga ekspertë të jashtëm dhe përfaqëson një hap përpara në vendosjen e standardeve të reja të sigurisë për modelet me peshë të hapur.

Ne gjithashtu kemi punuar me partnerë të hershëm si AI Sweden⁠(hapet në një dritare të re), Orange⁠(hapet në një dritare të re) dhe Snowflake⁠(hapet në një dritare të re) për të mësuar rreth aplikimeve reale të open model, nga pritja e këtyre modeleve në ambiente për sigurinë e të dhënave deri te përshtatja e tyre në grupe të dhënash të specializuara. Ne jemi të ngazëllyer të ofrojmë këto open models të klasit të lartë për të fuqizuar të gjithë - nga zhvilluesit individualë te ndërmarrjet e mëdha dhe te qeveritë - për të ekzekutuar dhe personalizuar AI-në në infrastrukturën e tyre. Së bashku me modelet e disponueshme në API-në tonë, zhvilluesit mund të zgjedhin performancën, koston dhe vonesën që u duhen për të fuqizuar rrjedhat e punës së AI.

Modelet GPT‑oss u trajnuan duke përdorur teknikat tona më të avancuara të para-trajnimit dhe pas-trajnimit, me fokus të veçantë në arsyetimin, efikasitetin dhe përdorshmërinë në botën reale në një gamë të gjerë mjedisesh vendosjeje. Ndërkohë që kemi bërë të disponueshme hapur modele të tjera, duke përfshirë Whisper⁠ dhe CLIP⁠, modelet GPT‑oss janë modelet tona të para modele gjuhe me peshë të hapur që nga GPT‑2^[1].

Çdo model është një Transformer që përdor përzierjen e ekspertëve (MoE^[2]) për të zvogëluar numrin e parametrave aktivë të nevojshëm për të përpunuar hyrjen. GPT‑oss‑120b aktivizon 5.1 miliardë parametra për çdo token, ndërsa GPT‑oss‑20b aktivizon 3.6 miliardë. modele kanë gjithsej 117b dhe 21b parametra përkatësisht. Modelet përdorin modele të alternuara të vëmendjes së dendur dhe të rrallë me bandë lokale, të ngjashme me GPT‑3^[3]. Për inferencë dhe efikasitet të kujtesës, modelet gjithashtu përdorin vëmendje të grupuar me shumë pyetje, me një madhësi grupi prej 8. Ne përdorim Rotary Positional Embedding (RoPE^[4]) për kodim pozicional dhe ofrojmë mbështetje të natyrshme për gjatësitë e kontekstit deri në 128k.

Ne trajnuam modelet në një dataset kryesisht në anglisht, vetëm me tekst, me fokus në STEM, kodim dhe njohuri të përgjithshme. Ne tokenizuam të dhënat duke përdorur një superset të tokenizuesit tonë të përdorur për OpenAI o4-mini dhe GPT‑4o: o200k_harmony, të cilin po e bëjmë gjithashtu me burim të hapur sot.

Për më shumë rreth arkitekturës dhe trajnimit të modeleve tona, lexo kartën e modelit⁠(hapet në një dritare të re).

Modelet u trajnuan pas duke përdorur një proces të ngjashëm si ai i përdorur për o4-mini, duke përfshirë një fazë të rregullimit të hollësishëm të mbikëqyrur dhe një fazë RL me llogaritje të lartë. Objektivi ynë ishte të përafronim modelet me Specifikimet e modelit të OpenAI⁠(hapet në një dritare të re) dhe t'i mësonim të aplikojnë arsyetimin CoT⁠ dhe përdorimin e mjeteve përpara se të prodhojnë përgjigjet e tyre. Duke përdorur të njëjtat teknika si modelet tona të arsyetimit të pronësisë SoTA, modelet demonstrojnë aftësi të jashtëzakonshme pas trajnimit të mëtejshëm.

Ngjashëm me modelet e arsyetimit të serisë o të OpenAI në API, dy modelet me peshë të hapur ofrojnë mbështetje për tre nivele arsyetimi – të ulët, të mesëm dhe të lartë – që shkëmbejnë vonesën me performancën. Zhvilluesit mund të caktojnë lehtësisht përpjekjen e arsyetimit me një fjali në mesazhin e sistemit.

Ne vlerësuam GPT‑oss‑120b dhe GPT‑oss‑20b nëpër standardet akademike për të matur aftësitë e tyre në kodim, matematikë konkurruese, shëndet dhe përdorim të mjeteve agjentike kur krahasohen me modelet e tjera të arsyetimit të OpenAI, duke përfshirë o3, o3‑mini dhe o4-mini.

GPT‑oss‑120b tejkalon OpenAI o3‑mini dhe përputhet ose tejkalon OpenAI o4-mini në kodimin e konkurrencës (Codeforces), zgjidhjen e përgjithshme të problemeve (MMLU dhe HLE) dhe thirrjen e mjeteve (TauBench). Për më tepër, ai performon edhe më mirë se o4-mini në pyetjet e lidhura me shëndetin (HealthBench⁠) dhe matematikën e garave (AIME 2024 & 2025). GPT‑oss‑20b përputhet ose tejkalon OpenAI o3‑mini në këto të njëjtat vlerësime, pavarësisht madhësisë së tij të vogël, madje e tejkalon atë në matematikën e konkurrencës dhe shëndetin.

Hulumtimi ynë i fundit⁠ ka treguar se monitorimi i CoT-së së një modeli arsyetimi mund të jetë i dobishëm për zbulimin e sjelljes së keqe për aq kohë sa modeli nuk është trajnuar me mbikëqyrje të drejtpërdrejtë për përshtatjen e CoT-së. Kjo perspektivë ndahet⁠(hapet në një dritare të re) edhe nga të tjerë në industri gjithashtu. Në përputhje me parimet tona që nga lançimi i OpenAI pamje paraprake⁠, ne nuk vendosëm asnjë mbikëqyrje të drejtpërdrejtë në CoT për asnjë nga modelet GPT. Ne besojmë se është thelbësore të monitorohet sjellja e keqe e modelit, mashtrimi dhe keqpërdorimi. Shpresa jonë është që lëshimi i një open model me një zinxhir mendimi të pambikëqyrur t'u japë zhvilluesve dhe studiuesve mundësinë për të hulumtuar dhe zbatuar sistemet e tyre të monitorimit CoT.

Zhvilluesit nuk duhet t'i tregojnë drejtpërdrejt CoT-të përdoruesve në aplikacionet e tyre. Ato mund të përmbajnë përmbajtje të shpikur ose të dëmshme, duke përfshirë gjuhën që nuk pasqyron politikat standarde të sigurisë së OpenAI dhe mund të përfshijnë informacione që modeli është kërkuar qartë të mos përfshijë në daljen përfundimtare.

Modelët GPT‑oss shfrytëzojnë qasjet tona më të avancuara për trajnim sigurie. Gjatë trajnimit paraprak, ne filtruam disa të dhëna të dëmshme Kimike, Biologjike, Radiologjike dhe Bërthamore (CBRN). Gjatë post-trajnimit, ne përdorëm përputhjen deliberativ⁠ dhe hierarkinë e udhëzimeve⁠(hapet në një dritare të re) për të mësuar modelin të refuzojë kërkesat e pasigurta dhe të mbrohet nga injeksionet e kërkesave.

Pasi të lëshohet një model me peshë të hapur, kundërshtarët mund të jenë në gjendje ta rregullojnë modelin për qëllime keqdashëse. Ne i vlerësuam drejtpërdrejt këto rreziqe duke përshtatur modelin me të dhëna të specializuara të biologjisë dhe sigurisë kibernetike, duke krijuar një version specifik për domen që nuk refuzon për secilin domen, ashtu siç mund të veprojë një sulmues. Më pas vlerësuam nivelin e aftësive të këtyre modeleve përmes testimeve të brendshme dhe të jashtme. Ky testim, siç detajohet në dokumentin tonë të sigurisë, tregoi se, edhe me rregullim të fortë që shfrytëzoi grupin kryesor të trajnimit të OpenAI, këto modele të rregulluara me qëllim të keq nuk ishin në gjendje të arrinin nivele të larta aftësie sipas Kornizës sonë të gatishmërisë⁠. Kjo metodologji e rregullimit me qëllim të keq u shqyrtua nga tre grupe të pavarura ekspertësh që bënë rekomandime për të përmirësuar procesin e trajnimit dhe vlerësimet, shumë prej të cilave i kemi miratuar. Ne i detajojmë këto rekomandime në kartën e modelit. Këto procese shënojnë një përparim kuptimplotë për sigurinë e open model-it. Këto gjetje informuan vendimin tonë për të lëshuar modelet GPT‑oss. Shpresojmë që këto modele do të ndihmojnë në përshpejtimin e trajnimit të sigurisë dhe kërkimit të harmonizimit në të gjithë industrinë.

Për të kontribuar në një ekosistem më të sigurt me burim të hapur, ne po organizojmë një Sfidën Red Teaming⁠(hapet në një dritare të re) për të inkurajuar studiuesit, zhvilluesit dhe entuziastët nga e gjithë bota që të ndihmojnë në identifikimin e çështjeve të reja të sigurisë. Sfida ka një fond çmimi prej 500,000 dollarësh që do të shpërndahet bazuar në vlerësimin nga një panel gjyqtarësh ekspertë nga OpenAI dhe specialistë të tjerë kryesorë. Në fund të sfidës, ne do të publikojmë një raport dhe do të hapim burimin e një grupi të dhënash vlerësimi bazuar në gjetjet e vërtetuara, në mënyrë që komuniteti më i gjerë të mund të përfitojë menjëherë. Mëso më shumë dhe merr pjesë këtu⁠(hapet në një dritare të re).

Peshat për GPT‑oss‑120b dhe GPT‑oss‑20b janë të disponueshme falas për shkarkim në Hugging Face dhe vijnë të kuantizuara në mënyrë natyrale në MXFP4. Kjo lejon që modeli GPT‑oss‑120B të funksionojë brenda 80 GB memorie, ndërsa GPT‑oss‑20B kërkon vetëm 16 GB.

Modelet janë trajnuar më tej në formatin tonë të kërkesës së harmonisë⁠(hapet në një dritare të re), dhe po e bëjmë me burim të hapur një renderues harmonie⁠(hapet në një dritare të re) si në Python ashtu edhe në Rust për të lehtësuar adoptimin. Ne gjithashtu po lëshojmë zbatime referencë për ekzekutimin e inferencës me PyTorch dhe në platformën Metal të Apple, së bashku me një koleksion mjetesh shembull për modelin.

Ne kemi dizajnuar këto modele që të jenë fleksibël dhe të lehta për t'u përdorur kudo: lokalisht, në pajisje ose përmes ofruesve të inferencës së palëve të treta. Për ta mbështetur këtë, ne bashkëpunuam përpara lançimit me platformat kryesore të implementimit si Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare dhe OpenRouter për t'i bërë modelet gjerësisht të arritshme për zhvilluesit. Në anën e harduerit, ne punuam me liderët e industrisë, duke përfshirë NVIDIA, AMD, Cerebras dhe Groq, për të siguruar performancë të optimizuar në një gamë sistemesh.

Si pjesë e lançimit të sotëm, Microsoft po sjell gjithashtu versione të optimizuara për GPU të modelit GPT‑oss‑20b në pajisjet Windows. Të mundësuara nga ONNX Runtime, këto modele mbështesin inferencën lokale dhe janë të disponueshme përmes Foundry Local dhe AI Toolkit për VS Code, duke e bërë më të lehtë për zhvilluesit e Windows të ndërtojnë me modele të hapura.

Për zhvilluesit që duan modele plotësisht të personalizueshme që mund t'i rregullojnë dhe vendosin në mjediset e tyre, GPT‑oss është një zgjedhje e shkëlqyer. Për ata që kërkojnë mbështetje multimodale, mjete të integruara dhe integrim pa probleme me platformën tonë, modelet e disponueshme përmes platformës sonë API mbeten opsioni më i mirë. Ne po vazhdojmë të dëgjojmë me vëmendje përshtypjet e zhvilluesve dhe mund të konsiderojmë mbështetjen e API për GPT‑oss në të ardhmen.

Nëse do të provosh modelet, shko te open model Playground⁠(hapet në një dritare të re). Për të mësuar më shumë rreth përdorimit të modeleve me ofrues të ndryshëm të ekosistemit ose si t'i përshtasësh modelet, shiko udhëzuesit tanë⁠(hapet në një dritare të re).

Lëshimi i GPT‑oss‑120b dhe GPT‑oss‑20b shënon një hap të rëndësishëm përpara për modelet me peshë të hapur. Në madhësinë e tyre, këto modele sjellin përparime të rëndësishme si në aftësitë e arsyetimit ashtu edhe në siguri. Modelet e hapura plotësojnë modelet tona të pritura, duke u ofruar zhvilluesve një gamë më të gjerë mjetesh për të përshpejtuar kërkimin më të avancuar, për të nxitur inovacionin dhe për të aktivizuar zhvillim më të sigurt dhe më transparent të AI në një gamë të gjerë rastesh përdorimi.

Këto modele të hapura gjithashtu ulin barrierat për tregjet në zhvillim, sektorët me burime të kufizuara dhe organizatat më të vogla që mund të kenë mungesë të buxhetit ose fleksibilitetit për të adoptuar modele pronësore. Me mjete të fuqishme dhe të arritshme në duart e tyre, njerëzit në të gjithë botën mund të ndërtojnë, inovojnë dhe krijojnë mundësi të reja për veten dhe të tjerët. Qasja e gjerë në këto modele të fuqishme me pesha të hapura të krijuara në SHBA ndihmon në zgjerimin e infrastrukturës demokratike të AI.

Një ekosistem i shëndetshëm i open model është një dimension për të ndihmuar në bërjen e AI gjerësisht të aksesueshme dhe të dobishme për të gjithë. Ne ftojmë zhvilluesit dhe studiuesit të përdorin këto modele për të eksperimentuar, bashkëpunuar dhe për ta bërë të pamundurën të mundur. Mezi presim të shohim se çfarë do të ndërtoni.