Við kynnum gpt-oss

Við erum að gefa út gpt-oss-120b og gpt-oss-20b—tvö háþróuð tungumálalíkön með opið vægi sem skila sterkum raunverulegum afköstum með litlum tilkostnaði. Þessi líkön eru fáanleg undir sveigjanlega Apache 2.0-leyfinu, skara fram úr álíka stórum opnum líkönum í röksemdafærsluverkefnum, sýna framúrskarandi verkfæranotkunargetu og eru hönnuð fyrir skilvirka dreifingu á neytendavélbúnaði. Þau voru þjálfuð með blöndu af styrkingarnámi og tækni sem byggir á fullkomnustu innri líkönum OpenAI, þar á meðal o3 og öðrum nýjustu kerfum.

GPT‑oss‑120b líkanið nær næstum jafngildi við OpenAI o4-mini á kjarna röksemdafærsluviðmiðunum, á meðan það keyrir á skilvirkan hátt á einum 80 GB GPU. GPT‑oss‑20b líkanið skilar svipuðum árangri og OpenAI o3‑mini á algengum viðmiðunum og getur keyrt á jaðartækjum með aðeins 16 GB af minni, sem gerir það tilvalið fyrir notkunartilvik á tækinu, staðbundnar ályktanir eða hraða endurtekningu án kostnaðarsamra innviða. Bæði líkönin standa sig einnig vel í verkfæranotkun, aðgerðaköllum með spurningum með svör, CoT-röksemdafærslu (eins og sést í niðurstöðum á Tau-Bench fulltrúamatspakkanum) og HealthBench (jafnvel betri en einkalíkön eins og OpenAI o1 og GPT‑4o).

Þessi líkön eru samhæf við Responses API⁠(opnast í nýjum glugga) okkar og eru hönnuð til að nota innan fulltrúaverkflæðis með framúrskarandi leiðbeiningafylgni, verkfæranotkun eins og vefleit eða framkvæmd Python-kóða, og röksemdafærslugetu – þar á meðal getu til að stilla röksemdafærslu fyrir verkefni sem krefjast ekki flókinna röksemdafærslu og/eða miða við mjög lítinn biðtíma fyrir lokafrálag. Þau eru algjörlega sérhönnuð, veita fullan chain-of-thought (CoT) og veita skipulögð frálög⁠(opnast í nýjum glugga).

Öryggi er grundvallaratriði í nálgun okkar við að gefa út öll líkön okkar og er sérstaklega mikilvægt fyrir opin líkön. Auk þess að keyra líkönin í gegnum yfirgripsmikla öryggisþjálfun og mat, kynntum við einnig viðbótarlag af mati með því að prófa andstæðingslega fínstillta útgáfu af gpt-oss-120b samkvæmt viðbúnaðarramma⁠(opnast í nýjum glugga) okkar. GPT‑OSS líkönin standa sig sambærilega við fremstu líkön okkar á innri öryggisviðmiðum og bjóða forriturum sömu öryggisstaðla og nýjustu einkalíkön okkar. Við erum að deila niðurstöðum þeirrar vinnu og frekari upplýsingum í rannsóknarritgerð⁠(opnast í nýjum glugga) og í líkankortinu⁠(opnast í nýjum glugga). Aðferðafræði okkar var endurskoðuð af utanaðkomandi sérfræðingum og markar skref fram á við í að setja nýja öryggisstaðla fyrir líkin með opið vægi.

Við höfum einnig unnið með fyrstu samstarfsaðilum eins og AI Sweden⁠(opnast í nýjum glugga), Orange⁠(opnast í nýjum glugga) og Snowflake⁠(opnast í nýjum glugga) til að læra um raunveruleg notkunartilvik opinna líkana okkar, allt frá því að hýsa þessi líkön á staðnum fyrir gagnaöryggi til að fínstilla þau á sérhæfðum gagnasöfnum. Við erum spennt að bjóða upp á þessi bestu opnu líkön til að styrkja alla—frá einstökum forriturum til stórra fyrirtækja til stjórnvalda—til að keyra og sérsníða gervigreind á eigin innviðum. Samhliða þeim líkönum sem eru í boði í API okkar geta forritarar valið þá frammistöðu, kostnað og biðtíma sem þeir þurfa til að knýja gervigreindarvinnuflæði.

GPT‑oss líkönin voru þjálfuð með því að nota okkar fullkomnustu tækni fyrir forþjálfun og eftirþjálfun, með sérstakri áherslu á röksemdafærslu, skilvirkni og raunverulegt notagildi í fjölbreyttum dreifingarumhverfum. Þó að við höfum gert önnur líkön, þar á meðal Whisper⁠ og CLIP⁠, aðgengileg opinberlega, eru GPT‑oss líkönin okkar fyrstu tungumálalíkönin með opnu vægi síðan GPT‑2^[1].

Hvert líkan er Transformer sem nýtir blöndu af sérfræðingum (MoE^[2]) til að draga úr fjölda virkra breyta sem þarf til að vinna úr inntaki. GPT‑oss‑120b virkjar 5,1 milljarð breyta á hvert tákn, á meðan GPT‑oss‑20b virkjar 3,6 milljarða. Líkönin hafa 117 milljarða og 21 milljarð heildarbreytur í sömu röð. Líkönin nota til skiptis þétt og staðbundið dreifð athyglismynstur, svipað og GPT‑3^[3]. Fyrir ályktunar- og minnisnýtingu nota líkönin einnig flokkaða fjölfyrirspurnarathygli með hópstærð 8. Við notum Rotary Positional Embedding (RoPE^[4]) fyrir staðsetningarkóðun og styðjum innfæddar samhengislengdir allt að 128 þús.

Við þjálfuðum líkönin á að mestu leyti ensku, gagnasafni aðeins með texta, með áherslu á STEM, forritun og almenna þekkingu. Við skiptum gögnunum í tákn með því að nota ofursett af tákngerð okkar sem notuð er fyrir OpenAI o4-mini og GPT‑4o: o200k_harmony, sem við erum einnig að opna fyrir almenning í dag.

Frekari upplýsingar um högun líkana okkar og þjálfun líkananna okkar, lestu líkankortið⁠(opnast í nýjum glugga).

Líkönin voru eftirþjálfuð með svipuðu ferli og notað var fyrir o4-mini, þar á meðal stigi stýrðrar fínstillingar og háreiknistigi RL. Markmið okkar var að samræma líkönin við OpenAI Model Spec⁠(opnast í nýjum glugga) og kenna þeim að beita CoT röksemdafærslu⁠ og verkfæranotkun áður en þau framleiða svarið sitt. Með því að nota sömu tækni og SoTA sértæku röksemdafærslulíkönin okkar, sýna líkönin framúrskarandi getu eftir eftirþjálfun.

Líkt og OpenAI o-röð röksemdafærslulíkana í API, veita tvö líkönin með opnu vægi þrjú stig röksemdafærslu – lágt, meðal og hátt – sem skipta á milli biðtíma og afkasta. Forritarar geta auðveldlega stillt röksemdafærsluna með einni setningu í kerfisskilaboðunum.

Við metum GPT‑oss‑120b og GPT‑oss‑20b yfir stöðluð fræðileg viðmið til að mæla getu þeirra í forritun, keppnisstærðfræði, heilsu og notkun fulltrúaverkfæra í samanburði við önnur OpenAI-líkön, þar á meðal o3, o3‑mini og o4-mini.

gpt-oss-120b skarar fram úr OpenAI o3‑mini og jafnast á við eða fer fram úr OpenAI o4-mini í keppniskóðun (Codeforces), almennri vandamálalausn (MMLU og HLE) og verkfæraköllun (TauBench). Það gerir ennfremur enn betur en o4-mini á heilsutengdum fyrirspurnum (HealthBench⁠) og keppnisstærðfræði (AIME 2024 & 2025). gpt-oss-20b stenst eða fer fram úr OpenAI o3‑mini á þessum sömu prófunum, þrátt fyrir smæð sína, jafnvel betri í keppnisstærðfræði og heilsu.

Nýlegar rannsóknir okkar⁠ hafa sýnt að það getur verið gagnlegt að fylgjast með CoT-röksemdafærslulíkani til að greina óeðlilega hegðun, svo framarlega sem líkanið var ekki þjálfað undir beinni leiðsögn til að samræma CoT. Þessu sjónarhorni er deilt⁠(opnast í nýjum glugga) af öðrum í greininni líka. Í samræmi við meginreglur okkar frá því að OpenAI o1‑preview⁠ var sett á markað, settum við ekkert beint eftirlit á CoT fyrir hvorugt GPT‑líkanið. Við teljum að þetta sé mikilvægt til að fylgjast með mishegðun líkans, blekkingum og misnotkun. Von okkar er að útgáfa áa opnu líkani með hugsanaþræði án eftirlits gefi forriturum og rannsakendum tækifæri til að rannsaka og innleiða sín eigin CoT-eftirlitskerfi.

Forritarar ættu ekki að sýna notendum CoTs beint í snjallforritum sínum. Þau geta innihaldið ofskynjað eða skaðlegt efni, þar á meðal tungumál sem ekki endurspeglar staðlaða öryggisstefnu OpenAI, og geta innihaldið upplýsingar sem líkaninu er beinlínis sagt að sleppa í lokafrálaginu.

GPT‑oss líkönin nýta okkar háþróuðu aðferðir til þjálfunar. Á meðan á forþjálfun stóð, síuðum við út ákveðin skaðleg gögn sem tengjast efna-, líf-, geisla- og kjarnorkufræði (CBRN). Við eftirþjálfun notuðum við ígrundaða röðun⁠ og kennslustigveldi⁠(opnast í nýjum glugga) til að kenna líkaninu að neita óöruggum kvaðningum og verjast kvaðningasáningu.

Þegar líkan með opið vægi er gefið út gætu andstæðingar mögulega fínstillt líkanið í illgjörnum tilgangi. Við metum þessa áhættu beint með því að fínstilla líkanið á sérhæfðum líffræði- og netöryggisgögnum, og búum til lénsértæka útgáfu sem hafnar ekki fyrir hvert lén, eins og tölvuþrjótur gæti gert. Við metum síðan getu þessara líkana með innri og ytri prófunum. Þessi prófun, eins og lýst er í meðfylgjandi öryggisskjali okkar, benti til þess að jafnvel með öflugri fínstillingu sem nýtti leiðandi þjálfunarstafla OpenAI, gátu þessi illgjarnlega fínstilltu líkön ekki náð háu getustigi samkvæmt viðbúnaðarramma⁠ okkar. Þessi illgjarna fínstillingaraðferðafræði var endurskoðuð af þremur óháðum sérfræðingahópum sem gerðu tillögur til að bæta þjálfunarferlið og matið, sem mörg hver við samþykktum. Við útskýrum þessar ráðleggingar í líkankortinu. Þessir ferlar marka þýðingarmikla framþróun fyrir öryggi opna líkansins. Þessar niðurstöður leiddu til ákvörðunar okkar um að gefa út GPT‑oss líkönin. Við vonum að þessi líkön muni hjálpa til við að flýta fyrir öryggisþjálfun og samræmingarrannsóknum í allri atvinnugreininni.

Til að stuðla að öruggara vistkerfi með opnum hugbúnaði erum við að halda Red Teaming Challenge⁠(opnast í nýjum glugga) til að hvetja vísindamenn, forritara og áhugamenn um allan heim til að hjálpa til við að bera kennsl á ný öryggismál. Áskorunin er með $500.000 verðlaunasjóð sem verður veittur byggt á umsögn frá pallborði sérfræðidómara frá OpenAI og öðrum leiðandi rannsóknarstofum. Í lok áskorunarinnar munum við gefa út skýrslu og opna aðgang að matsgagnasetti byggðu á fullgiltum niðurstöðum, svo að víðara samfélagið geti strax notið góðs af. Lærðu meira og taktu þátt hér⁠(opnast í nýjum glugga).

Vægi fyrir bæði GPT‑oss‑120b og GPT‑oss‑20b eru tiltæk án endurgjalds til niðurhals á Hugging Face og eru innbyggðir bútar í MXFP4. Þetta gerir GPT‑oss‑120B líkaninu kleift að keyra innan 80 GB af minni, á meðan GPT‑oss‑20b þarf aðeins 16 GB.

Líkönin hafa verið eftirþjálfuð á okkar samræmda kvaðningssniði⁠(opnast í nýjum glugga), og við erum að opna kóðann fyrir harmony renderer⁠(opnast í nýjum glugga) í bæði Python og Rust til að auðvelda innleiðingu. Við erum einnig að gefa út viðmiðunarútfærslur til að keyra ályktun með PyTorch og á Metal verkvangi Apple, ásamt safni dæmatækja fyrir líkanið.

Við höfum hannað þessi líkön til að vera sveigjanleg og auðveld í notkun hvar sem er—á staðnum, í tækinu eða í gegnum þriðja aðila ályktunarveitendur. Til að veita aðstoð við þetta hófum við samstarf fyrir ræstingu með leiðandi dreifingarverkvöngum eins og Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare og OpenRouter til að gera líkönin víðtækt aðgengileg fyrir forritara. Á vélbúnaðarhliðinni unnum við með leiðtogum iðnaðarins, þar á meðal NVIDIA, AMD, Cerebras og Groq, til að tryggja hagræðingu á frammistöðu í ýmsum kerfum.

Sem hluti af útgáfunni í dag er Microsoft einnig að koma GPU-fínstilltum útgáfum af GPT‑oss‑20b líkaninu í Windows-tæki. Knúin af ONNX Runtime, veita þessi líkön staðbundna aðstoð og eru fáanleg í gegnum Foundry Local og AI Toolkit fyrir VS Code, sem auðveldar Windows-forriturum að forrita með opnum líkönum.

Fyrir forritara, sem vilja fullkomlega sérhönnuð líkön sem þeir geta fínstillt og dreift í eigin umhverfi, er gpt-oss frábær kostur. Fyrir þá sem leita að fjölþættri aðstoð, innbyggðum verkfærum og óaðfinnanlegri samþættingu við verkvanginn okkar, eru líkönin sem eru fáanleg í gegnum API-verkvanginn okkar áfram besti kosturinn. Við erum áfram að hlusta vel á ábendingar frá forriturum og gætum íhugað API-aðstoð fyrir GPT‑oss í framtíðinni.

Ef þú vilt prófa líkönin, farðu á open model Playground⁠(opnast í nýjum glugga) okkar. Til að læra meira um hvernig á að nota líkönin með mismunandi vistkerfisveitum eða hvernig á að fínstilla líkönin, skoðaðu leiðbeiningarnar okkar⁠(opnast í nýjum glugga).

Að gefa út gpt-oss-120b og gpt-oss-20b markar mikilvægt skref fram á við fyrir líkön með opnu vægi. Í þessari stærð skila þessi líkön verulegum framförum bæði í röksemdafærslugetu og öryggi. Opin líkön bæta við hýst líkön okkar, gefa forriturum fjölbreyttari verkfæri til að flýta fyrir fremstu rannsóknum, efla nýsköpun og virkja öruggari, gagnsærri gervigreindarþróun í fjölmörgum notkunartilvikum.

Þessi opnu líkön lækka einnig hindranir fyrir nýmarkaði, auðlindaþvingaðar atvinnugreinar og smærri stofnanir sem kunna að skorta fjármagn eða sveigjanleika til að taka upp sérhæfð líkön. Með öflugum, aðgengilegum verkfærum í höndunum getur fólk um allan heim byggt, stundað nýsköpun og búið til ný tækifæri fyrir sig og aðra. Víðtækur aðgangur að þessum öflugum opnum líkönum sem eru búin til í Bandaríkjunum hjálpar til við að auka lýðræðislegar gervigreindarbrautir.

Heilbrigt vistkerfi opins líkans er ein vídd til að gera gervigreind víða aðgengilega og gagnlega fyrir alla. Við bjóðum forriturum og vísindamönnum að nota þessi líkön til að gera tilraunir, vinna saman og ýta á mörk þess sem mögulegt er. Við hlökkum til að sjá hvað þú býrð til.