Esittelyssä gpt-oss

Julkaisemme gpt-oss-120b- ja gpt-oss-20b-mallit – kaksi huippuluokan avoimen painotuksen kielimallia, jotka tarjoavat vahvan reaalimaailman suorituskyvyn alhaisilla kustannuksilla. Joustavalla Apache 2.0 -lisenssillä toimivat mallit suoriutuvat päättelytehtävissä paremmin kuin vastaavan kokoiset open model -mallit, osoittavat vahvoja työkalujen käyttöominaisuuksia ja on optimoitu tehokkaaseen käyttöönottoon kuluttajatason laitteistoissa. Niitä koulutettiin käyttämällä sekä vahvistusoppimista että OpenAI:n edistyneimpien sisäisten mallien, kuten o3:n ja muiden kehittyneiden järjestelmien pohjalta tehtyjä tekniikoita.

Gpt-oss-120b-malli saavuttaa lähes pariteetin OpenAI o4-minin kanssa keskeisissä päättelyn vertailuarvoissa ja toimii tehokkaasti yhdellä 80 Gt:n näytönohjaimella. Gpt-oss-20b-malli tarjoaa samanlaisia tuloksia kuin OpenAI o3‑mini yleisissä vertailuarvoissa ja toimii reunakoneissa vain 16 Gt:n muistilla, joten se on ihanteellinen laitekohtaisiin käyttötapauksiin, paikalliseen päättelyyn tai nopeaan iterointiin ilman kallista infrastruktuuria. Molemmat mallit suoriutuvat hyvin myös työkalujen käytössä, muutaman otoksen funktioiden kutsumisessa, CoT-päättelyssä (kuten Tau-Bench-agentin arviointipaketin tuloksissa näkyy) ja HealthBench-arvioinnissa (jopa OpenAI o1:n ja GPT‑4o:n kaltaisia ​​omistusoikeudellisia malleja paremmin).

Nämä mallit ovat yhteensopivia Responses API⁠(avautuu uudessa ikkunassa):mme kanssa ja ne on suunniteltu käytettäväksi itsenäisten agenttien työnkuluissa, joissa vaaditaan poikkeuksellista ohjeiden noudattamista, työkalujen käyttöä, kuten verkkohakua tai Python-koodin suorittamista, sekä päättelykykyjä – mukaan lukien kyky säätää päättelytyötä tehtävissä, jotka eivät vaadi monimutkaista päättelyä ja/tai tavoittelevat erittäin pienen viiveen lopputuloksia. Ne ovat täysin muokattavissa, tarjoavat koko ajatusketjun (chain-of-thought, CoT) ja tukevat jäsenneltyjä tuotoksia⁠(avautuu uudessa ikkunassa).

Turvallisuus on perustavanlaatuinen lähestymistapamme kaikkien malliemme julkaisemiseen, ja se on erityisen tärkeää open models -mallien suhteen. Kattavan turvallisuuskoulutuksen ja arviointien lisäksi otimme käyttöön ylimääräisen arviointikerroksen testaamalla vastakkainasetteluun hienosäädetyn gpt-oss-120b-version valmiusviitekehyksemme⁠(avautuu uudessa ikkunassa) mukaisesti. Gpt-oss-mallit toimivat sisäisissä turvallisuusvertailuissa verrattavissa edistyneimpiin malleihimme ja tarjoavat kehittäjille samat turvallisuusstandardit kuin viimeaikaiset omistusoikeudelliset mallimme. Jaamme kyseisen työn tulokset ja lisätietoja tutkimusjulkaisussa ja mallikortissa. Ulkopuoliset asiantuntijat tarkastivat menetelmämme, jotka ovat askel eteenpäin uusien turvallisuusstandardien asettamisessa avoimen painotuksen malleille.

Olemme työskennelleet kumppaneiden kanssa, kuten AI Sweden⁠(avautuu uudessa ikkunassa), Orange⁠(avautuu uudessa ikkunassa) ja Snowflake⁠(avautuu uudessa ikkunassa), oppiaksemme open model -malliemme käytännön sovelluksista, mallien ylläpidosta paikallisesti ja tietoturvallisuuden takaamisesta aina niiden hienosäätöön erikoistuneilla tietojoukoilla. Olemme innoissamme voidessamme tarjota näitä luokkansa parhaita open model -malleja, jotka antavat kaikille yksittäisistä kehittäjistä suuryrityksiin ja julkiseen hallintoon mahdollisuuden käyttää ja mukauttaa tekoälyä omassa infrastruktuurissaan. Yhdessä API:ssamme saatavilla olevien mallien kanssa kehittäjät voivat valita tekoälytyönkulkujen edellyttämän suorituskyvyn, kustannukset ja viiveen.

Gpt-oss-mallit koulutettiin käyttämällä edistyneimpiä esikoulutus- ja jälkikoulutustekniikoitamme, joissa keskityttiin erityisesti päättelykykyyn, tehokkuuteen ja reaalimaailman käytettävyyteen monenlaisissa käyttöympäristöissä. Vaikka olemme tehneet muita malleja avoimesti saataville, kuten Whisper⁠ ja CLIP⁠, gpt-oss-mallit ovat ensimmäiset avoimen painotuksen kielimallimme GPT‑2:n ^[1] jälkeen.

Jokainen malli on Transformer, joka hyödyntää Mixture-of-Experts (MoE ^[2]) -menetelmää vähentämään syötteen käsittelyyn tarvittavien aktiivisten parametrien määrää. Gpt-oss-120b-malli aktivoi 5,1 miljardia parametria tunnistetta kohden ja gpt-oss-20b-malli aktivoi 3,6 miljardia parametria. Malleilla on yhteensä 117b ja 21b parametria. Mallit käyttävät vuorotellen tiheitä ja paikallisesti kaistaleisia harvoja huomiokuvioita eli samanlaisia kuin GPT‑3:ssa^[3]. Päättelyn ja muistin tehokkuuden parantamiseksi mallit käyttävät myös ryhmiteltyä monikyselyistä huomiota, jonka ryhmäkoko on 8. Käytämme paikkakoodaukseen Rotary Positional Embedding -menetelmää (RoPE ^[4]) ja tuemme alkuperäisesti jopa 128 kilotavun kontekstipituuksia.

Koulutimme mallit korkealaatuisella pääosin englanninkielisellä tekstipohjaisella aineistolla, jossa keskityttiin STEM-aineisiin, koodaukseen ja yleistietoon. Jäsentelimme datan käyttämällä OpenAI o4-mini- ja GPT‑4o‑malleissa käytettyjä jäsentelyn superjoukkoa: o200k_harmony, jonka myös julkaisemme avoimen lähdekoodin versiona.

Lisätietoja malliemme arkkitehtuurista ja koulutuksesta on mallikortissa.

Mallit jälkikoulutettiin käyttämällä samanlaista prosessia kuin o4-minissä, mukaan lukien valvottu hienosäätövaihe ja suurteholaskennan RL-vaihe. Tavoitteenamme oli yhdenmukaistaa mallit OpenAI ModelSpec⁠(avautuu uudessa ikkunassa) -määritysten kanssa ja opettaa niille CoT-päättelyä⁠ ja työkalujen käyttöä ennen vastauksen tuottamista. Käyttämällä samoja tekniikoita kuin omistusoikeudellisissa SoTA-päättelymalleissamme mallit osoittavat poikkeuksellisia kykyjä jälkikoulutuksen jälkeen.

Samoin kuin API-rajapinnan OpenAI o-sarjan päättelymallit, nämä kaksi avoimen painotuksen mallia tukevat kolmitasoista päättelyä – matalaa, keskitasoista ja korkeaa – jotka tasapainottavat viivettä suorituskykyyn verrattuna. Kehittäjät voivat helposti asettaa päättelytason yhdellä lauseella järjestelmäviestissä.

Arvioimme gpt-oss-120b- ja gpt-oss-20b-mallia vakiomuotoisten akateemisten vertailuarvojen avulla mitataksemme niiden kykyjä koodauksessa, kilpailumatematiikassa, toimintakunnossa ja itsenäisten agenttien työkalujen käytössä verrattuna muihin OpenAI-päättelymalleihin, kuten o3, o3‑mini ja o4-mini.

Gpt-oss-120b suoriutuu OpenAI o3‑miniä paremmin ja vastaa tai ylittää OpenAI o4-minin kilpailukoodauksessa (Codeforces), yleisessä ongelmanratkaisussa (MMLU ja HLE) ja työkalukutsussa (TauBench). Lisäksi se suoriutuu jopa o4-miniä paremmin terveyteen liittyvissä kyselyissä (HealthBench⁠) ja kilpailumatematiikassa (AIME 2024 ja 2025). Gpt-oss-20b vastaa tai ylittää OpenAI o3‑minin samoissa arvioinneissa pienestä koostaan huolimatta, ja suoriutuu jopa sitä paremmin kilpailumatematiikassa ja terveystiedoissa.

Viimeaikainen tutkimuksemme⁠ on osoittanut, että päättelymallin ajatusketjun seuranta voi olla hyödyllistä väärinkäytösten havaitsemiseksi, kunhan mallia ei ole koulutettu suoralla ohjauksella ajatusketjun yhdenmukaistamiseksi. Saman näkökannan jakavat⁠(avautuu uudessa ikkunassa) myös muut toimialan toimijat. OpenAI o1‑preview⁠'n julkaisusta lähtien noudattamiemme periaatteiden mukaisesti emme ole asettaneet suoraa ohjausta CoT-ketjulle kummassakaan gpt-oss-mallissa. Uskomme sen olevan erittäin tärkeää mallien väärinkäytösten, harhaanjohtamisen ja väärinkäytösten seurannan kannalta. Toivomme, että open model -mallin julkaiseminen ilman ohjattua ajatteluketjua antaa kehittäjille ja tutkijoille mahdollisuuden tutkia ja toteuttaa omia CoT-valvontajärjestelmiään.

Kehittäjien ei tulisi näyttää CoT-ketjuja suoraan käyttäjille sovelluksissaan. Ne voivat sisältää hallusinaatioita tai haitallisia sisältöä, mukaan lukien kieltä, joka ei vastaa OpenAI:n vakiomuotoisia turvallisuuskäytäntöjä, ja ne voivat sisältää tietoja, joita mallia nimenomaisesti pyydetään olemaan sisällyttämättä lopulliseen tuotokseen.

Gpt-oss-mallit hyödyntävät huippuluokan lähestymistapojamme turvallisuuskoulutukseen. Esikoulutuksen aikana suodatettiin pois tiettyjä kemiallisiin, biologisiin, säteily- ja ydinaineisiin (CBRN) liittyviä haitallisia tietoja. Jälkikoulutuksen aikana käytimme harkitsevaa linjausta⁠ ja käskyhierarkiaa⁠(avautuu uudessa ikkunassa) opettaaksemme mallille, kuinka kieltäytyä vaarallisista kehotteista ja miten puolustautua niitä vastaan.

Kun avoimen painotuksen malli on julkaistu, epäilyttävät toimijat voivat yrittää hienosäätää mallia haitallisiin tarkoituksiin. Arvioimme näitä riskejä suoraan hienosäätämällä mallia erikoistuneen biologian ja kyberturvallisuusdatan avulla ja luomalla jokaiselle toimialueelle toimialuekohtaisen kieltäytymättömän version samalla tavalla kuin hyökkääjä saattaisi tehdä. Tämä testaus osoitti, että edes erittäin laajoista hienosäädöistä huolimatta, jotka hyödynsivät OpenAI:n johtavaa koulutuspinoa, nämä haitalliseksi hienosäädetyt mallit eivät kyenneet saavuttamaan korkeita suorituskykytasoja valmiusviitekehyksemme⁠ mukaisesti. Tätä haitallista hienosäätömenetelmää tarkasteli kolme riippumatonta asiantuntijaryhmää, jotka antoivat suosituksia koulutusprosessin ja arviointien parantamiseksi. Monet näistä suosituksista otimme käyttöön. Esitämme nämä suositukset mallikortissa. Kyseiset prosessit merkitsevät merkittävää edistysaskelta open model -mallin turvallisuuden kannalta. Nämä havainnot vahvistivat päätöksemme julkaista gpt-oss-mallit. Toivomme, että nämä mallit auttavat nopeuttamaan turvallisuuskoulutusta ja yhdenmukaistamisen tutkimusta koko toimialalla.

Avoimen lähdekoodin ekosysteemin turvaamiseksi järjestämme Red Teaming Challenge⁠(avautuu uudessa ikkunassa) -tapahtuman, jossa kannustamme tutkijoita, kehittäjiä ja harrastajia eri puolilta maailmaa tunnistamaan uusia turvallisuusongelmia. Haasteessa on palkintona 500 000 dollaria, joka jaetaan OpenAI:n ja muiden johtavien laboratorioiden asiantuntijatuomareiden arvioinnin perusteella. Haasteen päätteeksi julkaisemme raportin ja teemme avoimeksi arviointiaineiston validoitujen havaintojen perusteella, jotta laajempi yhteisö voi hyödyntää sitä välittömästi. Voit lukea lisää ja osallistua täällä⁠(avautuu uudessa ikkunassa).

Sekä gpt-oss-120b- että gpt-oss-20b-mallin painotukset ovat vapaasti ladattavissa Hugging Facesta ja ne kvantisoidaan natiivisti MXFP4:ssä. Se mahdollistaa gpt-oss-120B-mallin toiminnan 80 Gt:n muistilla, kun taas gpt-oss-20b vaatii vain 16 Gt.

Mallit on jälkikoulutettu Harmony-kehotemuodollamme⁠(avautuu uudessa ikkunassa) ja käyttöönoton helpottamiseksi tulemme julkaisemaan avoimen lähdekoodin Harmony-renderöintityökalun⁠(avautuu uudessa ikkunassa) sekä Pythonissa että Rustissa. Julkaisemme myös referenssitoteutuksia päättelyn suorittamiseen PyTorchilla ja Applen Metal-alustalla sekä kokoelman esimerkkityökaluja mallia varten.

Olemme suunnitelleet nämä mallit joustaviksi ja helposti käytettäviksi missä tahansa, paikallisesti, laitteella tai kolmannen osapuolen päättelypalvelujen kautta. Sen tukemiseksi teimme ennen julkaisua yhteistyötä johtavien käyttöönottoalustojen kanssa, kuten Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare ja OpenRouter, jotta mallit olisivat laajasti kehittäjien saatavilla. Laitteistopuolella teimme yhteistyötä alan johtavien toimijoiden kanssa, kuten NVIDIA, AMD, Cerebras ja Groq, varmistaaksemme optimaalisen suorituskyvyn useissa eri järjestelmissä.

Osana tätä julkaisua Microsoft tuo myös GPU-optimoidut versiot gpt-oss-20b-mallista Windows-laitteisiin. Nämä tehokkaat ONNX Runtime -mallit tukevat paikallista päättelyä ja ovat saatavilla Foundry Localin ja AI Toolkitin VS Codelle kautta, mikä helpottaa Windows-kehittäjien työskentelyä open model -malleilla.

Gpt-oss on loistava valinta kehittäjille, jotka haluavat täysin muokattavia malleja, joita he voivat hienosäätää ja ottaa käyttöön omissa ympäristöissään. Niille, jotka etsivät multimodaalista tukea, sisäänrakennettuja työkaluja ja saumatonta integraatiota alustamme kanssa, API-alustamme kautta saatavilla olevat mallit ovat edelleen paras vaihtoehto. Kuuntelemme edelleen tarkasti kehittäjien palautetta ja saatamme harkita API-tukea gpt-oss-mallille tulevaisuudessa.

Voit kokeilla malleja open model -leikkikentällämme⁠(avautuu uudessa ikkunassa). Lisätietoja mallien käytöstä eri ekosysteemien palveluntarjoajien kanssa tai mallien hienosäädöstä on oppaissamme⁠(avautuu uudessa ikkunassa).

Gpt-oss-120b- ja gpt-oss-20b-mallien julkaisu on merkittävä kehitysaskel avoimen painotuksen mallien alalla. Kokoonsa nähden nämä mallit tarjoavat merkittäviä parannuksia sekä päättelykyvyssä että turvallisuudessa. Lisäämällä nämä open model -mallit olemassa olevaan API-tarjontaamme pyrimme nopeuttamaan huippututkimusta, edistämään innovaatioita ja mahdollistamaan turvallisemman ja läpinäkyvämmän tekoälyn kehittämisen monissa eri käyttötapauksissa.

Nämä open model -mallit myös madaltavat kynnystä kehittyville markkinoille, resurssirajoitteisille aloille ja pienemmille organisaatioille, joilla ei välttämättä ole varoja tai joustavuutta ottaa käyttöön omia malleja. Tehokkaiden ja helposti saatavilla olevien työkalujen avulla ihmiset ympäri maailmaa voivat rakentaa, innovoida ja luoda uusia mahdollisuuksia itselleen ja muille. Näiden Yhdysvalloissa luotujen tehokkaiden avoimen painotuksen päättelymallien laaja käyttö auttaa laajentamaan demokraattista tekoälykehitystä.

Terve open model -ekosysteemi on yksi ulottuvuus tekoälyn laajan saatavuuden ja hyödyllisyyden edistämiseksi kaikille. Julkaisemme omia open model -mallejamme selvittääksemme, miten me vaikutamme tähän ekosysteemiin ja oikeuttavatko näiden mallien vahvuudet ja hyödyt OpenAI:n investoinnit open model -malleihin tulevaisuudessa. Jos rakennat open model -malleillamme, palautteesi mallien vahvuuksista ja tosielämän sovelluksista on tärkeässä roolissa päätöksenteossamme.

Kutsumme kehittäjiä ja tutkijoita käyttämään näitä malleja kokeiluihin, yhteistyöhön ja mahdollisuuksien rajojen siirtelyyn. Meistä on mahtavaa nähdä, mitä saat aikaan.