Presentem gpt-oss

Publiquem gpt-oss-120b i gpt-oss-20b: dos models lingüístics de pesos oberts d'última generació que ofereixen un fort rendiment real a baix cost. Disponibles sota la flexible llicència Apache 2.0, aquests models superen models oberts de mida similar en tasques de raonament, demostren grans capacitats d'ús d'eines i estan optimitzats per a un desplegament eficient en maquinari de consum. S'han entrenat amb una combinació d'aprenentatge per reforç i tècniques inspirades en els models interns més avançats d'OpenAI, inclosos o3 i altres sistemes d'avantguarda.

El model gpt-oss-120b aconsegueix una quasi paritat amb OpenAI o4-mini en els benchmarks principals de raonament, alhora que funciona de manera eficient en una sola GPU de 80 GB. El model gpt-oss-20b ofereix resultats similars a OpenAI o3‑mini en benchmarks comuns i pot executar-se en dispositius edge amb només 16 GB de memòria, cosa que el fa ideal per a casos d'ús al dispositiu, inferència local o iteració ràpida sense infraestructura costosa. Tots dos models també rendeixen molt bé en ús d'eines, crida a funcions amb pocs exemples, raonament CoT (com es veu als resultats del conjunt d'avaluació agentic Tau-Bench) i HealthBench (fins i tot superant models propietaris com OpenAI o1 i GPT‑4o).

Aquests models són compatibles amb la nostra API Responses⁠(s'obre en una finestra nova) i estan dissenyats per usar-se dins de fluxos de treball amb agents amb un seguiment d'instruccions excepcional, ús d'eines com la cerca web o l'execució de codi Python, i capacitats de raonament, inclosa la capacitat d'ajustar l'esforç de raonament per a tasques que no requereixen un raonament complex i/o apunten a respostes finals de latència molt baixa. Són totalment personalitzables, ofereixen tota la cadena de pensament (CoT) i admeten resultats estructurats⁠(s'obre en una finestra nova).

La seguretat és fonamental en el nostre enfocament a l'hora de llançar tots els nostres models, i és especialment important per als models oberts. A més de sotmetre els models a una formació i unes avaluacions de seguretat exhaustives, també vam introduir una capa addicional d'avaluació provant una versió de gpt-oss-120b afinada de manera adversària dins del nostre Entorn de treball de preparació⁠(s'obre en una finestra nova). Els models gpt-oss funcionen de manera comparable als nostres models d'avantguarda en benchmarks interns de seguretat, oferint als desenvolupadors els mateixos estàndards de seguretat que els nostres models propietaris recents. Compartim els resultats d'aquest treball i més detalls en un article de recerca⁠(s'obre en una finestra nova) i a la fitxa del model⁠(s'obre en una finestra nova). La nostra metodologia va ser revisada per experts externs i marca un pas endavant en l'establiment de nous estàndards de seguretat per als models de pesos oberts.

També hem estat treballant amb socis inicials com AI Sweden⁠(s'obre en una finestra nova), Orange⁠(s'obre en una finestra nova) i Snowflake⁠(s'obre en una finestra nova) per aprendre sobre aplicacions reals dels nostres models oberts, des d'allotjar aquests models localment per a la seguretat de les dades fins a afinar-los amb conjunts de dades especialitzats. Ens entusiasma oferir aquests models oberts líders de la seva categoria per empoderar tothom, des de desenvolupadors individuals fins a grans empreses i governs, perquè executin i personalitzin IA sobre la seva pròpia infraestructura. Juntament amb els models disponibles a la nostra API, els desenvolupadors poden triar el rendiment, el cost i la latència que necessiten per impulsar fluxos de treball d'IA.

Els models gpt-oss s'han entrenat amb les nostres tècniques més avançades de preentrenament i posterior a l'entrenament previ, amb un enfocament especial en el raonament, l'eficiència i la usabilitat real en una àmplia gamma d'entorns de desplegament. Tot i que hem posat altres models a disposició oberta, com Whisper⁠ i CLIP⁠, els models gpt-oss són els nostres primers models lingüístics de pesos oberts des de GPT‑2^[1].

Cada model és un transformador que aprofita una barreja d'experts (MoE^[2]) per reduir el nombre de paràmetres actius necessaris per processar l'entrada. gpt-oss-120b activa 5.1B paràmetres per segment, mentre que gpt-oss-20b n'activa 3.6B. Els models tenen 117b i 21b paràmetres totals, respectivament. Els models utilitzen patrons d'atenció alternats densos i dispersos localment agrupats, similars a GPT‑3^[3]. Per a l'eficiència d'inferència i memòria, els models també utilitzen atenció multiquery agrupada, amb una mida de grup de 8. Fem servir Rotary Positional Embedding (RoPE^[4]) per a la codificació posicional i admetem de manera nativa longituds de context de fins a 128k.

Vam entrenar els models amb un conjunt de dades majoritàriament en anglès i només de text, amb un enfocament en STEM, programació i coneixement general. Vam segmentar les dades utilitzant un superconjunt del nostre tokenitzador emprat per a OpenAI o4-mini i GPT‑4o: o200k_harmony, que també avui estem publicant com a codi obert.

Per obtenir més informació sobre l'arquitectura i l'entrenament dels nostres models, llegiu la fitxa del model⁠(s'obre en una finestra nova).

Els models es van entrenar després de l'entrenament previ amb un procés similar al que es fa servir per a o4-mini, incloent-hi una fase d'afinament supervisat i una fase de RL d'alt càlcul. El nostre objectiu era alinear els models amb l'OpenAI Model Spec⁠(s'obre en una finestra nova) i ensenyar-los a aplicar el raonament CoT⁠ i l'ús d'eines abans de produir la resposta. En utilitzar les mateixes tècniques que els nostres models propietaris de raonament SoTA, els models demostren capacitats excepcionals després del posterior a l'entrenament previ.

De manera similar als models de raonament OpenAI sèrie o de l'API, els dos models de pesos oberts admeten tres nivells d'esforç de raonament —baix, mitjà i alt— que equilibren latència i rendiment. Els desenvolupadors poden definir fàcilment l'esforç de raonament amb una frase al missatge del sistema.

Vam avaluar gpt-oss-120b i gpt-oss-20b en benchmarks acadèmics estàndard per mesurar les seves capacitats en programació, matemàtiques de competició, salut i ús agentic d'eines en comparació amb altres models de raonament d'OpenAI, com o3, o3‑mini i o4-mini.

gpt-oss-120b supera OpenAI o3‑mini i iguala o supera OpenAI o4-mini en programació de competició (Codeforces), resolució general de problemes (MMLU i HLE) i crida a eines (TauBench). A més, fins i tot ho fa millor que o4-mini en consultes relacionades amb la salut (HealthBench⁠) i matemàtiques de competició (AIME 2024 i 2025). gpt-oss-20b iguala o supera OpenAI o3‑mini en aquestes mateixes avaluacions, malgrat la seva mida reduïda, fins i tot superant-lo en matemàtiques de competició i salut.

La nostra recerca recent⁠ ha mostrat que monitorar la CoT d'un model de raonament pot ser útil per detectar comportaments inadequats sempre que el model no hagi estat entrenat amb supervisió directa per alinear la CoT. Aquesta perspectiva també és compartida⁠(s'obre en una finestra nova) per altres actors del sector. En línia amb els nostres principis des del llançament d'OpenAI o1‑preview⁠, no vam aplicar cap supervisió directa sobre la CoT en cap dels dos models gpt-oss. Creiem que això és fonamental per monitorar el mal comportament, l'engany i l'ús indegut del model. Esperem que publicar un model obert amb una cadena de pensament no supervisada doni als desenvolupadors i investigadors l'oportunitat de investigar i implementar els seus propis sistemes de monitoratge de CoT.

Els desenvolupadors no haurien de mostrar directament les CoT als usuaris dins de les seves aplicacions. Poden contenir contingut al·lucinat o perjudicial, inclòs llenguatge que no reflecteix les polítiques de seguretat estàndard d'OpenAI, i poden incloure informació que explícitament es demana al model que no inclogui a la sortida final.

Els models gpt-oss aprofiten els nostres enfocaments més avançats per a l'entrenament de seguretat. Durant el preentrenament, vam filtrar determinades dades perjudicials relacionades amb qüestions químiques, biològiques, radiològiques i nuclears (CBRN). Durant el posterior a l'entrenament previ, vam utilitzar alineació deliberativa⁠ i la jerarquia d'instruccions⁠(s'obre en una finestra nova) per ensenyar el model a rebutjar indicacions insegures i defensar-se de la injecció d'indicacions.

Un cop es publica un model de pesos oberts, els adversaris poden ser capaços d'afinar-lo amb finalitats malicioses. Vam avaluar directament aquests riscos afinant el model amb dades especialitzades de biologia i ciberseguretat, creant per a cada àmbit una versió específica que no rebutja peticions, de la manera com ho podria fer un atacant. Després vam avaluar el nivell de capacitat d'aquests models mitjançant proves internes i externes. Aquestes proves, tal com es detalla al nostre article de seguretat adjunt, van indicar que, fins i tot amb un afinament robust que aprofitava la pila d'entrenament líder en el sector d'OpenAI, aquests models afinats maliciosament no van poder assolir nivells alts de capacitat segons el nostre Entorn de treball de preparació⁠. Aquesta metodologia d'afinament maliciós va ser revisada per tres grups d'experts independents que van fer recomanacions per millorar el procés d'entrenament i les avaluacions, moltes de les quals vam adoptar. Detallem aquestes recomanacions a la fitxa del model. Aquests processos marquen un avenç significatiu per a la seguretat dels models oberts. Aquestes conclusions van informar la nostra decisió de publicar els models gpt-oss. Esperem que aquests models ajudin a accelerar l'entrenament de seguretat i la recerca en alineació a tot el sector.

Per contribuir a un ecosistema de codi obert més segur, allotgem un Repte d'equip vermell⁠(s'obre en una finestra nova) per animar investigadors, desenvolupadors i entusiastes d'arreu del món a ajudar a identificar problemes de seguretat nous. El repte té un fons de premis de 500.000 dòlars que s'atorgarà segons la revisió d'un panell de jutges experts d'OpenAI i d'altres laboratoris líders. Al final del repte, publicarem un informe i alliberarem com a codi obert un conjunt de dades d'avaluació basat en troballes validades, perquè la comunitat en general se'n pugui beneficiar immediatament. Obteniu-ne més informació i participeu-hi aquí⁠(s'obre en una finestra nova).

Els pesos tant de gpt-oss-120b com de gpt-oss-20b es poden descarregar lliurement a Hugging Face i venen quantitzats de manera nativa en MXFP4. Això permet que el model gpt-oss-120B s'executi dins de 80 GB de memòria, mentre que gpt-oss-20b només en requereix 16 GB.

Els models s'han entrenat després de l'entrenament previ amb el nostre format d'indicació harmony⁠(s'obre en una finestra nova), i estem publicant com a codi obert un renderitzador harmony⁠(s'obre en una finestra nova) tant en Python com en Rust per facilitar-ne l'adopció. També publiquem implementacions de referència per executar inferència amb PyTorch i a la plataforma Metal d'Apple, juntament amb una col·lecció d'eines d'exemple per al model.

Hem dissenyat aquests models perquè siguin flexibles i fàcils d'executar a qualsevol lloc: localment, al dispositiu o mitjançant proveïdors d'inferència de tercers. Per donar-hi suport, abans del llançament ens vam associar amb plataformes de desplegament líders com Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare i OpenRouter per fer els models àmpliament accessibles als desenvolupadors. Pel que fa al maquinari, vam treballar amb líders del sector com NVIDIA, AMD, Cerebras i Groq per garantir un rendiment optimitzat en diversos sistemes.

Com a part del llançament d'avui, Microsoft també porta versions del model gpt-oss-20b optimitzades per a GPU a dispositius Windows. Impulsats per ONNX Runtime, aquests models admeten inferència local i estan disponibles a través de Foundry Local i l'AI Toolkit per a VS Code, cosa que facilita als desenvolupadors de Windows crear amb models oberts.

Per als desenvolupadors que volen models totalment personalitzables que puguin afinar i desplegar en els seus propis entorns, gpt-oss és una opció excel·lent. Per a aquells que busquen suport multimodal, eines integrades i una integració perfecta amb la nostra plataforma, els models disponibles a la nostra plataforma API continuen sent la millor opció. Continuem escoltant de prop els comentaris dels desenvolupadors i podríem considerar en el futur oferir suport d'API per a gpt-oss.

Si voleu provar els models, aneu al nostre playground de model obert⁠(s'obre en una finestra nova). Per obtenir més informació sobre com utilitzar els models amb diferents proveïdors de l'ecosistema o com afinar-los, consulteu les nostres guies⁠(s'obre en una finestra nova).

Publicar gpt-oss-120b i gpt-oss-20b marca un pas endavant significatiu per als models de pesos oberts. Per la seva mida, aquests models aporten avenços rellevants tant en capacitats de raonament com en seguretat. Els models oberts complementen els nostres models allotjats i ofereixen als desenvolupadors una gamma més àmplia d'eines per accelerar la recerca capdavantera, fomentar la innovació i fer possible un desenvolupament de la IA més segur i transparent en una gran varietat de casos d'ús.

Aquests models oberts també redueixen barreres per als mercats emergents, els sectors amb recursos limitats i les organitzacions més petites que poden no tenir el pressupost o la flexibilitat necessaris per adoptar models propietaris. Amb eines potents i accessibles a les seves mans, persones d'arreu del món poden construir, innovar i crear noves oportunitats per a elles mateixes i per als altres. Un accés ampli a aquests capaços models de pesos oberts creats als EUA ajuda a ampliar unes bases d'IA democràtiques.

Un ecosistema saludable de models oberts és una de les dimensions que ajuden a fer que la IA sigui àmpliament accessible i beneficiosa per a tothom. Convidem desenvolupadors i investigadors a utilitzar aquests models per experimentar, col·laborar i ampliar els límits del que és possible. Tenim moltes ganes de veure què construïu.