Îți prezentăm gpt-oss

Lansăm GPT‑oss‑120b și GPT‑oss‑20b—două modele lingvistice de tip open-weight de ultimă generație, care oferă performanțe solide în condiții reale la costuri reduse. Disponibile sub licența flexibilă Apache 2.0, aceste modele depășesc performanțele modelelor de tip open model de dimensiuni similare în sarcinile de raționament, demonstrează capacități puternice de utilizare a instrumentelor și sunt optimizate pentru implementare eficientă pe hardware de larg consum. Au fost instruite printr-o combinație de învățare prin consolidare și tehnici bazate pe cele mai avansate modele interne ale OpenAI, inclusiv o3 și alte sisteme de ultimă generație.

Modelul gpt-oss-120b atinge o paritate aproape egală cu OpenAI o4-mini în ceea ce privește testele de raționament de bază, funcționând eficient pe o singură placă grafică de 80 GB. Modelul gpt-oss-20b oferă rezultate similare cu OpenAI o3‑mini în cadrul testelor de performanță comune și poate rula pe dispozitive edge cu doar 16 GB de memorie, fiind ideal pentru utilizarea pe dispozitive, inferență locală sau iterare rapidă fără infrastructură costisitoare. Ambele modele au performanțe excelente și în utilizarea instrumentelor, apelarea funcțiilor cu puține instrucțiuni, raționamentul CoT (după cum se vede în rezultatele din suita de evaluare agentică Tau-Bench) și HealthBench (depășind chiar și modele proprietare precum OpenAI o1 și GPT‑4o).

Aceste modele sunt compatibile cu API-ul nostru de Răspunsuri⁠(se deschide într-o fereastră nouă) și sunt concepute pentru a fi utilizate în cadrul fluxurilor de lucru agentice cu o respectare excepțională a instrucțiunilor, utilizarea de instrumente precum căutarea pe web sau execuția de cod Python și capacități de raționament — inclusiv posibilitatea de a ajusta efortul de raționament pentru sarcini care nu necesită raționament complex și/sau vizează rezultate finale cu latență foarte scăzută. Sunt complet personalizabile, oferă un lanț complet de gândire (CoT) și acceptă rezultate structurate⁠(se deschide într-o fereastră nouă).

Siguranța este fundamentală în abordarea noastră privind lansarea tuturor modelelor noastre și este deosebit de importantă pentru cele de tip open model. Pe lângă faptul că am trecut modelele prin instruiri și evaluări cuprinzătoare în materie de siguranță, am introdus și un nivel suplimentar de evaluare prin testarea unei versiuni a gpt-oss-120b, ajustată adversarial, conform Cadrului nostru de pregătire⁠(se deschide într-o fereastră nouă). Modelele gpt-oss au performanțe comparabile cu cele de frontieră în ceea ce privește testele interne de siguranță, oferindu-le dezvoltatorilor aceleași standarde de siguranță ca și modelele noastre proprietare recente. Prezentăm rezultatele acestei activități și mai multe detalii într-o lucrare de cercetare⁠(se deschide într-o fereastră nouă) și în fișa modelului⁠(se deschide într-o fereastră nouă). Metodologia noastră a fost revizuită de experți externi și marchează un pas înainte în stabilirea unor noi standarde de siguranță pentru modelele de tip open-weight.

De asemenea, am colaborat cu parteneri inițiali, precum AI Sweden⁠(se deschide într-o fereastră nouă), Orange⁠(se deschide într-o fereastră nouă) și Snowflake,⁠(se deschide într-o fereastră nouă) pentru a afla mai multe despre aplicațiile practice ale modelelor de tip open model, de la găzduirea locală pentru securitatea datelor până la reglarea fină pe baza unor seturi de date specializate. Ne face plăcere să oferim aceste modele de tip open model de primă clasă pentru a sprijini pe toată lumea — de la dezvoltatori individuali la companii mari și guverne — să utilizeze și să-și personalizeze inteligența artificială pentru propria infrastructură. Împreună cu modelele disponibile în API-ul nostru, dezvoltatorii pot alege performanța, costul și latența de care au nevoie pentru a sprijini fluxurile de lucru bazate pe inteligență artificială.

Modelele gpt-oss au fost instruite cu cele mai avansate tehnici de pre-instruire și post-instruire de care dispunem, cu accent deosebit pe raționament, eficiență și capacitate de utilizare în condiții reale într-o varietate de medii de implementare. Deși am pus la dispoziție publică și alte modele, inclusiv Whisper⁠ și CLIP⁠ , modelele gpt-oss sunt primele noastre modele lingvistice cu de tip open-weight de la GPT‑2^[1] încoace.

Fiecare model este un transformator care utilizează un amestec de experți (MoE^[2]) pentru a reduce numărul de parametri activi necesari pentru procesarea datelor de intrare. GPT‑oss‑120b activează 5,1 miliarde de parametri per token, în timp ce GPT‑oss‑20b activează 3,6 miliarde. Modelele au 117b și, respectiv, 21b parametri în total. Modelele folosesc modele de atenție alternante, dense și dispersate cu benzi locale, similar cu GPT‑3^[3]. Pentru inferență și eficiență a memoriei, modelele utilizează și atenția grupată cu mai multe interogări, cu o dimensiune a grupului de 8. Folosim Încorporarea pozițională prin rotație/Rotary Positional Embedding (RoPE^[4]) pentru codificare pozițională și acceptăm nativ lungimi de context de până la 128k.

Am instruit modelele pe baza unui set de date preponderent în limba engleză, doar text, cu accent pe STEM, programare și cunoștințe generale. Am transformat datele în tokenuri folosind un superset al tokenizerului nostru utilizat pentru OpenAI o4-mini și GPT‑4o: o200k_harmony, pe care îl punem astăzi la dispoziție în regim open source.

Pentru mai multe informații despre arhitectura și instruirea modelelor noastre, citește fișa modelului⁠(se deschide într-o fereastră nouă).

Modelele au fost post-instruite folosind un proces similar cu cel utilizat pentru o4-mini, incluzând o etapă de reglare fină supervizată și o etapă RL de calcul ridicat. Obiectivul nostru a fost să aliniem modelele cu specificațiile OpenAI⁠(se deschide într-o fereastră nouă) și să le învățăm să aplice raționamentul CoT⁠ și utilizarea instrumentelor înainte de a produce răspunsul. Prin utilizarea acelorași tehnici ca și modelele noastre de raționament SoTA, modelele demonstrează capacități excepționale după post-instruire.

Similar modelelor de raționament OpenAI o-series din API, cele două modele de tip open-weight acceptă trei eforturi de raționament — scăzut, mediu și ridicat — care stabilesc un compromis între latență și performanță. Dezvoltatorii pot seta cu ușurință efortul de raționament cu o singură propoziție în mesajul de sistem.

Am evaluat gpt-oss-120b și gpt-oss-20b în funcție de reperele academice standard pentru a le măsura capacitățile în programare, matematică competitivă, sănătate și utilizarea instrumentelor agentice, în comparație cu alte modele de raționament OpenAI, inclusiv o3, o3‑mini și o4-mini.

gpt-oss-120b depășește performanța OpenAI o3‑mini și egalează sau chiar depășește OpenAI o4-mini la programarea competitivă (Codeforces), rezolvarea generală a problemelor (MMLU și HLE) și apelarea instrumentelor (TauBench). În plus, se descurcă chiar mai bine decât o4-mini la interogările legate de sănătate (HealthBench⁠) și la matematica competitivă (AIME 2024 și 2025). gpt-oss-20b egalează sau depășește OpenAI o3‑mini în aceleași evaluări, în ciuda dimensiunilor sale reduse, depășindu-l chiar și la capitolul matematică competitivă și sănătate.

Cercetările noastre recente⁠ au arătat că monitorizarea CoT a unui model de raționament poate fi utilă pentru detectarea comportamentului necorespunzător, atâta timp cât modelul nu a fost instruit cu supraveghere directă pentru alinierea CoT. Această perspectivă este împărtășită⁠(se deschide într-o fereastră nouă) și de alți reprezentanți ai acestui sector de activitate. În conformitate cu principiile noastre de la lansarea OpenAI o1‑preview⁠, nu am supravegheat direct CoT pentru niciunul dintre modelele gpt-oss. Credem că acest lucru este esențial pentru a monitoriza comportamentul inadecvat, înșelăciunea și utilizarea abuzivă a modelului. Sperăm că lansarea unui model de tip open model, cu un lanț de gândire nesupravegheat, le va oferi dezvoltatorilor și cercetătorilor oportunitatea de a cerceta și implementa propriile sisteme de monitorizare a CoT.

Dezvoltatorii nu ar trebui să afișeze direct CoT-uri utilizatorilor în aplicații. Acestea pot conține conținut halucinant sau dăunător, inclusiv limbaj care nu reflectă politicile standard de siguranță ale OpenAI și pot include informații pe care modelului i se cere în mod explicit să nu le includă în datele de ieșire finale.

Modelele gpt-oss valorifică abordările noastre de ultimă generație pentru instruirea în domeniul siguranței. În timpul pre-instruirii, am filtrat anumite date dăunătoare legate de substanțele chimice, biologice, radiologice și nucleare (CBRN). În timpul post-instruirii, am folosit alinierea deliberativă⁠ și ierarhia instrucțiunilor⁠(se deschide într-o fereastră nouă) pentru a învăța modelul să refuze solicitări nesigure și să se apere împotriva injecțiilor de solicitări.

Odată ce un model de tip open-weight este lansat, adversarii ar putea să regleze fin modelul în scopuri rău intenționate. Am evaluat direct aceste riscuri prin reglarea fină a modelului pe baza datelor specializate de biologie și securitate cibernetică, creând o versiune specifică domeniului, fără refuz, pentru fiecare domeniu, așa cum ar face-o un atacator. Am evaluat apoi nivelul de capabilitate al acestor modele prin teste interne și externe. Aceste teste, așa cum sunt detaliate în documentul nostru privind siguranța însoțitor, au indicat că, chiar și cu o reglare fină robustă care a valorificat stiva de instruire de top a OpenAI, aceste modele reglate fin în mod rău intenționat nu au reușit să atingă niveluri ridicate de capacitate, conform Cadrului nostru de pregătire⁠. Această metodologie de reglare fină, cu efect rău intenționat, a fost analizată de trei grupuri de experți independenți, care au formulat recomandări pentru îmbunătățirea procesului de instruire și a evaluărilor, multe dintre acestea fiind adoptate de noi. Detaliem aceste recomandări în fișa modelului. Aceste procese marchează un progres semnificativ pentru siguranța open model. Aceste descoperiri ne-au influențat decizia de a lansa modelele gpt-oss. Sperăm că aceste modele vor contribui la accelerarea instruirii în domeniul siguranței și a cercetării privind alinierea la nivelul întregului sector de activitate.

Pentru a contribui la un ecosistem open source mai sigur, organizăm o Provocare Red Team⁠(se deschide într-o fereastră nouă) pentru a încuraja cercetătorii, dezvoltatorii și entuziaștii din întreaga lume să ne ajute să identificăm noi probleme de siguranță. Provocarea are un fond de premii de 500.000 de dolari, care va fi acordat în baza evaluării de către un juriu format din experți de la OpenAI și alte laboratoare de top. La sfârșitul provocării, vom publica un raport și vom pune la dispoziție în regim open-source un set de date de evaluare bazat pe constatări validate, astfel încât comunitatea mai largă să poată beneficia imediat. Află mai multe și participă aici⁠(se deschide într-o fereastră nouă).

Ponderile pentru gpt-oss-120b și gpt-oss-20b sunt disponibile gratuit pentru descărcare pe Hugging Face și sunt cuantificate nativ în MXFP4. Acest lucru îi permite modelului gpt-oss-120B să ruleze cu o memorie de 80 GB, în timp ce gpt-oss-20b necesită doar 16 GB.

Modelele au fost post-instruite în formatul nostru de solicitări Harmony⁠(se deschide într-o fereastră nouă) și oferim în regim open-source un program de randare Harmony⁠(se deschide într-o fereastră nouă) atât în Python, cât și în Rust, pentru a facilita adoptarea. De asemenea, lansăm implementări de referință pentru rularea inferenței cu PyTorch și pe platforma Metal de la Apple, împreună cu o colecție de exemple de instrumente pentru model.

Am conceput aceste modele pentru a fi flexibile și ușor de rulat oriunde—local, pe dispozitiv sau prin intermediul furnizorilor terți de inferență. Pentru a susține acest demers, am încheiat parteneriate înainte de lansare cu platforme de implementare de top, precum Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare și OpenRouter pentru a face modelele accesibile pe scară largă dezvoltatorilor. În privința hardware-ului, am colaborat cu lideri din domeniu, inclusiv NVIDIA, AMD, Cerebras și Groq, pentru a asigura performanțe optimizate pe o gamă largă de sisteme.

Ca parte a lansării de astăzi, Microsoft aduce și versiuni optimizate pentru GPU ale modelului gpt-oss-20b pe dispozitivele Windows. Bazate pe ONNX Runtime, aceste modele acceptă inferențe locale și sunt disponibile prin Foundry Local și AI Toolkit for VS Code, facilitând dezvoltarea cu modele deschise pentru dezvoltatorii Windows.

Pentru dezvoltatorii care doresc modele complet personalizabile pe care să le poată regla fin și implementa în propriile medii, gpt-oss este o alegere excelentă. Pentru cei care caută compatibilitate multimodală, instrumente integrate și integrare perfectă cu platforma noastră, modelele disponibile prin intermediul platformei noastre API rămân cea mai bună opțiune. Continuăm să ascultăm cu atenție feedbackul dezvoltatorilor și este posibil să avem în vedere în viitor compatibilitatea API cu gpt-oss.

Dacă vrei să încerci modelele, accesează Playgroundul pentru open model⁠(se deschide într-o fereastră nouă). Pentru a afla mai multe despre cum să folosești modelele cu diferiți furnizori de ecosistem sau cum să reglezi fin modelele, consultă ghidurile noastre⁠(se deschide într-o fereastră nouă).

Lansarea modelelor gpt-oss-120b și gpt-oss-20b marchează un pas înainte major pentru modelele de tip open-weight. Având în vedere dimensiunea lor, aceste modele aduc progrese semnificative atât în privința capacităților de raționament, cât și a siguranței. Modelele de tip open model vin în completarea modelelor noastre găzduite, oferindu-le dezvoltatorilor o gamă mai largă de instrumente pentru a accelera cercetarea de vârf, încuraja inovația și permite o dezvoltare a inteligenței artificiale mai sigură și mai transparentă într-o varietate de cazuri de utilizare.

Aceste modele de tip open modele reduc și barierele pentru piețele emergente, sectoarele cu resurse limitate și organizațiile mai mici care ar putea să nu dispună de bugetul sau flexibilitatea neceare pentru a adopta modele proprietare. Având instrumente puternice și accesibile la îndemână, oamenii din întreaga lume pot construi, inova și crea noi oportunități pentru ei înșiși și pentru ceilalți. Accesul larg la aceste modele capabile, de tip open-weight, create în SUA, contribuie la extinderea infrastructurii democratice de inteligență artificială.

Un ecosistem sănătos de tip open model este una dintre dimensiunile care contribuie la accesibilitatea și beneficiile inteligenței artificiale pentru toată lumea. Invităm dezvoltatorii și cercetătorii să utilizeze aceste modele pentru a experimenta, colabora și depăși limitele posibilităților. Așteptăm cu nerăbdare să vedem ce vei construi.