Ανακαλύψτε το gpt-oss

Διαθέτουμε σήμερα τα gpt-oss-120b και gpt-oss-20b, δύο κορυφαία γλωσσικά μοντέλα ανοικτής στάθμισης που συνδυάζουν ισχυρές επιδόσεις στον πραγματικό κόσμο και χαμηλό κόστος. Διαθέσιμα με την ευέλικτη άδεια Apache 2.0, αυτά τα μοντέλα υπερέχουν των ανοικτών μοντέλων παρόμοιου μεγέθους σε εργασίες συλλογιστικής, επιδεικνύουν ισχυρές δυνατότητες χρήσης εργαλείων και έχουν βελτιστοποιηθεί για αποδοτική ανάπτυξη σε καταναλωτικό εξοπλισμό. Εκπαιδεύτηκαν μέσω ενός συνδυασμού ενισχυτικής μάθησης και τεχνικών που καθοδηγούνται από τα πιο προηγμένα εσωτερικά μοντέλα της OpenAI, συμπεριλαμβανομένων των o3 και άλλων πρωτοποριακών συστημάτων.

Το μοντέλο gpt-oss-120b επιτυγχάνει σχεδόν ισοτιμία με το OpenAI o4-mini σε βασικούς δείκτες αξιολόγησης συλλογιστικής, ενώ λειτουργεί αποτελεσματικά σε μία μόνο GPU 80 GB. Το μοντέλο gpt-oss-20b παρέχει παρόμοια αποτελέσματα με το OpenAI o3‑mini σε κοινούς δείκτες αξιολόγησης και μπορεί να λειτουργήσει σε τοπικές συσκευές με μνήμη μόλις 16 GB, γεγονός που το καθιστά ιδανικό για χρήσεις στη συσκευή, τοπική επεξεργασία ή γρήγορη διόρθωση χωρίς ακριβή υποδομή. Και τα δύο μοντέλα αποδίδουν επίσης εξαιρετικά στη χρήση εργαλείων, την κλήση λειτουργιών με λίγα παραδείγματα, τη συλλογιστική CoT (όπως φαίνεται στα αποτελέσματα της σουίτας αξιολόγησης πρακτόρων Tau-Bench) και στο HealthBench (ξεπερνώντας ακόμη και ιδιόκτητα μοντέλα όπως το OpenAI o1 και το GPT‑4o).

Αυτά τα μοντέλα είναι συμβατά με το Responses API⁠(ανοίγει σε νέο παράθυρο) και έχουν σχεδιαστεί για χρήση σε ροές εργασίας πρακτόρων, ακολουθώντας με εξαιρετική ακρίβεια οδηγίες, χρήση εργαλείων όπως αναζήτηση στο διαδίκτυο ή εκτέλεση κώδικα Python και δυνατότητες συλλογιστικής, συμπεριλαμβανομένης της δυνατότητας προσαρμογής της προσπάθειας συλλογιστικής για εργασίες που δεν απαιτούν πολύπλοκη συλλογιστική ή/και στοχεύουν σε τελικά αποτελέσματα με πολύ χαμηλή λανθάνουσα καθυστέρηση. Είναι πλήρως προσαρμόσιμα, παρέχουν πλήρη αλληλουχία σκέψεων (CoT) και παρέχουν υποστήριξη σε δομημένα αποτελέσματα⁠(ανοίγει σε νέο παράθυρο).

Η ασφάλεια είναι θεμελιώδης για την προσέγγισή μας στη διάθεση όλων των μοντέλων μας και έχει ιδιαίτερη σημασία για τα ανοιχτά μοντέλα. Εκτός από τη διάθεση των μοντέλων μετά από ολοκληρωμένη εκπαίδευση και αξιολογήσεις ασφάλειας, εισαγάγαμε επίσης ένα επιπλέον επίπεδο αξιολόγησης, δοκιμάζοντας μια ανταγωνιστικά βελτιστοποιημένη έκδοση του gpt-oss-120b στο Πλαίσιο Ετοιμότητας⁠(ανοίγει σε νέο παράθυρο). Τα μοντέλα gpt-oss αποδίδουν παρόμοια με τα κορυφαία μοντέλα μας σε εσωτερικούς δείκτες αξιολόγησης για την ασφάλεια, προσφέροντας στους προγραμματιστές τα ίδια πρότυπα ασφαλείας με τα πρόσφατα ιδιόκτητα μοντέλα μας. Κοινοποιούμε τα αποτελέσματα αυτής της εργασίας και περισσότερες λεπτομέρειες σε μια ερευνητική μελέτη⁠(ανοίγει σε νέο παράθυρο) και στην κάρτα μοντέλου⁠(ανοίγει σε νέο παράθυρο). Η μεθοδολογία μας ελέγχθηκε από εξωτερικούς συνεργάτες και σημειώνει πρόοδο στον καθορισμό νέων προτύπων ασφαλείας για τα μοντέλα ανοικτής στάθμισης.

Συνεργαζόμαστε επίσης με πρώιμους συνεργάτες, όπως η AI Sweden⁠(ανοίγει σε νέο παράθυρο), η Orange⁠(ανοίγει σε νέο παράθυρο) και η Snowflake⁠(ανοίγει σε νέο παράθυρο), για να ενημερωθούμε σχετικά με πιθανές εφαρμογές των ανοικτών μοντέλων μας στον πραγματικό κόσμο, από τη φιλοξενία αυτών των μοντέλων σε εγκαταστάσεις πελατών για την ασφάλεια δεδομένων έως τη λεπτομερή προσαρμογή τους σε εξειδικευμένα σύνολα δεδομένων. Χαιρόμαστε ιδιαίτερα που προσφέρουμε αυτά τα κορυφαία ανοικτά μοντέλα σε όλους —από τους μεμονωμένους προγραμματιστές έως τις μεγάλες επιχειρήσεις και τα κρατικά ιδρύματα—, ώστε να μπορούν να εκτελούν και να προσαρμόζουν την ΤΝ στη δική τους υποδομή. Σε συνδυασμό με τα μοντέλα που είναι διαθέσιμα στο API μας, οι προγραμματιστές μπορούν να επιλέξουν την απόδοση, το κόστος και τη λανθάνουσα καθυστέρηση που χρειάζονται για να ενισχύσουν τις ροές εργασίας της ΤΝ.

Τα μοντέλα gpt-oss εκπαιδεύτηκαν με τις πιο προηγμένες τεχνικές προεκπαίδευσης και μετεκπαίδευσης, με ιδιαίτερη έμφαση στη συλλογιστική, την απόδοση και τη χρηστικότητα στον πραγματικό κόσμο σε ένα ευρύ φάσμα περιβαλλόντων ανάπτυξης. Αν και έχουμε διαθέσει ανοιχτά και άλλα μοντέλα, όπως το Whisper⁠ και το CLIP⁠, τα μοντέλα gpt-oss είναι τα πρώτα γλωσσικά μοντέλα ανοικτής στάθμισης από την εποχή του GPT‑2^[1].

Κάθε μοντέλο είναι ένας μετασχηματιστής που αξιοποιεί έναν συνδυασμό εξειδικευμένων μοντέλων (MoE^[2]) για να μειώσει τον αριθμό των ενεργών παραμέτρων που απαιτούνται για την επεξεργασία εισαγωγής. Το gpt-oss-120b ενεργοποιεί 5,1 δισεκατομμύρια παραμέτρους ανά token, ενώ το gpt-oss-20b ενεργοποιεί 3,6 δισεκατομμύρια. Τα μοντέλα έχουν 117b και 21b συνολικές παραμέτρους αντίστοιχα. Τα μοντέλα χρησιμοποιούν εναλλασσόμενα πυκνά και τοπικά οριοθετημένα αραιά μοτίβα προσοχής, παρόμοια με το GPT‑3^[3]. Για την εξαγωγή συμπερασμάτων και την αποδοτικότητα της μνήμης, τα μοντέλα χρησιμοποιούν επίσης ομαδοποιημένη προσοχή πολλαπλών ερωτημάτων, με μέγεθος ομάδας 8. Χρησιμοποιούμε περιστροφικές χωροταξικές κωδικοποιήσεις (RoPE^[4]) για την κωδικοποίηση της θέσης και υποστηρίζουμε εγγενώς μεγέθη θεματικού πλαισίου έως και 128k.

Εκπαιδεύσαμε τα μοντέλα με βάση ένα σύνολο δεδομένων που αποτελείται κυρίως από αγγλικό κείμενο, με έμφαση στις επιστήμες STEM, τον προγραμματισμό και τις γενικές γνώσεις. Μετατρέψαμε τα δεδομένα σε token χρησιμοποιώντας ένα υπερσύνολο του εργαλείου μετατροπής μας που χρησιμοποιείται για το OpenAI o4-mini και το GPT‑4o: το o200k_harmony, το οποίο επίσης προσφέρουμε σήμερα σε ανοικτό κώδικα.

Για περισσότερες πληροφορίες σχετικά με την αρχιτεκτονική και την εκπαίδευση των μοντέλων μας, ανατρέξτε στην κάρτα μοντέλου⁠(ανοίγει σε νέο παράθυρο).

Τα μοντέλα μετεκπαιδεύτηκαν μέσω μιας παρόμοιας διαδικασίας με εκείνη που χρησιμοποιήθηκε για το o4-mini, συμπεριλαμβανομένου ενός σταδίου προσαρμογής με επίβλεψη και ενός σταδίου ενισχυτικής μάθησης (RL) υψηλής υπολογιστικής ισχύος. Στόχος μας ήταν να ευθυγραμμίσουμε τα μοντέλα με τις προδιαγραφές των μοντέλων της OpenAI⁠(ανοίγει σε νέο παράθυρο) και να τα εκπαιδεύσουμε να εφαρμόζουν συλλογιστική αλληλουχίας σκέψεων (CoT)⁠ και χρήση εργαλείων πριν δώσουν την απάντησή τους. Αξιοποιώντας τις ίδιες τεχνικές με τα ιδιόκτητα μοντέλα συλλογιστικής SoTA, τα μοντέλα επιδεικνύουν εξαιρετικές δυνατότητες μετά τη μετεκπαίδευση.

Παρόμοια με τα μοντέλα συλλογιστικής της σειράς o της OpenAI στο API, τα δύο μοντέλα ανοικτής στάθμισης παρέχουν υποστήριξη σε τρεις βαθμίδες συλλογιστικής —χαμηλή, μεσαία και υψηλή—, εξισορροπώντας τη λανθάνουσα καθυστέρηση με την απόδοση. Οι προγραμματιστές μπορούν εύκολα να καθορίσουν την προσπάθεια συλλογιστικής με μία πρόταση στο μήνυμα του συστήματος.

Αξιολογήσαμε τα gpt-oss-120b και gpt-oss-20b με βάση τυπικούς ακαδημαϊκούς δείκτες αξιολόγησης, προκειμένου να μετρήσουμε τις ικανότητές τους στον προγραμματισμό, τα διαγωνιστικά μαθηματικά, την υγεία και τη χρήση εργαλείων πρακτόρων σε σύγκριση με άλλα μοντέλα συλλογιστικής της OpenAI, συμπεριλαμβανομένων των o3, o3‑mini και o4-mini.

Το gpt-oss-120b υπερέχει του OpenAI o3‑mini και ισοδυναμεί με ή ξεπερνά το OpenAI o4-mini στον διαγωνιστικό προγραμματισμό (Codeforces), στη γενική επίλυση προβλημάτων (MMLU και HLE) και στην κλήση εργαλείων (TauBench). Επιπλέον, τα πάει ακόμα καλύτερα από το o4-mini σε ερωτήματα που σχετίζονται με την υγεία (HealthBench⁠) και στα διαγωνιστικά μαθηματικά (AIME 2024 και 2025). Το gpt-oss-20b έχει τις ίδιες ή καλύτερες επιδόσεις από το OpenAI o3‑mini στις ίδιες αξιολογήσεις, παρά το μικρό του μέγεθος, ξεπερνώντας το ακόμη και στα διαγωνιστικά μαθηματικά και την υγεία.

Η πρόσφατη έρευνά⁠ μας έδειξε ότι η παρακολούθηση της αλληλουχίας σκέψεων (CoT) ενός μοντέλου συλλογιστικής μπορεί να είναι χρήσιμη για την ανίχνευση κακής συμπεριφοράς, αρκεί το μοντέλο να μην έχει εκπαιδευτεί με άμεση επίβλεψη για την ευθυγράμμιση της αλληλουχίας σκέψεων (CoT). Αυτή η οπτική είναι αποδεκτή⁠(ανοίγει σε νέο παράθυρο) και από άλλους παράγοντες στον κλάδο. Σύμφωνα με τις αρχές μας από τη διάθεση του OpenAI o1‑preview⁠, δεν κάναμε καθόλου άμεση εποπτεία στην αλληλουχία σκέψεων (CoT) σε κανένα από τα δύο μοντέλα GPT. Πιστεύουμε ότι αυτό είναι κρίσιμο για την παρακολούθηση της κακής συμπεριφοράς, της εξαπάτησης και της μη ορθής χρήσης του μοντέλου. Ελπίζουμε ότι διαθέτοντας ένα ανοικτό μοντέλο με μια μη εποπτευόμενη αλληλουχία σκέψεων, δίνουμε στους προγραμματιστές και τους ερευνητές την ευκαιρία να ερευνήσουν και να εφαρμόσουν τα δικά τους συστήματα παρακολούθησης αλληλουχίας σκέψεων (CoT).

Οι προγραμματιστές δεν πρέπει να εμφανίζουν απευθείας τις αλληλουχίες σκέψεων (CoT) στους χρήστες μέσα από τις εφαρμογές τους. Ενδέχεται να περιλαμβάνουν περιεχόμενο με παραισθήσεις ή επιβλαβές περιεχόμενο, συμπεριλαμβανομένης γλώσσας που δεν αντικατοπτρίζει τις τυπικές πολιτικές ασφαλείας της OpenAI, ή ενδέχεται να περιλαμβάνουν πληροφορίες που ζητείται ρητά από το μοντέλο να μη συμπεριλαμβάνει στο τελικό αποτέλεσμα.

Τα μοντέλα gpt-oss αξιοποιούν τις προηγμένες προσεγγίσεις μας για την εκπαίδευση σε θέματα ασφάλειας. Κατά τη διάρκεια της προεκπαίδευσης, φιλτράραμε ορισμένα επιβλαβή δεδομένα που σχετίζονται με χημικά, βιολογικά, ραδιολογικά, πυρηνικά (ΧΒΡΠ). Κατά τη διάρκεια της μετεκπαίδευσης, χρησιμοποιήσαμε τεχνικές διαβουλευτικής ευθυγράμμισης⁠ και ιεραρχίας εντολών⁠(ανοίγει σε νέο παράθυρο), για να εκπαιδεύσουμε το μοντέλο να απορρίπτει μη ασφαλείς προτροπές και να αμύνεται κατά των επιθέσεων μέσω έγχυσης προτροπών (prompt injection).

Μόλις κυκλοφορήσει ένα μοντέλο ανοικτής στάθμισης, οι ενδεχόμενοι εισβολείς ενδέχεται να είναι σε θέση να προσαρμόσουν το μοντέλο για κακόβουλους σκοπούς. Αξιολογήσαμε άμεσα αυτούς τους κινδύνους, προσαρμόζοντας το μοντέλο σε εξειδικευμένα δεδομένα βιολογικών απειλών και κινδύνων κυβερνοασφάλειας, δημιουργώντας μια μη απορριπτική έκδοση, ειδική για κάθε τομέα, όπως θα μπορούσε να κάνει ένας εισβολέας. Στη συνέχεια, αξιολογήσαμε το επίπεδο των δυνατοτήτων αυτών των μοντέλων με εσωτερικές και εξωτερικές δοκιμές. Αυτή η δοκιμή, όπως περιγράφεται λεπτομερώς στη συνοδευτική μας μελέτη για την ασφάλεια, έδειξε ότι, ακόμη και με ισχυρή προσαρμογή που αξιοποιεί τα κορυφαία εκπαιδευτικά εργαλεία της OpenAI, αυτά τα κακόβουλα προσαρμοσμένα μοντέλα δεν μπόρεσαν να φτάσουν σε υψηλά επίπεδα δυνατοτήτων σύμφωνα με το Πλαίσιο Ετοιμότητάς⁠ μας. Αυτή η μεθοδολογία προσαρμογής για κακόβουλους σκοπούς ελέγχθηκε από τρεις ανεξάρτητες ομάδες ειδικών που έκαναν προτάσεις για τη βελτίωση της διαδικασίας εκπαίδευσης και αξιολογήσεων, πολλές από τις οποίες υιοθετήσαμε. Παραθέτουμε λεπτομερώς αυτές τις προτάσεις στην κάρτα μοντέλου. Αυτές οι διαδικασίες σηματοδοτούν μια σημαντική πρόοδο για την ασφάλεια των ανοικτών μοντέλων. Τα ευρήματα αυτά ήταν καθοριστικά για την απόφασή μας να διαθέσουμε στην κυκλοφορία τα μοντέλα gpt-oss. Ελπίζουμε ότι αυτά τα μοντέλα θα συμβάλουν στην επιτάχυνση της εκπαίδευσης για την ασφάλεια και στην έρευνα για την ευθυγράμμιση σε ολόκληρο τον κλάδο.

Για να συμβάλλουμε σε ένα ασφαλέστερο οικοσύστημα ανοιχτού κώδικα, διοργανώνουμε την Πρόκληση Red Teaming⁠(ανοίγει σε νέο παράθυρο) με σκοπό να ενθαρρύνουμε ερευνητές, προγραμματιστές και ενθουσιώδεις χρήστες από όλο τον κόσμο να βοηθήσουν στον εντοπισμό νέων ζητημάτων ασφάλειας. Η πρόκληση έχει χρηματικό έπαθλο 500.000 δολαρίων και θα απονεμηθεί με βάση την αξιολόγηση από μια ομάδα ειδικών κριτών από την OpenAI και άλλα κορυφαία εργαστήρια. Μόλις ολοκληρωθεί η πρόκληση, θα δημοσιεύσουμε τη σχετική έκθεση και θα διαθέσουμε ως ανοικτό λογισμικό ένα σύνολο δεδομένων αξιολόγησης με βάση τα επικυρωμένα ευρήματα, ώστε η ευρύτερη κοινότητα να επωφεληθεί άμεσα. Μάθετε περισσότερα και δηλώστε συμμετοχή εδώ⁠(ανοίγει σε νέο παράθυρο).

Οι σταθμίσεις για τα gpt-oss-120b και gpt-oss-20b είναι διαθέσιμες για λήψη στο Hugging Face και είναι εγγενώς ποσοτικοποιημένες σε MXFP4. Έτσι, το μοντέλο gpt-oss-120B μπορεί να λειτουργεί σε μνήμη 80 GB, ενώ το gpt-oss-20b απαιτεί μόνο 16 GB.

Τα μοντέλα έχουν μετεκπαιδευτεί στη μορφή προτροπών harmony⁠(ανοίγει σε νέο παράθυρο) και διαθέτουμε ανοιχτά ένα εργαλείο απόδοσης σε harmony⁠(ανοίγει σε νέο παράθυρο) για Python και Rust για να διευκολύνουμε την υιοθέτηση. Επίσης, διαθέτουμε εφαρμογές αναφοράς για εκτέλεση σε PyTorch και στην πλατφόρμα Metal της Apple, μαζί με μια συλλογή εργαλείων παραδειγμάτων για το μοντέλο.

Σχεδιάσαμε αυτά τα μοντέλα με γνώμονα την ευελιξία και την ευκολία οπουδήποτε — τοπικά, σε συσκευή ή μέσω τρίτων παρόχων επεξεργασίας. Για να το καταφέρουμε αυτό, συνεργαστήκαμε πριν από τη διάθεση με κορυφαίες πλατφόρμες ανάπτυξης, όπως οι Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare και OpenRouter, ώστε να καταστήσουμε τα μοντέλα ευρέως προσβάσιμα στους προγραμματιστές. Από την πλευρά του υλικού, συνεργαστήκαμε με ηγετικές εταιρείες του κλάδου, όπως οι NVIDIA, AMD, Cerebras και Groq, προκειμένου να εξασφαλίσουμε βελτιστοποιημένη απόδοση σε μια σειρά συστημάτων.

Στο πλαίσιο της σημερινής κυκλοφορίας, η Microsoft φέρνει επίσης εκδόσεις βελτιστοποιημένες για GPU του μοντέλου gpt-oss-20b σε συσκευές Windows. Με την υποστήριξη της ONNX Runtime, αυτά τα μοντέλα υποστηρίζουν τοπική επεξεργασία και είναι διαθέσιμα μέσω του Foundry Local και του AI Toolkit για VS Code, διευκολύνοντας τους προγραμματιστές σε Windows να δημιουργούν με ανοικτά μοντέλα.

Για τους προγραμματιστές που θέλουν πλήρως προσαρμόσιμα μοντέλα, τα οποία μπορούν να τα προσαρμόσουν και να τα αναπτύξουν στο δικό τους περιβάλλον, το gpt-oss είναι μια εξαιρετική επιλογή. Για εκείνους που αναζητούν πολυτροπική υποστήριξη, ενσωματωμένα εργαλεία και απρόσκοπτη ενσωμάτωση με την πλατφόρμα μας, τα μοντέλα που είναι διαθέσιμα μέσω της πλατφόρμας API παραμένουν η καλύτερη επιλογή. Συνεχίζουμε να λαμβάνουμε υπόψη τα σχόλια των προγραμματιστών και μελλοντικά ενδέχεται να εξετάσουμε την υποστήριξη API για το gpt-oss.

Αν θέλετε να δοκιμάσετε τα μοντέλα, μεταβείτε στο Playground για τα ανοικτά μοντέλα⁠(ανοίγει σε νέο παράθυρο). Για να μάθετε περισσότερα σχετικά με τον τρόπο χρήσης των μοντέλων χρησιμοποιώντας διαφορετικούς παρόχους ή σχετικά με το πώς να προσαρμόσετε τα μοντέλα, ανατρέξτε στους οδηγούς μας⁠(ανοίγει σε νέο παράθυρο).

Η κυκλοφορία των gpt-oss-120b και gpt-oss-20b σηματοδοτεί ένα σημαντικό βήμα προόδου για τα μοντέλα ανοικτής στάθμισης. Με δεδομένο το μέγεθός τους, αυτά τα μοντέλα σημειώνουν ουσιαστική πρόοδο τόσο ως προς τις δυνατότητες συλλογιστικής όσο και ως προς την ασφάλεια. Τα ανοικτά μοντέλα συμπληρώνουν τα φιλοξενούμενα μοντέλα μας, προσφέροντας στους προγραμματιστές ένα ευρύτερο φάσμα εργαλείων για την επιτάχυνση της πρωτοποριακής έρευνας και την προώθηση της καινοτομίας, ενώ επιτρέπουν την πιο ασφαλή και με μεγαλύτερη διαφάνεια εφαρμογή της ΤΝ σε ένα ευρύ φάσμα σεναρίων χρήσης.

Αυτά τα ανοικτά μοντέλα περιορίζουν επίσης τα εμπόδια για τις αναδυόμενες αγορές, τους τομείς με περιορισμένους πόρους και τους μικρότερους οργανισμούς που ενδέχεται να μη διαθέτουν την οικονομική δυνατότητα ή την ευελιξία να υιοθετήσουν ιδιόκτητα μοντέλα. Με ισχυρά, προσιτά εργαλεία στα χέρια τους, οι άνθρωποι από όλο τον κόσμο μπορούν να δημιουργούν, να καινοτομούν και να απολαμβάνουν νέες ευκαιρίες για τους ίδιους και τον υπόλοιπο κόσμο. Η ευρεία πρόσβαση σε αυτά τα επιδέξια μοντέλα ανοικτής στάθμισης που δημιουργήθηκαν στις ΗΠΑ συμβάλλει στη διάδοση των μέτρων προστασίας για την ΤΝ με δημοκρατικό τρόπο.

Ένα υγιές οικοσύστημα ανοικτού μοντέλου αποτελεί ένα σημαντικό βήμα για να γίνει η ΤΝ προσβάσιμη και ωφέλιμη για όλους. Προσκαλούμε τους προγραμματιστές και τους ερευνητές να χρησιμοποιήσουν αυτά τα μοντέλα για να πειραματιστούν, να συνεργαστούν και να διευρύνουν τα όρια του δυνατού. Ανυπομονούμε να δούμε τις δημιουργίες σας.