GPT-6.1Sol

Παρουσιάζουμε το GPT-6.1 Sol, μια αναβάθμιση του GPT-6 Sol που σχεδόν φτάνει το επίπεδο ευφυΐας του GPT-6 Astra στον προγραμματισμό βάσει πράκτορα, στη χρήση υπολογιστή και στις επαγγελματικές εργασίες, με τιμές token εισαγωγής και αποτελέσματος στο ένα πέμπτο των τυπικών τιμών του Astra. Η είσοδος από την κρυφή μνήμη κοστίζει μόλις 0,10 $ ανά εκατομμύριο token—95% λιγότερο από την τυπική τιμή εισαγωγής και 50% λιγότερο από την τιμή αποτελέσματος από την κρυφή μνήμη του GPT-6 Sol— δίνοντας στους προγραμματιστές μεγαλύτερα περιθώρια να δημιουργούν και να εκτελούν ικανούς πράκτορες που επαναχρησιμοποιούν το πλαίσιο σε διαφορετικά αιτήματα.

Ένα πιο ικανό Sol σε όλο το φάσμα εργασιών

Το GPT-6.1 Sol προσφέρει μια νέα ισορροπία δυνατοτήτων και κόστους για σημαντικές καθημερινές εργασίες. Προσφέρει σημαντικές βελτιώσεις σε σχέση με το GPT-6 Sol σε σύνθετες επαγγελματικές εργασίες, από τη σύνταξη και την αποσφαλμάτωση κώδικα έως την κατανόηση εγγράφων και την εκτέλεση επιχειρηματικών ροών εργασίας πολλών βημάτων. Σε αρκετές από αυτές τις αξιολογήσεις, πλησιάζει τις επιδόσεις του GPT-6 Astra με σημαντικά χαμηλότερο κόστος.

Προγραμματισμός

Στο DeepSWE v1.1, που αξιολογεί σύνθετες εργασίες μηχανικής λογισμικού σε πραγματικές βάσεις κώδικα, το GPT-6.1 Sol ισοφαρίζει το GPT-6 Astra με περίπου το ένα πέμπτο του κόστους, ενώ ξεπερνά την καλύτερη βαθμολογία του GPT-6 Sol κατά 6,4 ποσοστιαίες μονάδες, με χαμηλότερη προσπάθεια συλλογιστικής και κόστος.

Επαγγελματικές εργασίες

Στο GDP.pdf, που μετρά πόσο σωστά απαντούν τα μοντέλα σε επαγγελματικά ερωτήματα χρησιμοποιώντας σύνθετα έγγραφα PDF με πίνακες, γραφήματα, διαγράμματα και λεπτομέρειες στα ψιλά γράμματα, το GPT-6.1 Sol ξεπερνά σε βαθμολογία το Opus 5.5 με εφεδρικές επιλογές, με λιγότερο από το μισό κόστος ανά εργασία σε όλες τις ρυθμίσεις συλλογιστικής που δοκιμάστηκαν. Πλησιάζει επίσης τις κορυφαίες επιδόσεις του GPT-6 Astra με περίπου το ένα πέμπτο του κόστους ανά εργασία.

Στο AutomationBench, που μετρά αν οι πράκτορες ολοκληρώνουν σωστά επιχειρηματικές ροές εργασίας πολλών βημάτων, το GPT-6.1 Sol ξεπερνά το Opus 5.5 κατά 2,2 ποσοστιαίες μονάδες με την προσπάθεια συλλογιστικής στη ρύθμιση «Μεσαίο», με περίπου το ένα τρίτο του κόστους. Η βαθμολογία αυτή είναι επίσης κατά 4,8 ποσοστιαίες μονάδες υψηλότερη από εκείνη του GPT-6 Sol στην ίδια ρύθμιση.

Χρήση υπολογιστή

Το GPT-6.1 Sol σημειώνει επίσης σημαντική πρόοδο σε εργασίες που απαιτούν αλληλεπίδραση με εφαρμογές υπολογιστή. Στο σύνολο εκτός σύνδεσης του OSWorld 2.0, που αξιολογεί πράκτορες σε απαιτητικές ροές εργασίας χρήσης υπολογιστή, το GPT-6.1 Sol ξεπερνά το GPT-6 Sol κατά επτά ποσοστιαίες μονάδες με μέγιστη προσπάθεια συλλογιστικής και λιγότερο από το μισό κόστος. Απέχει μόλις 2,1 ποσοστιαίες μονάδες από τη βαθμολογία του Astra με μέγιστη προσπάθεια συλλογιστικής, με περίπου το ένα έβδομο του κόστους ανά εργασία.

Επιστημονική έρευνα

Στο Terminal-Bench Science 0.1, που αξιολογεί επιστημονικές ροές εργασίας όπως ανάλυση δεδομένων, προσομοίωση και απόδειξη θεωρημάτων, το GPT-6.1 Sol υπερδιπλασιάζει τη βαθμολογία του GPT-6 Sol με μέγιστη προσπάθεια συλλογιστικής και λιγότερο από το μισό κόστος ανά εργασία. Με μέγιστη προσπάθεια, το GPT-6.1 Sol κοστίζει κατά μέσο όρο 5,47 $ ανά εργασία, έναντι 23,21 $ για το Opus 5.5 και 23,80 $ για το Astra, προσφέροντας σημαντικές επιστημονικές δυνατότητες με κόστος χαμηλότερο κατά περισσότερο από 75% σε σχέση με καθένα από τα δύο μοντέλα.

Το GPT-6 Astra εξακολουθεί να πετυχαίνει την υψηλότερη βαθμολογία μεταξύ των μοντέλων που δοκιμάστηκαν, με 68,1%, και θα πρέπει να χρησιμοποιείται για τις δυσκολότερες εργασίες επιστημονικής έρευνας.

Πραγματολογική ακρίβεια

Το GPT-6.1 Sol βελτιώνει επίσης την πραγματολογική ακρίβεια σε δύσκολες προτροπές. Η μεγαλύτερη βελτίωσή του στην πραγματολογική ακρίβεια έναντι του GPT-6 Sol επιτυγχάνεται με χαμηλή προσπάθεια συλλογιστικής, όπου μειώνει το ποσοστό των απαντήσεων που περιέχουν πραγματολογικό λάθος από 11,4% σε 7,7% — μείωση περίπου 32%. Σε όλες τις δοκιμασμένες ρυθμίσεις συλλογιστικής, το ποσοστό σφαλμάτων του απέχει το πολύ 1,9 ποσοστιαίες μονάδες από εκείνο του GPT-6 Astra, με λιγότερο από το ένα πέμπτο του κόστους ανά εργασία.

Αυτή η αξιολόγηση μετρά το ποσοστό απαντήσεων με τουλάχιστον ένα πραγματολογικό σφάλμα σε συνομιλίες από τις οποίες έχουν αφαιρεθεί τα αναγνωριστικά στοιχεία και στις οποίες οι χρήστες επισήμαναν σφάλμα ενός προηγούμενου μοντέλου. Αυτές οι σκόπιμα δύσκολες προτροπές δεν είναι αντιπροσωπευτικές της συνήθους χρήσης.

Ασφαλής διάθεση του GPT-6.1 Sol

Το GPT-6.1 Sol παρουσιάζει σημαντικές βελτιώσεις έναντι του GPT-6 Sol στις αξιολογήσεις ευθυγράμμισης που διεξάγουμε, πλησιάζοντας το GPT-6 Astra.

Το GPT-6.1 Sol είναι πιο διαφανές ως προς τους περιορισμούς του και σέβεται με μεγαλύτερη συνέπεια την πρόθεση του χρήστη και τους περιορισμούς ασφαλείας. Σε απαιτητικές αξιολογήσεις, παρουσιάζει χαμηλότερα ποσοστά αστοχίας από το GPT-6 Sol ως προς τη διαφάνεια για εργαλεία αναζήτησης που δεν λειτουργούν, την τήρηση ρητών περιορισμών και την αποφυγή μη εξουσιοδοτημένων αποτελεσμάτων κατά την εκτέλεση εργασιών από πράκτορες. Δεν παρατηρήσαμε απόπειρες παράκαμψης αυτοματοποιημένου ελεγκτή ασφαλείας, όπως και στα GPT-6 Astra και GPT-6 Sol. Θα βρείτε όλες τις λεπτομέρειες στο προσάρτημα της κάρτας συστήματος του GPT-6.1 Sol⁠(ανοίγει σε νέο παράθυρο).

Οι παρακάτω αξιολογήσεις εξετάζουν σκόπιμα απαιτητικές καταστάσεις και δεν μετρούν τα ποσοστά αστοχίας στη συνήθη χρήση.

Τιμολόγηση και διαθεσιμότητα

Το GPT-6.1 Sol είναι διαθέσιμο από σήμερα σε όλους τους χρήστες Plus, Pro, Business, Enterprise και Edu στο ChatGPT Work και στο Codex. Το GPT-6.1 Sol δεν είναι ακόμη διαθέσιμο στο Chat. Οι προγραμματιστές μπορούν επίσης να έχουν πρόσβαση σε αυτό μέσω του API της OpenAI ως gpt-6.1-sol. Οι κανονικές τιμές του στο API είναι 2 $ ανά εκατομμύριο token εισαγωγής, 0,10 $ ανά εκατομμύριο token αποτελέσματος από την κρυφή μνήμη και 10 $ ανά εκατομμύριο token αποτελέσματος. Τις επόμενες ημέρες, θα προσφέρουμε επίσης το GPT-6.1 Sol Ultrafast⁠, με έως και 8x ταχύτερη δημιουργία token σε σύγκριση με την κανονική ταχύτητά του στο Codex.