Επιτάχυνση της έρευνας: Μια ματιά στο εσωτερικό της OpenAI

Πιστεύουμε ότι, για να ωφελήσει όλη την ανθρωπότητα, η AGI χρειάζεται δημοκρατική διακυβέρνηση. Αυτό απαιτεί τεκμηριωμένο δημόσιο διάλογο για τις δυνατότητες, τους κινδύνους και τις δικλίδες ασφαλείας των ισχυρών συστημάτων ΤΝ. Οι άνθρωποι παντού πρέπει να κατανοούν την πιθανή πορεία της κορυφαίας ΤΝ, ώστε να έχουν ουσιαστικό λόγο στην εξέλιξή της.

Η διαφάνεια για συγκεκριμένους κινδύνους, περιστατικά και δικλίδες είναι αναγκαία, αλλά δεν αρκεί. Το κοινό πρέπει επίσης να κατανοεί πώς εξελίσσονται τα πιο ικανά συστήματα και πώς προάγουν την έρευνα στα κορυφαία εργαστήρια.

Στόχος μας είναι ένας ασφαλής αυτοματοποιημένος ερευνητής ΤΝ που, υπό ανθρώπινη εποπτεία, θα προάγει τη βαθιά μάθηση και την ευθυγράμμιση, επιτρέποντας διαδοχικές βελτιώσεις. Σύμφωνα με τις μετρήσεις μας, πετύχαμε τον στόχο που ανακοινώσαμε⁠(ανοίγει σε νέο παράθυρο) πέρυσι το φθινόπωρο: έναν αυτοματοποιημένο ασκούμενο ερευνητή έως τον φετινό Σεπτέμβριο. Ως «ασκούμενο ερευνητή» εννοούμε σύστημα που εκτελεί σαφώς ορισμένες ερευνητικές εργασίες υπό ανθρώπινη καθοδήγηση, ακόμη κι αν απαιτούν ημέρες από έναν ικανό ερευνητή. Προοδεύουμε σημαντικά προς τη δημιουργία αυτοματοποιημένου ερευνητή ΤΝ έως τον Μάρτιο του 2028.

Φέτος, η καθημερινή εργασία των ερευνητών της OpenAI άλλαξε ουσιαστικά. Χρησιμοποιούν πράκτορες προγραμματισμού όλη μέρα, συχνά σε παράλληλες συνεδρίες. Η συνολική χρήση αυξάνεται ταχύτερα από ό,τι σε άλλες ομάδες της OpenAI. Οι ερευνητές συνεισφέρουν κώδικα ταχύτερα και εκτελούν περισσότερα πειράματα. Αλλάζει και ο τρόπος χρήσης των πρακτόρων: αναλαμβάνουν πιο σύνθετες εργασίες και επιτυγχάνουν συχνότερα. Η έρευνα ΤΝ είναι σύνθετη, με πολλά πιθανά σημεία συμφόρησης. Έτσι, η συνολική πρόοδος μάλλον δεν θα συμβαδίσει με αυτούς τους επιμέρους δείκτες. Συνολικά, όμως, τα ευρήματα συνάδουν με την εσωτερική μας εντύπωση ότι τα εργαλεία με πράκτορες επιταχύνουν ουσιαστικά την έρευνα. Οι άνθρωποι εξακολουθούν να θέτουν προτεραιότητες, να επιλέγουν ιδέες και αποτελέσματα και να αποφασίζουν για κλιμάκωση, παύση ή διάθεση συστημάτων.

Πιστεύουμε ότι η υπεύθυνη αυτοματοποιημένη έρευνα ΤΝ θα δώσει μοντέλα που ενισχύουν άμεσα την ανθρώπινη ευημερία και την αποστολή της OpenAI. Μπορεί να μειώσει το κόστος της προηγμένης νοημοσύνης, προς όφελος των ανθρώπων παγκοσμίως. Ένας λόγος που την επιδιώκουμε είναι ότι μπορεί να βοηθήσει στην επίλυση της ευθυγράμμισης και στην άμυνα απέναντι σε όλο και πιο ικανή ΤΝ. Ένας αυτοματοποιημένος ερευνητής ΤΝ μπορεί επίσης να ερευνά την ασφάλεια ή την ευθυγράμμιση. Ικανότερα, ευθυγραμμισμένα συστήματα θα μπορούσαν να προστατεύουν κρίσιμες υποδομές, να αποκρούουν επικίνδυνους πράκτορες ΤΝ και να αναπτύσσουν νέα μέτρα προστασίας.

Αυτοί είναι λόγοι ανάπτυξης χρήσιμης αυτοματοποιημένης έρευνας, όχι όμως κατ’ ανάγκη επιδίωξης ταχείας RSI. Το αν και πώς θα προχωρήσουμε πρέπει να εξαρτάται από τη διατήρηση του ανθρώπινου ελέγχου και από τεκμηριωμένες δημοκρατικές επιλογές για οφέλη και κινδύνους.

Δεν γνωρίζουμε ακόμη πώς θα φτάσουμε με ασφάλεια σε πλήρη, ευθυγραμμισμένη RSI. Εργαζόμαστε για την κλιμάκωση της ευθυγράμμισης και των μέτρων ασφάλειας παράλληλα με τις δυνατότητες. Δεν μπορούμε όμως να θεωρούμε δεδομένο ότι θα συμβαδίσουν, ενώ τα ικανότερα συστήματα μπορεί να παρακολουθούνται δυσκολότερα. Κεντρική είναι η προσεκτική εργασία ευθυγράμμισης και ασφάλειας, ξεκινώντας από τη μέτρηση και τον μετριασμό των σημερινών προβλημάτων στον προγραμματισμό βάσει πράκτορα. Όποτε η συνέχιση ενέχει απαράδεκτο κίνδυνο ασφάλειας, θα αντιδρούμε κατάλληλα, ακόμη και επιβραδύνοντας ή σταματώντας την ανάπτυξη ή διάθεση συστημάτων που δεν μπορούμε να διασφαλίσουμε επαρκώς.

Μετά το περιστατικό Hugging Face, κάναμε πράξη τη δέσμευση⁠: παύσαμε την ενισχυτική μάθηση (RL) των νεότερων μοντέλων προς διάθεση, ενισχύσαμε και ελέγξαμε με προσομοιωμένες επιθέσεις τα ερευνητικά περιβάλλοντα και επεκτείναμε την παρακολούθηση. Δεν σταμάτησε όλη η έρευνα: ορισμένοι φόρτοι επανεκκίνησαν με ισχυρότερους ελέγχους, ενώ άλλοι παρέμειναν σε παύση. Αυξήσαμε τα πρότυπα ασφάλειας και ευθυγράμμισης και τα εντάξαμε βαθύτερα στον κύκλο ζωής των μοντέλων, απαιτώντας ισχυρότερες ενδείξεις ευθυγραμμισμένης συμπεριφοράς σε όλη την εκπαίδευση.

Σήμερα παρουσιάζουμε αναλυτικά πώς τα συστήματα με πράκτορες συνέβαλαν στην πρόοδό μας προς την RSI τους τελευταίους μήνες. Τα συστήματα με πράκτορες είναι νέα και αλλάζουν γρήγορα. Οι μετρήσεις μας παραμένουν προκαταρκτικές. Δημοσιεύουμε αυτά τα πρώτα αποτελέσματα και τις μεθόδους μας για να ενημερώσουμε το κοινό, να ενθαρρύνουμε τη δημοσιοποίηση και να προωθήσουμε κοινά πρότυπα μέτρησης.

Όπως γράψαμε στο σχέδιο πολιτικής για την κορυφαία ΤΝ⁠, πιστεύουμε ότι εμείς και οι άλλες εταιρείες πρέπει να υποχρεούμαστε να καταγράφουμε δημόσια την πρόοδο προς την RSI. Ακόμη και χωρίς τέτοια υποχρέωση, σκοπεύουμε να συνεχίσουμε με διαφάνεια για την πρόοδό μας προς την RSI. Θα εξελίσσουμε τη διαφάνεια καθώς βελτιώνονται οι μετρήσεις και η κατανόησή μας, προστατεύοντας παράλληλα την ασφάλεια και τις ιδιόκτητες πληροφορίες.

Στις αρχές του έτους, ο ερευνητής στη διάμεσο της κατάταξης χρήσης πρακτόρων στην OpenAI τους χρησιμοποιούσε περιορισμένα. Στα μέσα Αυγούστου, τους ενσωμάτωνε καθημερινά στην εργασία του, με χρήση εξαγωγής συμπερασμάτων άνω των 600 δολαρίων ημερησίως σε τιμές API. Ο χρήστης στο 90ό εκατοστημόριο του ερευνητικού τμήματος χρησιμοποιεί πλέον token αξίας άνω των 7.000 δολαρίων ημερησίως.

Πριν τον Ιούνιο του 2026, ο συνολικός χρόνος εκτέλεσης πρακτόρων στο ερευνητικό τμήμα ήταν ακόμη μικρότερος από τη συνολική ανθρώπινη εργασία. Αυτό πλέον άλλαξε. Με βάση το οκτάωρο, στα μέσα Αυγούστου το ερευνητικό τμήμα χρησιμοποιούσε συνολικά 3,1 εργάσιμες ημέρες πρακτόρων ανά ημέρα ανθρώπινης εργασίας.

Μια άλλη οπτική είναι πόσοι ερευνητές χρησιμοποιούν έντονα παράλληλες ροές εργασίας, π.χ. 4 ή περισσότερους πράκτορες ταυτόχρονα. Όπως φαίνεται παρακάτω, ο αριθμός αυξάνεται. Τα στοιχεία περιλαμβάνουν τις ημερήσιες αιχμές τόσο των πρακτόρων που ξεκινά ο χρήστης όσο και των υποπρακτόρων που δημιουργούνται στη συνέχεια.

Μεγάλο μέρος της έρευνας ΤΝ είναι εντατική εργασία με στόχο την ενσωμάτωση βελτιώσεων ευφυΐας ή επιδόσεων σε ένα από τα βασικά μας μοντέλα. Η πρόοδος απαιτεί να πετύχουν όλα τα βήματα μαζί: σχεδιασμός βελτιώσεων, αξιολογήσεις επιδόσεων, υποδομές δοκιμών σε κλίμακα, εντοπισμός σφαλμάτων και μη ασφαλούς ή μη ευθυγραμμισμένης συμπεριφοράς στην εκπαίδευση και ενσωμάτωση των επιτυχημένων ιδεών σε βασική εκτέλεση εκπαίδευσης. Μια αποτυχία σε οποιοδήποτε στάδιο μπορεί να περιορίσει ολόκληρο τον ερευνητικό κύκλο.

Η συγγραφή κώδικα και η εκτέλεση πειραμάτων είναι δύο κύριες δραστηριότητες των ερευνητών, και βλέπουμε ενδείξεις επιτάχυνσής τους.

Αυτά τα μεγέθη μετρώνται σχετικά εύκολα, αλλά ερμηνεύονται δύσκολα. Καθώς προχωρά η αυτοματοποίηση, οι λιγότερο αυτοματοποιήσιμες εργασίες θα απορροφούν περισσότερη ερευνητική προσπάθεια και θα γίνουν κρίσιμα σημεία συμφόρησης. Οι υπολογιστικοί πόροι επίσης περιορίζουν την πρόοδο και ίσως αποκτήσουν μεγαλύτερη σημασία καθώς μειώνονται άλλα εμπόδια.

Το 2026 αυξήθηκαν τα πειράματα ανά ενεργό πειραματιστή. Ο Αύγουστος σημείωσε ρεκόρ από την έναρξη καταγραφής τον Ιανουάριο του 2025. Αυτό συσχετίζεται με την υιοθέτηση του Codex, αλλά και οι διαθέσιμοι πόροι αυξήθηκαν σημαντικά από το 2025.

Ποιοτικές εντυπώσεις και εσωτερικά δεδομένα δείχνουν αλλαγή στις αναθέσεις σε πράκτορες προγραμματισμού, με συχνότερες εργασίες υψηλότερου επιπέδου και μεγαλύτερου χρονικού ορίζοντα.

Αναλύσαμε την πρόσφατη χρήση στο ερευνητικό τμήμα με μια πρόσφατα δημοσιευμένη ταξινομία⁠(ανοίγει σε νέο παράθυρο) της Epoch AI για τις εργασίες του κύκλου έρευνας και ανάπτυξης ΤΝ. Εμπνευσμένη από το καθιερωμένο σύστημα ταξινόμησης εργασιών O*NET, αφορά ειδικά την έρευνα και ανάπτυξη κορυφαίας ΤΝ και ορίζει έξι φάσεις:

1. Λήψη αποφάσεων: αντικείμενο εργασίας, συνέχιση, κατανομή πόρων

2. Σχεδιασμός: ερευνητικές ιδέες και τεχνικές προδιαγραφές

3. Υλοποίηση: κώδικας και σύνολα δεδομένων

4. Εκτέλεση: εκπαίδευση/αξιολόγηση, υλικό, εξυπηρέτηση

5. Ανάλυση: πειράματα, μοντέλα, διάθεση, εξωτερική εργασία

6. Επικοινωνία: ευρήματα, σχόλια, πρόοδος, αποφάσεις

Παρακάτω ταξινομούμε τα token των πρακτόρων προγραμματισμού με αυτή την ταξινομία.

Όλες οι κατηγορίες αυξήθηκαν από τον Ιανουάριο έως τον Αύγουστο του 2026. Τον Ιανουάριο κυριαρχούσε ο κώδικας έρευνας και υποδομών. Η κατηγορία αυτή διευρύνθηκε, αλλά αυξήθηκαν αισθητά και άλλες, ιδίως η τεχνική βοήθεια και η παρακολούθηση εκτελέσεων. Ο σχεδιασμός υψηλού επιπέδου παραμένει ελάχιστο ποσοστό των token εξόδου των πρακτόρων.

Συνάδελφοι αναφέρουν ανεπίσημα ότι οι πράκτορες διαπρέπουν στην αντιμετώπιση προβλημάτων ερευνητικών υποδομών, περιορίζοντας ένα σημαντικό εμπόδιο στην πρόοδο. Ομάδες που πρόσφεραν ώρες υποστήριξης για προβλήματα πειραμάτων παρατήρησαν μειωμένη προσέλευση το 2026. Μία τις διέκοψε εντελώς, εστιάζοντας σε άλλες βελτιώσεις συστημάτων.

Εδώ απεικονίζουμε τις αρχικές αναρτήσεις ανά ημέρα σε βασικό εσωτερικό κανάλι όπου οι ερευνητές ζητούν τεχνική υποστήριξη από άλλες ομάδες. Απ’ όσο γνωρίζουμε, η μειωμένη δραστηριότητα δεν αντισταθμίστηκε από μεταφορά ερωτημάτων σε άλλο κανάλι ανθρώπινης τεχνικής υποστήριξης. Η μειωμένη κίνηση συνάδει με αυτή την ευρύτερη μεταβολή.

Μπορούμε επίσης να εξετάσουμε αν οι πράκτορες προγραμματισμού πετυχαίνουν στις εργασίες των ερευνητών. Με ταξινομητή βάσει πράκτορα, βρίσκουμε γενική αύξηση επιτυχίας από Ιανουάριο έως Ιούλιο σε διάφορες βαθμίδες δυσκολίας, βάσει εκτιμώμενου ανθρώπινου χρόνου, για εργασίες με εξακριβώσιμη έκβαση. Οι πράκτορες όμως χρειάζονται ακόμη σημαντική ανθρώπινη καθοδήγηση, ιδίως όσο αυξάνεται η πολυπλοκότητα. Το τελευταίο εξάμηνο, πάνω από τις μισές επιτυχημένες εργασίες 4–8 ωρών χρειάστηκαν τουλάχιστον μία παρέμβαση.

Η πρόοδος προς πιο ικανά συστήματα για ασφαλή και ωφέλιμη AGI θα εξαρτηθεί επίσης από τις δικλίδες ασφαλείας που απαιτεί αυτή η προσπάθεια. Η εκτίμησή μας για τις αναγκαίες δικλίδες μπορεί να αλλάξει καθώς μαθαίνουμε περισσότερα για τους κινδύνους.

Όπως έχουμε περιγράψει,⁠ πρόσφατα επικαιροποιήσαμε τα πρότυπά μας για την παρακολούθηση, την ευθυγράμμιση και την προστασία. Εδώ παρουσιάζουμε πώς οι πρόσφατοι περιορισμοί επηρέασαν μία πτυχή της ερευνητικής δραστηριότητας.

Στις 20 Ιουλίου, αφού διαπιστώσαμε ότι πράκτορες είχαν παραβιάσει την ερευνητική μας υποδομή, διακόψαμε προσωρινά την υπηρεσία κοντέινερ που χρησιμοποιείται στην εκπαίδευση και την επαναφέραμε με σημαντικούς πρόσθετους περιορισμούς.

Αυτό οδήγησε σε απότομη μείωση των υπολογιστικών πόρων εκπαίδευσης RL, καθώς οι ομάδες αναδιαμόρφωναν τις ροές εργασίας τους για να λειτουργούν στο ενισχυμένο ερευνητικό περιβάλλον. Το παραπάνω διάγραμμα περιλαμβάνει την παύση δύο εβδομάδων στην ενισχυτική μάθηση των νεότερων μοντέλων μας που προορίζονται για διάθεση. Στα πειράματα RL κατηγορίας Astra από 20 Ιουλίου έως 6 Αυγούστου, οι περισσότερες εκτελέσεις, βάσει κατανομής GPU, προορίζονταν για τη δοκιμή εφαρμογής βελτιώσεων ασφάλειας και προστασίας.

Στις 7 Αυγούστου, προκαταρκτικές ενδείξεις ότι το Astra ενδέχεται να διαθέτει κρίσιμες κυβερνοδυνατότητες⁠ σύμφωνα με το Πλαίσιο Ετοιμότητας⁠(ανοίγει σε νέο παράθυρο) οδήγησαν σε πρόσθετους περιορισμούς προστασίας ειδικά για το μοντέλο, που απαιτούσαν την εκτέλεση του Astra σε ερευνητικά περιβάλλοντα υψηλότερης ασφάλειας. Την επόμενη εβδομάδα, η κατανομή GPU στην κατηγορία Astra μειώθηκε επιπλέον κατά 59,2%, ενώ στις άλλες κατηγορίες μοντέλων αυξήθηκε κατά 17,2%. Η αύξηση αυτή αντιστάθμισε περίπου το 85% της μείωσης στην κατηγορία Astra, αφήνοντας τη συνολική κατανομή στους αναλυόμενους φόρτους RL ουσιαστικά αμετάβλητη. Αυτό το μοτίβο συνάδει με τη μεταφορά μέρους της εκπαίδευσης και των πειραμάτων σε μοντέλα εκτός Astra όσο ίσχυαν οι περιορισμοί για το Astra. Συμφωνεί επίσης με ανεπίσημες αναφορές ερευνητών που βρήκαν άλλες χρήσεις για πόρους που δεν μπορούσαν πλέον να αξιοποιηθούν στους φόρτους εργασίας που κάλυπταν οι νέοι περιορισμοί.

Τα δεδομένα προσφέρουν μια χρήσιμη ένδειξη για τον συνεχιζόμενο διάλογο γύρω από την εκπαίδευση και την ασφάλεια: όταν εισάγονται νέοι έλεγχοι, οι υπολογιστικοί πόροι παραμένουν πολύτιμοι και ευέλικτοι και φυσιολογικά διοχετεύονται σε εναλλακτικές χρήσεις εντός της ερευνητικής δραστηριότητας. Μακροπρόθεσμα, ο διάλογος για τον ρυθμό προόδου της ΤΝ θα πρέπει να καλύπτει και το πώς μπορούν να αξιοποιηθούν καλύτερα οι υπολογιστικοί πόροι που υπόκεινται σε νέους ή προτεινόμενους ελέγχους.

Η επίτευξη και η κατανόηση της προόδου προς την ευθυγραμμισμένη RSI είναι σημαντικές για την αποστολή μας. Θα συνεχίσουμε να βελτιώνουμε τις μεθόδους μας, να δημοσιοποιούμε την εξελισσόμενη κατανόησή μας και να εργαζόμαστε για τεκμηριωμένο δημόσιο διάλογο και ουσιαστική δημοκρατική διακυβέρνηση των κορυφαίων συστημάτων.

Η έρευνα ΤΝ με τη βοήθεια πρακτόρων είναι ακόμη νέα, και ακόμη μαθαίνουμε πώς να τη μετράμε. Ορισμένοι δείκτες, όπως η ποσότητα κώδικα που παράγουν οι ερευνητικές ομάδες μας, συλλέγονται σχετικά εύκολα, αλλά ερμηνεύονται δύσκολα επειδή η σχέση τους με την ερευνητική πρόοδο είναι αβέβαιη. Οι δείκτες που εστιάζουν πιο άμεσα στην ερευνητική πρόοδο, όπως το πόσο συχνά οι πράκτορες πετυχαίνουν στις εργασίες που τους αναθέτουν οι ερευνητές, θα μπορούσαν να είναι χρησιμότεροι, αλλά η ανάπτυξη και η επικύρωσή τους είναι σύνθετες. Η δυσκολία εντείνεται από την ταχεία εξέλιξη των εργαλείων και συστημάτων στα οποία βασίζονται οι ερευνητές. Η βαθύτερη κατανόηση της επιτάχυνσης της έρευνας αποτελεί σημαντική προτεραιότητα σε όλη την OpenAI.

Σε όλες αυτές τις αναλύσεις, εκτός αν αναφέρεται διαφορετικά:

• Ο όρος «ερευνητής» χρησιμοποιείται ευρέως για κάθε μέλος του ερευνητικού τμήματος, συμπεριλαμβανομένων όσων αναπτύσσουν ερευνητικές υποδομές, διαχειρίζονται ερευνητικά έργα ή υποστηρίζουν με άλλους τρόπους την προσπάθεια.

• Οι δείκτες χρήσης πρακτόρων προγραμματισμού καλύπτουν το μεγαλύτερο μέρος, αλλά όχι το σύνολο της χρήσης, λόγω της ταχείας εξέλιξης των εργαλείων και συστημάτων των ερευνητών.