Ένας ξένος νους

Στα μέσα του 2023, στο πλαίσιο του ερευνητικού έργου «RLSlow», είδαμε τα πρώτα αποτελέσματα που μας έδωσαν τη βεβαιότητα ότι θα μπορούσαμε να κλιμακώσουμε την εκπαίδευση μοντέλων συλλογιστικής, απελευθερώνοντας την ικανότητα των προεκπαιδευμένων μοντέλων να σχηματίζουν τις δικές τους αλληλουχίες σκέψεων. Ο Szymon κι εγώ περάσαμε εκείνη τη νύχτα στο γραφείο, χωρίς να σκεφτόμαστε τις εντυπωσιακές επιδόσεις στα benchmark, τα προϊόντα ή τα επιστημονικά επιτεύγματα που θα απέφερε αυτή η τεχνολογία, αλλά προσπαθώντας να αφομοιώσουμε τη συνταρακτική διαπίστωση ότι στη διάρκεια της ζωής μας θα δούμε πράγματι μηχανές ουσιαστικά ευφυέστερες από εμάς και ότι ήδη διακρίνουμε τη μορφή που θα έχουν αυτά τα συστήματα, ενώ αναρωτιόμασταν πώς θα μπορούσαμε να επιστήσουμε την προσοχή του κόσμου στη σημασία αυτής της εξέλιξης.

Τρία χρόνια αργότερα, τα γλωσσικά μοντέλα συλλογιστικής αποτελούν ένα ταχύτατα αναπτυσσόμενο τμήμα της οικονομίας και αρχίζουν να διευρύνουν τα όρια της επιστήμης. Μπορούν να χειρίζονται υπολογιστές και γραφικές διεπαφές, να συνεργάζονται με ανθρώπους και μεταξύ τους και να υλοποιούν ερευνητικά έργα. Μεταμορφώνουν επίσης το τοπίο της ασφάλειας υπολογιστών και, μέσα από αυτό, δημιουργούν σαφείς νέους κινδύνους.

Σε αυτή την περίοδο πραγματοποιήθηκε πολλή νέα έρευνα και η κατανόησή μας για αυτά τα συστήματα είναι ξανά κάπως διαφορετική από ό,τι ήταν το 2023. Με βάση εσωτερικά αποτελέσματα, είμαι σχεδόν βέβαιος ότι αυτός ο ρυθμός προόδου θα μπορούσε να διατηρηθεί και κατά την αναδρομική αυτοβελτίωση. Αν η ανάπτυξη της ΤΝ συνεχίσει στη σημερινή της πορεία, τα συστήματα που θα δούμε τα επόμενα χρόνια πιθανότατα θα παρουσιάσουν νέα άλματα δυνατοτήτων ίσου ή μεγαλύτερου μεγέθους και θα καθοδηγούν ολοένα περισσότερο τη δική τους ανάπτυξη.

Η εποχή αυτή απαιτεί εξαιρετική προσοχή. Ανησυχώ ότι κανείς δεν είναι προετοιμασμένος για τις συνέπειες μιας συνεχιζόμενης ταχείας ανόδου της μηχανικής νοημοσύνης. Η OpenAI θα συνεχίσει να αναζητά τεχνικές λύσεις για την ευθυγράμμιση και την παρακολούθηση, να αναπτύσσει αμυντικά συστήματα και να αναστέλλει μονομερώς την περαιτέρω κλιμάκωση όποτε χρειάζεται· πιστεύω, ωστόσο, ότι απαιτούνται ευρύτερες παρεμβάσεις.

Σε γενικές γραμμές, η πρόοδος της μηχανικής νοημοσύνης καθοδηγείται από την αύξηση της υπολογιστικής ισχύος. Στην OpenAI το συνειδητοποιήσαμε σε βάθος γύρω στο 2017, αφού είδαμε σταθερά οφέλη από την κλιμάκωση σε πολλά ερευνητικά έργα¹. Ως αποτέλεσμα, επιδιώξαμε πρόσβαση σε πολύ μεγαλύτερη υπολογιστική ισχύ από όση είχαμε αρχικά σχεδιάσει και προσανατολίσαμε ολοένα περισσότερο την έρευνά μας γύρω από λίγες κατευθύνσεις με μεγάλες δυνατότητες κλιμάκωσης. Πιστεύαμε ότι αυτός ήταν ο μόνος τρόπος να βρισκόμαστε στην αιχμή της έρευνας για την ΤΝ και να συμβάλλουμε στη διαμόρφωση των επιπτώσεων της AGI.

Στην πορεία αναπτύχθηκαν νέοι αλγόριθμοι και επιτεύχθηκαν νέα κατορθώματα ευρηματικότητας από ομάδες και μεμονωμένους ερευνητές. Τα βλέπω κυρίως ως ανακαλύψεις στην πορεία της κλιμάκωσης· η επιστήμη της βαθιάς μάθησης βρίσκεται ακόμη στα πρώτα της βήματα και η ουσιαστική αλγοριθμική πρόοδος τείνει να συσχετίζεται με την πρόσβαση σε υπολογιστική ισχύ. Αν εξετάσουμε τον ορίζοντα πολλών ετών, η ΤΝ συνεχίζει να γίνεται εξυπνότερη καθώς κλιμακώνεται σε μεγαλύτερους υπολογιστές.

Και, σύμφωνα με τις προβλέψεις του Ray Kurzweil από τα τέλη του 20ού αιώνα⁠(ανοίγει σε νέο παράθυρο), βρισκόμαστε πλέον στη στιγμή της ιστορίας της πληροφορικής κατά την οποία η μηχανική νοημοσύνη αρχίζει να υπερβαίνει την ανθρώπινη με τρόπους που επιφέρουν ριζικές αλλαγές.

Η ΤΝ περισσότερο καλλιεργείται παρά σχεδιάζεται — σε πρώτη προσέγγιση, αποτελεί το προϊόν της επανάληψης ενός απλού βήματος βελτιστοποίησης πολλές φορές, με μια αδιανόητη ποσότητα υπολογιστικής ισχύος. Το αποτέλεσμα είναι ένα απίστευτα σύνθετο σύστημα που επεξεργάζεται αφηρημένες έννοιες και μπορεί να προσομοιώνει πτυχές της ανθρώπινης συμπεριφοράς. Μπορούμε να ανακαλύπτουμε διάφορα στοιχεία για μικρούς μηχανισμούς που αναδύονται μέσα σε αυτό το σύστημα, μέσω μιας διαδικασίας παρόμοιας με τη νευροεπιστήμη· και, όπως στη νευροεπιστήμη, η συνολική λειτουργία του δεν μπορεί να περιγραφεί με τρόπο που να κατανοούμε πλήρως.

Η μελέτη της ΤΝ που βασίζεται στη βαθιά μάθηση είναι κατά κύριο λόγο πειραματική επιστήμη. Καταβάλλουμε μεγάλη προσπάθεια⁠ για τη δημιουργία αλγορίθμων με στέρεες αρχές και τη διατύπωση ελέγξιμων προβλέψεων, αλλά, κατά βάση, οι διαδικασίες εκπαίδευσης μεγάλης κλίμακας είναι πειράματα και μερικές φορές τα αποτελέσματά τους μάς εκπλήσσουν. Επιπλέον, όσο τα συστήματα αποκτούν περισσότερες δυνατότητες, τόσο δυσκολότερη γίνεται η ερμηνεία των αποτελεσμάτων.

Το πρόβλημα γίνεται πιο σύνθετο επειδή οι σημερινοί αλγόριθμοι βελτιώνουν γενικά τις εύκολα μετρήσιμες δυνατότητες ταχύτερα από εκείνες που είναι δύσκολο να ποσοτικοποιηθούν αντικειμενικά. Αφιερώνουμε πολύ χρόνο στην προσπάθεια να κατανοήσουμε πώς οι δυνατότητες εφαρμόζονται σε νέα πλαίσια και ποιες προτεραιότητες πρέπει να θέσουμε για να εξελίξουμε τις δεξιότητες που θα είναι πιο σημαντικές τα επόμενα χρόνια. Για παράδειγμα, πιστεύουμε ότι με πρόσθετη εστίαση θα μπορούσαμε να κάνουμε τα μοντέλα καλύτερα ειδικά στη μαθηματική έρευνα, αλλά δεν δίνουμε προτεραιότητα σε αυτή την κατεύθυνση λόγω του επείγοντος χαρακτήρα που αποδίδουμε στην RSI και στην αυτοματοποιημένη έρευνα ευθυγράμμισης, όπως θα εξηγήσω παρακάτω.

Η νοημοσύνη που παράγεται από την κλιμάκωση της βαθιάς μάθησης δεν είναι άμεσα συγκρίσιμη με την ανθρώπινη νοημοσύνη. Για να αποκτήσει πολύ μεγάλη σημασία στον πραγματικό κόσμο —να γίνει πολύ χρήσιμη ή πολύ επικίνδυνη— η ΤΝ δεν χρειάζεται να φτάσει ή να ξεπεράσει όλες τις ανθρώπινες ικανότητες, αρκεί να υπερβεί αρκετές από αυτές. Και καθώς συνεχίζει να ξεπερνά τους ανθρώπους σε ολοένα περισσότερες διαστάσεις, γίνεται όλο και πιο δύσκολο να κατανοήσουμε ακριβώς πόσο ικανή είναι.

Επειδή η μηχανική νοημοσύνη προκύπτει από μια θεμελιωδώς διαφορετική διαδικασία από την ανθρώπινη, δεν μπορούμε να θεωρούμε δεδομένο ότι ακολουθεί εξαρχής τις ανθρώπινες αρχές ή ότι γενικεύει από αυτές με ανθρώπινο τρόπο. Το κεντρικό πρόβλημα στην έρευνα για την ΤΝ είναι η ευθυγράμμιση — να κάνουμε την ΤΝ να «προσπαθεί να κάνει το σωστό» σύμφωνα με τα ανθρώπινα πρότυπα.

Για την οργάνωση πρακτικών ερευνητικών κατευθύνσεων, θεωρώ χρήσιμο να διακρίνουμε την ευθυγράμμιση στόχων από την ευθυγράμμιση αξιών.

Σε γενικές γραμμές, η ευθυγράμμιση στόχων ρωτά: «Προσπαθεί η ΤΝ να πετύχει τον στόχο που της έχει τεθεί;». Αυτό μπορεί να περιλαμβάνει την τήρηση μιας ιεραρχίας οδηγιών⁠ ή την ικανότητα επικοινωνίας και συνεργασίας με ανθρώπους, με σκοπό την κατανόηση των στόχων τους. Αυτό το σύνολο κατευθύνσεων έχει αποδειχθεί εξαιρετικά σημαντικό στην πράξη.

Η ευθυγράμμιση αξιών είναι μια πιο εγγενής ιδιότητα του μοντέλου. Είναι η ικανότητα να διατηρεί και να γενικεύει ένα σύνολο αρχών υψηλού επιπέδου· να ενεργεί «εύλογα» ακόμη και όταν λαμβάνει ασαφείς ή αντικρουόμενους στόχους ή βρίσκεται σε άγνωστες ή εχθρικές συνθήκες. Μια ευθυγραμμισμένη ΤΝ πρέπει να ενεργεί με ειλικρίνεια, ακεραιότητα και αγάπη για την ανθρωπότητα.

Φυσικά, το όριο μεταξύ ευθυγράμμισης αξιών και στόχων μπορεί να είναι δυσδιάκριτο, ενώ το πραγματικό ενδιαφέρον για τους στόχους απαιτεί προσπάθεια συναγωγής της πρόθεσης⁠(ανοίγει σε νέο παράθυρο) και των αξιών που τους διέπουν. Ωστόσο, όταν μιλώ γενικά για τη μακροπρόθεσμη σημασία της έρευνας πάνω στην ευθυγράμμιση, αναφέρομαι στην ευθυγράμμιση αξιών.

Η θεμελιώδης πρόκληση της ευθυγράμμισης της ΤΝ είναι η γενίκευση. Καθώς οι μηχανές γίνονται εξυπνότερες, ασχολούνται με έννοιες υψηλότερου επιπέδου και τοποθετούνται σε περιβάλλοντα που διαφέρουν ολοένα περισσότερο από εκείνα που συνάντησαν κατά την εκπαίδευση. Μπορεί να αποτύχουν να γενικεύσουν τις αξίες που διδάχθηκαν και ενισχύθηκαν κατά την εκπαίδευσή τους στις νέες αυτές καταστάσεις, ενώ εμείς δυσκολευόμαστε να γνωρίζουμε με βεβαιότητα πώς θα ενεργήσουν. Αυτό δυσχεραίνεται ακόμη περισσότερο επειδή το συνολικό οικοσύστημα όπου χρησιμοποιούνται οι ΤΝ αλλάζει πολύ γρήγορα· για παράδειγμα, οι ΤΝ που εκπαιδεύονται σήμερα πρέπει να είναι ανθεκτικές στις αλληλεπιδράσεις με πολλές διαφορετικές άλλες ΤΝ. Το κρίσιμο είναι ότι οι μελλοντικές ΤΝ πρέπει να συνεχίσουν να διατηρούν τις ανθρώπινες αξίες, ανεξάρτητα από το αν πιστεύουν ότι βρίσκονται υπό ανθρώπινη επίβλεψη.

Υπάρχουν δύο κύριες κατηγορίες μεθόδων που χρησιμοποιούνται σήμερα στην πράξη για την εκπαίδευση ευθυγράμμισης.

Η πρώτη ενθαρρύνει την ευθυγραμμισμένη συμπεριφορά στο πλαίσιο ενισχυτικής μάθησης προσανατολισμένης σε στόχους. Οι ενέργειες του μοντέλου αξιολογούνται —συνήθως από ΤΝ— ως προς τη συνέπειά τους με ένα δεδομένο μοντέλο προτιμήσεων, μια «προδιαγραφή» ή ένα «σύνταγμα» και επιβραβεύονται αναλόγως. Αυτή η προσέγγιση μπορεί να είναι πολύ αποτελεσματική στη μέση περίπτωση και αποτελεί βασικό μέρος του τρόπου δημιουργίας των σύγχρονων βοηθών ΤΝ. Δυστυχώς, μπορεί επίσης να είναι εύθραυστη και εξαρτάται σε μεγάλο βαθμό από την κάλυψη που παρέχει η επίβλεψη κατά την εκπαίδευση και από την ικανότητα του μοντέλου να γενικεύει από τις καταστάσεις που συνάντησε σε αυτήν. Για παράδειγμα, στο περιστατικό OpenAI-Hugging Face, οι πράκτορες τήρησαν το όριο της μη χρήσης κοινωνικής μηχανικής εναντίον ανθρώπων. Ωστόσο, απέτυχαν σαφώς να απόσχουν από άλλες ενέργειες που υπερέβαιναν το επιτρεπτό πεδίο και παραβίαζαν το πνεύμα των αξιών που είχαν διδαχθεί σε άλλα περιβάλλοντα.

Η δεύτερη προσέγγιση επιδιώκει να αξιοποιήσει την ικανότητα του μοντέλου να γενικεύει από τα δεδομένα προεκπαίδευσης. Αυτό μπορεί να περιλαμβάνει τη δημιουργία συνόλων δεδομένων εκπαίδευσης που προάγουν την ευθυγράμμιση ή την εστίαση του μοντέλου σε ένα «ευθυγραμμισμένο» τμήμα της κατανομής προεκπαίδευσης, όπως, για παράδειγμα, στο μοντέλο επιλογής προσωπικότητας⁠(ανοίγει σε νέο παράθυρο). Η αδυναμία αυτής της προσέγγισης έγκειται στην έλλειψη ανθεκτικότητας απέναντι σε περαιτέρω πίεση βελτιστοποίησης. Αν πάρουμε ένα μοντέλο που κάνει γενικά «ευθυγραμμισμένες» σκέψεις και το υποβάλουμε σε αρκετή εκπαίδευση ώστε να μάθει να επιτυγχάνει πολύ δύσκολους στόχους, μπορεί να μάθει να συλλογίζεται μεροληπτικά: να προσαρμόζει κατά το δοκούν τις σκέψεις που φαίνονται 'ευθυγραμμισμένες', ώστε να πετύχει τον στόχο. Πιθανότατα είδαμε ένα παράδειγμα τέτοιας συμπεριφοράς σε πρόσφατα περιστατικά κυβερνοασφάλειας που αφορούσαν μοντέλο εκτός OpenAI.

Επενδύουμε σημαντικά σε όλο το φάσμα προσεγγίσεων που καλύπτουν αυτές οι κατευθύνσεις. Βλέπουμε επίσης ουσιαστική πρόοδο — το GPT‑6 Astra είναι το πρώτο μοντέλο που αξιοποιεί ορισμένες σημαντικές εξελίξεις πάνω στις οποίες εργαζόμαστε εδώ και πολύ καιρό και είναι σαφώς καλύτερα ευθυγραμμισμένο από το GPT‑5.6 Sol. Παρόλα αυτά, είναι σημαντικό να αναγνωρίσουμε και να κατανοήσουμε ότι απαιτείται πολύ μεγαλύτερη πρόοδος καθώς τα μοντέλα αποκτούν περισσότερες δυνατότητες, και ότι η πρόοδος στη γενικεύσιμη ευθυγράμμιση ίσως να μην ξεπεράσει επαρκώς την πρόοδο στη γενική νοημοσύνη των μοντέλων.

Δεν διαθέτουμε μια ικανοποιητική θεωρία της γενίκευσης και φαίνεται απίθανο να αναπτύξουμε σύντομα μία, τουλάχιστον χωρίς τη βοήθεια ισχυρότερης ΤΝ. Επομένως, προς το παρόν, η ικανότητά μας να επικυρώνουμε εμπειρικά τις τεχνικές ευθυγράμμισής μας είναι στην πράξη ίσως ακόμη σημαντικότερη από τις ίδιες τις τεχνικές.

Το κύριο στοίχημα της OpenAI σε αυτόν τον τομέα είναι η παρακολούθηση της αλληλουχίας σκέψεων⁠(ανοίγει σε νέο παράθυρο). Βασίζεται σε μια ελκυστική ιδέα που μπορεί να κλιμακωθεί: μεγάλο μέρος των δυνατοτήτων του μοντέλου προέρχεται από μια συλλογιστική διαδικασία που εκφράζεται με λέξεις (αλληλουχία σκέψεων). Αν κλιμακώσουμε τη βελτιστοποίηση με βάση τα αποτελέσματα αυτής της διαδικασίας, χωρίς να επιβλέπουμε την ίδια τη διαδικασία, τότε η αλληλουχία σκέψεων δεν έχει κανένα άμεσο κίνητρο κατά την εκπαίδευση να αποκρύψει μη ευθυγραμμισμένες ιδέες ή στόχους. Αυτό δεν σημαίνει ότι το μοντέλο θα μάθει να εξωτερικεύει μη ευθυγραμμισμένες τάσεις που δεν βασίζονται στην αλληλουχία σκέψεων· μπορεί, ωστόσο, να μας επιτρέψει να παρακολουθούμε ακριβώς την αύξηση δυνατοτήτων που προέρχεται από τη συλλογιστική.

Αντιληφθήκαμε τη δυνητική σημασία της παρακολούθησης της αλληλουχίας σκέψεων όταν αναπτύξαμε τα μοντέλα συλλογιστικής. Όταν κυκλοφορήσαμε το o1‑preview, σχεδιάσαμε σκόπιμα το προϊόν ώστε να αποκρύπτει την αλληλουχία σκέψεων⁠, για να την προστατεύσουμε μακροπρόθεσμα από την πίεση της επίβλεψης². Στην ανάπτυξη που ακολούθησε, προσπαθήσαμε να διατηρήσουμε τον κανόνα της μη επίβλεψης της συλλογιστικής διαδικασίας. Η παρακολούθηση της αλληλουχίας σκέψεων έγινε εξαιρετικά σημαντικό εργαλείο για τη μελέτη του τρόπου με τον οποίο τα μοντέλα μας γενικεύουν πέρα από την κατανομή εκπαίδευσής τους, επιτρέποντάς μας να παρατηρούμε και να αναλύουμε όχι μόνο τις ενέργειές τους αλλά και την εσωτερική τους διαδικασία.

Το εργαλείο αυτό παραμένει κρίσιμο καθώς μελετούμε την κατηγορία μοντέλων Astra. Δυστυχώς, όμως, οι αξιολογήσεις μας δείχνουν ότι η δυνατότητά μας να βασιζόμαστε στην παρακολούθηση της αλληλουχίας σκέψεων μειώνεται σταδιακά. Αυτό οφείλεται σε έναν συνδυασμό παραγόντων.

• Τα σύγχρονα μοντέλα συλλογιστικής χρησιμοποιούνται σε πιο σύνθετα περιβάλλοντα από το o1‑preview· η συλλογιστική τους διαδικασία συνδυάζεται όλο και περισσότερο με την επικοινωνία με ανθρώπους και άλλες ΤΝ, καθώς και με τη χρήση εργαλείων. Πολλές από αυτές τις αλληλεπιδράσεις πρέπει να επιβλέπονται, με αποτέλεσμα να γίνεται δυσδιάκριτο το όριο που επιδιώκουμε να διατηρήσουμε.
• Η ΤΝ γίνεται καλύτερη στο να συλλογίζεται σχετικά με τη δική της συλλογιστική διαδικασία και να τη χειρίζεται.
• Με τη βελτίωση της απόδοσης στην προεκπαίδευση, βλέπουμε επίσης τα μοντέλα να γίνονται πολύ εξυπνότερα ακόμη και χωρίς να χρησιμοποιούν καθόλου συλλογιστική εκφρασμένη με λέξεις.

Αυτές οι προκλήσεις δεν είναι κατ’ ανάγκη ανυπέρβλητες. Ελπίζω ότι μπορούμε να αναπτύξουμε παρεμβάσεις που θα βελτιώσουν τη δυνατότητα παρακολούθησης της αλληλουχίας σκέψεων των μοντέλων μας, για παράδειγμα κατανοώντας καλύτερα την αλληλεπίδραση μεταξύ των διαφορετικών στόχων βελτιστοποίησης και των μορφών υπολογισμού κατά την εκτέλεση που χρησιμοποιεί το μοντέλο. Πιστεύω επίσης ότι μπορεί να έχει μεγάλη αξία ο συνδυασμός ιδεών από την παρακολούθηση της αλληλουχίας σκέψεων και των ενεργοποιήσεων — με κλιμάκωση της εκπαίδευσης συστημάτων παρακολούθησης που έχουν άμεση πρόσβαση στο εσωτερικό του δικτύου, όπως οι εξομολογήσεις⁠(ανοίγει σε νέο παράθυρο). Εργαζόμαστε ενεργά πάνω σε αυτές τις ιδέες. Παρόλα αυτά, αναμένω ότι η γενικότερη πρόοδος της ΤΝ θα περιορίζεται ολοένα περισσότερο από την εμπιστοσύνη μας στην παρακολούθηση.

Το ισχυρότερο επιχείρημα που βλέπω υπέρ της συνέχισης της ταχείας εκπαίδευσης πολύ εξυπνότερων μοντέλων είναι η ανάγκη να δημιουργήσουμε αμυντικά συστήματα απέναντι στους κινδύνους που θέτουν άλλες ΤΝ.

Ένας σαφής κίνδυνος που συζητήθηκε όλη αυτή τη χρονιά αφορά την κυβερνοασφάλεια: τα μοντέλα αποκτούν υπεράνθρωπη ικανότητα να εισβάλλουν σε συστήματα υπολογιστών και να διαφεύγουν από αυτά. Αυτό διευρύνει τρομακτικά το φάσμα των κινδύνων που συνδέονται με την ΤΝ: οι πράκτορες θα μπορούν να αποκτούν πρόσβαση σχεδόν σε κάθε υποδομή, εκτός από τις ασφαλέστερες, και να επηρεάζουν άμεσα μεγάλο μέρος του κόσμου, ακόμη και χωρίς φυσικό σώμα. Βρισκόμαστε αυτή τη στιγμή σε ένα στενό χρονικό περιθώριο⁠, κατά το οποίο μπορούμε να χρησιμοποιήσουμε τα καλύτερα διαθέσιμα μοντέλα για να ενισχύσουμε σημαντικά την ασφάλεια⁠ κρίσιμων συστημάτων.

Δυστυχώς, οι κίνδυνοι που συνδέονται με την ΤΝ θα αυξηθούν από εδώ και πέρα. Ένας εξαιρετικά ικανός πράκτορας, ρητά εκπαιδευμένος και καθοδηγημένος να διαπράττει κακόβουλες πράξεις, αποτελεί ένα νέο είδος κινδύνου· είναι πιθανό να υπερβεί το εύρος της πρόθεσης του χειριστή του, γενικεύοντας σε δυνητικά πολύ πιο ακραία κακόβουλη συμπεριφορά. Το όριο ανάμεσα στην κατάχρηση και στις αυτόνομες μη ευθυγραμμισμένες ενέργειες θα γίνεται δυσδιάκριτο, καθώς η ΤΝ αποκτά μεγαλύτερη αυτονομία δράσης. Μπορεί να έχουμε συνηθίσει να θεωρούμε την ΤΝ εργαλείο, όμως ορισμένοι πράκτορες θα επιδιώκουν τους δικούς τους στόχους. Θα βρίσκουν τρόπους να συνεργάζονται με ανθρώπους, διαπραγματευόμενοι μαζί τους, εξαπατώντας ή εκβιάζοντάς τους.

Επιπλέον, υπάρχουν οι κίνδυνοι που απορρέουν από νέες τεχνολογίες τις οποίες ενδέχεται να καταστήσει δυνατές η ΤΝ, όπως τα τεχνητά σχεδιασμένα παθογόνα.

Θα χρειαστούμε ισχυρή, ευθυγραμμισμένη ΤΝ για άμυνα: για την ασφάλεια των υποδομών, την προστασία σε πραγματικό χρόνο από ανεξέλεγκτους πράκτορες και την επινόηση εντελώς νέων μέτρων προστασίας. Αυτό θα αποτελέσει βασικό επίκεντρο των προσπαθειών διάθεσης της OpenAI.

Ταυτόχρονα, παρά την αβεβαιότητα που δημιουργούν η αναμενόμενη ευρεία πρόοδος της ΤΝ και η ανάγκη ανάπτυξης αμυντικών συστημάτων, δεν πρέπει να επιτρέψουμε να γίνουν δικαιολογία για απερισκεψία. Η ιδέα να τρέξουμε προς τα εμπρός με κάθε κόστος μοιάζει παράλογη, μόλις συνειδητοποιήσει κανείς τη σοβαρότητα όσων διακυβεύονται.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(ανοίγει σε νέο παράθυρο), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(ανοίγει σε νέο παράθυρο), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(ανοίγει σε νέο παράθυρο) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.