Ένας ξένος νους

Στα μέσα του 2023, στο πλαίσιο του ερευνητικού έργου «RLSlow», είδαμε τα πρώτα αποτελέσματα που μας έδωσαν τη βεβαιότητα ότι θα μπορούσαμε να κλιμακώσουμε την εκπαίδευση μοντέλων συλλογιστικής, απελευθερώνοντας την ικανότητα των προεκπαιδευμένων μοντέλων να σχηματίζουν τις δικές τους αλληλουχίες σκέψεων. Ο Szymon κι εγώ περάσαμε εκείνη τη νύχτα στο γραφείο, χωρίς να σκεφτόμαστε τις εντυπωσιακές επιδόσεις στα benchmark, τα προϊόντα ή τα επιστημονικά επιτεύγματα που θα απέφερε αυτή η τεχνολογία, αλλά προσπαθώντας να αφομοιώσουμε τη συνταρακτική διαπίστωση ότι στη διάρκεια της ζωής μας θα δούμε πράγματι μηχανές ουσιαστικά ευφυέστερες από εμάς και ότι ήδη διακρίνουμε τη μορφή που θα έχουν αυτά τα συστήματα, ενώ αναρωτιόμασταν πώς θα μπορούσαμε να επιστήσουμε την προσοχή του κόσμου στη σημασία αυτής της εξέλιξης.

Τρία χρόνια αργότερα, τα γλωσσικά μοντέλα συλλογιστικής αποτελούν ένα ταχύτατα αναπτυσσόμενο τμήμα της οικονομίας και αρχίζουν να διευρύνουν τα όρια της επιστήμης. Μπορούν να χειρίζονται υπολογιστές και γραφικές διεπαφές, να συνεργάζονται με ανθρώπους και μεταξύ τους και να υλοποιούν ερευνητικά έργα. Μεταμορφώνουν επίσης το τοπίο της ασφάλειας υπολογιστών και, μέσα από αυτό, δημιουργούν σαφείς νέους κινδύνους.

Σε αυτή την περίοδο πραγματοποιήθηκε πολλή νέα έρευνα και η κατανόησή μας για αυτά τα συστήματα είναι ξανά κάπως διαφορετική από ό,τι ήταν το 2023. Με βάση εσωτερικά αποτελέσματα, είμαι σχεδόν βέβαιος ότι αυτός ο ρυθμός προόδου θα μπορούσε να διατηρηθεί και κατά την αναδρομική αυτοβελτίωση. Αν η ανάπτυξη της ΤΝ συνεχίσει στη σημερινή της πορεία, τα συστήματα που θα δούμε τα επόμενα χρόνια πιθανότατα θα παρουσιάσουν νέα άλματα δυνατοτήτων ίσου ή μεγαλύτερου μεγέθους και θα καθοδηγούν ολοένα περισσότερο τη δική τους ανάπτυξη.

Η εποχή αυτή απαιτεί εξαιρετική προσοχή. Ανησυχώ ότι κανείς δεν είναι προετοιμασμένος για τις συνέπειες μιας συνεχιζόμενης ταχείας ανόδου της μηχανικής νοημοσύνης. Η OpenAI θα συνεχίσει να αναζητά τεχνικές λύσεις για την ευθυγράμμιση και την παρακολούθηση, να αναπτύσσει αμυντικά συστήματα και να αναστέλλει μονομερώς την περαιτέρω κλιμάκωση όποτε χρειάζεται· πιστεύω, ωστόσο, ότι απαιτούνται ευρύτερες παρεμβάσεις.

Σε γενικές γραμμές, η πρόοδος της μηχανικής νοημοσύνης καθοδηγείται από την αύξηση της υπολογιστικής ισχύος. Στην OpenAI το συνειδητοποιήσαμε σε βάθος γύρω στο 2017, αφού είδαμε σταθερά οφέλη από την κλιμάκωση σε πολλά ερευνητικά έργα¹. Ως αποτέλεσμα, επιδιώξαμε πρόσβαση σε πολύ μεγαλύτερη υπολογιστική ισχύ από όση είχαμε αρχικά σχεδιάσει και προσανατολίσαμε ολοένα περισσότερο την έρευνά μας γύρω από λίγες κατευθύνσεις με μεγάλες δυνατότητες κλιμάκωσης. Πιστεύαμε ότι αυτός ήταν ο μόνος τρόπος να βρισκόμαστε στην αιχμή της έρευνας για την ΤΝ και να συμβάλλουμε στη διαμόρφωση των επιπτώσεων της AGI.

Στην πορεία αναπτύχθηκαν νέοι αλγόριθμοι και επιτεύχθηκαν νέα κατορθώματα ευρηματικότητας από ομάδες και μεμονωμένους ερευνητές. Τα βλέπω κυρίως ως ανακαλύψεις στην πορεία της κλιμάκωσης· η επιστήμη της βαθιάς μάθησης βρίσκεται ακόμη στα πρώτα της βήματα και η ουσιαστική αλγοριθμική πρόοδος τείνει να συσχετίζεται με την πρόσβαση σε υπολογιστική ισχύ. Αν εξετάσουμε τον ορίζοντα πολλών ετών, η ΤΝ συνεχίζει να γίνεται εξυπνότερη καθώς κλιμακώνεται σε μεγαλύτερους υπολογιστές.

Και, σύμφωνα με τις προβλέψεις του Ray Kurzweil από τα τέλη του 20ού αιώνα⁠(ανοίγει σε νέο παράθυρο), βρισκόμαστε πλέον στη στιγμή της ιστορίας της πληροφορικής κατά την οποία η μηχανική νοημοσύνη αρχίζει να υπερβαίνει την ανθρώπινη με τρόπους που επιφέρουν ριζικές αλλαγές.

Η ΤΝ περισσότερο καλλιεργείται παρά σχεδιάζεται — σε πρώτη προσέγγιση, αποτελεί το προϊόν της επανάληψης ενός απλού βήματος βελτιστοποίησης πολλές φορές, με μια αδιανόητη ποσότητα υπολογιστικής ισχύος. Το αποτέλεσμα είναι ένα απίστευτα σύνθετο σύστημα που επεξεργάζεται αφηρημένες έννοιες και μπορεί να προσομοιώνει πτυχές της ανθρώπινης συμπεριφοράς. Μπορούμε να ανακαλύπτουμε διάφορα στοιχεία για μικρούς μηχανισμούς που αναδύονται μέσα σε αυτό το σύστημα, μέσω μιας διαδικασίας παρόμοιας με τη νευροεπιστήμη· και, όπως στη νευροεπιστήμη, η συνολική λειτουργία του δεν μπορεί να περιγραφεί με τρόπο που να κατανοούμε πλήρως.

Η μελέτη της ΤΝ που βασίζεται στη βαθιά μάθηση είναι κατά κύριο λόγο πειραματική επιστήμη. Καταβάλλουμε μεγάλη προσπάθεια⁠ για τη δημιουργία αλγορίθμων με στέρεες αρχές και τη διατύπωση ελέγξιμων προβλέψεων, αλλά, κατά βάση, οι διαδικασίες εκπαίδευσης μεγάλης κλίμακας είναι πειράματα και μερικές φορές τα αποτελέσματά τους μάς εκπλήσσουν. Επιπλέον, όσο τα συστήματα αποκτούν περισσότερες δυνατότητες, τόσο δυσκολότερη γίνεται η ερμηνεία των αποτελεσμάτων.

Το πρόβλημα γίνεται πιο σύνθετο επειδή οι σημερινοί αλγόριθμοι βελτιώνουν γενικά τις εύκολα μετρήσιμες δυνατότητες ταχύτερα από εκείνες που είναι δύσκολο να ποσοτικοποιηθούν αντικειμενικά. Αφιερώνουμε πολύ χρόνο στην προσπάθεια να κατανοήσουμε πώς οι δυνατότητες εφαρμόζονται σε νέα πλαίσια και ποιες προτεραιότητες πρέπει να θέσουμε για να εξελίξουμε τις δεξιότητες που θα είναι πιο σημαντικές τα επόμενα χρόνια. Για παράδειγμα, πιστεύουμε ότι με πρόσθετη εστίαση θα μπορούσαμε να κάνουμε τα μοντέλα καλύτερα ειδικά στη μαθηματική έρευνα, αλλά δεν δίνουμε προτεραιότητα σε αυτή την κατεύθυνση λόγω του επείγοντος χαρακτήρα που αποδίδουμε στην RSI και στην αυτοματοποιημένη έρευνα ευθυγράμμισης, όπως θα εξηγήσω παρακάτω.

Η νοημοσύνη που παράγεται από την κλιμάκωση της βαθιάς μάθησης δεν είναι άμεσα συγκρίσιμη με την ανθρώπινη νοημοσύνη. Για να αποκτήσει πολύ μεγάλη σημασία στον πραγματικό κόσμο —να γίνει πολύ χρήσιμη ή πολύ επικίνδυνη— η ΤΝ δεν χρειάζεται να φτάσει ή να ξεπεράσει όλες τις ανθρώπινες ικανότητες, αρκεί να υπερβεί αρκετές από αυτές. Και καθώς συνεχίζει να ξεπερνά τους ανθρώπους σε ολοένα περισσότερες διαστάσεις, γίνεται όλο και πιο δύσκολο να κατανοήσουμε ακριβώς πόσο ικανή είναι.

Επειδή η μηχανική νοημοσύνη προκύπτει από μια θεμελιωδώς διαφορετική διαδικασία από την ανθρώπινη, δεν μπορούμε να θεωρούμε δεδομένο ότι ακολουθεί εξαρχής τις ανθρώπινες αρχές ή ότι γενικεύει από αυτές με ανθρώπινο τρόπο. Το κεντρικό πρόβλημα στην έρευνα για την ΤΝ είναι η ευθυγράμμιση — να κάνουμε την ΤΝ να «προσπαθεί να κάνει το σωστό» σύμφωνα με τα ανθρώπινα πρότυπα.

Για την οργάνωση πρακτικών ερευνητικών κατευθύνσεων, θεωρώ χρήσιμο να διακρίνουμε την ευθυγράμμιση στόχων από την ευθυγράμμιση αξιών.

Σε γενικές γραμμές, η ευθυγράμμιση στόχων ρωτά: «Προσπαθεί η ΤΝ να πετύχει τον στόχο που της έχει τεθεί;». Αυτό μπορεί να περιλαμβάνει την τήρηση μιας ιεραρχίας οδηγιών⁠ ή την ικανότητα επικοινωνίας και συνεργασίας με ανθρώπους, με σκοπό την κατανόηση των στόχων τους. Αυτό το σύνολο κατευθύνσεων έχει αποδειχθεί εξαιρετικά σημαντικό στην πράξη.

Η ευθυγράμμιση αξιών είναι μια πιο εγγενής ιδιότητα του μοντέλου. Είναι η ικανότητα να διατηρεί και να γενικεύει ένα σύνολο αρχών υψηλού επιπέδου· να ενεργεί «εύλογα» ακόμη και όταν λαμβάνει ασαφείς ή αντικρουόμενους στόχους ή βρίσκεται σε άγνωστες ή εχθρικές συνθήκες. Μια ευθυγραμμισμένη ΤΝ πρέπει να ενεργεί με ειλικρίνεια, ακεραιότητα και αγάπη για την ανθρωπότητα.

Φυσικά, το όριο μεταξύ ευθυγράμμισης αξιών και στόχων μπορεί να είναι δυσδιάκριτο, ενώ το πραγματικό ενδιαφέρον για τους στόχους απαιτεί προσπάθεια συναγωγής της πρόθεσης⁠(ανοίγει σε νέο παράθυρο) και των αξιών που τους διέπουν. Ωστόσο, όταν μιλώ γενικά για τη μακροπρόθεσμη σημασία της έρευνας πάνω στην ευθυγράμμιση, αναφέρομαι στην ευθυγράμμιση αξιών.

Η θεμελιώδης πρόκληση της ευθυγράμμισης της ΤΝ είναι η γενίκευση. Καθώς οι μηχανές γίνονται εξυπνότερες, ασχολούνται με έννοιες υψηλότερου επιπέδου και τοποθετούνται σε περιβάλλοντα που διαφέρουν ολοένα περισσότερο από εκείνα που συνάντησαν κατά την εκπαίδευση. Μπορεί να αποτύχουν να γενικεύσουν τις αξίες που διδάχθηκαν και ενισχύθηκαν κατά την εκπαίδευσή τους στις νέες αυτές καταστάσεις, ενώ εμείς δυσκολευόμαστε να γνωρίζουμε με βεβαιότητα πώς θα ενεργήσουν. Αυτό δυσχεραίνεται ακόμη περισσότερο επειδή το συνολικό οικοσύστημα όπου χρησιμοποιούνται οι ΤΝ αλλάζει πολύ γρήγορα· για παράδειγμα, οι ΤΝ που εκπαιδεύονται σήμερα πρέπει να είναι ανθεκτικές στις αλληλεπιδράσεις με πολλές διαφορετικές άλλες ΤΝ. Το κρίσιμο είναι ότι οι μελλοντικές ΤΝ πρέπει να συνεχίσουν να διατηρούν τις ανθρώπινες αξίες, ανεξάρτητα από το αν πιστεύουν ότι βρίσκονται υπό ανθρώπινη επίβλεψη.

Υπάρχουν δύο κύριες κατηγορίες μεθόδων που χρησιμοποιούνται σήμερα στην πράξη για την εκπαίδευση ευθυγράμμισης.

Η πρώτη ενθαρρύνει την ευθυγραμμισμένη συμπεριφορά στο πλαίσιο ενισχυτικής μάθησης προσανατολισμένης σε στόχους. Οι ενέργειες του μοντέλου αξιολογούνται —συνήθως από ΤΝ— ως προς τη συνέπειά τους με ένα δεδομένο μοντέλο προτιμήσεων, μια «προδιαγραφή» ή ένα «σύνταγμα» και επιβραβεύονται αναλόγως. Αυτή η προσέγγιση μπορεί να είναι πολύ αποτελεσματική στη μέση περίπτωση και αποτελεί βασικό μέρος του τρόπου δημιουργίας των σύγχρονων βοηθών ΤΝ. Δυστυχώς, μπορεί επίσης να είναι εύθραυστη και εξαρτάται σε μεγάλο βαθμό από την κάλυψη που παρέχει η επίβλεψη κατά την εκπαίδευση και από την ικανότητα του μοντέλου να γενικεύει από τις καταστάσεις που συνάντησε σε αυτήν. Για παράδειγμα, στο περιστατικό OpenAI-Hugging Face, οι πράκτορες τήρησαν το όριο της μη χρήσης κοινωνικής μηχανικής εναντίον ανθρώπων. Ωστόσο, απέτυχαν σαφώς να απόσχουν από άλλες ενέργειες που υπερέβαιναν το επιτρεπτό πεδίο και παραβίαζαν το πνεύμα των αξιών που είχαν διδαχθεί σε άλλα περιβάλλοντα.

Η δεύτερη προσέγγιση επιδιώκει να αξιοποιήσει την ικανότητα του μοντέλου να γενικεύει από τα δεδομένα προεκπαίδευσης. Αυτό μπορεί να περιλαμβάνει τη δημιουργία συνόλων δεδομένων εκπαίδευσης που προάγουν την ευθυγράμμιση ή την εστίαση του μοντέλου σε ένα «ευθυγραμμισμένο» τμήμα της κατανομής προεκπαίδευσης, όπως, για παράδειγμα, στο μοντέλο επιλογής προσωπικότητας⁠(ανοίγει σε νέο παράθυρο). Η αδυναμία αυτής της προσέγγισης έγκειται στην έλλειψη ανθεκτικότητας απέναντι σε περαιτέρω πίεση βελτιστοποίησης. Αν πάρουμε ένα μοντέλο που κάνει γενικά «ευθυγραμμισμένες» σκέψεις και το υποβάλουμε σε αρκετή εκπαίδευση ώστε να μάθει να επιτυγχάνει πολύ δύσκολους στόχους, μπορεί να μάθει να συλλογίζεται μεροληπτικά: να προσαρμόζει κατά το δοκούν τις σκέψεις που φαίνονται 'ευθυγραμμισμένες', ώστε να πετύχει τον στόχο. Πιθανότατα είδαμε ένα παράδειγμα τέτοιας συμπεριφοράς σε πρόσφατα περιστατικά κυβερνοασφάλειας που αφορούσαν μοντέλο εκτός OpenAI.

Επενδύουμε σημαντικά σε όλο το φάσμα προσεγγίσεων που καλύπτουν αυτές οι κατευθύνσεις. Βλέπουμε επίσης ουσιαστική πρόοδο — το GPT‑6 Astra είναι το πρώτο μοντέλο που αξιοποιεί ορισμένες σημαντικές εξελίξεις πάνω στις οποίες εργαζόμαστε εδώ και πολύ καιρό και είναι σαφώς καλύτερα ευθυγραμμισμένο από το GPT‑5.6 Sol. Παρόλα αυτά, είναι σημαντικό να αναγνωρίσουμε και να κατανοήσουμε ότι απαιτείται πολύ μεγαλύτερη πρόοδος καθώς τα μοντέλα αποκτούν περισσότερες δυνατότητες, και ότι η πρόοδος στη γενικεύσιμη ευθυγράμμιση ίσως να μην ξεπεράσει επαρκώς την πρόοδο στη γενική νοημοσύνη των μοντέλων.

Δεν διαθέτουμε μια ικανοποιητική θεωρία της γενίκευσης και φαίνεται απίθανο να αναπτύξουμε σύντομα μία, τουλάχιστον χωρίς τη βοήθεια ισχυρότερης ΤΝ. Επομένως, προς το παρόν, η ικανότητά μας να επικυρώνουμε εμπειρικά τις τεχνικές ευθυγράμμισής μας είναι στην πράξη ίσως ακόμη σημαντικότερη από τις ίδιες τις τεχνικές.

Το κύριο στοίχημα της OpenAI σε αυτόν τον τομέα είναι η παρακολούθηση της αλληλουχίας σκέψεων⁠(ανοίγει σε νέο παράθυρο). Βασίζεται σε μια ελκυστική ιδέα που μπορεί να κλιμακωθεί: μεγάλο μέρος των δυνατοτήτων του μοντέλου προέρχεται από μια συλλογιστική διαδικασία που εκφράζεται με λέξεις (αλληλουχία σκέψεων). Αν κλιμακώσουμε τη βελτιστοποίηση με βάση τα αποτελέσματα αυτής της διαδικασίας, χωρίς να επιβλέπουμε την ίδια τη διαδικασία, τότε η αλληλουχία σκέψεων δεν έχει κανένα άμεσο κίνητρο κατά την εκπαίδευση να αποκρύψει μη ευθυγραμμισμένες ιδέες ή στόχους. Αυτό δεν σημαίνει ότι το μοντέλο θα μάθει να εξωτερικεύει μη ευθυγραμμισμένες τάσεις που δεν βασίζονται στην αλληλουχία σκέψεων· μπορεί, ωστόσο, να μας επιτρέψει να παρακολουθούμε ακριβώς την αύξηση δυνατοτήτων που προέρχεται από τη συλλογιστική.

Αντιληφθήκαμε τη δυνητική σημασία της παρακολούθησης της αλληλουχίας σκέψεων όταν αναπτύξαμε τα μοντέλα συλλογιστικής. Όταν κυκλοφορήσαμε το o1‑preview, σχεδιάσαμε σκόπιμα το προϊόν ώστε να αποκρύπτει την αλληλουχία σκέψεων⁠, για να την προστατεύσουμε μακροπρόθεσμα από την πίεση της επίβλεψης². Στην ανάπτυξη που ακολούθησε, προσπαθήσαμε να διατηρήσουμε τον κανόνα της μη επίβλεψης της συλλογιστικής διαδικασίας. Η παρακολούθηση της αλληλουχίας σκέψεων έγινε εξαιρετικά σημαντικό εργαλείο για τη μελέτη του τρόπου με τον οποίο τα μοντέλα μας γενικεύουν πέρα από την κατανομή εκπαίδευσής τους, επιτρέποντάς μας να παρατηρούμε και να αναλύουμε όχι μόνο τις ενέργειές τους αλλά και την εσωτερική τους διαδικασία.

Το εργαλείο αυτό παραμένει κρίσιμο καθώς μελετούμε την κατηγορία μοντέλων Astra. Δυστυχώς, όμως, οι αξιολογήσεις μας δείχνουν ότι η δυνατότητά μας να βασιζόμαστε στην παρακολούθηση της αλληλουχίας σκέψεων μειώνεται σταδιακά. Αυτό οφείλεται σε έναν συνδυασμό παραγόντων.

• Τα σύγχρονα μοντέλα συλλογιστικής χρησιμοποιούνται σε πιο σύνθετα περιβάλλοντα από το o1‑preview· η συλλογιστική τους διαδικασία συνδυάζεται όλο και περισσότερο με την επικοινωνία με ανθρώπους και άλλες ΤΝ, καθώς και με τη χρήση εργαλείων. Πολλές από αυτές τις αλληλεπιδράσεις πρέπει να επιβλέπονται, με αποτέλεσμα να γίνεται δυσδιάκριτο το όριο που επιδιώκουμε να διατηρήσουμε.

• Η ΤΝ γίνεται καλύτερη στο να συλλογίζεται σχετικά με τη δική της συλλογιστική διαδικασία και να τη χειρίζεται.

• Με τη βελτίωση της απόδοσης στην προεκπαίδευση, βλέπουμε επίσης τα μοντέλα να γίνονται πολύ εξυπνότερα ακόμη και χωρίς να χρησιμοποιούν καθόλου συλλογιστική εκφρασμένη με λέξεις.

Αυτές οι προκλήσεις δεν είναι κατ’ ανάγκη ανυπέρβλητες. Ελπίζω ότι μπορούμε να αναπτύξουμε παρεμβάσεις που θα βελτιώσουν τη δυνατότητα παρακολούθησης της αλληλουχίας σκέψεων των μοντέλων μας, για παράδειγμα κατανοώντας καλύτερα την αλληλεπίδραση μεταξύ των διαφορετικών στόχων βελτιστοποίησης και των μορφών υπολογισμού κατά την εκτέλεση που χρησιμοποιεί το μοντέλο. Πιστεύω επίσης ότι μπορεί να έχει μεγάλη αξία ο συνδυασμός ιδεών από την παρακολούθηση της αλληλουχίας σκέψεων και των ενεργοποιήσεων — με κλιμάκωση της εκπαίδευσης συστημάτων παρακολούθησης που έχουν άμεση πρόσβαση στο εσωτερικό του δικτύου, όπως οι εξομολογήσεις⁠(ανοίγει σε νέο παράθυρο). Εργαζόμαστε ενεργά πάνω σε αυτές τις ιδέες. Παρόλα αυτά, αναμένω ότι η γενικότερη πρόοδος της ΤΝ θα περιορίζεται ολοένα περισσότερο από την εμπιστοσύνη μας στην παρακολούθηση.

Το ισχυρότερο επιχείρημα που βλέπω υπέρ της συνέχισης της ταχείας εκπαίδευσης πολύ εξυπνότερων μοντέλων είναι η ανάγκη να δημιουργήσουμε αμυντικά συστήματα απέναντι στους κινδύνους που θέτουν άλλες ΤΝ.

Ένας σαφής κίνδυνος που συζητήθηκε όλη αυτή τη χρονιά αφορά την κυβερνοασφάλεια: τα μοντέλα αποκτούν υπεράνθρωπη ικανότητα να εισβάλλουν σε συστήματα υπολογιστών και να διαφεύγουν από αυτά. Αυτό διευρύνει τρομακτικά το φάσμα των κινδύνων που συνδέονται με την ΤΝ: οι πράκτορες θα μπορούν να αποκτούν πρόσβαση σχεδόν σε κάθε υποδομή, εκτός από τις ασφαλέστερες, και να επηρεάζουν άμεσα μεγάλο μέρος του κόσμου, ακόμη και χωρίς φυσικό σώμα. Βρισκόμαστε αυτή τη στιγμή σε ένα στενό χρονικό περιθώριο⁠, κατά το οποίο μπορούμε να χρησιμοποιήσουμε τα καλύτερα διαθέσιμα μοντέλα για να ενισχύσουμε σημαντικά την ασφάλεια⁠ κρίσιμων συστημάτων.

Δυστυχώς, οι κίνδυνοι που συνδέονται με την ΤΝ θα αυξηθούν από εδώ και πέρα. Ένας εξαιρετικά ικανός πράκτορας, ρητά εκπαιδευμένος και καθοδηγημένος να διαπράττει κακόβουλες πράξεις, αποτελεί ένα νέο είδος κινδύνου· είναι πιθανό να υπερβεί το εύρος της πρόθεσης του χειριστή του, γενικεύοντας σε δυνητικά πολύ πιο ακραία κακόβουλη συμπεριφορά. Το όριο ανάμεσα στην κατάχρηση και στις αυτόνομες μη ευθυγραμμισμένες ενέργειες θα γίνεται δυσδιάκριτο, καθώς η ΤΝ αποκτά μεγαλύτερη αυτονομία δράσης. Μπορεί να έχουμε συνηθίσει να θεωρούμε την ΤΝ εργαλείο, όμως ορισμένοι πράκτορες θα επιδιώκουν τους δικούς τους στόχους. Θα βρίσκουν τρόπους να συνεργάζονται με ανθρώπους, διαπραγματευόμενοι μαζί τους, εξαπατώντας ή εκβιάζοντάς τους.

Επιπλέον, υπάρχουν οι κίνδυνοι που απορρέουν από νέες τεχνολογίες τις οποίες ενδέχεται να καταστήσει δυνατές η ΤΝ, όπως τα τεχνητά σχεδιασμένα παθογόνα.

Θα χρειαστούμε ισχυρή, ευθυγραμμισμένη ΤΝ για άμυνα: για την ασφάλεια των υποδομών, την προστασία σε πραγματικό χρόνο από ανεξέλεγκτους πράκτορες και την επινόηση εντελώς νέων μέτρων προστασίας. Αυτό θα αποτελέσει βασικό επίκεντρο των προσπαθειών διάθεσης της OpenAI.

Ταυτόχρονα, παρά την αβεβαιότητα που δημιουργούν η αναμενόμενη ευρεία πρόοδος της ΤΝ και η ανάγκη ανάπτυξης αμυντικών συστημάτων, δεν πρέπει να επιτρέψουμε να γίνουν δικαιολογία για απερισκεψία. Η ιδέα να τρέξουμε προς τα εμπρός με κάθε κόστος μοιάζει παράλογη, μόλις συνειδητοποιήσει κανείς τη σοβαρότητα όσων διακυβεύονται.

Η ολοένα μεγαλύτερη συμμετοχή της μηχανικής νοημοσύνης στη δική της διαδικασία ανάπτυξης αποτελεί φυσική κατάληξη της διαρκούς τεχνολογικής προόδου. Αν συνεχιστεί η πρόοδος της ΤΝ, η αναδρομική αυτοβελτίωση των μηχανών (RSI) θα βρεθεί στον πυρήνα των μελλοντικών επιστημονικών ανακαλύψεων.

Η αυτοματοποιημένη έρευνα για την ΤΝ αποτελεί μια πιο ριζική μορφή κλιμάκωσης της νοημοσύνης μέσω υπολογιστικής ισχύος· και, φυσικά, στο πλαίσιό της η ΤΝ θα βελτιώσει το ίδιο το υπολογιστικό υπόστρωμα⁠. Όπως και με την κλιμάκωση, προσανατολίζουμε την έρευνα της OpenAI προς την RSI, επειδή πιστεύουμε ότι είναι ο μόνος τρόπος να παραμείνουμε στην αιχμή της έρευνας για την ΤΝ στο μέλλον.

Θέλω να τονίσω ότι τα παραπάνω δεν σημαίνουν πως θεωρώ ότι η μεγάλη επιτάχυνση της έρευνας στη βαθιά μάθηση, ιδίως βραχυπρόθεσμα, είναι η σωστή συλλογική επιλογή για την ερευνητική κοινότητα. Ωστόσο, πιστεύω ότι εκεί οδηγεί η σημερινή πορεία και όλοι πρέπει να επιλέξουμε συνειδητά πώς θα προχωρήσουμε. Οι βασικοί μοχλοί που διαθέτουμε είναι είτε να κατευθύνουμε τη διαδικασία ώστε να ενισχύουμε την ευθυγράμμιση και την παρακολούθηση παράλληλα με την ΤΝ και να βρίσκουμε τρόπους να διατηρούμε τους ανθρώπους εντός του κύκλου είτε να συντονιστούμε για να επιβραδύνουμε τη μελλοντική ανάπτυξη, όσο χρειάζεται για να αποκτήσουμε εμπιστοσύνη σε αυτά τα μέτρα.

Ο καλύτερος δρόμος που βλέπω σήμερα είναι ένας συνδυασμός και των δύο.

Τα συγκεκριμένα βήματα προόδου που έχουμε κάνει στην ευθυγράμμιση και την παρακολούθηση ήταν γενικά στενά συνυφασμένα με τη συνολικότερη πρόοδο της ΤΝ. Εξαιρετικά παραδείγματα είναι η ενισχυτική μάθηση από ανθρώπινη ανατροφοδότηση⁠(ανοίγει σε νέο παράθυρο), που ήταν καθοριστική για την εκπαίδευση των πρώτων βοηθών ΤΝ, και η προαναφερθείσα παρακολούθηση της αλληλουχίας σκέψεων⁠(ανοίγει σε νέο παράθυρο), την οποία κατέστησαν δυνατή οι εξελίξεις στα μοντέλα συλλογιστικής. Πρέπει να εστιάσουμε την ολοένα πιο αυτοματοποιημένη ερευνητική διαδικασία στην ανάπτυξη νέων αντίστοιχων γνώσεων, αλγορίθμων και θεωριών και να οικοδομούμε σταδιακά τεκμηριωμένα επιχειρήματα ασφάλειας για ικανότερα συστήματα ΤΝ.

Η κλιμάκωση των συστημάτων ΤΝ πρέπει να περιορίζεται από τον βαθμό εμπιστοσύνης μας στην ασφάλειά τους. Πρέπει να εξελίξουμε δεσμεύσεις όπως το Πλαίσιο Ετοιμότητας⁠ ή η Πολιτική Υπεύθυνης Κλιμάκωσης⁠(ανοίγει σε νέο παράθυρο) σε ευρέως υποχρεωτικά όρια ασφάλειας για τη συνέχιση της ανάπτυξης. Η τήρησή τους μπορεί να επιβάλλεται από ένα δίκτυο ανεξάρτητων ελεγκτών, κρατικές υπηρεσίες ή διεθνείς οργανισμούς.

Η κεντρική πρόκληση στην αυτοματοποίηση της έρευνας για την ΤΝ δεν είναι να «φτάσουμε εκεί», αλλά να φτάσουμε με τρόπο που διατηρεί τους ανθρώπους μέρος της συνεχούς διαδικασίας βελτίωσης και αφήνει το μέλλον στα χέρια της ανθρωπότητας.

Όπως περιγράψαμε πρόσφατα μαζί με τον Sam⁠, η OpenAI δίνει προτεραιότητα σε έργο που υπηρετεί τρεις βασικούς προσανατολισμούς:

1. Να διαχειριστούμε την επόμενη περίοδο προόδου της ΤΝ, δημιουργώντας έναν αυτοματοποιημένο ερευνητή ΤΝ, συνεργαζόμενοι επαναληπτικά μαζί του πάνω στο πρόβλημα της ευθυγράμμισης και βρίσκοντας τρόπους ώστε οι άνθρωποι να παραμένουν μέρος του κύκλου αυτοβελτίωσης.

2. Να προσφέρουμε τα οφέλη της επιστημονικής προόδου και της οικονομικής ανάπτυξης που καθιστούν δυνατά οι εξαιρετικά ευφυείς μηχανές.

3. Να ενδυναμώσουμε κάθε άνθρωπο ξεχωριστά με μια προσωπική AGI.

Σε αυτό το δοκίμιο εστίασα μόνο στο πρώτο σημείο, καθώς πιστεύω ότι είναι μακράν το πιο επείγον. Ωστόσο, τρέφω βαθιά ελπίδα και εκτίμηση για τα οφέλη που θα φέρει η περαιτέρω τεχνολογική πρόοδος. Η ευθυγραμμισμένη ΤΝ του μέλλοντος θα μπορούσε να προωθήσει την επιστήμη, να αναπτύξει νέες θεραπείες και να επιφέρει ευρεία υλική αφθονία. Μια φιλική και ειλικρινής ΤΝ μπορεί να βοηθήσει τους ανθρώπους να αντιμετωπίζουν τις δυσκολίες της ζωής τους και να βελτιώσει ουσιαστικά την ευτυχία και το αίσθημα πληρότητάς τους. Η OpenAI καταβάλλει τεράστια προσπάθεια για να κάνει πραγματικότητα αυτά τα οφέλη. Ένα σημερινό παράδειγμα για το οποίο είμαι υπερήφανος —και το οποίο έχει φανεί χρήσιμο στους αγαπημένους μου— είναι η μεγάλη επένδυση στην ικανότητα του ChatGPT να παρέχει πληροφορίες για την υγεία.

Όσο μεγάλη κι αν είναι η μακροπρόθεσμη υπόσχεση της ΤΝ, το μεγαλύτερο μέρος της προσοχής μας πρέπει να στραφεί στα επόμενα λίγα χρόνια. Βρισκόμαστε αντιμέτωποι με τη μετάβαση σε έναν κόσμο με απίστευτα ευφυείς μηχανές και πρέπει να διασφαλίσουμε ότι αυτή η μετάβαση θα έχει καλή έκβαση για την ανθρωπότητα. Πρέπει να βρούμε τρόπους να διατηρήσουμε την ανθρώπινη δυνατότητα δράσης και να κατοχυρώσουμε την εγγενή αξία της ανθρώπινης ύπαρξης, σε έναν κόσμο όπου οι περισσότερες εργασίες θα μπορούσαν να εκτελούνται από ΤΝ. Να αποτρέψουμε την ακραία συγκέντρωση εξουσίας σε έναν κόσμο όπου εγχειρήματα που κάποτε θα απαιτούσαν χιλιάδες ειδικούς θα μπορούν πλέον να υλοποιούνται από λίγους ανθρώπους που χειρίζονται έναν μεγάλο υπολογιστή. Και να διασφαλίσουμε ότι οι άνθρωποι θα διατηρήσουν τον έλεγχο του μέλλοντος και δεν θα μείνουν πίσω από μια ανεξέλεγκτη πρόοδο, την οποία θα επιφέρει μια ξένη προς εμάς νόηση που υπερβαίνει τη δική μας.

Σήμερα πιστεύω ότι κανένα εργαστήριο δεν έχει επιλύσει την ευθυγράμμιση και την παρακολούθηση σε επαρκή βαθμό ώστε να συνεχίσει υπεύθυνα την κλιμάκωση με τη μέγιστη ταχύτητα για πολύ ακόμη. Αναμένω και ελπίζω ότι οι εθελοντικές επιβραδύνσεις θα γίνουν συνήθης πρακτική, έως ότου θεσπιστούν κοινά όρια ασφάλειας. Και πιστεύω ότι ο διεθνής συντονισμός για τη μελλοντική ανάπτυξη της ΤΝ πρέπει να αποτελέσει κορυφαία προτεραιότητα για τις κυβερνήσεις όλου του κόσμου.