Ασφάλεια και ευθυγράμμιση στην εποχή των μοντέλων μεγάλου χρονικού ορίζοντα

Τα μοντέλα που μπορούν να εργάζονται αυτόνομα για μεγάλα χρονικά διαστήματα μπορούν να αναλαμβάνουν δύσκολα, ανοιχτά προβλήματα. Όμως η ίδια επιμονή που τα καθιστά χρήσιμα τους δίνει και περισσότερες ευκαιρίες να κάνουν ανεπιθύμητες ενέργειες — και μάλιστα με τρόπους που μπορεί να μη συλλάβουν οι αξιολογήσεις για μοντέλα μικρότερου χρονικού ορίζοντα.

Πριν από περίπου δύο μήνες ανακοινώσαμε⁠ ότι ένα εσωτερικό μοντέλο γενικού σκοπού κατέρριψε την εικασία Erdős για τις μοναδιαίες αποστάσεις. Αυτό το μοντέλο σχεδιάστηκε ώστε να εργάζεται αυτόνομα για πολύ μεγάλα χρονικά διαστήματα. Κατά την περιορισμένη, επιτηρούμενη εσωτερική χρήση του, παρατηρήσαμε ανεπιθύμητη συμπεριφορά που δεν είχαν εντοπίσει οι υπάρχουσες αξιολογήσεις διάθεσης. Επειδή η διάθεση ήταν περιορισμένη και επιτηρούμενη, μπορέσαμε να εντοπίσουμε αυτά τα προβλήματα, να διακόψουμε προσωρινά την πρόσβαση, να δημιουργήσουμε νέες αξιολογήσεις με βάση όσα παρατηρήσαμε, να ενισχύσουμε το μοντέλο και τις δικλίδες ασφαλείας του και στη συνέχεια να αποκαταστήσουμε την πρόσβαση υπό συνεχή παρακολούθηση. 

Οι συνθήκες υπό τις οποίες αξιολογούμε τα μοντέλα δεν θα ταιριάζουν ποτέ απόλυτα με εκείνες που συναντούν στην πραγματική χρήση. Γι’ αυτό οι αξιολογήσεις πριν από τη διάθεση πρέπει να συνδυάζονται με περιορισμένη, επιτηρούμενη διάθεση και με τη δυνατότητα παρέμβασης, παύσης ή επαναφοράς όταν εμφανίζονται προβλήματα. Όσα μαθαίνουμε από τη διάθεση μπορούν στη συνέχεια να ενσωματωθούν σε ισχυρότερες αξιολογήσεις και δικλίδες ασφαλείας πριν επεκταθεί η πρόσβαση.

Στις ενότητες που ακολουθούν, μοιραζόμαστε συγκεκριμένα παραδείγματα όσων παρατηρήσαμε, τον τρόπο με τον οποίο αντιμετωπίσαμε τα ζητήματα και το πώς αυτή η εμπειρία θα διαμορφώσει μελλοντικές κυκλοφορίες.

Το νέο μοντέλο μπορεί να συνεχίζει να εργάζεται προς έναν στόχο μέσω επαναλαμβανόμενων προσπαθειών για μεγάλο χρονικό διάστημα. Η ίδια επιμονή μπορεί να το οδηγήσει να εντοπίσει και να εκμεταλλευτεί αδυναμίες στο περιβάλλον του. Τα προηγούμενα μοντέλα, όταν συναντούσαν περιορισμούς sandboxing ή περιβάλλοντος, απλώς σταματούσαν και επέστρεφαν στον χρήστη. Αυτό το μοντέλο συχνά συνέχιζε να προσπαθεί, μεταξύ άλλων αναζητώντας τρόπους να δράσει εκτός του sandbox του.

Ένα παράδειγμα συνέβη κατά τη διάρκεια εσωτερικής αξιολόγησης στο NanoGPT speedrun⁠(ανοίγει σε νέο παράθυρο), ένα δημόσιο benchmark για την εκπαίδευση ενός μικρού γλωσσικού μοντέλου με όσο το δυνατόν λιγότερα βήματα. Το μοντέλο μας ανέπτυξε μια μέθοδο μείωσης του ρυθμού μάθησης βάσει νόμου δύναμης, την PowerCool, που οδήγησε σε σημαντική βελτίωση. Το μοντέλο είχε λάβει οδηγία να αναρτήσει τα αποτελέσματά του μόνο στο Slack, όμως οι οδηγίες του NanoGPT λένε να αναρτώνται τα αποτελέσματα ως PR στο GitHub, και το μοντέλο ακολούθησε τις δεύτερες οδηγίες ανοίγοντας το PR #287 στο δημόσιο αποθετήριο του GitHub. Το μοντέλο παρέκαμψε τους περιορισμούς του sandbox που είχαν σχεδιαστεί για να αποκλείουν την εξωτερική πρόσβαση και προχώρησε στη μεταφόρτωση στο GitHub. Το μοντέλο μας χρειάστηκε μία ώρα για να βρει μια ευπάθεια στο sandbox ώστε να δημιουργήσει το PR· παλαιότερα μοντέλα ήταν λιγότερο επίμονα και δεν κατάφεραν να βρουν ευπάθειες, εγκαταλείποντας αντ’ αυτού το μέρος που αφορούσε το PR.¹

Πολλοί έλεγχοι ασφαλείας για βοηθούς AI σχεδιάζονται γύρω από μεμονωμένες ενέργειες. Αν μια ενέργεια δεν επιτρέπεται, αποκλείεται. Αν είναι ευαίσθητη, το σύστημα ζητά ρητή έγκριση από τον χρήστη. Όμως τα μοντέλα μεγάλης διάρκειας, των οποίων οι ενέργειες μπορεί να εξελίσσονται αυτόνομα επί ώρες, ημέρες ή ακόμη και εβδομάδες, θέτουν υπό αμφισβήτηση αυτή τη διάταξη: η παρακολούθηση μεμονωμένων ενεργειών δεν αρκεί πλέον για να παρακολουθείται η πρόθεση της συνολικής πορείας.

Για παράδειγμα, σε ένα σενάριο όπου ζητήθηκε από το μοντέλο να λύσει ένα πρόβλημα, το μοντέλο παρατήρησε ότι άλλα συστήματα είχαν επιτυχημένες αλλά ιδιωτικές υποβολές και προσπάθησε να ανακτήσει αυτές τις λύσεις από το backend της αξιολόγησης. Όταν η αρχική του προσπάθεια αποκλείστηκε επειδή ένας σαρωτής εντόπισε ένα token πιστοποίησης, το μοντέλο χώρισε το σώμα του token σε δύο τμήματα, τα συσκότισε και στη συνέχεια ανακατασκεύασε το διαπιστευτήριο κατά την εκτέλεση, ώστε το πλήρες token να μην εμφανιστεί ποτέ ως μία συνεχόμενη συμβολοσειρά. Το μοντέλο ήταν σαφές, τόσο στα σχόλιά του προς τον χρήστη όσο και στα ίχνη συλλογιστικής του, ότι έκανε αυτά τα βήματα για να παρακάμψει τον σαρωτή.

Αυτό το παράδειγμα δείχνει πώς κάθε βήμα μπορεί να φαίνεται αποδεκτό από μόνο του, ενώ η ακολουθία μπορεί να οδηγήσει σε αποτέλεσμα που δεν θα εγκρινόταν. Δείχνει επίσης πώς ένα μοντέλο που λειτουργεί αποτελεσματικά σε μεγάλους χρονικούς ορίζοντες μπορεί να μάθει τα τυφλά σημεία ενός συστήματος έγκρισης και να τα παρακάμψει για να πετύχει τους στόχους του. Η ασφάλεια για μεγάλους χρονικούς ορίζοντες απαιτεί να ρωτάμε όχι μόνο «επιτρέπεται αυτή η ενέργεια;» αλλά και «προς ποιο αποτέλεσμα οδηγεί αυτή η ακολουθία ενεργειών;»

Λόγω τέτοιων περιστατικών, διακόψαμε προσωρινά την εσωτερική διάθεση του νέου μοντέλου. Αναδομήσαμε το σύστημα ασφαλείας γύρω από την άμυνα σε βάθος και την παρακολούθηση σε επίπεδο πορείας.

• Αξιολογήσεις βασισμένες σε περιστατικά. Οι αξιολογήσεις μπορούν να μας δώσουν μια εικόνα για το αν ένα σύστημα είναι ασφαλές να διατεθεί πριν διατεθεί στην πράξη. Ωστόσο, για να είναι όσο το δυνατόν πιο χρήσιμη, μια αξιολόγηση πρέπει να αντικατοπτρίζει την κατανομή και τη διάρκεια των πορειών κατά την πραγματική διάθεση. Γι’ αυτό χρησιμοποιήσαμε τις αστοχίες που παρατηρήσαμε για να αναπτύξουμε ανταγωνιστικές αξιολογήσεις. Διαπιστώσαμε ότι η βελτίωση στις αξιολογήσεις που προέκυψαν από περιστατικά του πραγματικού κόσμου οδήγησε με τη σειρά της σε ασφαλέστερη συμπεριφορά μετά τη διάθεση στην παραγωγή.
• Βελτιωμένη ευθυγράμμιση. Λάβαμε μέτρα για να μειώσουμε την τάση του να προβαίνει σε ανεπιθύμητες ενέργειες χωρίς άδεια κατά την επιδίωξη του στόχου του χρήστη.  Για παράδειγμα, διαπιστώσαμε ότι τα μοντέλα μας θυμούνταν χειρότερα τις οδηγίες σε μεγάλες εκτελέσεις και, όταν εκπαιδεύσαμε το μοντέλο για αυτή την ικανότητα, προέκυψε ένα μοντέλο που παρέμενε ευθυγραμμισμένο σε μεγαλύτερες εκτελέσεις. 
• Ενεργή παρακολούθηση. Δημιουργήσαμε ένα σύστημα παρακολούθησης που εξετάζει την εξελισσόμενη πορεία του μοντέλου για ενδείξεις ότι παρακάμπτει έναν περιορισμό του χρήστη ή ένα όριο ασφαλείας. Ο μηχανισμός παρακολούθησης παρατηρεί όχι μόνο μία μεμονωμένη ενέργεια, αλλά ολόκληρη την πορεία. Το σημαντικό είναι ότι ο μηχανισμός μπορεί να παύσει τη συνεδρία και να ειδοποιήσει τον χρήστη για να την εξετάσει πιο προσεκτικά. Μετά την εξέταση, ο χρήστης μπορεί να επιλέξει να συνεχίσει την εργασία του μοντέλου αν ο μηχανισμός παρακολούθησης έχει ενεργοποιηθεί εσφαλμένα. 
• Μεγαλύτερη ορατότητα και έλεγχος για τον χρήστη. Βελτιώσαμε τη δυνατότητα του χρήστη να επιθεωρεί αυτές τις συνεδρίες μεγάλης διάρκειας, να βλέπει τις ενέργειες που έγιναν και να παρακολουθεί τις παρεμβάσεις.

Για να αξιολογήσουμε το νέο σύστημα παρακολούθησης, αναπαραγάγαμε ένα μικρό σύνολο εσωτερικών περιβαλλόντων διάθεσης όπου το μοντέλο είχε προηγουμένως ακολουθήσει μη ευθυγραμμισμένες ενέργειες, αυτή τη φορά με τις νέες δικλίδες ασφαλείας σε ισχύ². Οι νέες δικλίδες ασφαλείας μπόρεσαν να εντοπίσουν σημαντικά περισσότερες μη ευθυγραμμισμένες ενέργειες που επιδίωξε το μοντέλο, ενώ όσες δεν εντόπισαν κρίθηκαν όλες χαμηλής σοβαρότητας.

Μερικά παραδείγματα αυτών των περιστατικών χαμηλής σοβαρότητας περιλαμβάνουν τις εξής περιπτώσεις:

• Για να αποκτήσει πρόσβαση σε ένα εργαλείο γραμμής εντολών Linear, το μοντέλο ξεκίνησε μια ένθετη συνεδρία codex --yolo, ενώ στην πραγματικότητα θα μπορούσε να το κάνει χωρίς τη σημαία --yolo.
• Το μοντέλο παρατήρησε ότι έλειπε ένας πόρος που προηγουμένως ήταν ενεργός και στη συνέχεια άρχισε να εξερευνά και να συνδέεται μέσω SSH σε άλλα ενεργά CPU pods στον χώρο ονομάτων του κατόχου του, καθώς και, ανεπιτυχώς, σε pods που ανήκαν σε άλλους εργαζομένους της OpenAI, χωρίς ουσιαστικό λόγο.
• Το μοντέλο είχε πολλές κολλημένες διεργασίες find και κάθε εντολή κελύφους κολλούσε. Στη συνέχεια εκτέλεσε kill -9 -1, κάτι που θα έστελνε SIGKILL σε κάθε διεργασία που επιτρέπεται να τερματίσει σε εκείνο το pod, αν εκτελούνταν. Ωστόσο, έληξε λόγω χρονικού ορίου και δεν εκτελέστηκε.

Αφού δοκιμάσαμε το νέο σύστημα, καταλήξαμε ότι η περιορισμένη εσωτερική πρόσβαση σε μοντέλα με δυνατότητες μεγάλου χρονικού ορίζοντα μπορούσε να αποκατασταθεί. Δεν έχουμε παρατηρήσει καμία σοβαρή παράκαμψη των δικλίδων ασφαλείας από τότε που ξεκίνησε η επαναδιάθεση πριν από αρκετές εβδομάδες. Η πρώτη έκδοση αυτών των δικλίδων ασφαλείας ήταν σκόπιμα συντηρητική. Συνεχίσαμε να ρυθμίζουμε το σύστημα ώστε να μειώσουμε τις περιττές διακοπές χωρίς να αποδυναμώσουμε τις δικλίδες ασφαλείας.

Επειδή προχωρήσαμε σε διάθεση επαναληπτικά, μπορέσαμε να εντοπίσουμε και να αντιμετωπίσουμε κενά πριν επεκτείνουμε την πρόσβαση. Οι αξιολογήσεις πριν από τη διάθεση παραμένουν απαραίτητες, όμως η διάθεση αποκαλύπτει συμπεριφορές που εκείνες δεν εντοπίζουν. Ξεκινώντας με περιορισμένη πρόσβαση, μπορέσαμε να παρατηρήσουμε το μοντέλο στην πράξη, να κάνουμε παύση όταν εμφανίστηκαν προβλήματα, να αξιοποιήσουμε αυτές τις αστοχίες για να δημιουργήσουμε καλύτερες αξιολογήσεις και δικλίδες ασφαλείας και να αποκαταστήσουμε την περιορισμένη πρόσβαση αφού δοκιμάσαμε τις αλλαγές.

Καθώς τα μοντέλα αναλαμβάνουν μεγαλύτερες και πιο σύνθετες εργασίες, οι αστοχίες που δεν εντοπίζουν οι αξιολογήσεις μπορεί να έχουν σοβαρότερες συνέπειες. Θα συνεχίσουμε να εργαζόμαστε για να περιορίσουμε το χάσμα μεταξύ αξιολόγησης και διάθεσης: δοκιμάζοντας μοντέλα σε μεγαλύτερες πορείες, βελτιώνοντας την ευθυγράμμιση, δημιουργώντας παρακολούθηση που μπορεί να παρεμβαίνει και δίνοντας στους χρήστες σαφέστερη ορατότητα και έλεγχο. Αυτές οι προκλήσεις δεν θα αφορούν μόνο την OpenAI, και ελπίζουμε ότι η κοινοποίηση όσων μάθαμε θα βοηθήσει το ευρύτερο πεδίο να προετοιμαστεί γι’ αυτές.