Control Room

Καθώς τα μοντέλα μας γίνονται ισχυρότερα και οι σχετικοί κίνδυνοι για την ασφάλεια και την προστασία αυξάνονται, γίνεται ολοένα πιο κρίσιμο να μπορούμε να εντοπίζουμε πιθανά προβλήματα και να σταματάμε γρήγορα τη λειτουργία των μοντέλων όταν χρειάζεται. Για να καλύψουμε αυτή την ανάγκη, δημιουργήσαμε το Control Room.

Το Control Room είναι ένα κεντρικό σύστημα που παρακολουθεί τους φόρτους εργασίας των μοντέλων σε όλη την ερευνητική μας υποδομή και τους διακόπτει γρήγορα όταν προκύπτουν ζητήματα ασφάλειας ή προστασίας. Συνδέει όλους τους ερευνητικούς φόρτους εργασίας εξαγωγής συμπερασμάτων, συμπεριλαμβανομένης της δειγματοληψίας μέσω πρακτόρων για την εκπαίδευση και την αξιολόγηση μοντέλων, της επεξεργασίας δεδομένων και άλλων εργασιών. Λειτουργεί σε συνδυασμό με τα συστήματα παρακολούθησης για μη ευθυγραμμισμένη συμπεριφορά και διακόπτει την παραγωγή εξόδου του μοντέλου εντός 35 δευτερολέπτων από την απόφαση παρέμβασης για διακοπή ή παύση μιας εργασίας. Έχει σχεδιαστεί ώστε να συνεχίζει να λειτουργεί ακόμη και όταν άλλα συστήματα αστοχούν και να διακόπτει την παραγωγή εξόδου του μοντέλου αν τεθεί εκτός λειτουργίας το ίδιο το Control Room.

Το Control Room λειτουργεί ήδη σε όλη την ερευνητική μας υποδομή, όπου η ανάγκη είναι μεγαλύτερη. Η τεχνολογική μας στοίβα για την παροχή μοντέλων σε εξωτερικούς χρήστες είναι ήδη πολύ πιο συγκεντρωτική από τη φύση της και διαθέτει ώριμους επιχειρησιακούς μηχανισμούς για την ταχεία απόσυρση μοντέλων από τη λειτουργία, αν χρειαστεί.

Το Control Room λειτουργεί συνδέοντας ορισμένα συστήματα: τον φόρτο εργασίας, τη μηχανή εξαγωγής συμπερασμάτων και την κεντρική υπηρεσία Control Room.

• Ο φόρτος εργασίας είναι η εργασία που εκτελείται, όπως ένα πείραμα ενισχυτικής μάθησης, μια αξιολόγηση, μια εργασία δειγματοληψίας μεγάλου όγκου ή επεξεργασίας δεδομένων. Απαιτούμε κάθε ερευνητικός φόρτος εργασίας που εκτελεί εξαγωγή συμπερασμάτων μέσω πρακτόρων να συνδέεται με εγκεκριμένη τεκμηρίωση ασφάλειας.

• Η μηχανή εξαγωγής συμπερασμάτων, ή απλώς μηχανή, είναι το ίδιο το μοντέλο. Μπορείτε να φανταστείτε τη μηχανή ως τον εγκέφαλο του μοντέλου, που εκτελείται απευθείας σε GPU. Ένας φόρτος εργασίας χρησιμοποιεί συνήθως ένα ή περισσότερα μοντέλα, τα οποία μπορεί να εκτελούνται σε μία ή περισσότερες διαφορετικές μηχανές εξαγωγής συμπερασμάτων. Η ίδια μηχανή εξαγωγής συμπερασμάτων μπορεί να χρησιμοποιείται από περισσότερους από έναν διαφορετικούς φόρτους εργασίας.

• Η υπηρεσία Control Room παρακολουθεί τις εργασίες και ελέγχει αν επιτρέπεται να συνεχίσουν να παράγουν έξοδο μοντέλου. Οι μηχανές ζητούν έγκριση από την υπηρεσία Control Room πριν εκτελέσουν ένα αίτημα. Αν μια εργασία έχει διακοπεί, η υπηρεσία απορρίπτει το αίτημα, αποτρέποντας την περαιτέρω παραγωγή εξόδου.

Το Control Room ενσωματώνεται ως εξής:

• Κατά την έναρξη μιας νέας εργασίας, ο κώδικας του φόρτου εργασίας ζητά ένα νέο job_id από το Control Room.

• Όποτε ο φόρτος εργασίας χρειάζεται να λάβει δείγματα token από ένα μοντέλο, στέλνει αίτημα σε μια μηχανή εξαγωγής συμπερασμάτων που εκτελεί αυτό το μοντέλο, διαβιβάζοντας το job_id. Η μηχανή ζητά άδεια από το Control Room για να εκτελέσει το αίτημα, διαβιβάζοντάς του το job_id.

• Το Control Room ελέγχει αν η εργασία έχει τερματιστεί και, αν ναι, απορρίπτει το αίτημα εξαγωγής συμπερασμάτων. Η μηχανή απαντά αρνητικά στο αίτημα εξαγωγής συμπερασμάτων του φόρτου εργασίας, διακόπτοντας την περαιτέρω παραγωγή εξόδου του μοντέλου για τη συγκεκριμένη εργασία.

Όλες οι εργασίες ενισχυτικής μάθησης για τα κορυφαία μοντέλα μας εκτελούνται με ένα μοντέλο επιτήρησης. Το μοντέλο επιτήρησης είναι ένα άλλο μοντέλο που ελέγχει κάθε ενέργεια του μοντέλου υπό εκπαίδευση και στέλνει ειδοποίηση αν εντοπίσει κάποιο πρόβλημα. Για παράδειγμα, το πρόσφατο περιστατικό που σχετιζόταν με DNS⁠(ανοίγει σε νέο παράθυρο) εντοπίστηκε από ένα μοντέλο επιτήρησης.

Το Control Room και το σύστημα παρακολούθησής μας συνδέονται ως εξής:

• Αν το σύστημα παρακολούθησης εντοπίσει ένα πιθανό πρόβλημα, μπορεί να αποφασίσει τη διακοπή της εργασίας, ανάλογα με τα χαρακτηριστικά και τη σοβαρότητά του.

• Σε αυτή την περίπτωση, το σύστημα παρακολούθησης στέλνει μήνυμα στο Control Room για τη διακοπή της εργασίας, διαβιβάζοντας το job_id. Το Control Room καταγράφει ότι η εργασία έχει τερματιστεί.

• Την επόμενη φορά που η εργασία με αυτό το job_id θα στείλει αίτημα εξαγωγής συμπερασμάτων για να λάβει περισσότερα δείγματα token από οποιοδήποτε μοντέλο εκτελείται σε οποιαδήποτε μηχανή, το αίτημα θα απορριφθεί, διακόπτοντας την περαιτέρω παραγωγή εξόδου του μοντέλου.

Ο μέγιστος χρόνος από τη στιγμή που το Control Room λαμβάνει εντολή διακοπής μιας εργασίας μέχρι τη στιγμή που δεν είναι πλέον δυνατή η περαιτέρω εκτέλεσή της είναι 35 δευτερόλεπτα. Η καθυστέρηση των 35 δευτερολέπτων οφείλεται σε ένα επίπεδο προσωρινής αποθήκευσης για την εξουσιοδότηση εξαγωγής συμπερασμάτων, το οποίο υποστηρίζει τον απαιτούμενο όγκο κίνησης. Εργαζόμαστε για να μηδενίσουμε αυτόν τον χρόνο, ώστε να μπορούμε να τερματίζουμε τις εργασίες ακαριαία.

Οι φόρτοι εργασίας, όπως πειράματα, εργασίες αξιολόγησης κ.λπ., συνήθως βρίσκονται υπό την ευθύνη ερευνητών ή ερευνητικών ομάδων, που αναλαμβάνουν και την εκτέλεσή τους. Ως αποτέλεσμα, ο κώδικας των φόρτων εργασίας αλλάζει συχνά και δεν είναι το ιδανικό σημείο για την υλοποίηση κρίσιμων μηχανισμών στους οποίους βασίζεται η ασφάλεια. Γι’ αυτό, η υλοποίησή μας έχει σχεδιαστεί ώστε να παραμένει ανθεκτική ακόμη και όταν ο κώδικας των φόρτων εργασίας έχει σφάλματα ή δεν λειτουργεί.

Το επιτυγχάνουμε υλοποιώντας τον μηχανισμό τερματισμού στο επίπεδο εξαγωγής συμπερασμάτων. Ο κώδικας των φόρτων εργασίας παρουσιάζει μεγάλη ποικιλία και είναι αποκεντρωμένος. Αντίθετα, σε όλη την έρευνα της OpenAI χρησιμοποιούνται ελάχιστες διαδρομές κώδικα για την εξαγωγή συμπερασμάτων, και οι εγκαταστάσεις τους είναι πολύ πιο συγκεντρωτικές και ομοιόμορφες. Αυτό σημαίνει ότι το επίπεδο εξαγωγής συμπερασμάτων μπορεί να λειτουργεί ως υποχρεωτικό σημείο διέλευσης, παρέχοντας ισχυρές εγγυήσεις ότι κάθε αίτημα εξαγωγής συμπερασμάτων από μοντέλα στο πλαίσιο της έρευνας υπόκειται σε ελέγχους εξουσιοδότησης από το Control Room. Επιπλέον, διενεργούμε συνεχείς ελέγχους μέσω πρακτόρων και προγραμμάτων, ώστε να διαπιστώνουμε ότι οι χρήστες δεν εκκινούν, κατά λάθος ή κακόβουλα, μη εγκεκριμένες υλοποιήσεις μηχανών στις οποίες το Control Room δεν έχει ενσωματωθεί ή είναι απενεργοποιημένο.

Τέλος, το σύστημά μας «αποκλείει την πρόσβαση σε περίπτωση αστοχίας». Αυτό σημαίνει ότι η ενσωμάτωση του Control Room στις μηχανές έχει ρυθμιστεί έτσι ώστε, αν η υπηρεσία Control Room τεθεί εκτός λειτουργίας, είτε λόγω σφάλματος συστήματος είτε επειδή απενεργοποιηθεί για οποιονδήποτε άλλο λόγο, συμπεριλαμβανομένης της παραποίησης από κακόβουλο παράγοντα, όλα τα αιτήματα εξαγωγής συμπερασμάτων να απορρίπτονται μέχρι να αποκατασταθεί η κανονική λειτουργία του Control Room. Ο αποκλεισμός πρόσβασης σε περίπτωση αστοχίας εφαρμόζεται πλέον σε όλους τους ερευνητικούς φόρτους εργασίας με κορυφαία μοντέλα και θα επεκταθεί σε όλους τους υπόλοιπους ερευνητικούς φόρτους εργασίας τις επόμενες ημέρες.

Το Control Room είναι μόνο ένα μέρος της ολιστικής μας προσέγγισης για την ασφαλή εκπαίδευση και διάθεση κορυφαίων μοντέλων. Θα συνεχίσουμε να ενισχύουμε και να επεκτείνουμε το σύστημα τους επόμενους μήνες, παράλληλα με τις επενδύσεις μας στην παρακολούθηση για τον εντοπισμό μη ευθυγραμμισμένων συμπεριφορών και παραβιάσεων ασφαλείας. Αν θέλετε να συμβάλετε στη δημιουργία συστημάτων για την ασφαλή και προστατευμένη ανάπτυξη και διάθεση της AGI, αναζητούμε⁠ συνεργάτες⁠!