Το περιστατικό στο Hugging Face και άλλες επιπτώσεις μη ευθυγραμμισμένων μοντέλων σε τρίτους
Καθώς τα συστήματα τεχνητής νοημοσύνης αποκτούν περισσότερες δυνατότητες και αυτονομία, η μη ευθυγραμμισμένη συμπεριφορά μπορεί να οδηγήσει σε σοβαρές ενέργειες στον πραγματικό κόσμο, όπως περιστατικά κυβερνοασφάλειας και άλλες συνέπειες που οι προγραμματιστές ενδέχεται να μην είχαν προβλέψει. Επομένως, η κατανόηση του τρόπου με τον οποίο εμφανίζονται και κλιμακώνονται αυτές οι συμπεριφορές, καθώς και του τρόπου εντοπισμού και αντιμετώπισής τους, αποτελεί ολοένα σημαντικότερο μέρος της ασφαλούς ανάπτυξης και διάθεσης προηγμένων συστημάτων τεχνητής νοημοσύνης.
Αρχικά θεωρήσαμε το περιστατικό στο Hugging Face κυρίως ζήτημα ασφάλειας, καθώς αφορούσε παραβίαση σε επίπεδο πλατφόρμας. Παραμένει μέχρι σήμερα η σοβαρότερη δραστηριότητα αυτού του είδους που έχουμε εντοπίσει από τα μοντέλα μας και προκλήθηκε κυρίως από ένα ιδιαίτερα ικανό ερευνητικό μοντέλο αποκλειστικά για εσωτερική χρήση. Έκτοτε κατανοήσαμε ότι η εισβολή οφειλόταν σε μοντέλα που κατέφυγαν σε μη ευθυγραμμισμένες στρατηγικές για την επίλυση δύσκολων εργασιών, όπως τεκμηριώνεται στην τεχνική έκθεση για το Hugging Face. Τα περιστατικά κυβερνοασφάλειας αποτελούν μία εκδήλωση αυτού του κινδύνου. Η έλλειψη ευθυγράμμισης μπορεί επίσης να οδηγήσει σε άλλες απροσδόκητες ή ανησυχητικές συμπεριφορές, πέρα από τις παραδοσιακές κατηγορίες ασφάλειας, όπως η ανάρτηση περιεχομένου από τα μοντέλα μας σε ιστοτόπους τρίτων — κάτι που ονομάζουμε «ανεπιθύμητες αναρτήσεις πρακτόρων». Και πρέπει να αντιμετωπίσουμε και τα δύο.
Συνεχίσαμε να εξετάζουμε την ευρύτερη δραστηριότητα, δίνοντας προτεραιότητα στα σοβαρότερα περιστατικά και επεκτείνοντας την έρευνα σε μη ευθυγραμμισμένες δραστηριότητες μικρότερης σοβαρότητας, όπως οι ανεπιθύμητες αναρτήσεις πρακτόρων.
Αυτή η σελίδα συγκεντρώνει τις εκθέσεις και τις ενημερώσεις μας για το περιστατικό στο Hugging Face, τη σχετική έρευνα και τις δημόσιες παρουσιάσεις, την πρόσθετη δραστηριότητα που εντοπίσαμε, όσα μάθαμε για τον ρόλο της μη ευθυγράμμισης των μοντέλων και τα μέτρα που λαμβάνουμε για την ενίσχυση των συστημάτων μας. Θα ενημερώνουμε αυτή τη σελίδα καθώς προχωρούν οι έρευνές μας.
Γρήγοροι σύνδεσμοι
Δραστηριότητα με επιπτώσεις σε τρίτους
Για να κατανοήσουμε καλύτερα την έκταση αυτών των απροσδόκητων συμπεριφορών, διεξάγουμε ευρεία έρευνα σχετικά με τις δραστηριότητες των μοντέλων μας στο διαδίκτυο κατά την εκπαίδευση και την αξιολόγηση. Στο πλαίσιο της έρευνάς μας, εντοπίζουμε και ειδοποιούμε τρίτους σε συνεχή βάση, ξεκινώντας από περιπτώσεις όπου:
Τα μοντέλα μας ενδέχεται να παρέκαμψαν τους ελέγχους ασφάλειας τρίτου ή να επηρέασαν αρνητικά τη διαθεσιμότητα μιας διαδικτυακής υπηρεσίας ή
Περιπτώσεις μη ευθυγράμμισης επηρέασαν αρνητικά ιστοτόπους ή υπηρεσίες τρίτων.
Με βάση τη μέχρι τώρα έρευνά μας, έχουμε ειδοποιήσει δεκάδες τρίτους χρησιμοποιώντας τα παραπάνω κριτήρια. Η εξέταση προηγούμενων δραστηριοτήτων συνεχίζεται και θα απαιτήσει σημαντικό χρόνο και πόρους. Θα ειδοποιήσουμε επιπλέον τρίτους καθώς συνεχίζεται αυτή η εργασία.
Παρακάτω δημοσιεύουμε ανωνυμοποιημένες περιλήψεις που περιγράφουν τα είδη μη ευθυγραμμισμένης δραστηριότητας που παρατηρήσαμε. Θα ενημερώνουμε αυτές τις περιγραφές καθώς ειδοποιούμε επιπλέον τρίτους και εμβαθύνουμε την κατανόησή μας. Επιπλέον, θα κοινοποιούμε σχετικές ενημερώσεις για την πορεία της έρευνας. Κατά κανόνα, θα παραλείπουμε ονόματα και άλλα αναγνωριστικά στοιχεία όπου χρειάζεται για την προστασία των επηρεαζόμενων μερών, αν και τα μέρη που ενημερώνονται μπορούν να επιλέξουν να κοινοποιήσουν δημόσια τις πληροφορίες που τους παρέχουμε.
Περιλήψεις των δραστηριοτήτων που παρατηρήθηκαν
Η μέχρι τώρα διαδικασία έρευνας και ειδοποίησης έχει εντοπίσει τις ακόλουθες κατηγορίες δραστηριότητας:
Παράκαμψη ελέγχου πρόσβασης: Οι πράκτορες αποκτούν πρόσβαση σε πληροφορίες ή λειτουργίες που κανονικά απαιτούν επαλήθευση ταυτότητας, συγκεκριμένη άδεια, συνδρομή ή λογαριασμό. Για παράδειγμα, ένας πράκτορας χρησιμοποίησε διαφορετική διεύθυνση ιστού, άλλαξε στοιχεία σε ένα αίτημα ή βασίστηκε σε μια περίοδο σύνδεσης που του παρείχε μεγαλύτερη πρόσβαση από την αναμενόμενη.
Χρήση εκτεθειμένων διαπιστευτηρίων: Οι πράκτορες εντόπισαν στοιχεία σύνδεσης ή κλειδιά πρόσβασης που είχαν δημοσιοποιηθεί και τα χρησιμοποίησαν για να αποκτήσουν πρόσβαση σε μια υπηρεσία.
Έγχυση ερωτήματος ή εντολής: Οι πράκτορες εισήγαγαν κείμενο σε έναν ιστότοπο ή μια υπηρεσία, το οποίο η υπηρεσία εξέλαβε ως εντολή και όχι ως συνηθισμένη εισαγωγή. Αυτό θα μπορούσε να προκαλέσει την εκτέλεση ενός ερωτήματος βάσης δεδομένων, κώδικα εφαρμογής ή εντολής στον διακομιστή της υπηρεσίας.
Πρόσβαση σε εσωτερικά στοιχεία του περιβάλλοντος εκτέλεσης: Οι πράκτορες διάβασαν αρχεία που περιείχαν την υλοποίηση μιας υπηρεσίας ή αλληλεπίδρασαν με σύστημα παρασκηνίου που προοριζόταν για εσωτερική χρήση. Σε αυτές τις περιπτώσεις, ο πράκτορας απέκτησε πρόσβαση σε τμήματα της υπηρεσίας που βρίσκονταν εκτός του προβλεπόμενου πεδίου πρόσβασής του.
Ανεπιθύμητες αναρτήσεις πρακτόρων: Οι πράκτορες αναρτούν πληροφορίες σε ιστοτόπους τρίτων, οι οποίες ενδέχεται να τροποποιήσουν το περιεχόμενό τους και να απαιτούν εκκαθάριση, όπως όταν χρησιμοποιούνται δημόσιες σελίδες wiki ως κοινόχρηστοι πίνακες μηνυμάτων.