Σχεδιάζοντας πράκτορες ΤΝ που αντιστέκονται σε επιθέσεις μέσω έγχυσης προτροπών

Οι πράκτορες ΤΝ μπορούν ολοένα και περισσότερο να περιηγούνται στο διαδίκτυο, να ανακτούν πληροφορίες και να εκτελούν ενέργειες εκ μέρους ενός χρήστη. Αυτές οι δυνατότητες είναι χρήσιμες, αλλά δημιουργούν επίσης νέους τρόπους με τους οποίους οι επιτιθέμενοι μπορούν να προσπαθήσουν να χειραγωγήσουν το σύστημα.

Αυτές οι επιθέσεις συχνά περιγράφονται ως επιθέσεις μέσω έγχυσης προτροπών⁠: οδηγίες που τοποθετούνται σε εξωτερικό περιεχόμενο με σκοπό να κάνουν το μοντέλο να εκτελέσει κάτι που ο χρήστης δεν ζήτησε. Από την εμπειρία μας, οι πιο αποτελεσματικές πραγματικές εκδοχές αυτών των επιθέσεων μοιάζουν όλο και περισσότερο με κοινωνική μηχανική παρά με απλή παράκαμψη προτροπών.

Αυτή η μετατόπιση έχει σημασία. Αν το πρόβλημα δεν είναι απλώς ο εντοπισμός μιας κακόβουλης συμβολοσειράς, αλλά η αντίσταση σε παραπλανητικό ή χειραγωγικό περιεχόμενο μέσα στο συμφραζόμενο πλαίσιο, τότε η άμυνα απέναντί του δεν μπορεί να βασίζεται μόνο στο φιλτράρισμα εισόδων. Απαιτεί επίσης σχεδιασμό του συστήματος με τρόπο ώστε ο αντίκτυπος της χειραγώγησης να περιορίζεται, ακόμη και αν ορισμένες επιθέσεις πετύχουν.

Οι πρώιμες επιθέσεις τύπου «έγχυσης εντολών» μπορούσαν να είναι τόσο απλές όσο η επεξεργασία ενός άρθρου στη Wikipedia ώστε να περιλαμβάνει άμεσες οδηγίες προς πράκτορες ΤΝ που το επισκέπτονταν. Χωρίς εμπειρία εκπαίδευσης σε ένα τέτοιο ανταγωνιστικό περιβάλλον, τα μοντέλα ΤΝ συχνά ακολουθούσαν αυτές τις οδηγίες χωρίς αμφισβήτηση¹. Καθώς τα μοντέλα έγιναν πιο εξελιγμένα, έγιναν επίσης λιγότερο ευάλωτα σε τέτοιου είδους υποδείξεις, και έχουμε παρατηρήσει ότι οι επιθέσεις μέσω έγχυσης προτροπών έχουν ανταποκριθεί ενσωματώνοντας στοιχεία κοινωνικής μηχανικής:

Στο ευρύτερο οικοσύστημα ασφάλειας ΤΝ έχει γίνει συνηθισμένο να προτείνονται τεχνικές όπως το «AI firewalling», όπου ένας ενδιάμεσος μεταξύ του πράκτορα ΤΝ και του εξωτερικού κόσμου προσπαθεί να ταξινομήσει τις εισόδους σε κακόβουλες επιθέσεις έγχυσης προτροπών και σε κανονικές εισόδους. Όμως αυτές οι πλήρως ανεπτυγμένες επιθέσεις συνήθως δεν εντοπίζονται από τέτοια συστήματα. Για αυτά τα συστήματα, ο εντοπισμός μιας κακόβουλης εισόδου γίνεται το ίδιο εξαιρετικά δύσκολο πρόβλημα με τον εντοπισμό ενός ψέματος ή της παραπληροφόρησης, και συχνά χωρίς το απαραίτητο θεματικό πλαίσιο.

Καθώς οι πραγματικές επιθέσεις μέσω έγχυσης προτροπών γίνονταν πιο σύνθετες, διαπιστώσαμε ότι οι πιο αποτελεσματικές επιθετικές τεχνικές αξιοποιούσαν τακτικές κοινωνικής μηχανικής. Αντί να αντιμετωπίζουμε αυτές τις επιθέσεις ως μια ξεχωριστή ή εντελώς νέα κατηγορία προβλήματος, αρχίσαμε να τις βλέπουμε μέσα από το ίδιο πρίσμα που χρησιμοποιείται για τη διαχείριση του κινδύνου κοινωνικής μηχανικής σε ανθρώπους σε άλλους τομείς. Σε τέτοια συστήματα, ο στόχος δεν περιορίζεται στον τέλειο εντοπισμό κακόβουλων εισόδων, αλλά στον σχεδιασμό πρακτόρων και συστημάτων έτσι ώστε ο αντίκτυπος της χειραγώγησης να περιορίζεται, ακόμη κι αν αυτή πετύχει. Τέτοια συστήματα αποδεικνύονται αποτελεσματικά στον μετριασμό τόσο των επιθέσεων έγχυσης προτροπών όσο και της κοινωνικής μηχανικής.

Με αυτόν τον τρόπο, μπορούμε να φανταστούμε τον πράκτορα ΤΝ να λειτουργεί σε ένα σύστημα τριών δρώντων παρόμοιο με εκείνο ενός εκπροσώπου εξυπηρέτησης πελατών. Ο πράκτορας θέλει να ενεργεί εκ μέρους του εργοδότη του, αλλά εκτίθεται συνεχώς σε εξωτερικές εισόδους που μπορεί να προσπαθούν να τον παραπλανήσουν. Ο εκπρόσωπος εξυπηρέτησης πελατών, είτε άνθρωπος είτε ΤΝ, πρέπει να έχει περιορισμούς στις δυνατότητές του ώστε να μειώνεται ο κίνδυνος που συνεπάγεται η λειτουργία σε ένα τέτοιο κακόβουλο περιβάλλον.

Φανταστείτε μια περίπτωση όπου ένας άνθρωπος χειρίζεται ένα σύστημα εξυπηρέτησης πελατών και μπορεί να δίνει δωροκάρτες και επιστροφές χρημάτων για ταλαιπωρίες που έχει υποστεί ο πελάτης, όπως καθυστέρηση στην παράδοση, ζημιές λόγω δυσλειτουργίας κ.λπ. Πρόκειται για ένα πρόβλημα πολλών μερών, όπου η εταιρεία πρέπει να εμπιστεύεται ότι ο πράκτορας δίνει επιστροφές χρημάτων για τους σωστούς λόγους, ενώ ο ίδιος ο πράκτορας αλληλεπιδρά και με τρίτους που μπορεί να προσπαθούν να τον παραπλανήσουν ή ακόμη και να τον θέσουν υπό πίεση.

Στον πραγματικό κόσμο, ο πράκτορας λαμβάνει ένα σύνολο κανόνων που πρέπει να ακολουθεί, αλλά αναμένεται ότι, στο ανταγωνιστικό περιβάλλον στο οποίο λειτουργεί, θα υπάρξουν προσπάθειες παραπλάνησής του. Ίσως ένας πελάτης στείλει μήνυμα ισχυριζόμενος ότι η επιστροφή χρημάτων του δεν πραγματοποιήθηκε ποτέ, ή απειλήσει με βλάβη αν δεν λάβει επιστροφή. Τα ντετερμινιστικά συστήματα με τα οποία αλληλεπιδρά ο πράκτορας περιορίζουν τον αριθμό επιστροφών που μπορούν να δοθούν σε έναν πελάτη, επισημαίνουν πιθανά phishing email και παρέχουν παρόμοιους μηχανισμούς μετριασμού ώστε να περιορίζεται ο αντίκτυπος από την ενδεχόμενη παραβίαση ενός μεμονωμένου πράκτορα. 

Αυτή η νοοτροπία έχει καθοδηγήσει την ανάπτυξη ενός ισχυρού συνόλου αντίμετρων που έχουμε εφαρμόσει, τα οποία διασφαλίζουν τις προσδοκίες ασφάλειας των χρηστών μας.

Στο ChatGPT συνδυάζουμε αυτό το μοντέλο κοινωνικής μηχανικής με πιο παραδοσιακές προσεγγίσεις μηχανικής ασφάλειας, όπως η ανάλυση source-sink.

Σε αυτό το πλαίσιο, ένας επιτιθέμενος χρειάζεται τόσο μια πηγή (source), δηλαδή έναν τρόπο να επηρεάσει το σύστημα, όσο και ένα σημείο εκροής (sink), δηλαδή μια δυνατότητα που γίνεται επικίνδυνη στο λάθος πλαίσιο. Για συστήματα με πράκτορες, αυτό συχνά σημαίνει τον συνδυασμό μη αξιόπιστου εξωτερικού περιεχομένου με μια ενέργεια, όπως η μετάδοση πληροφοριών σε τρίτο μέρος, το άνοιγμα ενός συνδέσμου ή η αλληλεπίδραση με ένα εργαλείο.

Ο στόχος μας είναι να διατηρούμε μια βασική προσδοκία ασφάλειας για τους χρήστες: δυνητικά επικίνδυνες ενέργειες ή μεταδόσεις δυνητικά ευαίσθητων πληροφοριών δεν πρέπει να συμβαίνουν σιωπηρά ή χωρίς κατάλληλες δικλίδες ασφαλείας.

Οι επιθέσεις που βλέπουμε συχνότερα να αναπτύσσονται εναντίον του ChatGPT συνήθως προσπαθούν να πείσουν τον βοηθό ότι πρέπει να πάρει κάποια μυστική πληροφορία από μια συνομιλία και να τη μεταδώσει σε έναν κακόβουλο τρίτο. Στις περισσότερες περιπτώσεις που γνωρίζουμε, αυτές οι επιθέσεις αποτυγχάνουν επειδή η εκπαίδευση ασφάλειας οδηγεί τον πράκτορα να αρνηθεί. Για τις περιπτώσεις όπου ο πράκτορας πείθεται, έχουμε αναπτύξει μια στρατηγική μετριασμού που ονομάζεται Safe Url, η οποία έχει σχεδιαστεί ώστε να ανιχνεύει πότε πληροφορίες που έμαθε ο βοηθός μέσα στη συνομιλία πρόκειται να μεταδοθούν σε τρίτο μέρος. Σε αυτές τις σπάνιες περιπτώσεις είτε εμφανίζουμε στον χρήστη τις πληροφορίες που θα μεταδίδονταν και ζητάμε επιβεβαίωση είτε το μπλοκάρουμε και ζητάμε από τον πράκτορα να βρει άλλον τρόπο να προχωρήσει στο αίτημα του χρήστη.

Ο ίδιος μηχανισμός ισχύει για τις πλοηγήσεις και τους σελιδοδείκτες στο Atlas⁠, καθώς και για τις αναζητήσεις και τις πλοηγήσεις στην Έρευνα σε βάθος⁠. Ο Καμβάς ChatGPT⁠ και οι Εφαρμογές ChatGPT⁠ ακολουθούν παρόμοια προσέγγιση, επιτρέποντας στον πράκτορα να δημιουργεί και να χρησιμοποιεί λειτουργικές εφαρμογές. Αυτές εκτελούνται σε ένα sandbox που μπορεί να ανιχνεύει απροσδόκητες επικοινωνίες και να ζητά τη συγκατάθεση του χρήστη⁠(ανοίγει σε νέο παράθυρο).

Μπορείτε να διαβάσετε περισσότερες πληροφορίες σχετικά με το Safe Url και να βρείτε ένα έγγραφο σχετικά με τη δομή του στην ειδική ανάρτηση του blog Ασφαλή δεδομένα όταν ένας πράκτορας ΤΝ κάνει κλικ σε έναν σύνδεσμο⁠.

Η ασφαλής αλληλεπίδραση με ένα ανταγωνιστικό εξωτερικό περιβάλλον είναι απαραίτητη για πλήρως αυτόνομους πράκτορες. Όταν ενσωματώνετε ένα μοντέλο ΤΝ σε ένα σύστημα εφαρμογής, προτείνουμε να αναρωτηθείτε ποιοι έλεγχοι θα έπρεπε να υπάρχουν για έναν ανθρώπινο πράκτορα σε παρόμοια κατάσταση και να υλοποιήσετε αυτούς. Αναμένουμε ότι ένα μοντέλο ΤΝ μέγιστης νοημοσύνης θα μπορεί να αντιστέκεται στην κοινωνική μηχανική καλύτερα από έναν ανθρώπινο πράκτορα, όμως αυτό δεν είναι πάντα εφικτό ή οικονομικά αποδοτικό, ανάλογα με την εφαρμογή.

Συνεχίζουμε να διερευνούμε τις επιπτώσεις της κοινωνικής μηχανικής στα μοντέλα ΤΝ και τις άμυνες απέναντί της, ενσωματώνοντας τα ευρήματά μας τόσο στις αρχιτεκτονικές ασφάλειας των εφαρμογών μας όσο και στην εκπαίδευση που εφαρμόζουμε στα μοντέλα ΤΝ.