Συνεχής ενίσχυση του ChatGPT Atlas κατά των επιθέσεων τύπου «prompt injection»

Η λειτουργία πράκτορα στο ChatGPT Atlas αποτελεί μία από τις πιο γενικές δυνατότητες που έχουμε κυκλοφορήσει μέχρι σήμερα. Στη λειτουργία αυτή, ο πράκτορας του προγράμματος περιήγησης βλέπει ιστοσελίδες και εκτελεί ενέργειες, κλικ και πληκτρολογήσεις μέσα στο πρόγραμμα περιήγησής σας, όπως ακριβώς θα κάνατε εσείς. Αυτό επιτρέπει στο ChatGPT να εργάζεται άμεσα σε πολλές από τις καθημερινές ροές εργασιών σας, χρησιμοποιώντας τον ίδιο χώρο, το ίδιο περιβάλλον και τα ίδια δεδομένα.

Καθώς ο πράκτορας του προγράμματος περιήγησης σάς βοηθά να πετυχαίνετε περισσότερα, γίνεται επίσης στόχος υψηλότερης αξίας για αντιπαραθετικές επιθέσεις. Αυτό καθιστά την ασφάλεια της τεχνητής νοημοσύνης ιδιαίτερα σημαντική. Πολύ πριν κυκλοφορήσουμε το ChatGPT Atlas, χτίζαμε και ενισχύαμε συνεχώς άμυνες ενάντια σε αναδυόμενες απειλές που στοχεύουν ειδικά αυτό το νέο παράδειγμα του «πράκτορα στο πρόγραμμα περιήγησης». Η επίθεση τύπου prompt injection⁠ είναι ένας από τους πιο σημαντικούς κινδύνους που αντιμετωπίζουμε ενεργά για να διασφαλίσουμε ότι το ChatGPT Atlas μπορεί να λειτουργεί με ασφάλεια για λογαριασμό σας. 

Στο πλαίσιο αυτής της προσπάθειας, αποστείλαμε πρόσφατα μια ενημέρωση ασφαλείας στον πράκτορα του προγράμματος περιήγησης του Atlas, συμπεριλαμβανομένου ενός νέου αντιπαραθετικά εκπαιδευμένου μοντέλου και ενισχυμένων μέτρων ασφαλείας. Αυτή η ενημέρωση προκλήθηκε από μια νέα κατηγορία επιθέσεων τύπου «prompt injection» που αποκαλύφθηκαν μέσω της εσωτερικής αυτοματοποιημένης red teaming.

Σε αυτήν την ανάρτηση, εξηγούμε πώς μπορεί να προκύψει ο κίνδυνος επιθέσεων τύπου «prompt injection» για πράκτορες που βασίζονται στον ιστό και μοιραζόμαστε έναν κύκλο ταχείας ανταπόκρισης που έχουμε αναπτύξει για να ανακαλύπτουμε συνεχώς νέες επιθέσεις και να εφαρμόζουμε γρήγορα μέτρα μετριασμού—όπως φαίνεται από αυτήν την πρόσφατη ενημέρωση ασφαλείας.

Αντιμετωπίζουμε το prompt injection ως μια μακροπρόθεσμη πρόκληση ασφάλειας για την τεχνητή νοημοσύνη και θα χρειαστεί να ενισχύουμε συνεχώς τις άμυνές μας εναντίον του (όπως οι συνεχώς εξελισσόμενες διαδικτυακές απάτες που στοχεύουν ανθρώπους). Ο τελευταίος κύκλος ταχείας απόκρισης δείχνει πρώιμες υποσχέσεις ως κρίσιμο εργαλείο σε αυτό το ταξίδι: ανακαλύπτουμε νέες στρατηγικές επίθεσης εσωτερικά πριν εμφανιστούν στο ευρύ κοινό. Το μακροπρόθεσμο όραμά μας είναι να αξιοποιήσουμε πλήρως (1) την πρόσβαση τύπου white-box στα μοντέλα μας, (2) τη βαθιά κατανόηση των αμυντικών μηχανισμών μας και (3) την κλίμακα υπολογιστικής ισχύος για να παραμένουμε μπροστά από εξωτερικούς επιτιθέμενους—εντοπίζοντας ευπάθειες νωρίτερα, αποστέλλοντας διορθώσεις ταχύτερα και συνεχώς βελτιώνοντας τον κύκλο. Σε συνδυασμό με την πρωτοποριακή έρευνα για νέες τεχνικές αντιμετώπισης της έγχυσης προτροπών και την αυξημένη επένδυση σε άλλους ελέγχους ασφαλείας, αυτός ο συνδυαστικός κύκλος μπορεί να κάνει τις επιθέσεις ολοένα και πιο δύσκολες και δαπανηρές, μειώνοντας ουσιαστικά τον πραγματικό κίνδυνο επιθέσεων τύπου «prompt injection». Τελικά, ο στόχος μας είναι να μπορείτε να εμπιστευτείτε έναν πράκτορα ChatGPT να χρησιμοποιεί το πρόγραμμα περιήγησής σας όπως θα εμπιστευόσασταν έναν εξαιρετικά ικανό και συνειδητοποιημένο ως προς την ασφάλεια συνάδελφο ή φίλο.

Μια επίθεση τύπου prompt injection στοχεύει τους πράκτορες τεχνητής νοημοσύνης ενσωματώνοντας κακόβουλες οδηγίες στο περιεχόμενο που επεξεργάζονται οι πράκτορες. Οι οδηγίες αυτές έχουν σχεδιαστεί για να παρακάμπτουν ή να ανακατευθύνουν τη συμπεριφορά του πράκτορα—κατευθύνοντάς τον να ακολουθεί την πρόθεση του επιτιθέμενου, αντί του χρήστη.

Για έναν πράκτορα προγράμματος περιήγησης όπως αυτόν στο ChatGPT Atlas, μια επίθεση τύπου prompt injection προσθέτει έναν νέο παράγοντα απειλής πέρα από τους παραδοσιακούς κινδύνους ασφάλειας στο διαδίκτυο (όπως σφάλματα χρήστη ή ευπάθειες λογισμικού). Αντί να επιτίθεται σε ανθρώπους μέσω ηλεκτρονικού ψαρέματος ή να εκμεταλλεύεται ευπάθειες του συστήματος του προγράμματος περιήγησης, ο επιτιθέμενος στοχεύει τον πράκτορα που λειτουργεί μέσα σε αυτό.

Ως υποθετικό παράδειγμα, ένας επιτιθέμενος θα μπορούσε να στείλει ένα κακόβουλο email προσπαθώντας να ξεγελάσει έναν πράκτορα ώστε να αγνοήσει το αίτημα του χρήστη και αντ' αυτού να προωθήσει ευαίσθητα φορολογικά έγγραφα σε μια διεύθυνση email που ελέγχεται από τον επιτιθέμενο. Εάν ένας χρήστης ζητήσει από τον πράκτορα να αναθεωρήσει τα μη αναγνωσμένα email και να συνοψίσει τα βασικά σημεία, ο πράκτορας μπορεί να εισάγει αυτό το κακόβουλο email κατά τη διάρκεια της ροής εργασιών. Εάν ακολουθήσει τις οδηγίες που του έχουν δοθεί, μπορεί να παρεκκλίνει από την εργασία του και να κοινοποιήσει λανθασμένα ευαίσθητες πληροφορίες.

Αυτό είναι απλώς ένα συγκεκριμένο σενάριο. Η ίδια γενικότητα που καθιστά τους πράκτορες του προγράμματος περιήγησης χρήσιμους καθιστά επίσης τους κινδύνους ευρύτερους: ο πράκτορας μπορεί να συναντήσει μη αξιόπιστες οδηγίες σε μια ουσιαστικά απεριόριστη επιφάνεια—email και συνημμένα, προσκλήσεις ημερολογίου, κοινόχρηστα έγγραφα, φόρουμ, αναρτήσεις στα μέσα κοινωνικής δικτύωσης και αυθαίρετες ιστοσελίδες. Δεδομένου ότι ο πράκτορας μπορεί να εκτελέσει πολλές από τις ίδιες ενέργειες που μπορεί να εκτελέσει ένας χρήστης σε ένα πρόγραμμα περιήγησης, ο αντίκτυπος μιας επιτυχημένης επίθεσης μπορεί υποθετικά να είναι εξίσου ευρύς: προώθηση ενός ευαίσθητου email, αποστολή χρημάτων, επεξεργασία ή διαγράφοντας αρχεία στο cloud και άλλα.

Έχουμε σημειώσει πρόοδο στην άμυνα κατά των επιθέσεων μέσω prompt injection με τη χρήση πολλαπλών επιπέδων δικλείδων ασφαλείας, όπως αναφέραμε σε προηγούμενη ανάρτηση⁠. Ωστόσο, το prompt injection παραμένει μια ανοιχτή πρόκληση για την ασφάλεια των πρακτόρων, και αναμένουμε να συνεχίσουμε να εργαζόμαστε πάνω σε αυτήν για τα επόμενα χρόνια.

Για να ενισχύσουμε τις άμυνές μας, αναζητούμε συνεχώς νέες επιθέσεις prompt injection κατά των συστημάτων πρακτόρων σε παραγωγή. Η ανεύρεση αυτών των επιθέσεων είναι απαραίτητη προϋπόθεση για την ανάπτυξη ισχυρών μέτρων μετριασμού: μας βοηθά να κατανοήσουμε τον πραγματικό κίνδυνο, να αποκαλύψουμε κενά στην άμυνά μας και να εφαρμόσουμε συγκεκριμένες διορθώσεις.

Για να το κάνετε αυτό σε μεγάλη κλίμακα, δημιουργήσαμε έναν αυτοματοποιημένο επιτιθέμενο βασισμένο σε LLM και τον εκπαιδεύσαμε να εντοπίζει επιθέσεις prompt injection που μπορούν να επιτεθούν επιτυχώς σε έναν πράκτορα προγράμματος περιήγησης. Εκπαιδεύσαμε αυτόν τον επιτιθέμενο από άκρο σε άκρο με ενισχυτική μάθηση, ώστε να μαθαίνει από τις δικές του επιτυχίες και αποτυχίες για να βελτιώσει τις δεξιότητές του στο red teaming. Επίσης, το αφήνουμε να «δοκιμάσει πριν αποσταλεί», με το οποίο εννοούμε: κατά τη διάρκεια της αλληλουχίας σκέψεων, ο επιτιθέμενος μπορεί να προτείνει μια υποψήφια injection και να τη στείλει σε έναν εξωτερικό προσομοιωτή. Ο προσομοιωτής εκτελεί μια αντεστραμμένη προσομοίωση για το πώς θα συμπεριφερόταν ο στοχευμένος πράκτορας-θύμα (ο αμυνόμενος) αν συναντούσε την ένεση και επιστρέφει μια πλήρη ανάλυση και ίχνος ενεργειών του πράκτορα-θύματος. Ο επιτιθέμενος τα χρησιμοποιεί αυτά ως σχόλια, επαναλαμβάνει την επίθεση και εκτελεί ξανά την προσομοίωση—επαναλαμβάνοντας αυτόν τον κύκλο πολλές φορές προτού δεσμευτεί σε μια τελική επίθεση. Αυτό παρέχει πιο πλούσια σχόλια στο περιβάλλον για τον επιτιθέμενο από ένα απλό σήμα επιτυχίας/αποτυχίας. Αυξάνει επίσης την υπολογιστική ισχύ του επιτιθέμενου κατά τη διάρκεια της δοκιμής. Επιπλέον, η προνομιακή πρόσβαση στα ίχνη συλλογισμού (που δεν αποκαλύπτουμε σε εξωτερικούς χρήστες) του αμυντικού προσφέρει στον εσωτερικό επιτιθέμενό μας ένα ασύμμετρο πλεονέκτημα, αυξάνοντας τις πιθανότητες να ξεπεράσει εξωτερικούς αντιπάλους.

Γιατί ενισχυτική μάθηση (RL); Επιλέξαμε την ενισχυτική μάθηση για να εκπαιδεύσουμε τον αυτοματοποιημένο επιτιθέμενο για πολλούς συλλογισμούς:

1. Βελτιστοποίηση μακροπρόθεσμων και μη συνεχών στόχων επιτιθέμενου. Ο στόχος μας είναι να αναζητήσουμε επιθέσεις τύπου «prompt injection» που μπορούν να εξαπατήσουν τον πράκτορα ώστε να εκτελέσει εξελιγμένες εχθρικές εργασίες (π.χ. αποστολή email, τραπεζικές συναλλαγές) που θα μπορούσαν να συμβούν στον πραγματικό κόσμο. Αυτές οι αντιπαραθετικές εργασίες είναι εκ φύσεως μακροπρόθεσμες, απαιτώντας πολλά βήματα λογικής και αλληλεπίδρασης με το περιβάλλον, με αραιά και καθυστερημένα σήματα επιτυχίας. Η ενισχυτική μάθηση είναι κατάλληλη γι' αυτήν την αραιή, καθυστερημένη δομή ανταμοιβής.
2. Αξιοποίηση των δυνατοτήτων των πρωτοποριακών LLM. Εκπαιδεύσαμε τα πρωτοποριακά LLM απευθείας ως αυτόματους ελεγκτές, ώστε ο επιτιθέμενος να επωφελείται άμεσα από τις βελτιώσεις στον συλλογισμό και στον σχεδιασμό στα κορυφαία μοντέλα. Καθώς τα βασικά μοντέλα γίνονται πιο ισχυρά, ο επιτιθέμενος γίνεται φυσικά και πιο ικανός, καθιστώντας τον έναν επεκτάσιμο τρόπο για να διατηρούμε την πίεση στις άμυνές μας καθώς εξελίσσονται τα μοντέλα μας.
3. Κλιμάκωση υπολογιστικής ικανότητας και μίμηση προσαρμοστικών επιτιθέμενων. Η ενισχυτική μάθηση είναι κατάλληλη για την κλιμάκωση του υπολογισμού που δαπανάται για την αναζήτηση επιθέσεων σε μεγάλο αριθμό δειγματοληψιών και βημάτων μάθησης και επίσης αντικατοπτρίζει στενά τον τρόπο με τον οποίον συμπεριφέρονται οι προσαρμοστικοί ανθρώπινοι επιτιθέμενοι: δοκιμάζοντας επαναληπτικές στρατηγικές, μαθαίνοντας από τα αποτελέσματα και ενισχύοντας επιτυχημένες συμπεριφορές.
   

Ο αυτοματοποιημένος επιτιθέμενός μας μπορεί να ανακαλύψει νέες, ρεαλιστικές επιθέσεις τύπου «prompt injection» από την αρχή μέχρι το τέλος. Σε αντίθεση με τις περισσότερες προηγούμενες αυτοματοποιημένες εργασίες ομαδοποίησης με red teaming, οι οποίες έφεραν στην επιφάνεια απλές αποτυχίες, όπως η πρόκληση συγκεκριμένων συμβολοσειρών εξόδου ή η ενεργοποίηση μιας ακούσιας κλήσης εργαλείου ενός βήματος από τον πράκτορα, ο εκπαιδευμένος σε RL επιτιθέμενός μας μπορεί να οδηγήσει έναν πράκτορα στην εκτέλεση εξελιγμένων, μακροπρόθεσμων επιβλαβών ροών εργασιών που ξεδιπλώνονται σε δεκάδες (ή και εκατοντάδες) βήματα. Παρατηρήσαμε επίσης νέες στρατηγικές επιθέσεων που δεν εμφανίστηκαν στην καμπάνια ανθρώπινου αντιπαραθετικού ελέγχου (red teaming) ή σε εξωτερικές αναφορές.

Η παρακάτω επίδειξη παρουσιάζει μια συγκεκριμένη επίθεση τύπου prompt injection που βρέθηκε από τον αυτοματοποιημένο επιτιθέμενό μας, την οποία στη συνέχεια χρησιμοποιήσαμε για να ενισχύσουμε περαιτέρω τις άμυνες του ChatGPT Atlas. Ο επιτιθέμενος γεμίζει το γραμματοκιβώτιο του χρήστη με ένα κακόβουλο email που περιέχει prompt injection, κατευθύνοντας τον πράκτορα να στείλει μια επιστολή παραίτησης στον διευθύνοντα σύμβουλο του χρήστη. Αργότερα, όταν ο χρήστης ζητά από τον πράκτορα να απαντήσει εκτός γραφείου, ο πράκτορας συναντά αυτό το email κατά τη διάρκεια της κανονικής εκτέλεσης εργασιών, θεωρεί το prompt injection αυθεντικό και το ακολουθεί. Το μήνυμα εκτός γραφείου δεν συντάσσεται ποτέ και ο πράκτορας παραιτείται αντ' αυτού εκ μέρους του χρήστη.

Η φύση του prompt injection καθιστά δύσκολες τις ντετερμινιστικές εγγυήσεις ασφάλειας, αλλά με την κλιμάκωση της αυτοματοποιημένης έρευνας ασφάλειας, των δοκιμών αντίστασης και την ενίσχυση του κύκλου ταχείας ανταπόκρισης, μπορούμε να βελτιώσουμε την ανθεκτικότητα και τις άμυνες του μοντέλου - πριν περιμένουμε να συμβεί μια επίθεση χωρίς προειδοποίηση. 

Μοιραζόμαστε την επίδειξη αυτή για να βοηθήσουμε τους χρήστες και τους ερευνητές να κατανοήσουν καλύτερα τη φύση αυτών των επιθέσεων—και πώς αμυνόμαστε ενεργά εναντίον τους. Πιστεύουμε ότι αυτό αντιπροσωπεύει τα όρια του τι μπορεί να πετύχει η αυτοματοποιημένη red teaming και είμαστε εξαιρετικά ενθουσιασμένοι που θα συνεχίσουμε την έρευνά μας.

Η αυτοματοποιημένη ομάδα red teaming μας δημιουργεί έναν προληπτικό κύκλο ταχείας αντίδρασης: όταν ο αυτοματοποιημένος επιτιθέμενος ανακαλύπτει μια νέα κατηγορία επιτυχημένων επιθέσεων έγχυσης προτροπών, δημιουργεί αμέσως έναν συγκεκριμένο στόχο για βελτίωση της άμυνάς μας.

Αντιθετική εκπαίδευση ενάντια σε επιθέσεις που ανακαλύφθηκαν πρόσφατα. Εκπαιδεύουμε συνεχώς ενημερωμένα μοντέλα πρακτόρων έναντι του καλύτερου αυτοματοποιημένου επιτιθέμενού μας, δίνοντας προτεραιότητα στις επιθέσεις όπου οι πράκτορες-στόχοι αποτυγχάνουν αυτήν τη στιγμή. Στόχος είναι να διδάξουμε τους πράκτορες να αγνοούν αντιπαραθετικές οδηγίες και να παραμένουν εναρμονισμένοι με την πρόθεση του χρήστη, βελτιώνοντας την αντίσταση σε πρόσφατα ανακαλυφθείσες στρατηγικές επίθεσης τύπου «prompt injection». Αυτό «ενσωματώνει» ανθεκτικότητα ενάντια σε νέες, ισχυρές επιθέσεις απευθείας στο σημείο ελέγχου του μοντέλου. Για παράδειγμα, η πρόσφατη αυτοματοποιημένη συνεργασία αντιπαραθετικού ελέγχου ασφάλειας παρήγαγε άμεσα ένα νέο, εκπαιδευμένο για αντιπαλότητες, σημείο ελέγχου προγράμματος περιήγησης-πράκτορα, το οποίο έχει ήδη διατεθεί σε όλους τους χρήστες του ChatGPT Atlas. Αυτό τελικά βοηθά στην καλύτερη προστασία των χρηστών μας από νέους τύπους επιθέσεων.

Χρησιμοποιώντας ίχνη επιθέσεων για να βελτιώσετε την ευρύτερη στοίβα άμυνας. Πολλές διαδρομές επίθεσης που ανακαλύφθηκαν από την αυτοματοποιημένη ομάδα ελέγχου κυβερνοασφάλειας αποκαλύπτουν επίσης ευκαιρίες για βελτίωση εκτός του ίδιου του μοντέλου, όπως στην παρακολούθηση, στις οδηγίες ασφαλείας που τοποθετούμε στο περιβάλλον του μοντέλου ή στις δικλίδες ασφαλείας σε επίπεδο συστήματος. Τα ευρήματα αυτά μας βοηθούν να επαναλαμβάνουμε τη διαδικασία σε ολόκληρη τη στοίβα άμυνας, όχι μόνο στο σημείο ελέγχου του πράκτορα.

Απόκριση σε ενεργές επιθέσεις. Αυτός ο βρόχος μπορεί επίσης να βοηθήσει στην καλύτερη απόκριση σε ενεργές επιθέσεις που βρίσκονται σε εξέλιξη. Καθώς εξετάζουμε το παγκόσμιο αποτύπωμά μας για πιθανές επιθέσεις, μπορούμε να πάρουμε τις τεχνικές και τις τακτικές που παρατηρούμε ότι χρησιμοποιούν εξωτερικοί αντίπαλοι, να τις ενσωματώσουμε σε αυτόν τον κύκλο, να μιμηθούμε τη δραστηριότητά τους και να επιφέρουμε αμυντικές αλλαγές στην πλατφόρμα μας.

Η ενίσχυση της ικανότητάς μας να κάνουμε red teaming στους πράκτορες και η χρήση των πιο ικανών μοντέλων μας για την αυτοματοποίηση μέρους αυτής της εργασίας βοηθά να γίνει ο πράκτορας του προγράμματος περιήγησης Atlas πιο ανθεκτικός, κλιμακώνοντας τον κύκλο ανακάλυψης-διόρθωσης. Αυτή η προσπάθεια ενισχύει ένα γνωστό μάθημα από την ασφάλεια: μια πολύ γνωστή οδός για ισχυρότερη προστασία είναι η συνεχής δοκιμή πίεσης σε πραγματικά συστήματα, η αντίδραση σε βλάβες και η αποστολή συγκεκριμένων επισκευών.

Αναμένουμε ότι οι αντίπαλοι θα συνεχίσουν να προσαρμόζονται. Το prompt injection, όπως οι απάτες και η κοινωνική μηχανική στο διαδίκτυο, είναι απίθανο να επιλυθεί ποτέ πλήρως. Αλλά είμαστε αισιόδοξοι ότι ένας προορατικός, άκρως ανταποκρινόμενος κύκλος ταχείας αντίδρασης μπορεί να συνεχίσει να μειώνει ουσιαστικά τον πραγματικό κίνδυνο με την πάροδο του χρόνου. Συνδυάζοντας την αυτοματοποιημένη ανακάλυψη επιθέσεων με την εκπαίδευση αντιπάλων και τις διασφαλίσεις σε επίπεδο συστήματος, μπορούμε να εντοπίζουμε νέα μοτίβα επιθέσεων νωρίτερα, να κλείνουμε τα κενά ταχύτερα και να αυξάνουμε συνεχώς το κόστος εκμετάλλευσης.

Η λειτουργία πράκτορα στο ChatGPT Atlas είναι ισχυρή—και επεκτείνει επίσης την επιφάνεια απειλής ασφαλείας. Το να έχετε σαφή εικόνα γι' αυτό το συμβιβασμό είναι μέρος της υπεύθυνης δημιουργίας. Στόχος μας είναι να κάνουμε το Atlas ουσιαστικά πιο ασφαλές με κάθε επανάληψη: βελτιώνοντας την ανθεκτικότητα του μοντέλου, ενισχύοντας το περιβάλλον άμυνας και παρακολουθώντας για αναδυόμενα μοτίβα κατάχρησης στο φυσικό περιβάλλον.

Θα συνεχίσουμε να επενδύουμε στην έρευνα και την ανάπτυξη, αναπτύσσοντας καλύτερες μεθόδους αυτοματοποιημένου red teaming, εφαρμόζοντας πολυεπίπεδες ενέργειες άμβλυνσης και επαναλαμβάνοντας γρήγορα καθώς μαθαίνουμε. Θα μοιραστούμε επίσης ό,τι μπορούμε με την ευρύτερη κοινότητα.

Ενώ συνεχίζουμε να ενισχύουμε το Atlas σε επίπεδο συστήματος, υπάρχουν βήματα που μπορούν να κάνουν οι χρήστες για να μειώσουν τον κίνδυνο κατά τη χρήση πρακτόρων. 

Περιορίστε την πρόσβαση για συνδεδεμένους χρήστες όταν είναι εφικτό. Συνεχίζουμε να συνιστούμε στους χρήστες να εκμεταλλεύονται την κατάσταση αποσύνδεσης⁠(ανοίγει σε νέο παράθυρο) όταν χρησιμοποιούν τον Πράκτορα στο Atlas κάθε φορά που η πρόσβαση σε ιστότοπους στους οποίους είστε συνδεδεμένοι δεν είναι απαραίτητη για την εκάστοτε εργασία ή για να περιορίσουν την πρόσβαση σε συγκεκριμένους ιστότοπους στους οποίους συνδέεστε κατά τη διάρκεια της εργασίας. 

Εξετάστε προσεκτικά τα αιτήματα επιβεβαίωσης. Για ορισμένες επακόλουθες ενέργειες, όπως η ολοκλήρωση μιας αγοράς ή η αποστολή ενός email, οι πράκτορες έχουν σχεδιαστεί έτσι ώστε να ζητούν την επιβεβαίωσή σας προτού προχωρήσουν. Όταν ένας πράκτορας σάς ζητήσει να επιβεβαιώσετε μια ενέργεια, αφιερώστε λίγο χρόνο για να επαληθεύσετε ότι η ενέργεια είναι σωστή και πως τυχόν πληροφορίες που κοινοποιούνται είναι κατάλληλες για το συγκεκριμένο πλαίσιο.

Δώστε στους πράκτορες σαφείς οδηγίες όταν είναι δυνατόν. Αποφύγετε υπερβολικά γενικές προτροπές όπως «ελέγξτε τα email μου και προβείτε σε ό,τι χρειάζεται». Το ευρύ περιθώριο διευκολύνει την επιρροή του παράγοντα από κρυφό ή κακόβουλο περιεχόμενο, ακόμη και όταν υπάρχουν μέτρα ασφαλείας. Είναι πιο ασφαλές να ζητήσετε από τον πράκτορα να εκτελέσει συγκεκριμένες, καλά καθορισμένες εργασίες. Ενώ αυτό δεν εξαλείφει τον κίνδυνο, καθιστά τις επιθέσεις πιο δύσκολες στην εκτέλεσή τους.

Εάν οι πράκτορες πρόκειται να γίνουν αξιόπιστοι συνεργάτες για καθημερινές εργασίες, πρέπει να είναι ανθεκτικοί στους τύπους χειραγώγησης που ενεργοποιεί το ανοιχτό διαδίκτυο. Η ενίσχυση κατά των επιθέσεων τύπου «prompt injection» είναι μια μακροπρόθεσμη δέσμευση και μία από τις κορυφαίες προτεραιότητές μας. Θα μοιραστούμε περισσότερα για αυτό το έργο σύντομα.