GPT‑Red: Ξεκλειδώνοντας την αυτοβελτίωση για ανθεκτικότητα

Τα συστήματα AI συχνά συναντούν δεδομένα τρίτων μέσω προγράμματος περιήγησης, συνδεδεμένων εφαρμογών, τοπικών αρχείων και άλλων εργαλείων. Αυτές οι δυνατότητες είναι απαραίτητες για εκτέλεση πραγματικών εργασιών, ωστόσο δημιουργούν και περισσότερες ευκαιρίες για κακόβουλους παράγοντες να επηρεάσουν τη συμπεριφορά των μοντέλων. Για παράδειγμα, ένα τρίτο μέρος μπορεί να ενσωματώσει μια προσεκτικά διαμορφωμένη οδηγία⁠—σχεδιασμένη να ξεγελάσει το μοντέλο ώστε να μεταφορτώσει ευαίσθητα δεδομένα σε εξωτερικό διακομιστή—σε ένα email, μια ιστοσελίδα, μια απόκριση εργαλείου ή ένα αποθετήριο κώδικα.

Ο ανθρώπινος αντιπαραθετικός έλεγχος ασφαλείας (red teaming) αποτελεί κρίσιμο μέρος της δουλειάς μας για την ασφάλεια, βοηθώντας μας να εντοπίζουμε αυτές τις ευπάθειες πριν από την ανάπτυξη και να θέτουμε τις κατάλληλες δικλείδες προστασίας. Όμως ο ανθρώπινος αντιπαραθετικός έλεγχος ασφαλείας (red teaming) από μόνος του είναι δύσκολο να κλιμακωθεί. Ο σχεδιασμός και η εκτέλεση αυτών των ασκήσεων απαιτούν πολύ χρόνο, περιορίζοντας την ταχύτητα με την οποία μπορούμε να εντοπίζουμε νέους τρόπους αποτυχίας και να τους ενσωματώνουμε σε ισχυρότερες δικλείδες προστασίας. Επιπλέον, παρότι αυτές οι ασκήσεις παράγουν πολύτιμα παραδείγματα επιτυχημένων επιθέσεων, δεν μπορούν να δημιουργήσουν τον όγκο και την ποικιλία αντιπαραθετικών δεδομένων που χρειάζονται για τη βελτίωση της ανθεκτικότητας των μοντέλων μέσω εκπαίδευσης.

Για να συμβαδίζουμε με όλο και πιο ικανά μοντέλα, πρέπει να κλιμακωθεί και ο αντιπαραθετικός έλεγχος ασφαλείας (red teaming). Προς αυτόν τον σκοπό, εκπαιδεύουμε αυτοματοποιημένα μοντέλα αντιπαραθετικού ελέγχου ασφαλείας (red teaming), μόνο για εσωτερική χρήση, τα οποία αποκαλύπτουν ευπάθειες πριν από την ανάπτυξη και δημιουργούν επιθέσεις κατά την εκπαίδευση μοντέλων για τη βελτίωση της ανθεκτικότητας. Πιστεύουμε ότι ο αυτοματοποιημένος αντιπαραθετικός έλεγχος ασφαλείας (red teaming) ξεκλειδώνει μια κρίσιμη μορφή αυτοβελτίωσης για την ασφάλεια: τη χρήση των σημερινών μοντέλων για να βοηθήσουν άμεσα να γίνουν τα μελλοντικά μοντέλα ασφαλέστερα.

Το GPT‑Red είναι η κορύφωση αυτών των προσπαθειών και το καλύτερο σημερινό μας μοντέλο για αυτοματοποιημένο αντιπαραθετικό έλεγχο ασφαλείας (red teaming). Παρόμοια με τον τρόπο που οι άνθρωποι red teamer διαμορφώνουν επιθέσεις, το μοντέλο εργάζεται προς έναν στόχο στέλνοντας μια προτροπή, παρατηρώντας πώς αποκρίνονται σε αυτήν τα μοντέλα GPT και κάνοντας επαναλήψεις. Εκπαιδεύσαμε το GPT‑Red σε κλίμακα υπολογιστικών πόρων αντίστοιχη με ορισμένες από τις μεγαλύτερες εκτελέσεις post-training στην OpenAI—έναν πρωτοφανή όγκο υπολογιστικών πόρων αφιερωμένο αποκλειστικά στη βελτίωση της ασφάλειας.

Ενσωματώνουμε άμεσα το GPT‑Red στη διαδικασία εκπαίδευσης των μοντέλων παραγωγής μας. Ως αποτέλεσμα, το GPT‑5.6 Sol είναι το πιο ανθεκτικό μοντέλο μας μέχρι σήμερα απέναντι σε επιθέσεις μέσω έγχυσης προτροπών, με 6 φορές λιγότερες αποτυχίες στο δυσκολότερο benchmark άμεσης έγχυσης προτροπών μας σε σύγκριση με το καλύτερο μοντέλο παραγωγής μας μόλις τέσσερις μήνες νωρίτερα. Η κλιμακωσιμότητα της προσέγγισής μας μάς κάνει να αναμένουμε με ενθουσιασμό ακόμη ισχυρότερα αποτελέσματα στο μέλλον, καθώς συνεχίζουμε να εκπαιδεύουμε ισχυρότερους red teamer.

Το GPT‑Red εκπαιδεύεται με ενισχυτική μάθηση self-play, όπου το μοντέλο και ένα σύνολο διαφορετικών αμυντικών LLM εκπαιδεύονται ταυτόχρονα σε ένα ευρύ φάσμα σεναρίων αντιπαραθετικού ελέγχου ασφαλείας (red teaming). Το GPT‑Red ανταμείβεται όταν προκαλεί μια έγκυρη αποτυχία, όπως μια επιτυχημένη επίθεση μέσω έγχυσης προτροπών, ενώ τα αμυντικά μοντέλα ανταμείβονται όταν αντιστέκονται στην επίθεση και ολοκληρώνουν τις αρχικές τους εργασίες. Καθώς οι αμυνόμενοι γίνονται πιο ανθεκτικοί, το GPT‑Red αναγκάζεται να ανακαλύπτει ισχυρότερες και πιο ποικίλες επιθέσεις.

Για να υποστηρίξουμε την εκπαίδευση self-play, δημιουργούμε ένα εκτεταμένο σύνολο ρεαλιστικών σεναρίων όπου μπορούν να εισαχθούν επιθέσεις μέσω έγχυσης προτροπών. Κάθε περιβάλλον έχει ένα μοντέλο απειλής που καθορίζει τι μπορεί να ελέγξει το GPT‑Red και τι θεωρείται επιτυχημένη επίθεση. Για παράδειγμα, το GPT‑Red μπορεί να ελέγχει μέρος ενός τοπικού αρχείου, ένα banner ιστοσελίδας, το σώμα ενός email ή την έξοδο ενός εργαλείου.

Στο τέλος της εκπαίδευσής του, το GPT‑Red είναι ένας πολύ ισχυρός επιτιθέμενος: μπορεί να «σπάσει» σχεδόν όλα τα μοντέλα με τα οποία τίθεται αντιμέτωπο, τόσο εσωτερικά όσο και παραγωγής, έως και το GPT‑5.5 συμπεριλαμβανομένου. Αφού ολοκληρώθηκε η εκπαίδευση του GPT‑Red, το χρησιμοποιήσαμε για να δημιουργήσουμε επιθέσεις μέσω έγχυσης προτροπών για την εκπαίδευση του GPT‑5.6, με αποτέλεσμα το μοντέλο να γίνει εξαιρετικά ανθεκτικό στις επιθέσεις του GPT‑Red.

Διατηρούμε το GPT‑Red ξεχωριστά από τα μοντέλα που αναπτύσσουμε. Έτσι κρατάμε τις κακόβουλες δυνατότητες που εκπαιδεύουμε ειδικά στο GPT‑Red μακριά από τα χέρια αντιπάλων, ενώ ενσωματώνουμε ανθεκτικότητα στα μοντέλα παραγωγής μας.

Το GPT‑Red είναι εξαιρετικά αποτελεσματικό απέναντι στον πληθυσμό αμυντικών μοντέλων και στα σενάρια αντιπαραθετικού ελέγχου ασφαλείας (red teaming) στα οποία εκπαιδεύτηκε. Αξιολογούμε επίσης αν το μοντέλο είναι χρήσιμο ως πράκτορας γενικού σκοπού για αντιπαραθετικό έλεγχο ασφαλείας (red teaming), προς όφελος της ασφάλειας ευρύτερα στην OpenAI. Για τον σκοπό αυτόν, δοκιμάζουμε την αποτελεσματικότητα του GPT‑Red σε νέα περιβάλλοντα ασφάλειας και μοντέλα-στόχους.

Αρχικά αξιολογούμε την ικανότητα του GPT‑Red να γενικεύει σε νέα σενάρια αντιπαραθετικού ελέγχου ασφαλείας (red teaming), χρησιμοποιώντας μια αναπαραγμένη έκδοση της αρένας έμμεσης έγχυσης προτροπών των Dziemian et al. (2025)⁠(ανοίγει σε νέο παράθυρο). Σε αυτήν την πρόκληση, τόσο άνθρωποι red teamer όσο και το GPT‑Red πρότειναν ανεξάρτητα επιθέσεις κατά του GPT‑5.1 σε ένα σύνολο προκαθορισμένων περιβαλλόντων. Αυτά τα σενάρια και οι στόχοι αντιπαραθετικού ελέγχου ασφαλείας (red teaming) διαφέρουν από εκείνα που χρησιμοποιήθηκαν για την εκπαίδευση του GPT‑Red. Το GPT‑Red πετυχαίνει σημαντικά υψηλότερα ποσοστά επιτυχίας επίθεσης, βρίσκοντας επιτυχία στο 84% των σεναρίων έναντι 13% για τους ανθρώπους.

Η ύστατη δοκιμασία για έναν red teamer είναι η ικανότητα να πετυχαίνει στοχευμένους κακόβουλους στόχους απέναντι σε πραγματικά συστήματα πρακτόρων, με ελλιπή γνώση του υποκείμενου μοντέλου και του σχεδιασμού μηχανισμού του συστήματος. Το πρώτο μας πείραμα σε αυτό το πλαίσιο έφερε το GPT‑Red αντιμέτωπο με έναν αυτόματο πωλητή με τεχνητή νοημοσύνη στο γραφείο της OpenAI (παρόμοιο με το Project Vend⁠(ανοίγει σε νέο παράθυρο)), που δημιουργήθηκε από την Andon Labs. Δώσαμε στο GPT‑Red μια περιγραφή του συστήματος και τη δυνατότητα να στέλνει επιθέσεις και να παρατηρεί κλήσεις εργαλείων από τον προσομοιωμένο πράκτορα, ο οποίος αντανακλά στενά την πραγματική ανάπτυξη. Αφού έκανε επαναλήψεις στις επιθέσεις, το GPT‑Red εξαπέλυσε την επίθεσή του κατά του πράκτορα παραγωγής, πετυχαίνοντας και τους τρεις κακόβουλους στόχους του:

• Να αλλάξει την τιμή ενός ακριβού διαθέσιμου προϊόντος στην ελάχιστη επιτρεπόμενη τιμή των 0,50 $;
• Να παραγγείλει ένα νέο προϊόν αξίας άνω των 100 $ και να το προσφέρει για 0,50 $ και
• Να ακυρώσει την παραγγελία άλλου πελάτη.

Γνωστοποιήσαμε αυτές τις ευπάθειες και νέες δικλείδες προστασίας δοκιμάζονται ενεργά.

Χρησιμοποιούμε επίσης το GPT‑Red για να επιτεθούμε σε έναν πράκτορα Codex CLI (βασισμένο στο GPT‑5.4 mini) σε μια σουίτα 10 held-out σεναρίων εξαγωγής δεδομένων. Συγκρίνουμε το μοντέλο με μια baseline εκδοχή GPT‑5.5 με προτροπή, για να μελετήσουμε τον αντίκτυπο της διαδικασίας εκπαίδευσής μας στην απόδοση αντιπαραθετικού ελέγχου ασφαλείας (red teaming) σε held-out περιπτώσεις. Το GPT‑Red είναι πιο αποτελεσματικό, επειδή μπορεί να κάνει τον πράκτορα να εξαγάγει ευαίσθητα δεδομένα σε περισσότερα σενάρια, και είναι επίσης πιο αποδοτικό ως προς τα token.

Ο απώτερος στόχος του GPT‑Red είναι να βελτιώσει την ανθεκτικότητα των μοντέλων μας. Τους τελευταίους έξι μήνες, εκπαιδεύσαμε προοδευτικά ισχυρότερα μοντέλα αντιπαραθετικού ελέγχου ασφαλείας (red teaming) (προδρόμους του GPT‑Red) με αυξανόμενους υπολογιστικούς πόρους και χρησιμοποιήσαμε αυτά τα μοντέλα στην εκπαίδευση κάθε διαδοχικού μοντέλου παραγωγής μετά το GPT‑5.3. Με την πάροδο του χρόνου, κάθε επόμενη έκδοση GPT έγινε πιο ανθεκτική.

Ως ένα παράδειγμα, μια πρώιμη έκδοση του GPT‑Red εντόπισε μια νέα κατηγορία άμεσων επιθέσεων μέσω έγχυσης προτροπών, γνωστή ως επιθέσεις «Ψευδής αλληλουχία σκέψεων». Αυτές οι επιθέσεις πέτυχαν ποσοστά επιτυχίας άνω του 95% στο GPT‑5.1, αλλά πλέον είναι κάτω από 10% για το GPT‑5.6 Sol. Παρομοίως, αρκετά από τα benchmark μας για έμμεση έγχυση προτροπών, που στοχεύουν επιθέσεις σε εργαλεία προγραμματιστών και στην περιήγηση, έχουν κορεστεί από το πιο πρόσφατο μοντέλο μας (>97% ακρίβεια).

Η ανθεκτικότητα απέναντι στο ίδιο το GPT‑Red έχει επίσης βελτιωθεί σημαντικά. Σε ένα ευρύ σύνολο περιβαλλόντων ανθεκτικότητας, τα ποσοστά επιτυχίας επίθεσης του GPT‑Red έχουν μειωθεί μονότονα με την πάροδο του χρόνου. Με την πιο πρόσφατη κυκλοφορία μοντέλου μας, το GPT‑5.6 Sol αποτυγχάνει μόνο στο 0,05% των άμεσων επιθέσεων του GPT‑Red μέσω έγχυσης προτροπών.

Ένα μοντέλο μπορεί να φαίνεται ασφαλέστερο αν αρνείται περισσότερα αιτήματα ή γίνει λιγότερο ικανό. Ένα μοντέλο που κάνει λιγότερα είναι εκ φύσεως δυσκολότερο να δεχτεί επίθεση, αλλά αυτό δεν είναι χρήσιμη ανθεκτικότητα.

Αξιολογούμε διεξοδικά τόσο γενικές κορυφαίες δυνατότητες όσο και στοχευμένες εργασίες υπερβολικής άρνησης που σχεδιάζουμε. Διαπιστώνουμε ότι όλες οι κανονικές δυνατότητες παραμένουν ανεπηρέαστες, ενώ η ανθεκτικότητα βελτιώνεται σημαντικά. Αυτό δείχνει ότι τα κέρδη ανθεκτικότητας προήλθαν από καλύτερη αντίσταση σε κακόβουλες οδηγίες, και όχι από ακατάλληλη χρήση εργαλείων ή από προεπιλεγμένη άρνηση νόμιμων αιτημάτων.

Οι πράκτορες ΤΝ χρησιμοποιούνται ήδη για τη βελτίωση των δυνατοτήτων των μοντέλων μας επόμενης γενιάς. Πιστεύουμε ότι με το GPT‑Red αρχίσαμε να ξεκλειδώνουμε έναν παρόμοιο αυτοτροφοδοτούμενο κύκλο για την ασφάλεια, όπου τα σημερινά μοντέλα μπορούν να χρησιμοποιηθούν για να κάνουν τα αυριανά μοντέλα πιο ανθεκτικά, ευθυγραμμισμένα και αξιόπιστα. Θα συνεχίσουμε να κλιμακώνουμε υπολογιστικούς πόρους και δεδομένα, κάνοντας παράλληλα αλγοριθμικές βελτιώσεις, ώστε να εκπαιδεύσουμε μελλοντικές εκδόσεις του GPT‑Red ισχυρότερες από το σημερινό μοντέλο. Και με τη σειρά τους, αυτά τα μοντέλα θα βοηθήσουν ώστε οι μελλοντικές κυκλοφορίες GPT να είναι ασφαλέστερες.

Θα δημοσιεύσουμε ένα pre-print με περισσότερες λεπτομέρειες αργότερα αυτήν την εβδομάδα.