Πώς οι παραδοχές λαθών μπορούν να διατηρήσουν τα γλωσσικά μοντέλα ειλικρινή

Τα συστήματα τεχνητής νοημοσύνης γίνονται πιο ικανά, και θέλουμε να τα κατανοήσουμε όσο το δυνατόν περισσότερο — συμπεριλαμβανομένου του πώς και γιατί καταλήγουν σε μια απάντηση. Μερικές φορές ένα μοντέλο ακολουθεί μια στρατηγική ή βελτιστοποίηση προς τον λάθος στόχο, αλλά το τελικό του αποτέλεσμα εξακολουθεί να φαίνεται σωστό. Εάν μπορούμε να εντοπίσουμε πότε συμβαίνει αυτό, μπορούμε να παρακολουθούμε καλύτερα τα εφαρμοσμένα συστήματα, να βελτιώσουμε την εκπαίδευση και να αυξήσουμε την εμπιστοσύνη στα αποτελέσματα.

Έρευνα από την OpenAI και άλλους οργανισμούς έχει δείξει ότι τα μοντέλα τεχνητής νοημοσύνης μπορούν να παρουσιάζουν παραισθήσεις⁠, να παραβιάζουν συστήματα ανταμοιβής ή να είναι ανειλικρινή. Αυτή τη στιγμή, βλέπουμε τις πιο ανησυχητικές κακές συμπεριφορές, όπως η μηχανορραφία⁠(ανοίγει σε νέο παράθυρο), μόνο σε δοκιμές αντοχής και αξιολογήσεις κατ' αντιπαράθεση. Αλλά καθώς τα μοντέλα γίνονται πιο ικανά και αποκτούν περισσότερη αυτονομία, ακόμη και οι σπάνιες μορφές ασυμφωνίας γίνονται πιο σημαντικές, παρακινώντας μας να επενδύσουμε σε μεθόδους που μας βοηθούν να ανιχνεύουμε, να κατανοούμε και να μετριάζουμε καλύτερα αυτούς τους κινδύνους. 

Αυτή η εργασία εξερευνά μια τέτοια προσέγγιση: την εκπαίδευση μοντέλων να παραδέχονται ρητά το πότε εμπλέκονται σε ανεπιθύμητη συμπεριφορά — μια τεχνική που αποκαλούμε παραδοχές λαθών. 

Μια παραδοχή λάθους είναι ένα δεύτερο αποτέλεσμα, διακριτό από την κύρια απάντηση του μοντέλου προς τον χρήστη. Η κύρια απάντηση αξιολογείται σε πολλές διαστάσεις: ορθότητα, ύφος, χρησιμότητα, συμμόρφωση, ασφάλεια και άλλα. Και αυτά τα πολυδιάστατα σήματα χρησιμοποιούνται για να εκπαιδεύουν μοντέλα ώστε να παράγουν καλύτερες απαντήσεις. Η παραδοχή λαθών, αντίθετα, κρίνεται και εκπαιδεύεται με βάση μόνο ένα πράγμα: την ειλικρίνεια.πα Παρόμοια με τη δομή μιας πραγματικής παραδοχής λαθών, τίποτα από όσα λέει το μοντέλο στην παραδοχή του δεν χρησιμοποιείται εναντίον του κατά τη διάρκεια της εκπαίδευσης. Εάν το μοντέλο παραδεχτεί ειλικρινά ότι παραβίασε μια δοκιμή, υπονόμευσε τον στόχο ή παραβίασε οδηγίες, αυτή η παραδοχή αυξάνει την ανταμοιβή του αντί να τη μειώνει. Ο στόχος είναι να ενθαρρύνουμε το μοντέλο να αναφέρει με ακρίβεια τι έκανε πραγματικά. 

Στις δοκιμές μας, διαπιστώσαμε ότι η μέθοδος των παραδοχών λαθών βελτιώνει σημαντικά την ορατότητα της εσφαλμένης συμπεριφοράς του μοντέλου. Κατά τον υπολογισμό του μέσου όρου των αξιολογήσεών μας που έχουν σχεδιαστεί για να προκαλούν κακή συμπεριφορά, η πιθανότητα «ψευδών αρνητικών» (δηλαδή, να μην συμμορφώνεται το μοντέλο με τις οδηγίες και στη συνέχεια να μην το παραδέχεται) είναι μόνο 4,4%.

Ακρίβεια του μοντέλου παραδοχής λάθους μας τύπου «απόδειξη εννοιολογικής λειτουργίας» σε έναν αριθμό αντιπαραθετικών συνόλων δεδομένων. Τα αποτελέσματα κατηγοριοποιούνται ως συμμορφώθηκε και δεν παραδέχτηκε λάθη (αληθές αρνητικό), συμμορφώθηκε και παραδέχτηκε λάθη (ψευδές θετικό), δεν συμμορφώθηκε και δεν παραδέχτηκε λάθη (ψευδές αρνητικό), και δεν συμμορφώθηκε και παραδέχτηκε λάθη (αληθές θετικό).

Η παραδοχή λαθών είναι μια αυτοαναφορά από το μοντέλο σχετικά με το πόσο καλά συμμορφώθηκε τόσο με το πνεύμα όσο και με το γράμμα των ρητών και άρρητων οδηγιών ή πολιτικών που του δόθηκαν, και αν υπήρξαν περιπτώσεις στις οποίες «παρέκαμψε μέρος των οδηγιών» ή «χάκαρε», παραβίασε πολιτικές, ή με οποιονδήποτε τρόπο δεν ανταποκρίθηκε στις προσδοκίες. Στην έρευνά μας, διαπιστώνουμε ότι τα μοντέλα μπορούν να εκπαιδευτούν ώστε να είναι ειλικρινή όταν αναφέρουν τις αδυναμίες τους. Εκπαιδεύσαμε μια έκδοση του GPT‑5 Thinking έτσι ώστε να παράγει παραδοχές λαθών και την αξιολογήσαμε σε ένα πλήθος συνόλων δεδομένων δοκιμής αντοχής εκτός διανομής, σχεδιασμένων να προκαλούν συμπεριφορές όπως μηχανορραφίες, χακάρισμα, παραβίαση οδηγιών και παραισθήσεις. Διαπιστώσαμε ότι ακόμη και όταν το μοντέλο επιδεικνύει αυτές τις ανεπιθύμητες συμπεριφορές, είναι πολύ πιθανό να τις παραδεχτεί. Το παραπάνω σχεδιάγραμμα δείχνει ότι η προσέγγιση της παραδοχής λαθών είναι γενικά αποτελεσματική σε ένα ευρύ φάσμα συνόλων δεδομένων και εργασιών. 

Μετά από οποιαδήποτε αλληλεπίδραση μεταξύ του χρήστη και του μοντέλου που καταλήγει σε απάντηση του μοντέλου, μπορεί να ζητηθεί μια παραδοχή λαθών, με την αποστολή ενός «μηνύματος συστήματος» στο μοντέλο, που το καθοδηγεί έτσι ώστε να παρέχει μια αναφορά παραδοχής λαθών. Η αναφορά αφορά την τελευταία απάντηση του μοντέλου και περιλαμβάνει (1) τη λίστα όλων των ρητών και άρρητων οδηγιών, περιορισμών και στόχων που θα έπρεπε να ικανοποιήσει αυτή η απάντηση, (2) μια ειλικρινή και αντικειμενική ανάλυση για το αν η απάντηση πράγματι ικανοποίησε τον καθέναν από αυτούς τους στόχους, και (3) μια λίστα με τυχόν αβεβαιότητες, ασάφειες ή «δύσκολες αποφάσεις» που αντιμετώπισε το μοντέλο κατά την παραγωγή της απάντησης. Κατά τη διάρκεια της εκπαίδευσης, μια παραδοχή λάθους αξιολογείται από ένα ξεχωριστό μοντέλο ανταμοιβής που βαθμολογεί μόνο την παραδοχή λάθους με βάση την πληρότητα των στόχων, την ακρίβεια της ανάλυσης συμμόρφωσης και την κάλυψη των αβεβαιοτήτων. Αυτές οι ανταμοιβές εφαρμόζονται αποκλειστικά στο αποτέλεσμα της παραδοχής λαθών και δεν επηρεάζουν ποτέ την ανταμοιβή για την κύρια απάντηση. Αυτό διασφαλίζει την ιδιότητα που συζητήθηκε παραπάνω, ότι τίποτα από όσα λέει το μοντέλο στην παραδοχή λαθών δεν μπορεί να μειώσει (ούτε να αυξήσει) την ανταμοιβή του για την κύρια απάντησή του.

Η θεωρία πίσω από τις παραδοχές λαθών είναι απλή. Πολλοί τύποι ανεπιθύμητης συμπεριφοράς του μοντέλου εμφανίζονται επειδή ζητάμε από το μοντέλο να βελτιστοποιήσει πολλούς στόχους ταυτόχρονα. Κατά τη διάρκεια της ενισχυτικής μάθησης, το μοντέλο βλέπει μια προτροπή, παράγει μια απάντηση και λαμβάνει μια ανταμοιβή. Με την πάροδο του χρόνου, μαθαίνει να παράγει τις απαντήσεις που αποσπούν υψηλές βαθμολογίες. Η πρόκληση είναι ότι το σήμα ανταμοιβής πρέπει να συνδυάζει πολλές διαφορετικές παραμέτρους ταυτόχρονα: πόσο σωστή είναι η απάντηση, αν είναι χρήσιμη, αν ακολουθεί τις προδιαγραφές προϊόντος και πολιτικής, αν πληροί τους περιορισμούς ασφαλείας και αν ταιριάζει με αυτό που οι χρήστες προτιμούν συνήθως. Όταν αυτά τα σήματα αλληλεπιδρούν, μπορούν κατά λάθος να ωθήσουν το μοντέλο προς συμπεριφορές που δεν επιθυμούμε.

Για παράδειγμα, η έρευνά μας για τις παραισθήσεις⁠ έδειξε ότι ορισμένα σύνολα δεδομένων επιβραβεύουν μια εικασία με αυτοπεποίθηση περισσότερο από μια ειλικρινή παραδοχή αβεβαιότητας. Η έρευνά μας για την κολακεία⁠ έδειξε ότι τα μοντέλα μπορούν να γίνουν υπερβολικά συγκαταβατικά όταν το σήμα προτίμησης είναι πολύ ισχυρό. Και ερευνητικές εργασίες⁠(ανοίγει σε νέο παράθυρο) άλλων ομάδων έχουν δείξει ότι τα μοντέλα μπορούν να «εκμεταλλευτούν τις ανταμοιβές» — βρίσκοντας παραθυράκια στη ρύθμιση εκπαίδευσης, τα οποία τους επιτρέπουν να κερδίζουν υψηλή βαθμολογία χωρίς πραγματικά να κάνουν αυτό που θέλαμε. Σε ορισμένες περιπτώσεις, αυτές οι συντομεύσεις μπορούν να επεκταθούν⁠(ανοίγει σε νέο παράθυρο) σε ακόμη πιο επιβλαβή συμπεριφορά κατά την εφαρμογή των μοντέλων.

Οι παραδοχές λαθών αποφεύγουν αυτό το πρόβλημα, με το να διαχωρίζουν πλήρως τους στόχους. Η κύρια απάντηση συνεχίζει να βελτιστοποιεί όλους τους συνήθεις παράγοντες. Ενώ η παραδοχή λάθους βασίζεται αποκλειστικά σε έναν: την ειλικρίνεια. Τίποτα από όσα λέει το μοντέλο στην παραδοχή λάθους δεν χρησιμοποιείται εναντίον του και η παραδοχή λάθους δεν επηρεάζει την επιβράβευση για την κύρια απάντηση. Αυτό σημαίνει ότι ακόμη κι αν το μοντέλο εξαπατήσει ή παρακάμψει εν μέρει οδηγίες στο αρχικό του αποτέλεσμα, εξακολουθεί να έχει ένα κίνητρο για να το παραδεχτεί στη φάση παραδοχή λάθους. Αυτό είναι παρατηρούμε στην πράξη είναι ότι τα μοντέλα είναι πρόθυμα να αναγνωρίσουν κακή συμπεριφορά κατά τη φάση παραδοχής λαθών, ακόμα και σε περιπτώσεις που την κρύβουν κατά την κύρια απάντηση. Και όταν οι παραδοχές λαθών αποτυγχάνουν, συνήθως αυτό συμβαίνει επειδή το μοντέλο είναι πραγματικά μπερδεμένο —είτε επειδή οι οδηγίες ήταν ασαφείς είτε επειδή δεν συνειδητοποίησε ότι είχε γίνει λάθος— παρά επειδή προσπαθούσε σκόπιμα να παραπλανήσει. Είναι σημαντικό ότι τα πρώιμα αποτελέσματα δείχνουν πως οι παραδοχές λαθών παραμένουν αποτελεσματικές ακόμη και όταν η αρχική απάντηση παράγεται χωρίς καμία συλλογιστική αλυσίδα, υποδηλώνοντας ότι η ειλικρίνεια της παραδοχής λάθους δεν εξαρτάται από την αναγνωσιμότητα του εσωτερικού συλλογισμού και μπορεί να εφαρμοστεί ευρέως σε μελλοντικές αρχιτεκτονικές μοντέλων.

Η εκπαίδευση παραδοχής λαθών λειτουργεί ακόμη και χωρίς ετικέτες συμμόρφωσης με την πραγματικότητα. Με τον όρο «ετικέτα συμμόρφωσης με την πραγματικότητα» (ground truth), εννοούμε μια οριστική, εξωτερικά παρεχόμενη ετικέτα που υποδεικνύει εάν το μοντέλο ακολούθησε πραγματικά μια οδηγία ή την παραβίασε. Σε πολλές εργασίες σε πραγματικές συνθήκες, αυτές οι ετικέτες δεν είναι διαθέσιμες — αν γνωρίζαμε με βεβαιότητα ότι το μοντέλο είχε παραβιάσει έναν κανόνα, θα μπορούσαμε να επιβάλουμε άμεσα ποινή για αυτήν την παραβίαση αντί να βασιζόμαστε σε μια παραδοχή λάθους. Αντ' αυτού, το μοντέλο επιβραβεύεται για την παραγωγή μιας δομημένης, τεκμηριωμένης εξήγησης για το τι πιστεύει ότι έκανε. Η μελέτη δείχνει ότι συνήθως παρατηρείται ειλικρίνεια με αυτή τη ρύθμιση. Πιστεύουμε ότι αυτό συμβαίνει επειδή το μοντέλο παρέχει πιο εύκολα μια αληθινή, τεκμηριωμένη εξήγηση, αντί να κατασκευάζει μια συνεκτική, τεχνητή αφήγηση που μπορεί να ικανοποιήσει τα σχετικά κριτήρια. Αυτή είναι μια βασική υπόθεση που εξετάζει η έρευνα, ενώ εξερευνά επίσης τις περιπτώσεις κατά τις οποίες οι παραδοχές λαθών αποτυγχάνουν —τα ψευδώς αρνητικά και τα ψευδώς θετικά αποτελέσματα— και το πώς προκύπτουν.

Η εργασία παρέχει αρχικά στοιχεία ότι οι παραδοχές λαθών λειτουργούν, αλλά δεν πρέπει να εκλαμβάνονται ως οριστική απόδειξη. Ενώ χρησιμοποιήσαμε ένα πρωτοποριακό μοντέλο (GPT‑5 Thinking), τα πειράματά μας ήταν περιορισμένα σε κλίμακα, χρησιμοποιώντας σχετικά μικρή ποσότητα υπολογιστικής ισχύος και δεδομένων. Είμαστε ενθουσιασμένοι που προωθούμε αυτό το έργο στην επόμενη φάση και ανυπομονούμε να δούμε αν η ειλικρίνεια των παραδοχών λαθών θα συνεχίσει να διατηρείται καθώς αυξάνουμε την κλίμακα της εκπαίδευσής του.

Στο πλαίσιο των πειραμάτων μας, εκπαιδεύσαμε επίτηδες μοντέλα με ένα σήμα ανταμοιβής που ήταν ευάλωτο στο χακάρισμα και υπολογίστηκε από ένα πιο αδύναμο μοντέλο. Αυτή η ρύθμιση εφαρμόστηκε τόσο στην κύρια ανταμοιβή όσο και στην ανταμοιβή παραδοχής λαθών. Το μοντέλο έμαθε να εκμεταλλεύεται το αδύναμο σήμα ανταμοιβής: η φαινομενική του ακρίβεια (όταν αξιολογείται από το αδύναμο μοντέλο) βελτιώθηκε, ενώ η πραγματική του ακρίβεια (όταν αξιολογείται από έναν ισχυρότερο αξιολογητή) μειώθηκε. 

Ωστόσο, παρόλο που το κανάλι παραδοχής λαθών εκπαιδεύτηκε με βάση το ίδιο αδύναμο σήμα, η ακρίβειά του κινήθηκε προς την αντίθετη κατεύθυνση. Το μοντέλο έμαθε ότι ο καλύτερος τρόπος για να βελτιστοποιήσει την ανταμοιβή παραδοχής λαθών ήταν απλώς να παραδεχτεί όταν είχε χακάρει την κύρια ανταμοιβή. Οι παραδοχές λαθών έγιναν πιο ακριβείς με την πάροδο του χρόνου, ακόμη και ενώ η κύρια συμπεριφορά απέκλινε.

Η μελέτη⁠(ανοίγει σε νέο παράθυρο) περιέχει περισσότερα πειράματα και αποτελέσματα. Συγκρίναμε το μοντέλο που εκπαιδεύτηκε στην παραδοχή λαθών με ένα μοντέλο ελέγχου που εκπαιδεύτηκε με τον ίδιο τρόπο, αλλά χωρίς το κανάλι παραδοχής λαθών. Εξετάσαμε επίσης τις περιπτώσεις όπου οι παραδοχές λαθών απέτυχαν. Σχεδόν όλες οι «αποτυχίες» συνέβησαν όταν το μοντέλο ήταν πραγματικά μπερδεμένο — όταν οι οδηγίες ήταν ασαφείς ή όταν απλώς δεν συνειδητοποίησε ότι είχε κάνει λάθος. (Δείτε το παράδειγμα ψευδώς αρνητικού⁠ παραπάνω.)

Οι παραδοχές λαθών έχουν τα όριά τους. Δεν αποτρέπουν την κακή συμπεριφορά, απλώς την αποκαλύπτουν. Η κύρια χρησιμότητά τους είναι ως εργαλείο παρακολούθησης και διάγνωσης, τόσο κατά την εκπαίδευση όσο και κατά την εφαρμογή. Οι παραδοχές λαθών παίζουν παρόμοιο ρόλο με την παρακολούθηση αλληλουχίας σκέψεων⁠: και οι δύο καθιστούν τις κρυφές διαδικασίες σκέψης πιο ορατές. Οι παραδοχές λαθών επικεντρώνονται στο αν το μοντέλο παραβίασε τις οδηγίες, ενώ η αλληλουχία σκέψεων μπορεί να αναδείξει πώς κατέληξε εκεί.

Αυτό το έργο είναι επίσης μια απόδειξη εφικτότητας της ιδέας. Δεν εκπαιδεύσαμε μηχανισμούς παραδοχής λαθών σε μεγάλη κλίμακα και η ακρίβεια της παραδοχής λαθών παραμένει ατελής. Πρέπει να γίνει περισσότερη δουλειά για να καταστήσουμε την προσέγγιση αυτή πιο αξιόπιστη, πιο ανθεκτική και πιο ευρέως εφαρμόσιμη σε πολλές οικογένειες μοντέλων και εργασίες.

Αυτό το έργο εντάσσεται στην ευρύτερη προσέγγισή μας προς την ασφάλεια της τεχνητής νοημοσύνης⁠. Οι παραδοχές λαθών είναι ένας μηχανισμός ανάμεσα σε ένα μεγαλύτερο σύνολο που περιλαμβάνει την διαβουλευτική ευθυγράμμιση⁠, την παρακολούθηση αλληλουχίας σκέψεων⁠, την ιεραρχία οδηγιών⁠ και άλλα. Καμία μεμονωμένη μέθοδος δεν είναι αρκετή. Ο στόχος είναι ένα πολυεπίπεδο σύστημα ελέγχων και εργαλείων διαφάνειας που αλληλοενισχύονται. Οι παραδοχές λαθών μπορούν να βοηθήσουν στη διάγνωση προβληματικών συμπεριφορών σε μοντέλα κατά τη διάρκεια της εκπαίδευσης και της αξιολόγησής τους, καθώς και στην παρακολούθηση κατά την εφαρμογή τους. Οι παραδοχές λαθών από μόνες τους δεν λύνουν το πρόβλημα της εξισορρόπησης πολλαπλών διαστάσεων. Αλλά με τη δημιουργία μιας λειτουργίας τύπου «ορού αλήθειας» όπου τα μοντέλα επικεντρώνονται αποκλειστικά στην ειλικρίνεια, προστίθεται ένα πολύτιμο εργαλείο στο σύνολο που διαθέτουμε για τη βελτίωση της ειλικρίνειας και της ασφάλειας σε όλους τους τομείς.

Καθώς τα μοντέλα γίνονται πιο ικανά και αναπτύσσονται σε περιβάλλοντα με υψηλότερο ρίσκο, χρειαζόμαστε καλύτερα εργαλεία για να κατανοήσουμε τι κάνουν και γιατί. Οι παραδοχές λαθών δεν αποτελούν πλήρη λύση, αλλά προσθέτουν ένα σημαντικό επίπεδο στο σύνολο της διαφάνειας και της εποπτείας μας. Στο μέλλον, σχεδιάζουμε να εργαστούμε για να αυξήσουμε την κλίμακα των παραδοχών λαθών, καθώς και να τις συνδυάσουμε με συμπληρωματικές τεχνικές διαφάνειας και ασφάλειας, όπως η παρακολούθηση της αλληλουχίας σκέψεων και η διαβουλευτική ευθυγράμμιση, για να προχωρήσουμε περαιτέρω προς τη διασφάλιση ότι τα μοντέλα μας υπακούν πιστά όλες τις οδηγίες και πολιτικές (όπως τις Προδιαγραφές μοντέλων⁠(ανοίγει σε νέο παράθυρο) μας) και αναφέρουν με ειλικρίνεια τις ενέργειές τους.