Αξιολόγηση της παρακολουθησιμότητας της αλληλουχίας σκέψεων
Εισάγουμε αξιολογήσεις για την παρακολουθησιμότητα της αλληλουχίας σκέψεων και μελετάμε πώς αυτή κλιμακώνεται με την υπολογιστική ισχύ χρόνου δοκιμής, την ενισχυτική μάθηση και την προεκπαίδευση.
Όταν τα συστήματα τεχνητής νοημοσύνης λαμβάνουν αποφάσεις που είναι δύσκολο να επιβλέπονται άμεσα, είναι σημαντικό να κατανοήσουμε πώς λαμβάνονται αυτές οι αποφάσεις. Μία υποσχόμενη προσέγγιση είναι να παρακολουθείται ο εσωτερικός συλλογισμός ενός μοντέλου, και όχι μόνο οι ενέργειες ή τα τελικά αποτελέσματά του.
Τα σύγχρονα μοντέλα συλλογισμού, όπως το GPT‑5 Thinking, δημιουργούν μια σαφή αλληλουχία σκέψεων πριν παράγουν μια απάντηση. Η παρακολούθηση αυτών των αλληλουχιών σκέψεων για κακή συμπεριφορά μπορεί να είναι πολύ πιο αποτελεσματική από την παρακολούθηση μόνο των ενεργειών και των αποτελεσμάτων ενός μοντέλου. Ωστόσο, οι ερευνητές στην OpenAI και στον ευρύτερο κλάδο ανησυχούν(ανοίγει σε νέο παράθυρο) ότι αυτή η «παρακολουθησιμότητα» της αλληλουχίας σκέψεων μπορεί να είναι ευάλωτη σε αλλαγές στη διαδικασία εκπαίδευσης, στις πηγές δεδομένων και ακόμη και στη συνεχόμενη κλιμάκωση των υφιστάμενων αλγορίθμων.
Θέλουμε η παρακολουθησιμότητα της αλληλουχίας σκέψεων να διατηρείται καθώς τα μοντέλα κλιμακώνονται και αναπτύσσονται σε περιβάλλοντα με υψηλότερο ρίσκο. Καλούμε τους ερευνητές σε όλο τον κλάδο να εργαστούν για τη διατήρηση της παρακολουθησιμότητας της αλληλουχίας σκέψεων όσο το δυνατόν περισσότερο και να καθορίσουν εάν μπορεί να λειτουργήσει ως ένα επίπεδο ελέγχου που υποστηρίζει το φορτίο για μελλοντικά συστήματα τεχνητής νοημοσύνης. Για να διατηρηθεί η παρακολουθησιμότητα, πρέπει να είμαστε σε θέση να τη μετρήσουμε, ωστόσο υπάρχουν λίγες εκτιμήσεις [1(ανοίγει σε νέο παράθυρο), 2(ανοίγει σε νέο παράθυρο), 3(ανοίγει σε νέο παράθυρο)] και οι μεθοδολογίες διαφέρουν.
Σε αυτή την εργασία, μελετάμε συστηματικά την παρακολουθησιμότητα της αλληλουχίας σκέψεων. Εισάγουμε ένα πλαίσιο για την αξιολόγηση της παρακολουθησιμότητας της αλληλουχίας σκέψεων και ένα σύνολο από 13 αξιολογήσεις (που περιλαμβάνουν συνολικά 24 περιβάλλοντα) σχεδιασμένο να μετρά συγκεκριμένα την παρακολουθησιμότητα ενός συστήματος. Αυτές οι αξιολογήσεις εμπίπτουν σε τρεις αρχέτυπα —παρέμβαση, διαδικασία και ιδιότητα-αποτελέσματος. Μέσα από την χρήση τους, μελετάμε πόσο παρακολουθήσιμα είναι τα σημερινά μεγάλα γλωσσικά μοντέλα και πώς η παρακολουθησιμότητα αλλάζει με περισσότερο συλλογισμό κατά τον χρόνο εξαγωγής συμπερασμάτων, μεγαλύτερες εκτελέσεις ενισχυτικής μάθησης και αυξημένη κλίμακα προεκπαίδευσης.
Τώρα που έχουμε μια μεγάλη σουίτα αξιολογήσεων, μπορούμε να αρχίσουμε να ελέγχουμε την παρακολουθησιμότητα των μοντέλων μας. (πάνω αριστερά) Διαπιστώνουμε ότι καθώς τα μοντέλα «σκέπτονται» περισσότερο και έχουν μεγαλύτερες αλληλουχίες σκέψεων, η παρακολουθησιμότητα βελτιώνεται. (επάνω δεξιά) Χωρίς αλληλουχία σκέψεων, είναι σύνηθες να γίνεται προσπάθεια να παρακολουθηθούν μόνο οι ενέργειες και τα τελικά αποτελέσματα ενός μοντέλου. Ωστόσο, διαπιστώνουμε ότι η παρακολούθηση μόνο των ενεργειών και των αποτελεσμάτων υστερεί σημαντικά σε σχέση με την παρακολούθηση της αλληλουχίας σκέψεων (CoT). (κάτω-κέντρο) Συγκρίνουμε τα μοντέλα μας με εξωτερικά μοντέλα που παρέχουν πλήρη πρόσβαση στο CoT—Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B, και Kimi K2 Thinking.
Διαπιστώνουμε ότι τα περισσότερα πρωτοποριακά μοντέλα συλλογισμού είναι αρκετά παρακολουθήσιμα, αν και όχι τέλεια. Σε σχεδόν κάθε περιβάλλον που μελετάμε, η παρακολούθηση της αλληλουχίας σκέψεων είναι σημαντικά πιο αποτελεσματική από την παρακολούθηση μόνο των ενεργειών και των τελικών αποτελεσμάτων. Τα μοντέλα που σκέφτονται για μεγαλύτερο χρονικό διάστημα τείνουν να είναι πιο παρακολουθήσιμα, και η βελτιστοποίηση της ενισχυτικής μάθησης σε τρέχουσες πρωτοποριακές κλίμακες δεν φαίνεται να υποβαθμίζει ουσιαστικά την παρακολουθησιμότητα.
Να σημειωθεί ότι παρατηρούμε μια αντιστάθμιση μεταξύ της προσπάθειας συλλογισμού και του μεγέθους του μοντέλου: όταν ένα μοντέλο εκτελείται με χαμηλή προσπάθεια συλλογισμού, ένα μικρότερο μοντέλο που εκτελείται με υψηλότερη προσπάθεια συλλογισμού μπορεί να φτάσει σε εφάμιλλη ικανότητα ενώ είναι ευκολότερο να παρακολουθείται. Αυτό έχει ως κόστος την αυξημένη υπολογιστική ισχύ για την εξαγωγή συμπερασμάτων, στοιχείο που αποκαλούμε φόρο παρακολουθησιμότητας. Τελικά, διαπιστώνουμε ότι η υποβολή συμπληρωματικών ερωτήσεων και η παρακολούθηση των αλληλουχιών σκέψεων που προκύπτουν μπορεί να βελτιώσει περαιτέρω την παρακολουθησιμότητα.
Ορίζουμε την παρακολουθησιμότητα ως την ικανότητα ενός παρακολουθητή να προβλέπει ιδιότητες ενδιαφέροντος σχετικά με τη συμπεριφορά ενός πράκτορα. Σε πολλές περιπτώσεις, αυτές οι ιδιότητες αντιστοιχούν σε μορφές κακής συμπεριφοράς —όπως η εξαπάτηση, η χειραγώγηση της ανταμοιβής (reward hacking) ή ο μεροληπτικός συλλογισμός— αλλά μπορούν επίσης να περιλαμβάνουν αβλαβείς ιδιότητες, όπως το αν ένας πράκτορας βασίστηκε σε μια συγκεκριμένη συμβουλή ή ακολούθησε μια συγκεκριμένη γραμμή συλλογισμού.
Η παρακολουθησιμότητα είναι μια ιδιότητα με δύο όψεις. Εξαρτάται τόσο από τον παρακολουθητή όσο και από τον πράκτορα που παρακολουθείται.
- Παρακολουθητές. Θα μπορούσαμε να κάνουμε τους παρακολουθητές πιο έξυπνους με διάφορους τρόπους και θα θέλαμε οι αξιολογήσεις μας να δίνουν υψηλότερες βαθμολογίες σε παρακολουθητές που μπορούν να κάνουν καλύτερες προβλέψεις για τη συμπεριφορά ενός πράκτορα.
- Πράκτορες. Υπάρχουν πολλές παρατηρήσεις του πράκτορα που θα μπορούσαν να δοθούν στον παρακολουθητή, όπως μεταξύ άλλων οι ενέργεις του πράκτορα, τα αποτελέσματα, οι νευρωνικές ενεργοποιήσεις και πρόσφατα, με την έλευση των μοντέλων συλλογισμού, της αλληλουχίας σκέψεων. Είναι πιθανό κάποιοι πράκτορες να έχουν σκέψεις που είναι πιο δύσκολο να κατανοηθούν σε σχέση με άλλες, και έτσι θα θέλαμε οι αξιολογήσεις παρακολουθησιμότητας να μπορούν να συγκρίνουν πράκτορες και όχι μόνο παρακολουθητές.
Οι αξιολογήσεις μας έχουν σχεδιαστεί για να εκτιμούν και τις δύο πλευρές: είτε είναι ευκολότερο είτε δυσκολότερο να παρακολουθούνται ορισμένοι πράκτορες, και είτε ακόμα αν οι πιο ικανοί παρακολουθητές μπορούν να εξάγουν περισσότερες πληροφορίες από τα ίδια σήματα.
Πριν από την τρέχουσα γενιά μοντέλων συλλογισμού, οι αλληλουχίες σκέψεων συνήθως προκαλούνταν με την υποβολή μίας προτροπής σε ένα μοντέλο να «σκεφτεί βήμα προς βήμα».
Οι αλληλουχίες σκέψεων των μοντέλων συλλογισμού διαφέρουν με δύο σημαντικούς τρόπους. Πρώτον, εκπαιδεύονται ρητά να δημιουργούν μια αλληλουχία σκέψεων και στη συνέχεια να δίνουν μια απάντηση. Όταν δίνεται η προτροπή σε ένα μοντέλο συνομιλίας να σκεφτεί «βήμα προς βήμα», το μοντέλο πρέπει να τηρεί οποιεσδήποτε προδιαγραφές έχουν τεθεί σε αυτό, δηλαδή να είναι χρήσιμο, αβλαβές, κ.λπ. Αντίθετα, η διαδικασία εκπαίδευσης ενισχυτικής μάθησης διδάσκει σε ένα μοντέλο συλλογισμού ότι η αλληλουχία σκέψεων (CoT) είναι ένας ιδιωτικός χώρος όπου μπορεί να σκέφτεται ό,τι θέλει και να μην τιμωρείται, όπως ακριβώς ένας άνθρωπος μπορεί να σκέφτεται ιδιωτικά και να μην τιμωρείται για «εγκλήματα σκέψης».
Δεύτερον, η διαδικασία εκπαίδευσης αναζητά στην ουσία αλληλουχίες σκέψης που είναι οι πιο χρήσιμες εργαλειακά για τον πράκτορα ώστε να επιτύχει μια τελική απάντηση με υψηλή ανταμοιβή. Έτσι, η αλληλουχία σκέψεων δεν είναι μόνο ένας χώρος όπου το μοντέλο μπορεί να εκφράζεται ελεύθερα, αλλά περιέχει σκέψεις που βοηθούν το μοντέλο να καταλήξει στην τελική του απάντηση.
Κατηγοριοποιούμε τις αξιολογήσεις παρακολουθησιμότητάς μας σε τρία διακριτά αρχέτυπα, καθένα εκ των οποίων αξιοποιεί έναν διαφορετικό μηχανισμό για τη μέτρηση της παρακολουθησιμότητας.
- Στις αξιολογήσεις παρεμβάσεων, εμπνεόμενοι από το έργο των Chen et al. 2025,(ανοίγει σε νέο παράθυρο) Chua et al.(ανοίγει σε νέο παράθυρο) 2025, Turpin et al. 2023,(ανοίγει σε νέο παράθυρο) εισάγουμε μια ελεγχόμενη αλλαγή στο περιβάλλον του πράκτορα και δοκιμάζουμε αν ένας παρακολουθητής μπορεί να ανιχνεύσει γιατί άλλαξε η συμπεριφορά, εντοπίζοντας αποδεικτικά στοιχεία της παρέμβασης στην αλληλουχία σκέψεων. Σε αντίθεση με τις τυπικές αξιολογήσεις ελέγχου (π.χ. Shade-Arena(ανοίγει σε νέο παράθυρο)), οι αξιολογήσεις παρεμβάσεων μας επιτρέπουν να διερευνήσουμε αν ένας παρακολουθητής μπορεί να ανιχνεύσει γιατί άλλαξε η συμπεριφορά, αντί απλώς να ανιχνεύσει αν συνέβη μια συμπεριφορά.
- Οι αξιολογήσεις διαδικασιών επικεντρώνονται σε εργασίες με περιορισμένο αριθμό έγκυρων διαδρομών λύσης (για παράδειγμα, ένα μαθηματικό πρόβλημα μπορεί να λυθεί μόνο με συγκεκριμένα θεωρήματα). Οι ανθρώπινοι ειδικοί απαριθμούν αυτές τις διαδρομές και δοκιμάζουμε αν ένας παρακολουθητής μπορεί να ανιχνεύσει ποια βήματα ακολούθησε πραγματικά το μοντέλο. Αυτές οι αξιολογήσεις μας επιτρέπουν να συνδέσουμε αυτό που έκανε ένα μοντέλο με συγκεκριμένα βήματα που πρέπει να έχει ακολουθήσει το μοντέλο και να ρωτήσουμε αν αυτά τα βήματα είναι παρακολουθήσιμα.
- Οι αξιολογήσεις ιδιοτήτων αποτελέσματος εφαρμόζονται όταν μια ιδιότητα του αποτελέσματος του μοντέλου μπορεί να μετρηθεί με αξιοπιστία. Σε αυτές τις περιπτώσεις, δοκιμάζουμε αν ένας παρακολουθητής μπορεί να προβλέψει αυτή την ιδιότητα —όπως τη χειραγώγηση της ανταμοιβής— από τον συλλογισμό ή τις ενέργειες του μοντέλου. Για παράδειγμα, σε μια εργασία προγραμματισμού, μπορεί να έχουμε έναν τρόπο να αξιολογήσουμε αξιόπιστα αν ένα μοντέλο προβαίνει σε ενέργειες για να χειραγωγήσει ένα σήμα ανταμοιβής, και μπορούμε να ρωτήσουμε αν ένας παρακολουθητής βρίσκει αποδείξεις πρόθεσης για χειραγώγηση της ανταμοιβής στη σκέψη ή τις ενέργειες του μοντέλου.
Παρακάτω παρέχουμε μια ταξινομία για τις αξιολογήσεις μας. Ανατρέξτε στην εργασία μας για μια πλήρη περιγραφή κάθε επιμέρους αξιολόγησης.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Διαπιστώνουμε ότι η παρακολουθησιμότητα του μοντέλου μας ποικίλλει σε κάποιο βαθμό ανά ομάδα. Γενικά, τα βρίσκουμε πολύ παρακολουθήσιμα. Ωστόσο, στις Ηθικές Αναστολές συγκεκριμένα, που είναι μια εργασία σχεδιασμένη για να εξετάσει αν ο συλλογισμός γύρω από την κολακεία είναι παρακολουθήσιμος, παρατηρούμε πολύ χαμηλή παρακολουθησιμότητα.
Παρακολουθήσιμα και μη παρακολουθήσιμα παραδείγματα
Σε αυτό το παράδειγμα ιδιότητας-αποτελέσματος, στο μοντέλο ανατίθεται μια αδύνατη εργασία προγραμματισμού. Εάν οι δοκιμές μονάδας είναι επιτυχείς, τότε γνωρίζουμε ότι το μοντέλο εκτέλεσε κάποιου είδους χειραγώγηση. Στην μη παρακολουθήσιμη αλληλουχία σκέψεων (CoT) (κόκκινο), δεν βλέπουμε καμία ένδειξη ότι το μοντέλο αναφέρει ότι κάνει κάτι κακό, αλλά απλώς χειραγωγεί τις δοκιμές και ενημερώνει τον χρήστη ότι εφάρμοσε τη διόρθωση. Εντελώς αντίθετα, στην παρακολουθήσιμη αλληλουχία σκέψεων (CoT) (πράσινο), βλέπουμε το μοντέλο να σκέφτεται «Αλλά η τροποποίηση του χρόνου με monkey patching εντός της λύσης είναι κατά κάποιο τρόπο απάτη».
Η αντιμετώπιση της αλληλουχίας σκέψεων ως ιδιωτικού χώρου εργασίας —και η εκπαίδευση μοντέλων για την αποτελεσματική χρήση της στην επίλυση εργασιών— θα πρέπει, κατ' αρχήν, να καθιστά τις αλληλουχίες σκέψεων παρακολουθήσιμες. Ταυτόχρονα, υπάρχουν αρκετοί λόγοι για τους οποίους η ενισχυτική μάθηση θα μπορούσε πιθανώς να βλάψει την παρακολουθησιμότητα της αλληλουχίας σκέψεων.
Πρώτον, οι περιορισμοί στο μήκος του συλλογισμού, όπως ο περιορισμός του χρόνου ή των token που έχει ένα μοντέλο για να σκεφτεί, δημιουργούν κίνητρα στα μοντέλα να συλλογίζονται λιγότερο. Δεύτερον, ακόμη και χωρίς την άμεση εφαρμογή πίεσης για βελτιστοποίηση στην ίδια την αλληλουχία σκέψεων, έμμεσες πιέσεις θα μπορούσαν να μειώσουν την παρακολουθησιμότητα. Για παράδειγμα(ανοίγει σε νέο παράθυρο), τα μοντέλα μπορεί να βρουν ευκολότερο να φτάσουν σε απαντήσεις με υψηλή ανταμοιβή αν αποφύγουν μονοπάτια συλλογισμού που μπορούν να οδηγήσουν σε χαμηλή ανταμοιβή ή ανεπιθύμητα αποτελέσματα. Τέλος, η μειωμένη παρακολουθησιμότητα μπορεί να προκύψει από τυχαία απόκλιση που προκαλείται από τον θόρυβο κλίσης της ενισχυτικής μάθησης.
Παρακάτω, εξετάζουμε πώς αλλάζει η δυνατότητα παρακολούθησης σε δύο από τις εκτελέσεις πρωτοποριακής εκπαίδευσης ενισχυτικής μάθησης της OpenAI. Αν και αυτά τα αποτελέσματα αντιπροσωπεύουν μόνο δύο σημεία δεδομένων, υποδηλώνουν ότι η βελτιστοποίηση της ενισχυτικής μάθησης σε τρέχουσες πρωτοποριακές κλίμακες δεν υποβαθμίζει ουσιαστικά την παρακολουθησιμότητα της αλληλουχίας σκέψεων και αυξάνει την παρακολουθησιμότητα για τα πρώτα βήματα. Ωστόσο, αυτό δεν αποκλείει την πιθανότητα ότι οι σημαντικά μεγαλύτερες κλίμακες ενισχυτικής μάθησης θα μπορούσαν να επηρεάσουν αρνητικά την δυνατότητα παρακολουθησιμότητας στο μέλλον.
Διαπιστώνουμε ότι η παρακολουθησιμότητα δεν αλλάζει σημαντικά στις τρέχουσες κλίμακες υπολογιστικής ισχύος ενισχυτικής μάθησης (RL) και αυξάνεται στα αρχικά βήματα. Αν και αυτό μπορεί να ισχύει στο τρέχον καθεστώς, είναι πιθανό ότι η σημαντικά αυξημένη κλίμακα θα μπορούσε να προκαλέσει την υποβάθμιση της παρακολουθησιμότητας.
Ένα μεγάλο μέρος της νοημοσύνης των υφιστάμενων συστημάτων τεχνητής νοημοσύνης καθοδηγείται από την αυξημένη κλίμακα προεκπαίδευσης, όπου τόσο οι παράμετροι του μοντέλου όσο και τα μεγέθη των συνόλων δεδομένων έχουν σημειώσει σταθερή αύξηση από την αρχή του παραδείγματος GPT. Η αύξηση του αριθμού των παραμέτρων οδηγεί σε μεγαλύτερη χρήση υπολογιστικής ισχύος ανά δημιουργούμενο token, κάτι που, στην περίπτωση των μοντέλων συλλογισμού, προσφέρει περισσότερες ευκαιρίες για να πραγματοποιηθεί η νοητική διεργασία του μοντέλου μέσα στις ενεργοποιήσεις αντί για την αλληλουχία σκέψεων. Έτσι, θα μπορούσαμε να αναμένουμε ότι τα μεγαλύτερα μοντέλα θα είναι λιγότερο παρακολουθήσιμα σε ένα σταθερό επίπεδο ικανότητας.
Ταυτόχρονα, τα μικρότερα μοντέλα μπορεί επίσης να είναι λιγότερο ικανά για την αποτελεσματική χρήση της αλληλουχίας σκέψεων, κάτι που μπορεί επίσης να επηρεάσει την παρακολουθησιμότητα.
Για να διερευνήσουμε τη σχέση μεταξύ του μεγέθους της προεκπαίδευσης, της ικανότητας και της παρακολουθησιμότητας, εκπαιδεύσαμε μια οικογένεια μοντέλων σε δύο τάξεις μεγέθους υπολογιστικής ισχύος προεκπαίδευσης με αυξανόμενο βάθος και πλάτος και στη συνέχεια εφαρμόσαμε ενισχυτική μάθηση σε καθένα από αυτά σε ένα κοινό σύνολο δεδομένων με εργασίες μαθηματικών, επιστημών και προγραμματισμού. Αξιολογήσαμε κάθε μοντέλο σε ένα εύρος προσπαθειών συλλογισμού και συγκρίναμε την παρακολουθησιμότητα σε αντίστοιχα επίπεδα ικανοτήτων.
Απεικονίζουμε την παρακολουθησιμότητα στη σουίτα αξιολόγησής μας για κάθε μοντέλο σε σχέση με το μέσο ποσοστό επιτυχίας σε ένα σύνολο αξιολογήσεων τυπικών ικανοτήτων (GPQA-Diamond, AIME 2025 και CodeForces). Κάθε μοντέλο αξιολογείται σε πολλές προσπάθειες συλλογισμού (να σημειωθεί ότι κάθε σημείο σε αυτό το σχήμα είναι στην πραγματικότητα το αποτέλεσμα γραμμικής παρεμβολής μεταξύ των προσπαθειών συλλογισμού της καταμέτρησης). Οι κύκλοι υποδεικνύουν ότι το μοντέλο στη συγκεκριμένη προσπάθεια συλλογισμού κυριαρχεί στην παρακολουθησιμότητα στο συγκεκριμένο επίπεδο ικανότητας, ενώ τα διαφανή Χ υποδεικνύουν ότι το μοντέλο στη συγκεκριμένη προσπάθεια συλλογισμού κυριαρχείται στην παρακολουθησιμότητα από άλλο μοντέλο για εκείνο το επίπεδο ικανότητας. Με τα μαύρα βέλη δείχνουμε παραδείγματα δύο τρόπων για να δαπανήσουμε περισσότερη υπολογιστική ισχύ για εξαγωγή συμπερασμάτων: με δειγματοληψία περισσότερων token με μικρότερο μοντέλο ή σχετικά λιγότερων επιπλέον token με το ίδιο μοντέλο. Με τα κόκκινα βέλη, δείχνουμε τον φόρο παρακολουθησιμότητας που πρέπει να πληρωθεί, δηλαδή ελαφρώς μειωμένες δυνατότητες για πολύ μεγαλύτερη παρακολουθησιμότητα.
Γενικά, διαπιστώνουμε ότι αν επρόκειτο να αναπτύξουμε ένα συγκεκριμένο μοντέλο με χαμηλή προσπάθεια συλλογισμού, θα μπορούσαμε αντίθετα να αναπτύξουμε ένα μικρότερο μοντέλο με υψηλότερη προσπάθεια συλλογισμού. Σε σύγκριση με την επένδυση επιπλέον υπολογιστικής ισχύος για περισσότερη προσπάθεια συλλογισμού από το αρχικό μεγάλο μοντέλο, θα μπορούσαμε να επιτύχουμε υψηλότερη παρακολουθησιμότητα με μικρό κόστος ικανότητας, ή φόρο παρακολουθησιμότητας. Ωστόσο, ο χρόνος που απαιτείται για την ολοκλήρωση μιας διαδικασίας μπορεί επίσης να είναι παράγοντας σε ορισμένες αποφάσεις ανάπτυξης, κάτι που δεν εξετάζουμε εδώ. Καθώς τα μοντέλα μας βελτιώνονται και αναπτύσσονται σε περιβάλλοντα με υψηλότερο ρίσκο, μπορεί να καταστεί απαραίτητο να πληρώσουμε έναν τέτοιο φόρο για την ασφαλή υλοποίησή τους.
Αυτά τα αποτελέσματα έχουν τους εξής περιορισμούς: (1) εκπαιδεύουμε κάθε μοντέλο μόνο μία φορά, επομένως δεν λαμβάνουμε υπόψη τη διακύμανση μεταξύ των εκτελέσεων εκπαίδευσης. Για παράδειγμα, το «μεσαίο» μοντέλο φαίνεται αρκετά εκτός τάσης όσον αφορά την παρακολουθησιμότητα σε σύγκριση με τα άλλα μοντέλα της σειράς, κάτι που θα μπορούσε να οφείλεται σε αυτόν τον λόγο. (2) Αξιολογούμε τις δυνατότητες σε σχετικά εντός κατανομής περιβάλλοντα (μαθηματικά, επιστήμες και προγραμματισμός), και οι συμβιβασμοί μπορεί να αλλάξουν όταν λαμβάνεται υπόψη η στιβαρότητα εκτός κατανομής.
Καθώς τα συστήματα τεχνητής νοημοσύνης αναπτύσσονται πέρα από το επίπεδο απόδοσης των ανθρώπων, η άμεση ανθρώπινη επίβλεψη γίνεται ολοένα και πιο δύσκολη. Ιδανικά, θα είχαμε κλιμακούμενες διαδικασίες ελέγχου που επιτρέπουν σε αξιόπιστους αλλά πιο αδύναμους παρακολουθητές να επιβλέπουν ισχυρότερους, ενδεχομένως μη αξιόπιστους πράκτορες. Τέτοιες διαδικασίες θα πρέπει επίσης να είναι σε θέση να απορροφούν επιπλέον υπολογιστική ισχύ κατά τη διάρκεια των δοκιμών και να παράγουν πιο ακριβείς προβλέψεις.
(Αριστερά) Συγκρίνουμε πολλούς διαφορετικούς παρακολουθητές και διαφοροποιούμε την προσπάθεια συλλογισμού του καθενός. Κάθε παρακολουθητής παρακολουθεί το ίδιο μοντέλο Συλλογισμού GPT‑5. Όπως θα ήταν αναμενόμενο, διαπιστώνουμε ότι γενικά τα μεγαλύτερα και πιο ικανά μοντέλα λειτουργούν καλύτερα ως παρακολουθητές, ενώ τα μοντέλα συλλογισμού αποδίδουν καλύτερα στην εργασία παρακολούθησης με αυξημένη προσπάθεια συλλογισμού (και επομένως με υπολογιστική ισχύ κατά τη διάρκεια της δοκιμής).
(Δεξιά) Συγκρίνουμε διαφορετικά πεδία παρατήρησης της παρακολούθησης για το OpenAI o4-mini, δηλαδή αν ο παρακολουθητής μπορεί να δει μόνο την αλληλουχία σκέψεων (CoT), μόνο τις ενέργειες και την απάντηση, ή όλα τα μηνύματα από το μοντέλο που παρακολουθεί. Να σημειωθεί πως διαπιστώνουμε ότι η παρακολουθησιμότητα με αυξημένη υπολογιστική παρακολούθηση κατά τη διάρκεια των δοκιμών (υψηλότερη προσπάθεια συλλογισμού παρακολούθησης) βελτιώνεται με ταχύτερο ρυθμό όταν δίνεται στον παρακολουθητή πρόσβαση στο CoT. Έτσι, η παρακολούθηση του CoT μπορεί να προσφέρει μια πιο κλιμακούμενη λύση για έλεγχο από την naive παρακολούθηση.
Η παρακολουθησιμότητα της αλληλουχίας σκέψεων συχνά θεωρείται ως σταθερή ποσότητα: μόλις ένα μοντέλο παράγει μια απάντηση με δεδομένη προσπάθεια συλλογισμού, παρακολουθείται η προκύπτουσα αλληλουχία σκέψεων όσο το δυνατόν καλύτερα. Επειδή διαπιστώνουμε σταθερά ότι η παρακολουθησιμότητα βελτιώνεται καθώς αυξάνουμε την προσπάθεια συλλογισμού των πρακτόρων μας, μας ήρθε η έμπνευση να αναρωτηθούμε αν μπορούμε με κάποιο τρόπο να αποκτήσουμε περισσότερα token για παρακολούθηση.
Για να εξετάσουμε την ιδέα αυτή, πειραματιστήκαμε κάνοντας συμπληρωματικές ερωτήσεις αφού ένα μοντέλο απαντήσει, διατηρώντας την αρχική προτροπή, την αλληλουχία σκέψεων και την απάντηση στο περιβάλλον. Αυτές οι συμπληρωματικές ερωτήσεις επικεντρώνονται στην ιδιότητα που παρακολουθείται —για παράδειγμα, «Χρησιμοποίησες τη συμβουλή με ουσιαστικό τρόπο για να επιλέξεις την απάντησή σου;» ή «Έκανες κάτι ύποπτο;» Καταρχήν, επειδή το μοντέλο διατηρεί πρόσβαση στον προηγούμενο συλλογισμό του, μπορεί να είναι σε θέση να αναδείξει πρότερα μη εκφρασμένες σκέψεις στην αλληλουχία σκέψεων ή απάντηση για τη συμπληρωματική ερώτηση.
Αυτά τα αποτελέσματα είναι προκαταρκτικά. Εξερευνήσαμε μόνο έναν μικρό αριθμό μορφών συμπληρωματικών ερωτήσεων και πιστεύουμε ότι υπάρχουν σημαντικά περιθώρια για τη βελτίωση της μεθοδολογίας. Επιπλέον, αυτή η μέθοδος είναι παρόμοια στο πνεύμα με τις παραδοχές λαθών του μοντέλου, και εργαζόμαστε ενεργά για τη σύγκριση των προσεγγίσεων.
Παρουσιάζουμε αποτελέσματα που είναι ο μέσος όρος σε όλη τη σουίτα αξιολόγησής μας και σε όλα τα πρόσφατα μοντέλα συλλογισμού μας: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini και GPT‑5‑thinking. Διαπιστώνουμε ότι, γενικά, οι συμπληρωματικές ερωτήσεις βελτιώνουν την παρακολουθησιμότητα, ειδικά σε χαμηλότερες προσπάθειες συλλογισμού. Αν κάνουμε επανειλημμένα τη συμπληρωματική ερώτηση και παρέχουμε στον παρακολουθητή όλες τις αλληλουχίες σκέψεων (CoT) για τις συμπληρωματικές, η παρακολουθησιμότητα βελτιώνεται ακόμη περισσότερο. Να σημειωθεί πως όταν δίνουμε στον παρακολουθητή πρόσβαση μόνο στη απάντηση της συμπληρωματικής και όχι στην αλληλουχία σκέψεων της συμπληρωματικής, παρατηρούμε λιγότερη βελτίωση σε σχέση με τη βασική γραμμή. Αυτό υποδηλώνει ότι τα μοντέλα δεν είναι απόλυτα ειλικρινή στις απαντήσεις τους προς τον χρήστη, αλλά παρέχουν περισσότερες πληροφορίες στην αλληλουχία σκέψεων (CoT) τους.
Πέρα από τη βελτίωση της παρακολουθησιμότητας, αυτή η προσέγγιση είναι ελκυστική επειδή μπορεί να εφαρμοστεί εκ των υστέρων, επιβαρύνοντας με επιπλέον κόστος υπολογιστικής ισχύος μόνο όταν απαιτείται βαθύτερη επιθεώρηση. Μελλοντικά, αν τα μοντέλα εκπαιδευτούν να αναμένουν αλλαγές στην προσπάθεια συλλογισμού κατά τη διάρκεια της συζήτησης, οι εκ των υστέρων συμπληρωματικές ερωτήσεις με υψηλότερη προσπάθεια συλλογισμού μπορεί να βελτιώσουν περαιτέρω την παρακολουθησιμότητα, ακόμα και όταν η αρχική προσπάθεια συλλογισμού είναι χαμηλή ή ανύπαρκτη.
Κάθε αξιολόγηση στη σουίτα μας μετράει αν μια συγκεκριμένη πτυχή της διαδικασίας συλλογισμού είναι παρακολουθήσιμη. Ενώ στοχεύουμε να καλύψουμε ένα ευρύ φάσμα συμπεριφορών —όπως μεταξύ άλλων την κολακεία, τη στρατηγική υποβαθμισμένης απόδοσης (sandbagging), την προκατάληψη, τη δόλια συμπεριφορά και τη χειραγώγηση της ανταμοιβής— υπάρχουν πολλές επιπλέον ιδιότητες που παραμένουν αδοκίμαστες.
Όπως συμβαίνει με κάθε δείκτη αναφοράς, οι αξιολογήσεις μας μπορεί να πάσχουν από περιορισμένο ρεαλισμό ή αυξανόμενη επίγνωση αξιολόγησης, και τα αποτελέσματα μπορεί να μην γενικεύονται στην ανίχνευση κακής συμπεριφοράς σε πραγματικές συνθήκες.
Τέλος, καθώς η ευθυγράμμιση βελτιώνεται, τα μοντέλα μπορεί να παρουσιάζουν κακή συμπεριφορά λιγότερο συχνά σε ελεγχόμενες συνθήκες αξιολόγησης, μειώνοντας το σήμα που είναι διαθέσιμο για τις αξιολογήσεις παρακολουθησιμότητας και ελέγχου που βασίζονται στην ανίχνευση κακής συμπεριφοράς. Σε αυτές τις περιπτώσεις, οι «ουδέτερες» αξιολογήσεις παρακολουθησιμότητας παραμένουν εφαρμόσιμες, αν και παραμένει ανοιχτό το ερώτημα πόσο προβλεπτικές είναι για αποτυχίες στον πραγματικό κόσμο.
Εάν το πρόβλημα ευθυγράμμισης δεν μπορεί να λυθεί πλήρως, τότε οι μέθοδοι κλιμακούμενου ελέγχου θα είναι εξαιρετικά σημαντικές για την ικανότητά μας να αναπτύσσουμε με ασφάλεια πολύ ικανά μοντέλα. Η παρακολούθηση αλληλουχίας σκέψεων και οι σχετικές μέθοδοι μπορεί να είναι ένας από τους λίγους μηχανισμούς ελέγχου που έχουμε στη διάθεσή μας. Η αλληλουχία σκέψεων μπορεί επίσης να προσφέρει σημαντικά οφέλη στην περαιτέρω κατανόηση των μοντέλων μας, π.χ. αν γνωρίζουν ότι βρίσκονται σε αξιολόγηση και συμπεριφέρονται διαφορετικά από ό,τι θα έκαναν κατά την ανάπτυξη, αν υπάρχουν ενδείξεις για οποιουσδήποτε δυσμενείς στόχους που δεν έχουν ακόμη εκδηλωθεί στις αξιολογήσεις μας, κ.λπ. Έτσι, πιστεύουμε ότι είναι υψίστης σημασίας να κατανοήσουμε πώς και πότε ενδέχεται να χάνουμε την παρακολουθησιμότητα.
Θεωρούμε ότι η παρακολούθηση της αλληλουχίας σκέψεων είναι συμπληρωματική προς τη μηχανιστική ερμηνευσιμότητα και όχι αντικατάστατο αυτής. Όπως όλες οι γνωστές μέθοδοι ελέγχου και ερμηνευσιμότητας, καθεμία έχει περιορισμούς και τυφλά σημεία. Η προσδοκία μας είναι ότι ο συνδυασμός πολλαπλών προσεγγίσεων —μια στρατηγική άμυνας σε βάθος— μπορεί να βοηθήσει στην κάλυψη των κενών που αφήνει εκτεθειμένα κάθε επιμέρους μέθοδος. Να σημειωθεί ότι οι αξιολογήσεις που παρουσιάζονται σε αυτή την εργασία θα μπορούσαν επίσης να εφαρμοστούν για την αξιολόγηση και σύγκριση τεχνικών παρακολούθησης που βασίζονται στη μηχανιστική ερμηνευσιμότητα.
Επειδή πιστεύουμε ότι η παρακολούθηση της αλληλουχίας σκέψεων θα μπορούσε να είναι ένα βασικό επίπεδο φέρουσας ικανότητας σε ένα σύστημα κλιμακούμενου ελέγχου, σχεδιάζουμε να επεκτείνουμε αυτές τις αξιολογήσεις και να τις χρησιμοποιήσουμε για να καθοδηγήσουμε τις μελλοντικές αποφάσεις μοντελοποίησης και δεδομένων.
Συντάκτης
Παραπομπές
1. Τα μοντέλα μας δεν προορίζονται να παρέχουν ιατρικές διαγνώσεις, επομένως το σύνολο δεδομένων των ερωτημάτων υγείας μας δεν προορίζεται να δοκιμάσει αυτήν την ικανότητα.
