Παρουσιάζουμε το MentalHealthBench

Ο κόσμος στρέφεται στην ΤΝ για πολλά είδη συζητήσεων: για να διαχειριστεί μια δύσκολη σχέση, να αντιμετωπίσει το καθημερινό άγχος, να στηρίξει ένα αγαπημένο πρόσωπο ή να αποφασίσει πώς να προσεγγίσει μια δύσκολη κατάσταση. Αυτές οι συζητήσεις απαιτούν ακρίβεια, πρακτική κρίση και σεβασμό στην αυτονομία των ανθρώπων. Πάνω από ένα δισεκατομμύριο άτομα χρησιμοποιούν το ChatGPT κάθε εβδομάδα. Η έρευνά μας επικεντρώνεται στο να βοηθάμε τα μοντέλα να ανταποκρίνονται με φροντίδα σε ένα ευρύ φάσμα αναγκών και να δίνουν προτεραιότητα στην ασφάλεια και την ευημερία των χρηστών.

Οι περισσότερες αξιολογήσεις της ΤΝ σε αυτόν τον τομέα έχουν επικεντρωθεί κυρίως σε σενάρια έκτακτης ανάγκης, δεδομένης της σημασίας τους για την ασφάλεια, και μετρούν την επιτυχία χρησιμοποιώντας ευρέα, προκαθορισμένα κριτήρια. Αυτό έχει δημιουργήσει ένα κενό στην κατανόηση του τρόπου με τον οποίο τα μοντέλα αποδίδουν σε όλο το φάσμα των συζητήσεων για την ψυχική υγεία και του βαθμού στον οποίο οι απαντήσεις τους συνάδουν με την καθοδήγηση ειδικών για κάθε περίπτωση, πέρα από την αποφυγή μη επιτρεπόμενων απαντήσεων. Η αξιολόγηση του τρόπου με τον οποίο τα μοντέλα χειρίζονται αυτές τις διαφορετικές καταστάσεις είναι απαραίτητη για την ανάπτυξη ΤΝ που υποστηρίζει ενεργά τη μακροπρόθεσμη ευημερία και την ασφάλεια των ανθρώπων.

Παρουσιάζουμε το MentalHealthBench, έναν νέο ανοικτό δείκτη αξιολόγησης για τη μέτρηση του τρόπου με τον οποίο τα συστήματα ΤΝ ανταποκρίνονται σε ρεαλιστικές συζητήσεις για την ψυχική υγεία. Το MentalHealthBench δημιουργήθηκε από κοινού με μια διεθνή ομάδα 80 επαγγελματιών ψυχικής υγείας με άδεια άσκησης επαγγέλματος από 22 χώρες. Αξιολογεί τις δυνατότητες του μοντέλου ως προς βασικές πτυχές της συμπεριφοράς του σε θέματα ψυχικής υγείας, όπως την ασφάλεια, τη συλλογή πληροφοριών για την κατάσταση του χρήστη, τη διαφύλαξη της αυτονομίας των χρηστών και την παροχή πρακτικών οδηγιών, όταν χρειάζεται. Το διαθέτουμε ανοικτά, ώστε άλλοι ερευνητές να μπορούν να εξετάσουν τις μεθόδους, να πραγματοποιήσουν τις δικές τους αξιολογήσεις και να εξελίξουν περαιτέρω το έργο.

Τα αποτελέσματα του MentalHealthBench δείχνουν τη σταθερή βελτίωση των συστημάτων ΤΝ ως προς την υποστήριξη του κόσμου στη διαχείριση καταστάσεων που σχετίζονται με την ψυχική υγεία. Ενώ το ChatGPT δεν υποκαθιστά τη θεραπεία ή την επαγγελματική φροντίδα, οι πληροφορίες που λαμβάνουμε από ειδικούς μάς βοηθούν να μετρήσουμε την πρόοδο προς μοντέλα ΤΝ που μπορούν να ανταποκρίνονται με ενσυναίσθηση, να προάγουν την ευημερία και να καθοδηγούν τον κόσμο προς πρακτικές πηγές υποστήριξης, όπως τοπικές γραμμές βοήθειας για κρίσεις⁠(ανοίγει σε νέο παράθυρο) ή κάποιον που εμπιστεύονται.

Οι συζητήσεις που αφορούν την ευημερία, συμβουλές ζωής ή άλλα σενάρια ψυχικής υγείας μπορεί να ποικίλλουν σημαντικά ως προς το θέμα, τον επείγοντα χαρακτήρα και το πολιτισμικό πλαίσιο. Το MentalHealthBench έχει σχεδιαστεί για να αποτυπώνει το εύρος αυτών των ρεαλιστικών σεναρίων και των χαρακτήρων των χρηστών. Χρησιμοποιώντας τεχνικές που προστατεύουν την ιδιωτικότητα, δημιουργήσαμε συνθετικές συζητήσεις για την ψυχική υγεία που αντικατοπτρίζουν με ακρίβεια τον τρόπο με τον οποίο χρησιμοποιείται στην πράξη η ΤΝ για την υποστήριξη της ψυχικής υγείας. Ορισμένα σενάρια περιλαμβάνουν επίσης σχετικές πληροφορίες υποβάθρου σχετικά με τον συνθετικό χρήστη — όπως μια πρόσφατη απώλεια στην οικογένεια — ώστε να μπορούμε να αξιολογήσουμε εάν τα μοντέλα χρησιμοποιούν αυτό το πλαίσιο για να προσαρμόσουν κατάλληλα τις απαντήσεις τους.

Το MentalHealthBench περιλαμβάνει σενάρια που αφορούν ενήλικες, εφήβους, φροντιστές και επαγγελματίες ψυχικής υγείας, σε πολλαπλές γλώσσες και περιοχές. Οι συζητήσεις καλύπτουν ποικίλες θεματικές ενότητες και όλο το φάσμα της κλινικής βαρύτητας:

• Χωρίς οξεία συμπτωματολογία—Καθημερινές συζητήσεις που μπορεί να περιλαμβάνουν ορισμένα συναισθηματικά στοιχεία.

• Υψηλή κλινική βαρύτητα— Συζητήσεις που υποδεικνύουν πιο σοβαρά προβλήματα ψυχικής υγείας ή σημαντική δυσφορία, χωρίς να αποτελούν άμεσο επείγον περιστατικό.

• Επείγοντα περιστατικά— Συζητήσεις που περιλαμβάνουν ενδείξεις επείγοντος περιστατικού ψυχικής υγείας ή άμεσου κινδύνου για την ασφάλεια και απαιτούν επείγουσα πρακτική υποστήριξη.

Με βάση την προηγούμενη εργασία μας, η οποία διαμορφώθηκε με τη συμβολή κλινικών ειδικών, για το HealthBench και το HealthBench Professional⁠(ανοίγει σε νέο παράθυρο),⁠(ανοίγει σε νέο παράθυρο) αναπτύξαμε το MentalHealthBench σε στενή συνεργασία με την ομάδα των ειδικών μας στην ψυχική υγεία. Αποτελούνταν από περισσότερους από 80 ψυχολόγους και ψυχιάτρους με άδεια άσκησης επαγγέλματος από 22 χώρες, οι οποίοι μιλούσαν 19 γλώσσες και εκπροσωπούσαν σχεδόν 20 υποειδικότητες ψυχικής υγείας.

Οι ειδικοί ήταν υπεύθυνοι για την ανάγνωση κάθε συνθετικής συνομιλίας και την κατάρτιση μιας λεπτομερούς λίστας κριτηρίων αξιολόγησης για τις απαντήσεις του μοντέλου στο τελευταίο μήνυμα του χρήστη. Κάθε κριτήριο στοχεύει σε μια μόνο πτυχή της απόκρισης του μοντέλου, όπως η υποβολή της σωστής ερώτησης ή η παροχή της καλύτερης δυνατής συμβουλής. Σε καθένα από αυτά αποδίδεται συντελεστής βαρύτητας από -10 έως +10: οι θετικοί βαθμοί προσμετρούν τις ωφέλιμες συμπεριφορές, ενώ οι αρνητικοί αφαιρούνται για τις επιβλαβείς, και τα κριτήρια με μεγαλύτερες τιμές υποδεικνύουν μεγαλύτερη κλινική σημασία στο πλαίσιο μιας συζήτησης.

Κάθε συζήτηση αξιολογήθηκε από τουλάχιστον τρεις ειδικούς και μόνο τα κριτήρια που έγιναν αποδεκτά από όλους συμπεριλήφθηκαν στο τελικό πρότυπο αξιολόγησης. Συνεπώς, τα τελικά σύνολα κριτηρίων αξιολόγησης αντικατοπτρίζουν μια κοινή κρίση σχετικά με το πώς τα μοντέλα θα πρέπει να ανταποκρίνονται σε κάθε πλαίσιο. Για κάθε συζήτηση, χρησιμοποιούμε έναν αυτοματοποιημένο βαθμολογητή, το GPT‑5.6 Sol, για να αξιολογήσουμε τις απαντήσεις του μοντέλου με βάση τα κριτήρια που έχουν συνταχθεί από ειδικούς. Η εργασία περιγράφει λεπτομερώς τη διαδικασία βαθμολόγησης και τις ρυθμίσεις αξιολόγησης.

Αξιολογήσαμε ένα ευρύ φάσμα μοντέλων στο MentalHealthBench. Τα παρακάτω αποτελέσματα παρουσιάζουν την απόδοση αυτών των μοντέλων σε ολόκληρο το σύνολο δεδομένων. Η αξιολόγηση μετρά κατά πόσο η απάντηση ενός μοντέλου επιδεικνύει όλες τις ιδανικές συμπεριφορές που εντόπισαν οι ειδικοί για κάθε σενάριο, αποφεύγοντας παράλληλα τις μη επιτρεπτές συμπεριφορές.

Το πρότυπο αξιολόγησης καλύπτει συζητήσεις διαφορετικών επιπέδων κλινικής βαρύτητας. Αυτό μάς επιτρέπει να κατανοήσουμε την απόδοση του μοντέλου τόσο σε καθημερινά σενάρια ψυχικής υγείας όσο και σε πιο επείγοντα περιστατικά ψυχικής υγείας που απαιτούν βοήθεια από ανθρώπους ή υπηρεσίες υποστήριξης.

Οι συνομιλίες στο πρότυπο αξιολόγησης αντιπροσωπεύουν τέσσερις τύπους χρηστών: ενήλικες, εφήβους ηλικίας 13–17 ετών, φροντιστές και επαγγελματίες ψυχικής υγείας. Για το προφίλ εφήβου, δηλώσαμε ρητά μέσω ενός μηνύματος συστήματος ότι ο χρήστης ήταν ηλικίας 13–17 ετών. Αυτή η προσέγγιση έχει σχεδιαστεί ώστε να λειτουργεί με διαφορετικούς παρόχους μοντέλων, αν και ενδέχεται να μην αποτυπώνει όλες τις δικλίδες ασφαλείας που είναι ενσωματωμένες σε μεμονωμένα προϊόντα. Οι συνομιλίες με το προφίλ εφήβου εξετάστηκαν από επαγγελματίες ψυχικής υγείας με εξειδίκευση στην ψυχική υγεία των νέων, ώστε να αξιολογηθεί κατά πόσο οι απαντήσεις ανταποκρίνονται στις ιδιαίτερες ανάγκες των εφήβων.

Το MentalHealthBench επιτρέπει επίσης την πολύπλευρη μέτρηση της συμπεριφοράς των μοντέλων. Η συνολική βαθμολογία μπορεί να αναλυθεί με βάση δέκα διαστάσεις της συμπεριφοράς των μοντέλων σε θέματα ψυχικής υγείας. Αυτές οι συμπεριφορές ορίζονται από ειδικούς ψυχικής υγείας και αποσκοπούν στην αποτύπωση λεπτών διαφορών στην απόδοση των μοντέλων. Μοντέλα με παρόμοιες συνολικές βαθμολογίες μπορεί να έχουν διαφορετικά πλεονεκτήματα ως προς αυτές τις συμπεριφορές.

Μια τέτοια λεπτομερής μέτρηση μπορεί να βοηθήσει τους ερευνητές να εντοπίσουν τομείς βελτίωσης σε ερμηνεύσιμες συμπεριφορές των μοντέλων. Για παράδειγμα, βλέπουμε ότι η ικανότητα ενός μοντέλου να αναζητά κατάλληλα το σχετικό πλαίσιο έχει αυξηθεί στα πιο προηγμένα μοντέλα. Αυτές οι βελτιώσεις αντικατοπτρίζουν τις επενδύσεις της OpenAI και άλλων παρόχων στη βελτίωση του τρόπου με τον οποίο τα μοντέλα χειρίζονται συνομιλίες για την ψυχική υγεία.

Παράλληλα με το MentalHealthBench, πραγματοποιήσαμε ξεχωριστή ανάλυση για να συγκρίνουμε την καθοδήγηση των ειδικών με όσα θεωρούν οι άνθρωποι χρήσιμα στην υποστήριξη μέσω ΤΝ. Θέλαμε να ελέγξουμε αν απαντήσεις που οι ειδικοί αξιολόγησαν ιδιαίτερα θετικά θα μπορούσαν παρ’ όλα αυτά να φαίνονται ψυχρές ή να μη βοηθούν τους χρήστες. Συγκρίνοντας τόσο τις αξιολογήσεις των χρηστών όσο και των ειδικών για τις απαντήσεις του μοντέλου, καθώς και τα κριτήρια που συνέταξαν, μπορέσαμε να μετρήσουμε σε ποιον βαθμό οι απόψεις τους συνέπιπταν, διέφεραν ή αλληλοσυμπληρώνονταν. Τα τελικά κριτήρια βαθμολόγησης του προτύπου αξιολόγησης βασίζονται στη συναίνεση των ειδικών. Η ξεχωριστή αυτή ανάλυση δεν τα άλλαξε.

Συνεργαστήκαμε με 44 ενήλικες που είχαν χρησιμοποιήσει τεχνητή νοημοσύνη για υποστήριξη σε θέματα ψυχικής υγείας ή συναισθηματική υποστήριξη, από 16 χώρες και 14 γλώσσες. Οι συμμετέχοντες βαθμολόγησαν απαντήσεις μοντέλων σε συνθετικές συνομιλίες και συνέταξαν κριτήρια που περιέγραφαν τα χαρακτηριστικά μιας χρήσιμης υποστήριξης. Η εξέτασή τους περιορίστηκε σε μη οξείες συνομιλίες, ώστε να μην εκτεθούν σε δυνητικά ψυχικά πιεστικό υλικό υψηλού βαθμού οξύτητας.

Οι απόψεις των χρηστών ανέδειξαν στοιχεία που εκτιμούν στην υποστήριξη μέσω ΤΝ, αλλά στα οποία οι ειδικοί έδιναν μικρότερη έμφαση, ιδίως τις προτάσεις για συγκεκριμένες ενέργειες και τον τόνο των απαντήσεων. Οι ειδικοί έδωσαν μεγαλύτερη έμφαση στη συλλογή σχετικών πληροφοριών για το πλαίσιο και στην προσεκτική ερμηνεία αμφίσημων καταστάσεων. Αυτή η σύγκριση μας προσφέρει πληρέστερη εικόνα για όσα εκτιμούν οι άνθρωποι στην υποστήριξη και για το πώς αυτές οι προτιμήσεις συνδέονται με την κλινική καθοδήγηση.

Το MentalHealthBench παρέχει σε ειδικούς, ερευνητές και προγραμματιστές ένα κοινό εργαλείο για την αξιολόγηση της ασφάλειας και της χρησιμότητας της υποστήριξης μέσω ΤΝ σε διαφορετικές περιστάσεις που αφορούν την ψυχική υγεία. Διαθέτοντάς το δημόσια, προσκαλούμε την κοινότητα να εξετάσει τις μεθόδους του, να εντοπίσει κενά στα υπάρχοντα μοντέλα και να εργαστεί για τη βελτίωση μελλοντικών μοντέλων. Κανένα πρότυπο αξιολόγησης δεν αποτυπώνει όλα όσα έχουν σημασία σε μια προσωπική συνομιλία, ωστόσο ελπίζουμε ότι το MentalHealthBench θα συμβάλει στη βελτίωση του επιπέδου υποστήριξης που προσφέρει η ΤΝ στον κόσμο.

Υποστηρίζουμε επίσης άλλες προσπάθειες στον χώρο της τεχνητής νοημοσύνης και της ψυχικής υγείας, μεταξύ άλλων μέσω επιχορηγήσεων για νέα έρευνα, της συγκέντρωσης ειδικών σε συνεργασία με το Partnership on AI⁠(ανοίγει σε νέο παράθυρο) και της συνδρομής σε συμπληρωματικές ανεξάρτητες πρωτοβουλίες, όπως η αξιολόγηση ψυχικής υγείας⁠(ανοίγει σε νέο παράθυρο) της Transluce.

Παράλληλα με αυτή την έρευνα, έχουμε ενισχύσει τις απαντήσεις του ChatGPT σε ευαίσθητες συνομιλίες, διευρύνει την πρόσβαση σε πόρους για καταστάσεις κρίσης και προσθέσει την αξιόπιστη επαφή, ώστε κάθε άτομο να μπορεί να επικοινωνήσει με ένα πρόσωπο που εμπιστεύεται σε στιγμές έντονης δυσφορίας. Παρουσιάσαμε επίσης το ChatGPT για Εφήβους, με πρόσθετες δικλίδες προστασίας για τους νεότερους χρήστες.

Το MentalHealthBench είναι ένας από τους τρόπους με τους οποίους εργαζόμαστε για μια τεχνητή νοημοσύνη που βοηθά εκατομμύρια ανθρώπους να διαχειρίζονται δύσκολες στιγμές, να ενδυναμώνουν τις σχέσεις τους και να ζουν πιο υγιείς και ολοκληρωμένες ζωές.