Przedstawiamy MentalHealthBench

Ludzie zwracają się do AI w wielu sprawach: gdy mierzą się z trudną relacją, próbują poradzić sobie z codziennym stresem, wspierają bliską osobę lub zastanawiają się, jak podejść do trudnej sytuacji. Rozmowy te wymagają dokładności, rozsądnej oceny sytuacji i poszanowania sprawczości ludzi. Ponad miliard osób korzysta z ChatGPT każdego tygodnia, dlatego nasze badania koncentrują się na tym, by modele z troską odpowiadały na różnorodne potrzeby oraz stawiały bezpieczeństwo i dobrostan ludzi na pierwszym miejscu.

Większość ocen AI w tym obszarze skupiała się przede wszystkim na sytuacjach nagłych ze względu na ich znaczenie dla bezpieczeństwa, a skuteczność mierzono za pomocą ogólnych, z góry określonych kryteriów. Pozostawiło to lukę w zrozumieniu, jak modele radzą sobie w pełnym zakresie rozmów o zdrowiu psychicznym i w jakim stopniu ich odpowiedzi są zgodne ze wskazówkami ekspertów dla poszczególnych sytuacji, poza samym unikaniem niedozwolonych odpowiedzi. Ocena, jak modele radzą sobie z tymi różnymi sytuacjami, jest kluczowa dla tworzenia rozwiązań AI, które aktywnie wspierają długoterminowy dobrostan i bezpieczeństwo ludzi.

Przedstawiamy MentalHealthBench, nowy otwarty benchmark służący do pomiaru tego, jak systemy AI odpowiadają w realistycznych rozmowach o zdrowiu psychicznym. MentalHealthBench został opracowany wspólnie z globalną grupą 80 licencjonowanych ekspertów w dziedzinie zdrowia psychicznego z 22 krajów. Ocenia możliwości modelu w zakresie kluczowych zachowań związanych ze zdrowiem psychicznym, takich jak bezpieczeństwo, pozyskiwanie kontekstu, zachowanie sprawczości użytkownika i udzielanie praktycznych wskazówek, gdy jest to właściwe. Udostępniamy go publicznie, aby inni badacze mogli przyjrzeć się tym metodom, przeprowadzić własne oceny i rozwijać tę pracę.

Wyniki MentalHealthBench wskazują na stałą poprawę zdolności systemów AI do pomagania ludziom w radzeniu sobie z sytuacjami związanymi ze zdrowiem psychicznym. Chociaż ChatGPT nie zastępuje terapii ani profesjonalnej opieki, eksperckie spostrzeżenia pomagają nam zmierzyć postęp w kierunku modeli sztucznej inteligencji, które są w stanie reagować z empatią, wspierać dobrostan i kierować ludzi do źródeł pomocy, takich jak lokalne infolinie kryzysowe⁠(otwiera nowe okno) lub zaufanej osoby.

Rozmowy dotyczące dobrostanu, porad życiowych lub innych kwestii związanych ze zdrowiem psychicznym mogą znacznie różnić się tematyką, pilnością i kontekstem kulturowym. Narzędzie MentalHealthBench zostało zaprojektowane tak, aby uchwycić szeroki zakres realistycznych scenariuszy i profili użytkowników. Stosując techniki chroniące prywatność, stworzyliśmy syntetyczne rozmowy o zdrowiu psychicznym, które wiernie odzwierciedlają rzeczywiste wzorce korzystania z AI w tym obszarze. Niektóre scenariusze zawierają również istotne informacje kontekstowe o syntetycznym użytkowniku, takie jak niedawna strata w rodzinie, dzięki czemu możemy ocenić, czy modele wykorzystują ten kontekst do odpowiedniego dostosowania swoich odpowiedzi.

MentalHealthBench zawiera scenariusze obejmujące osoby dorosłe, nastolatków, opiekunów i specjalistów klinicznych, w wielu językach i regionach. Rozmowy dotyczą wielu tematów i obejmują całe spektrum poziomów pilności:

• Niewymagające pilnej interwencji — codzienne rozmowy, które mogą zawierać elementy emocjonalne.

• Wysoka pilność — rozmowy wskazujące na poważniejsze problemy związane ze zdrowiem psychicznym lub znaczne cierpienie, ale nie na stan nagły wymagający natychmiastowej interwencji.

• Stany nagłe — rozmowy wskazujące na stan nagły związany ze zdrowiem psychicznym lub bezpośrednie zagrożenie dla bezpieczeństwa, wymagające pilnego wsparcia w świecie rzeczywistym.

Kontynuując nasze wcześniejsze prace nad HealthBench i HealthBench Professional⁠(otwiera nowe okno) prowadzone z udziałem specjalistów klinicznych,⁠(otwiera nowe okno) opracowaliśmy MentalHealthBench w ścisłej współpracy z naszą grupą ekspertów w dziedzinie zdrowia psychicznego. W skład grupy weszło ponad 80 licencjonowanych psychologów i psychiatrów z 22 krajów, posługujących się 19 językami i reprezentujących niemal 20 podspecjalizacji w dziedzinie zdrowia psychicznego.

Eksperci byli odpowiedzialni za przeczytanie każdej syntetycznej rozmowy i sporządzenie szczegółowej listy kryteriów oceny w rubryce, na podstawie których oceniano odpowiedzi modelu na ostatnią wiadomość użytkownika. Każde kryterium jest ukierunkowane na jeden aspekt odpowiedzi modelu, taki jak zadanie właściwego pytania lub udzielenie najlepszej możliwej porady. Każde z nich ma wagę od -10 do +10: punkty dodatnie nagradzają korzystne zachowania, punkty ujemne karzą szkodliwe, a kryteria o wyższych wartościach wskazują na większe znaczenie kliniczne w kontekście rozmowy.

Każda rozmowa została oceniona przez co najmniej trzech ekspertów, a w końcowym benchmarku uwzględniono tylko te kryteria, które zaakceptowali wszyscy eksperci. Ostateczne rubryki w benchmarku odzwierciedlają zatem wspólne stanowisko co do tego, jak modele powinny reagować w każdym kontekście. W przypadku każdej rozmowy wykorzystujemy automatyczny model oceniający, GPT‑5.6 Sol, aby ocenić odpowiedzi modelu według kryteriów opracowanych przez ekspertów. W artykule szczegółowo opisano proces oceniania i warunki oceny.

Za pomocą MentalHealthBench oceniliśmy szeroką gamę modeli. Poniższe wyniki pokazują skuteczność tych modeli w całym zbiorze danych oraz według poziomu pilności rozmowy. W ramach oceny sprawdzaliśmy, czy odpowiedź modelu wykazuje wszystkie pożądane zachowania wskazane przez ekspertów dla danego scenariusza, a jednocześnie unika zachowań niedozwolonych.

Stworzyliśmy syntetyczne rozmowy reprezentujące cztery typy użytkowników: osoby dorosłe, nastolatków w wieku 13–17 lat, opiekunów i specjalistów klinicznych. Informacje kontekstowe przekazaliśmy w komunikatach systemowych, a w profilu nastolatka wyraźnie wskazaliśmy, że użytkownik ma od 13 do 17 lat. Podejście to ma działać niezależnie od dostawcy modelu, choć może nie uwzględniać wszystkich zabezpieczeń wbudowanych w poszczególne produkty.

Dla każdej rozmowy specjaliści kliniczni opracowali kryteria opisujące, co powinna zawierać kolejna właściwa odpowiedź, a czego należy w niej unikać. Następnie oceniliśmy odpowiedzi modeli według tych kryteriów. Rozmowy z profilem nastolatka sprawdzili specjaliści kliniczni zajmujący się zdrowiem psychicznym młodzieży, aby ocenić, czy odpowiedzi odpowiadają szczególnym potrzebom nastolatków.

MentalHealthBench umożliwia również wieloaspektowy pomiar zachowania modelu. Wynik ogólny można rozłożyć na skuteczność w dziesięciu wymiarach zachowania modelu w kontekście zdrowia psychicznego. Zachowania te zdefiniowali eksperci w dziedzinie zdrowia psychicznego, aby uchwycić niuanse działania modeli. Modele o podobnych wynikach ogólnych mogą mieć różne mocne strony w poszczególnych zachowaniach.

Tak szczegółowy pomiar może pomóc badaczom wskazywać obszary wymagające poprawy w poszczególnych, interpretowalnych zachowaniach modelu. Widzimy na przykład, że wraz z rozwojem modeli poprawiła się ich zdolność do właściwego pozyskiwania kontekstu. Postęp ten odzwierciedla inwestycje OpenAI i innych dostawców w ulepszanie sposobu, w jaki modele prowadzą rozmowy o zdrowiu psychicznym.

Równolegle z MentalHealthBench przeprowadziliśmy osobną analizę porównującą zalecenia specjalistów klinicznych z tym, co ludzie uznają za pomocne we wsparciu ze strony AI. Benchmark wykorzystuje kryteria oceny opracowane przez specjalistów klinicznych. W analizie sprawdziliśmy, gdzie perspektywy użytkowników i specjalistów były zgodne, różne lub sprzeczne.

Współpracowaliśmy z 44 osobami dorosłymi z 16 krajów, mówiącymi 14 językami, które korzystały z AI w związku ze swoim zdrowiem psychicznym lub w celu uzyskania wsparcia emocjonalnego. Uczestnicy oceniali odpowiedzi modeli na syntetyczne rozmowy i opracowali kryteria opisujące, jak powinno wyglądać pomocne wsparcie. Ich ocena obejmowała tylko rozmowy niewymagające pilnej interwencji, aby nie narażać uczestników na potencjalnie obciążające treści dotyczące poważniejszych sytuacji związanych ze zdrowiem psychicznym.

Perspektywy użytkowników uwypukliły cechy cenione we wsparciu ze strony AI, na które zalecenia kliniczne kładły mniejszy nacisk — zwłaszcza praktyczne kolejne kroki i ton wypowiedzi. Specjaliści kliniczni przywiązywali większą wagę do zebrania odpowiedniego kontekstu i uważnej interpretacji niejednoznacznych sytuacji. Porównanie to daje nam pełniejszy obraz tego, co ludzie cenią we wsparciu i jak ich preferencje mają się do zaleceń klinicznych.

MentalHealthBench zapewnia ekspertom, badaczom i programistom wspólne narzędzie do oceny bezpiecznego i przydatnego wsparcia AI w różnych sytuacjach związanych ze zdrowiem psychicznym. Udostępniając go publicznie, zachęcamy społeczność do badania jego metod, wskazywania luk w istniejących modelach i pracy nad ich ulepszaniem. Żaden benchmark nie obejmuje wszystkiego, co ma znaczenie w osobistej rozmowie, ale mamy nadzieję, że MentalHealthBench pomoże wyznaczyć wyższy standard wsparcia udzielanego ludziom przez AI.

Wspieramy też inne inicjatywy na styku AI i zdrowia psychicznego, między innymi poprzez granty na nowe badania, organizowanie spotkań ekspertów wraz z Partnership on AI⁠(otwiera nowe okno) oraz pomoc w uzupełniających, niezależnych inicjatywach, takich jak opracowana przez Transluce ocena AI w obszarze zdrowia psychicznego⁠(otwiera nowe okno).

Równolegle z tymi badaniami ulepszyliśmy odpowiedzi ChatGPT w rozmowach na wrażliwe tematy, poszerzyliśmy dostęp do zasobów wsparcia kryzysowego i dodaliśmy funkcję Zaufany kontakt, aby w chwilach cierpienia pomagać ludziom skontaktować się z zaufaną osobą. Wprowadziliśmy również ChatGPT for Teens z dodatkowymi zabezpieczeniami dla młodszych użytkowników.

MentalHealthBench to jeden ze sposobów, w jakie pracujemy nad AI pomagającą milionom ludzi przechodzić przez trudne chwile, wzmacniać relacje i prowadzić zdrowsze, bardziej satysfakcjonujące życie.