Vorstellung von MentalHealthBench

Menschen wenden sich für viele Arten von Gesprächen an KI: um eine schwierige Beziehung zu meistern, alltäglichen Stress zu bewältigen, jemanden zu unterstützen, den sie lieben, oder zu entscheiden, wie sie eine herausfordernde Situation angehen. Diese Gespräche erfordern Genauigkeit, praktisches Urteilsvermögen und Respekt vor der Selbstbestimmung der Menschen. Mit mehr als einer Milliarde Menschen, die ChatGPT jede Woche nutzen, konzentriert sich unsere Forschung darauf, Modellen dabei zu helfen, mit Fürsorge auf eine Vielzahl von Bedürfnissen zu reagieren und die Sicherheit und das Wohlbefinden der Menschen an erste Stelle zu setzen.

Die meisten Bewertungen von KI in diesem Bereich konzentrierten sich hauptsächlich auf Notfallszenarien, da sie für die Sicherheit wichtig sind, und messen Erfolg anhand breiter, vordefinierter Kriterien. Dies hat eine Lücke im Verständnis dafür hinterlassen, wie Modelle im gesamten Spektrum von Gesprächen über psychische Gesundheit abschneiden und wie gut ihre Antworten mit den Leitlinien von Fachleuten für jede Situation übereinstimmen – unabhängig davon, ob sie unzulässige Antworten vermeiden. Zu bewerten, wie Modelle mit diesen verschiedenen Situationen umgehen, ist entscheidend, um auf eine KI hinzuarbeiten, die aktiv das langfristige Wohlbefinden und die Sicherheit der Menschen unterstützt.

Wir stellen MentalHealthBench vor, einen neuen offenen Benchmark zur Messung, wie KI-Systeme in realistischen Gesprächen über psychische Gesundheit reagieren. MentalHealthBench wurde gemeinsam mit einer globalen Kohorte von 80 lizenzierten Fachkräften für psychische Gesundheit aus 22 Ländern entwickelt. Es bewertet die Fähigkeiten des Modells in wichtigen Verhaltensweisen zur psychischen Gesundheit wie Sicherheit, Kontextsuche, Wahrung der Nutzerhandlungsfreiheit und gegebenenfalls umsetzbare Anleitungen. Wir veröffentlichen ihn frei zugänglich, damit andere Forschende die Methoden untersuchen, eigene Bewertungen durchführen und auf dieser Arbeit aufbauen können.

Die Ergebnisse von MentalHealthBench zeigen die stetigen Verbesserungen von KI-Systemen, die Menschen bei der Bewältigung psychischer Gesundheitssituationen unterstützen. Auch wenn ChatGPT kein Ersatz für Therapie oder professionelle Betreuung ist, helfen uns expertenbasierte Einblicke, den Fortschritt hin zu KI-Modellen zu messen, die empathisch reagieren, das Wohlbefinden fördern und Menschen zu realer Unterstützung wie lokalen Krisenhotlines⁠(wird in einem neuen Fenster geöffnet) oder vertrauenswürdigen Menschen führen können.

Gespräche, die Wohlbefinden, Lebensratschläge oder andere psychische Gesundheitsszenarien betreffen, können stark in Thema, Dringlichkeit und kulturellem Kontext variieren. MentalHealthBench ist darauf ausgelegt, die Bandbreite dieser realistischen Szenarien und Nutzerpersonas einzufangen. Mit datenschutzfördernden Techniken haben wir synthetische Gespräche über psychische Gesundheit erstellt, die reale Nutzungsmuster von KI für psychische Gesundheit genau widerspiegeln. Einige Szenarien enthalten auch relevante Hintergrundinformationen über den synthetischen Nutzer – wie einen kürzlichen Verlust in der Familie –, sodass wir beurteilen können, ob Modelle diesen Kontext nutzen, um ihre Antworten angemessen anzupassen.

MentalHealthBench umfasst Szenarien mit Erwachsenen, Jugendlichen, Betreuer:innen und Ärzt:innen in verschiedenen Sprachen und Regionen. Die Gespräche decken mehrere aktuelle Themen ab und decken das gesamte Spektrum der Akuität ab:

• Nicht-akut – Alltägliche Gespräche, die einige emotionale Komponenten enthalten können.

• Hohe Akuität – Gespräche, die auf ernsthaftere psychische Probleme oder erheblichen Stress hinweisen, aber keinen unmittelbaren Notfall.

• Notfälle – Gespräche, die Anzeichen für einen psychischen Notfall oder unmittelbare Sicherheitsbedenken beinhalten, die dringende Unterstützung in der realen Welt erfordern.

Aufbauend auf unserer bisherigen, klinisch fundierten Arbeit für HealthBench und HealthBench Professional⁠(wird in einem neuen Fenster geöffnet),⁠(wird in einem neuen Fenster geöffnet) haben wir MentalHealthBench in enger Zusammenarbeit mit unserem Stamm von Expert:innen für psychische Gesundheit entwickelt. Dieser bestand aus mehr als 80 zugelassenen Psycholog:innen und Psychiater:innen in 22 Ländern, die 19 Sprachen sprachen und fast 20 Fachrichtungen im Bereich der psychischen Gesundheit repräsentierten.

Die Expert:innen waren dafür verantwortlich, jedes synthetische Gespräch zu lesen und eine detaillierte Liste von Bewertungskriterien zu erstellen, um die Antworten des Modells auf die letzte Nutzernachricht zu bewerten. Jedes Kriterium zielt auf einen einzelnen Aspekt der Modellantwort ab, wie zum Beispiel die richtige Frage zu stellen oder den bestmöglichen Rat zu geben. Jedes hat eine Gewichtung zwischen -10 und +10: Positive Punkte belohnen positive Verhaltensweisen, negative Punkte bestrafen schädliche, und Kriterien mit höheren Werten deuten auf eine größere klinische Bedeutung im Kontext eines Gesprächs hin.

Jedes Gespräch wurde von mindestens drei Expert:innen überprüft, und nur Kriterien, die von allen akzeptiert wurden, wurden in den endgültigen Benchmark aufgenommen. Die abschließenden Rubriken im Benchmark spiegeln daher ein gemeinsames Urteil darüber wider, wie Modelle in jedem Kontext reagieren sollten. Für jedes Gespräch verwenden wir einen automatisierten Bewerter, GPT‑5.6 Sol, um die Modellantworten anhand der von Expert:innen verfassten Kriterien zu bewerten. Die Arbeit beschreibt den Bewertungsprozess und die Bewertungsumgebung ausführlich.

Wir haben eine breite Auswahl von Modellen mit MentalHealthBench bewertet. Die folgenden Ergebnisse zeigen die Leistung dieser Modelle im gesamten Datensatz und nach Akuität der Gespräche. Die Bewertung misst, ob die Antwort eines Modells alle idealen Verhaltensweisen zeigt, die Fachleute für das jeweilige Szenario ermittelt haben, und zugleich unzulässiges Verhalten vermeidet.

Wir erstellten synthetische Gespräche für vier Arten von Personen: Erwachsene, Jugendliche von 13 bis 17 Jahren, betreuende Personen und klinische Fachkräfte. Hintergrundinformationen stellten wir über Systemnachrichten bereit. Beim Profil der jugendlichen Person gaben wir ausdrücklich an, dass sie zwischen 13 und 17 Jahre alt war. Dieser Ansatz ist für Modelle verschiedener Anbieter ausgelegt, erfasst jedoch möglicherweise nicht alle Schutzmaßnahmen einzelner Produkte.

Für jedes Gespräch formulierten klinische Fachkräfte Kriterien dafür, was eine angemessene nächste Antwort enthalten oder vermeiden sollte. Anhand dieser Kriterien bewerteten wir die Modellantworten. Gespräche mit dem Profil einer jugendlichen Person wurden von klinischen Fachkräften mit Erfahrung in der psychischen Gesundheit junger Menschen geprüft. So ließ sich besser beurteilen, ob die Antworten den besonderen Bedürfnissen Jugendlicher entsprechen.

MentalHealthBench ermöglicht außerdem eine mehrdimensionale Messung des Modellverhaltens. Der Gesamtwert lässt sich in die Leistung entlang zehn Dimensionen des Modellverhaltens bei Themen der psychischen Gesundheit aufschlüsseln. Diese Verhaltensweisen wurden von Fachleuten für psychische Gesundheit definiert und sollen Unterschiede in der Modellleistung differenziert erfassen. Modelle mit ähnlichen Gesamtwerten können bei diesen Verhaltensweisen unterschiedliche Stärken haben.

Eine solche detaillierte Messung kann Forschenden helfen, Verbesserungsmöglichkeiten bei nachvollziehbaren Verhaltensweisen von Modellen zu erkennen. So zeigt sich beispielsweise, dass fortschrittlichere Modelle den Kontext zunehmend besser und angemessener erfragen. Diese Fortschritte spiegeln die Investitionen von OpenAI und anderen Modellanbietern wider, mit denen sie den Umgang ihrer Modelle mit Gesprächen über psychische Gesundheit verbessern.

Ergänzend zu MentalHealthBench führten wir eine separate Analyse durch, um die Empfehlungen klinischer Fachkräfte mit dem zu vergleichen, was Menschen an Unterstützung durch KI hilfreich finden. Der Benchmark verwendet von klinischen Fachkräften formulierte Bewertungskriterien. Diese Analyse untersuchte, wo die Perspektiven von Nutzenden und klinischen Fachkräften übereinstimmten, voneinander abwichen oder einander widersprachen.

Wir arbeiteten mit 44 Erwachsenen zusammen, die KI für ihre psychische Gesundheit oder emotionale Unterstützung genutzt hatten. Sie kamen aus 16 Ländern und sprachen 14 Sprachen. Die Teilnehmenden bewerteten Modellantworten auf synthetische Gespräche und formulierten Kriterien dafür, wie hilfreiche Unterstützung aussehen sollte. Ihre Prüfung beschränkte sich auf nicht akute Gespräche, damit sie nicht mit potenziell belastenden Inhalten hoher Akuität konfrontiert wurden.

Die Perspektiven der Nutzenden machten Eigenschaften sichtbar, die Menschen an Unterstützung durch KI schätzen und die in den Empfehlungen klinischer Fachkräfte weniger betont wurden, insbesondere praktische nächste Schritte und der Ton. Klinische Fachkräfte legten mehr Wert darauf, relevante Kontextinformationen zu erfragen und mehrdeutige Situationen sorgfältig zu interpretieren. Dieser Vergleich vermittelt uns ein umfassenderes Bild davon, was Menschen an Unterstützung schätzen und wie sich diese Präferenzen zu klinischen Empfehlungen verhalten.

MentalHealthBench bietet Fachleuten, Forschenden und Entwicklungsteams ein gemeinsames Instrument, um sichere und nützliche Unterstützung durch KI in unterschiedlichen Situationen der psychischen Gesundheit zu bewerten. Mit der offenen Veröffentlichung laden wir die Fachwelt ein, die Methoden zu prüfen, Lücken in bestehenden Modellen zu erkennen und gemeinsam an deren Verbesserung zu arbeiten. Kein Benchmark erfasst alles, was in einem persönlichen Gespräch wichtig ist. Wir hoffen jedoch, dass MentalHealthBench zu höheren Standards dafür beiträgt, wie KI Menschen unterstützt.

Wir unterstützen außerdem weitere Vorhaben zu KI und psychischer Gesundheit, unter anderem durch Fördermittel für neue Forschung, durch die Zusammenführung von Fachleuten mit der Partnership on AI⁠(wird in einem neuen Fenster geöffnet) und durch Unterstützung ergänzender unabhängiger Projekte wie der Bewertung zur psychischen Gesundheit⁠(wird in einem neuen Fenster geöffnet) von Transluce.

Parallel zu dieser Forschung haben wir die Antworten von ChatGPT in sensiblen Gesprächen verbessert, den Zugang zu Krisenangeboten erweitert und die Vertrauensperson eingeführt, damit Menschen in belastenden Momenten jemanden erreichen können, dem sie vertrauen. Außerdem haben wir ChatGPT für Jugendliche mit zusätzlichen Schutzmaßnahmen für jüngere Menschen eingeführt.

MentalHealthBench ist einer unserer Ansätze auf dem Weg zu KI, die Millionen Menschen hilft, schwierige Momente zu bewältigen, ihre Beziehungen zu stärken und gesünder und erfüllter zu leben.