Introductie van MentalHealthBench

Mensen wenden zich tot AI voor allerlei soorten gesprekken: omgaan met een moeilijke relatie, dagelijkse stress verwerken, iemand om wie ze geven ondersteunen of beslissen hoe ze een moeilijke situatie moeten aanpakken. Deze gesprekken vereisen nauwkeurigheid, praktisch beoordelingsvermogen en respect voor de autonomie van mensen. Nu meer dan een miljard mensen ChatGPT elke week gebruiken, richt ons onderzoek zich erop modellen te helpen zorgvuldig te reageren op een breed scala aan behoeften en de veiligheid en het welzijn van mensen voorop te stellen.

De meeste evaluaties van AI in dit domein hebben zich voornamelijk gericht op noodsituaties, gezien hun belang voor veiligheid, en meten succes met brede, vooraf gedefinieerde criteria. Hierdoor begrijpen we nog onvoldoende hoe modellen presteren binnen het volledige spectrum van gesprekken over geestelijke gezondheid en hoe goed hun reacties in elke situatie aansluiten bij de richtlijnen van experts, naast de vraag of ze ongeoorloofde reacties vermijden. Het beoordelen van hoe modellen met deze verschillende situaties omgaan, is essentieel om te werken aan AI die het welzijn en de veiligheid van mensen op de lange termijn actief ondersteunt.

We introduceren MentalHealthBench, een nieuwe open benchmark voor het meten van hoe AI-systemen reageren in realistische gesprekken over geestelijke gezondheid. MentalHealthBench is ontwikkeld in samenwerking met een wereldwijde groep van 80 erkende experts op het gebied van geestelijke gezondheidszorg uit 22 landen. De benchmark beoordeelt modelcapaciteiten aan de hand van belangrijke gedragingen op het gebied van geestelijke gezondheid, zoals veiligheid, het uitvragen van context, het behoud van de autonomie van gebruikers en het bieden van concrete begeleiding wanneer dat passend is. We stellen de benchmark openbaar beschikbaar, zodat andere onderzoekers de methoden kunnen bestuderen, hun eigen evaluaties kunnen uitvoeren en op het werk kunnen voortbouwen.

Resultaten op MentalHealthBench tonen de gestage verbetering van AI-systemen bij het helpen van mensen om met situaties rond geestelijke gezondheid om te gaan. Hoewel ChatGPT geen vervanging is voor therapie of professionele zorg, helpen deskundige inzichten ons om de vooruitgang te meten richting AI-modellen die met empathie kunnen reageren, welzijn bevorderen en mensen kunnen begeleiden naar ondersteuning in de praktijk, lokale crisislijnen⁠(opent in een nieuw venster) of iemand die ze vertrouwen.

Gesprekken die gaan over welzijn, levensadvies of andere mentale gezondheidssituaties kunnen sterk variëren in onderwerp, urgentie en culturele context. MentalHealthBench is ontworpen om de breedte van deze realistische scenario's en gebruikerspersona's vast te leggen. Met behulp van privacybeschermende technieken hebben we synthetische gesprekken over mentale gezondheid gecreëerd die realistische gebruikpatronen van AI voor geestelijke gezondheid nauwkeurig weergeven. Sommige scenario's bevatten ook relevante achtergrondinformatie over de synthetische gebruiker — zoals een recent verlies in het gezin — zodat we kunnen beoordelen of modellen die context gebruiken om hun reacties passend af te stemmen.

MentalHealthBench omvat scenario's met volwassenen, tieners, mantelzorgers en behandelaars, in meerdere talen en regio's. De gesprekken bestrijken meerdere thematische gebieden en dekken het volledige spectrum van ernst:

• Niet-acuut—Alledaagse gesprekken die soms emotionele componenten bevatten.

• Hoge ernst—Gesprekken die wijzen op ernstigere psychische problemen of aanzienlijke ontreddering, maar niet op een directe noodsituatie.

• Noodgevallen—Gesprekken over signalen van een noodsituatie in de geestelijke gezondheid of directe veiligheidszorgen die dringende ondersteuning in de praktijk vereisen.

Voortbouwend op ons eerdere, door clinici geïnformeerde werk voor HealthBench en HealthBench Professional⁠(opent in een nieuw venster),⁠(opent in een nieuw venster) hebben we MentalHealthBench ontwikkeld in nauwe samenwerking met onze groep experts op het gebied van geestelijke gezondheid. Deze groep bestond uit meer dan 80 erkende psychologen en psychiaters uit 22 landen, die 19 talen spraken en bijna 20 subspecialismen op het gebied van geestelijke gezondheid vertegenwoordigden.

De experts waren verantwoordelijk voor het lezen van elk synthetisch gesprek en het opstellen van een gedetailleerde lijst met rubriccriteria om de antwoorden van het model op het laatste gebruikersbericht te evalueren. Elk criterium richt zich op een enkel aspect van de reactie van het model, zoals het stellen van de juiste vraag of het geven van het best mogelijke advies. Ze hebben elk een waarde variërend van -10 tot +10: positieve punten belonen nuttig gedrag, terwijl negatieve punten schadelijk gedrag bestraffen, en criteria met een hogere waarde duiden op een grotere klinische relevantie in de context van een gesprek.

Elk gesprek werd beoordeeld door ten minste drie experts, en alleen criteria die door allen werden geaccepteerd, werden opgenomen in de uiteindelijke benchmark. De definitieve rubriccriteria van de benchmark weerspiegelen daarom een gedeeld oordeel over hoe modellen in elke context moeten reageren. Voor elk gesprek gebruiken we een geautomatiseerde beoordelaar, GPT‑5.6 Sol, om de antwoorden van het model te beoordelen aan de hand van de door experts geschreven criteria. Het artikel beschrijft het beoordelingsproces en de evaluatie-instellingen in detail.

We hebben een breed scala aan modellen geëvalueerd op MentalHealthBench. De onderstaande resultaten tonen de prestaties van deze modellen op de volledige dataset. De evaluatie meet of de reactie van een model alle ideale gedragingen vertoont die experts voor elk scenario hebben vastgesteld, en ongeoorloofd gedrag vermijdt.

De benchmark omvat gesprekken op verschillende ernstniveaus. Hierdoor krijgen we inzicht in de modelprestaties in zowel alledaagse scenario's rond geestelijke gezondheid als acute noodsituaties waarin hulp in de echte wereld nodig is.

Gesprekken in de benchmark vertegenwoordigen vier typen gebruikers: volwassenen, tieners van 13 tot 17 jaar, mantelzorgers en behandelaars. Voor de tienerpersona vermeldden we via een systeembericht expliciet dat de gebruiker 13 tot 17 jaar oud was. Deze aanpak is bedoeld om bij verschillende modelaanbieders te werken, maar omvat mogelijk niet alle veiligheidsmaatregelen die in afzonderlijke producten zijn ingebouwd. Gesprekken met de tienerpersona werden beoordeeld door behandelaars met expertise in de geestelijke gezondheid van jongeren. Zo konden we beter beoordelen of reacties aansloten bij de unieke behoeften van tieners.

MentalHealthBench maakt ook een veelzijdige meting van modelgedrag mogelijk. De totaalscore kan worden uitgesplitst naar prestaties op tien dimensies van modelgedrag rond geestelijke gezondheid. Deze gedragingen zijn gedefinieerd door experts in geestelijke gezondheid en zijn bedoeld om nuances in modelprestaties vast te leggen. Modellen met vergelijkbare totaalscores kunnen voor deze gedragingen verschillende sterke punten hebben.

Met zulke gedetailleerde metingen kunnen onderzoekers verbeterpunten binnen interpreteerbaar modelgedrag identificeren. Zo zien we dat geavanceerdere modellen steeds beter op passende wijze om context vragen. Deze verbeteringen weerspiegelen de investeringen van OpenAI en andere modelaanbieders in de manier waarop modellen omgaan met gesprekken over geestelijke gezondheid.

Naast MentalHealthBench voerden we een afzonderlijke analyse uit om adviezen van experts te vergelijken met wat mensen nuttig vinden aan ondersteuning door AI. We wilden nagaan of reacties die experts hoog beoordeelden, voor gebruikers toch koud of niet nuttig konden aanvoelen. Door zowel de beoordelingen van modelreacties door gebruikers en experts als de criteria die zij opstelden te vergelijken, konden we kwantificeren waar hun perspectieven overeenkwamen, verschilden of elkaar aanvulden. De definitieve beoordelingscriteria van de benchmark zijn gebaseerd op consensus onder experts; deze afzonderlijke analyse heeft ze niet gewijzigd.

We werkten met 44 volwassenen uit 16 landen en met 14 verschillende talen, die AI hadden gebruikt voor ondersteuning bij hun geestelijke gezondheid of emoties. Deelnemers beoordeelden modelreacties op synthetische gesprekken en schreven criteria die beschreven hoe nuttige ondersteuning eruit moet zien. Hun beoordeling bleef beperkt tot niet-acute gesprekken, zodat ze niet werden blootgesteld aan mogelijk schokkend materiaal met een hoge ernst.

De perspectieven van gebruikers benadrukten kenmerken die mensen waarderen in ondersteuning door AI, maar die in adviezen van experts minder nadruk kregen, met name praktische vervolgstappen en toon. Experts legden meer nadruk op het verzamelen van relevante context en het zorgvuldig interpreteren van onduidelijke situaties. Deze vergelijking geeft ons een vollediger beeld van wat mensen in ondersteuning waarderen en hoe die voorkeuren zich verhouden tot klinische adviezen.

MentalHealthBench biedt experts, onderzoekers en ontwikkelaars een gedeeld hulpmiddel om veilige, nuttige ondersteuning door AI in uiteenlopende situaties rond geestelijke gezondheid te evalueren. Door de benchmark openbaar beschikbaar te stellen, nodigen we de gemeenschap uit om de methoden te onderzoeken, tekortkomingen in bestaande modellen vast te stellen en te werken aan het verbeteren van toekomstige modellen. Geen enkele benchmark omvat alles wat in een persoonlijk gesprek van belang is, maar we hopen dat MentalHealthBench helpt een hogere norm te stellen voor de manier waarop AI mensen ondersteunt.

We ondersteunen ook andere initiatieven op het gebied van AI en geestelijke gezondheid, onder meer via subsidies voor nieuw onderzoek, door samen met de Partnership on AI⁠(opent in een nieuw venster) experts bijeen te brengen en door aanvullende onafhankelijke initiatieven te ondersteunen, zoals de evaluatie van geestelijke gezondheid⁠(opent in een nieuw venster) van Transluce.

Naast dit onderzoek hebben we de reacties van ChatGPT verbeterd in gevoelige gesprekken, de toegang tot crisishulp uitgebreid en Vertrouwde contactpersoon toegevoegd om mensen op moeilijke momenten in contact te brengen met iemand die ze vertrouwen. We hebben ook ChatGPT voor tieners geïntroduceerd, met extra bescherming voor jongere gebruikers.

MentalHealthBench is een van de manieren waarop we werken aan AI die miljoenen mensen helpt moeilijke momenten het hoofd te bieden, hun relaties te versterken en gezonder en bevredigender te leven.