Vi presenterar MentalHealthBench

Människor vänder sig till AI för många typer av samtal: navigera i ett svårt förhållande, arbeta igenom vardagens stress, stödja någon de bryr sig om, eller bestämma hur man ska närma sig en utmanande situation. Dessa samtal kräver noggrannhet, praktisk bedömning och respekt för människors handlingsfrihet. Med mer än en miljard människor som använder ChatGPT varje vecka fokuserar vår forskning på att hjälpa modeller att svara med omsorg över ett brett spektrum av behov och sätta människors säkerhet och välbefinnande först.

De flesta utvärderingar av AI inom detta område har främst fokuserat på nödscenarier, med tanke på deras betydelse för säkerheten, och mäter framgång med hjälp av breda, fördefinierade kriterier. Detta har lämnat ett gap i förståelsen för hur modeller presterar över hela utbudet av mentalhälsosamtal, och hur väl deras svar överensstämmer med experters vägledning för varje situation, utöver om de undviker otillåtna svar. Att bedöma hur modeller hanterar dessa olika situationer är avgörande för att bygga mot AI som aktivt stöder människors långsiktiga välbefinnande och säkerhet.

Vi introducerar MentalHealthBench, ett nytt öppet riktmärke för att mäta hur AI-system svarar i realistiska samtal om mental hälsa. MentalHealthBench skapades tillsammans med en global kohort av 80 licensierade experter inom psykisk hälsa från 22 länder. Den bedömer modellfunktioner över viktiga mentala hälsobeteenden som säkerhet, söka sammanhang, bevara användarbyrå, och ge handlingsbar vägledning när det är lämpligt. Vi släpper det öppet så att andra forskare kan undersöka metoderna, köra sina egna utvärderingar och bygga vidare på arbetet.

Resultat på MentalHealthBench visar den stadiga förbättringen av AI-system för att hjälpa människor att navigera i psykiska situationer. Även om ChatGPT inte ersätter terapi eller professionell vård, hjälper expertinformerade insikter oss att mäta framstegen mot AI-modeller som kan svara med empati, främja välbefinnande och vägleda människor mot verkligt stöd som lokala krishotlines⁠(öppnas i ett nytt fönster) eller någon de lit ar på.

Konversationer som involverar välbefinnande, livsråd eller andra psykiska hälsoscenarier kan variera mycket i ämne, brådskande och kulturellt sammanhang. MentalHealthBench är utformad för att fånga bredden i dessa realistiska scenarier och användarpersonas. Med hjälp av integritetsbevarande tekniker skapade vi syntetiska samtal om mental hälsa som exakt återspeglar verkliga användningsmönster för AI för mental hälsa. Vissa scenarier innehåller också relevant bakgrundsinformation om den syntetiska användaren - till exempel en ny förlust i familjen - så att vi kan bedöma om modeller använder det sammanhanget för att skräddarsy sina svar på lämpligt sätt.

MentalHealthBench innehåller scenarier som involverar vuxna, tonåringar, anhöriga och vårdpersonal, över flera språk och regioner. Samtalen spänner över flera aktuella teman och ger täckning över hela spektrumet av skärpa:

• Icke-akut—Vardagliga samtal som kan involvera vissa känslomässiga komponenter.

• Hög skärpa- Samtal som indikerar allvarligare psykiska problem eller betydande nöd, men inte en omedelbar nödsituation.

• Nödsituationer— Samtal som involverar tecken på en psykisk nödsituation eller omedelbara säkerhetsproblem som kräver brådskande stöd i verkligheten.

Bygger på vårt tidigare, klinikerinformerade arbete för HealthBench och HealthBench Professional⁠(öppnas i ett nytt fönster),⁠(öppnas i ett nytt fönster) vi utvecklade MentalHealthBench i nära samarbete med vår kohort av experter inom psykisk hälsa. Detta bestod av mer än 80 licensierade psykologer och psykiatriker i 22 länder, som talade 19 språk och representerade nästan 20 underspecialiteter inom psykisk hälsa.

Experterna var ansvariga för att läsa varje syntetisk konversation och producera en detaljerad lista med rubrikkkriterier för att utvärdera modellsvar på det senaste användarmeddelandet. Varje kriterium riktar sig till en enda aspekt av modellsvaret, till exempel att ställa rätt fråga eller ge bästa möjliga råd. De har var och en en vikt som sträcker sig från -10 till +10: positiva poäng belönar fördelaktiga beteenden, medan negativa poäng straffar skadliga, och kriterier med större värden indikerar större klinisk betydelse i samband med en konversation.

Varje konversation granskades av minst tre experter, och endast kriterier som accepterades av dem alla inkluderades i det slutliga riktmärket. De slutliga rubrikerna i riktmärket återspeglar därför en gemensam bedömning av hur modeller ska reagera i varje sammanhang. För varje konversation använder vi en automatiserad graderare, GPT‑5.6 Sol, för att bedöma modellsvar mot expertskrivna kriterier. Uppsatsen beskriver betygsprocessen och utvärderingsinställningarna i detalj.

Vi utvärderade ett brett urval av modeller med MentalHealthBench. Resultaten nedan visar modellernas resultat för hela datauppsättningen. Utvärderingen mäter om en modells svar uppvisar alla idealiska beteenden som experterna identifierat för varje scenario och samtidigt undviker otillåtna beteenden.

Riktmärken omfattar samtal på olika allvarlighetsnivåer. Det gör det möjligt för oss att förstå modellens prestanda både i vardagliga situationer som rör psykisk hälsa och i krissituationer inom psykisk hälsa som kräver mer brådskande insatser i verkligheten.

Samtalen i referensramen representerar fyra användargrupper: vuxna, ungdomar i åldern 13–17 år, anhöriga och vårdpersonal. För tonårspersonan har vi uttryckligen angett i ett systemmeddelande att användaren är mellan 13 och 17 år. Metoden är utformad för att fungera med olika modellleverantörer, men tar inte nödvändigtvis hänsyn till alla inbyggda skyddsmekanismer i de enskilda produkterna. Samtalen med tonårspersonan har granskats av kliniker som är specialiserade på ungdomars psykiska hälsa för att bedöma om svaren var anpassade till tonåringars specifika behov.

MentalHealthBench möjliggör också mångfacetterad mätning av Modell-beteenden. Det övergripande resultatet kan delas upp i tio dimensioner av Modell-beteenden inom psykisk hälsa. Beteendena definieras av experter inom psykisk hälsa och ska fånga nyanser i Modellernas resultat. Modeller med liknande totalpoäng kan ha olika styrkor inom dessa beteenden.

Sådan detaljerad mätning kan hjälpa forskare att identifiera förbättringsområden utifrån begripliga Modell-beteenden. Vi ser till exempel att Modellernas förmåga att på lämpligt sätt efterfråga sammanhang har ökat hos mer avancerade modeller. Förbättringarna speglar de investeringar som OpenAI och andra Modell-leverantörer gör för att förbättra hur modeller hanterar samtal om psykisk hälsa.

Parallellt med MentalHealthBench har vi genomfört en separat analys för att jämföra experternas rekommendationer med vad användarna anser vara användbart i det stöd som AI erbjuder. Vi ville undersöka om svar som fått mycket höga betyg av experter ändå kunde uppfattas som kalla eller mindre användbara av användarna. Genom att jämföra användarnas och experternas bedömningar av modellernas svar, liksom de kriterier som de båda grupperna har formulerat, har vi kunnat kvantifiera de punkter där deras perspektiv överensstämmer, skiljer sig åt eller kompletterar varandra. De slutgiltiga bedömningskriterierna i riktlinjerna baseras på expertkonsensus – den här separata analysen har inte förändrat dem.

Vi arbetade med 44 vuxna från 16 länder och 14 språk som hade använt AI för stöd kring psykisk hälsa eller känslor. Deltagarna bedömde modellsvar på syntetiska samtal och skrev kriterier som beskrev hur hjälpsamt stöd bör se ut. Granskningen begränsades till icke-akuta samtal för att deltagarna inte skulle utsättas för potentiellt påfrestande material med hög allvarlighetsgrad.

Användarnas perspektiv lyfte fram egenskaper som människor värdesätter i AI-stöd men som betonades mindre i experternas vägledning, särskilt praktiska nästa steg och tonläge. Experter lade större vikt vid att samla in relevant sammanhang och tolka tvetydiga situationer omsorgsfullt. Jämförelsen ger oss en mer heltäckande bild av vad människor värdesätter i stöd och hur deras preferenser förhåller sig till klinisk vägledning.

MentalHealthBench ger experter, forskare och utvecklare ett gemensamt verktyg för att utvärdera säkert och användbart AI-stöd i olika situationer som rör psykisk hälsa. Genom att göra det öppet tillgängligt bjuder vi in omvärlden att granska metoderna, identifiera brister i befintliga modeller och arbeta för att förbättra dem. Inget riktmärke fångar allt som är viktigt i ett personligt samtal, men vi hoppas att MentalHealthBench bidrar till en högre standard för hur AI stöttar människor.

Vi stöder också andra initiativ inom AI och psykisk hälsa, bland annat genom anslag till ny forskning, genom att samla experter tillsammans med Partnership on AI⁠(öppnas i ett nytt fönster) och genom att bistå kompletterande oberoende initiativ, som Transluces utvärdering av psykisk hälsa⁠(öppnas i ett nytt fönster).

Parallellt med forskningen har vi förbättrat ChatGPT:s svar i känsliga samtal, utökat tillgången till krisresurser och lagt till Betrodd kontakt för att hjälpa människor att nå någon de litar på när de mår dåligt. Vi har också lanserat ChatGPT för tonåringar, med ytterligare skydd för yngre användare.

MentalHealthBench är ett av våra sätt att arbeta mot AI som hjälper miljontals människor att hantera svåra stunder, stärka sina relationer och leva friskare och mer meningsfulla liv.