Vi lanserer MentalHealthBench

Folk bruker KI i mange ulike sammenhenger: for å håndtere et vanskelig forhold, takle hverdagsstress, hjelpe noen de bryr seg om eller finne ut hvordan de skal takle en utfordrende situasjon. Slike samtaler krever nøyaktighet, praktisk dømmekraft og respekt for den enkeltes handlefrihet. Med over en milliard brukere av ChatGPT hver uke, fokuserer vår forskning på å hjelpe modellene med å svare på en hensynsfull måte på et bredt spekter av behov, og å sette folks sikkerhet og velvære i første rekke.

De fleste evalueringene av KI på dette området har, på grunn av sikkerheten, i hovedsak fokusert på nødsituasjoner, og måler suksess ved hjelp av brede, forhåndsdefinerte kriterier. Dette har skapt et kunnskapshull i forståelsen av hvordan modellene presterer i hele spekteret av samtaler om psykisk helse, og i hvilken grad svarene samsvarer med ekspertanbefalinger for hver enkelt situasjon – utover om de unngår uakseptable svar. Det er avgjørende å vurdere hvordan modellene håndterer disse ulike situasjonene for å kunne utvikle KI som aktivt bidrar til menneskers velvære og sikkerhet på lang sikt.

Vi lanserer MentalHealthBench: en ny, åpen referansestandard for å måle hvordan KI-systemer reagerer i realistiske samtaler om psykisk helse. MentalHealthBench ble utviklet i samarbeid med en global gruppe på 80 autoriserte eksperter innen psykisk helse fra 22 land. Den vurderer modellens evner når det gjelder sentrale atferdsmønstre innen psykisk helse, som sikkerhet, å søke sammenheng, å ivareta brukerens handlefrihet og å gi praktisk veiledning når det er hensiktsmessig. Vi publiserer dette slik at andre forskere kan granske metodene, gjennomføre egne evalueringer og bygge videre på arbeidet.

Resultater på MentalHealthBench viser den jevne forbedringen av AI-systemer når det gjelder å hjelpe folk med å navigere i psykiske helsesituasjoner. Selv om ChatGPT ikke er en erstatning for terapi eller profesjonell behandling, hjelper ekspertinformert innsikt oss med å måle fremgangen mot AI-modeller som er i stand til å reagere med empati, fremme velvære og veilede folk mot støtte i den virkelige verden, for eksempel lokale krisetelefoner⁠(åpnes i et nytt vindu) eller noen de stoler på.

Samtaler som involverer velvære, livsråd eller andre psykiske helsescenarier kan variere mye i tema, hastverk og kulturell kontekst. MentalHealthBench er designet for å fange bredden av disse realistiske scenariene og brukerpersonaene. Ved å bruke personvernbevarende teknikker skapte vi syntetiske psykiske helsesamtaler som nøyaktig gjenspeiler virkelige bruksmønstre for AI for mental helse. Noen scenarier inkluderer også relevant bakgrunnsinformasjon om den syntetiske brukeren – for eksempel et nylig tap i familien – slik at vi kan vurdere om modeller bruker den konteksten for å skreddersy svarene sine på riktig måte.

MentalHealthBench inneholder scenarier som omfatter voksne, tenåringer, omsorgspersoner og helsepersonell, på flere språk og fra ulike regioner. Samtalene omfatter flere aktuelle temaer og dekker hele spekteret av alvorlighetsgrad:

• Ikke-akutt –hverdagslige samtaler som kan innebære noen emosjonelle komponenter.

• Høy skarphet– Samtaler som indikerer mer alvorlige psykiske helseproblemer eller betydelig nød, men ikke en umiddelbar nødsituasjon.

• Nødsituasjoner– Samtaler som involverer tegn på en psykisk helsekrise eller umiddelbare sikkerhetsbekymringer som krever øyeblikkelig støtte i den virkelige verden.

Bygger på vårt tidligere, klinikerinformerte arbeid for HealthBench og HealthBench Professional⁠(åpnes i et nytt vindu),⁠(åpnes i et nytt vindu) utviklet vi MentalHealthBench i nært samarbeid med en gruppe eksperter på mental helse. Dette besto av mer enn 80 autoriserte psykologer og psykiatere fra 22 land, som snakket 19 språk og representerte nesten 20 underfagområder innen psykisk helse.

Ekspertene var ansvarlige for å lese hver syntetiske samtale og produsere en detaljert liste over rubrikkriterier for å evaluere modellresponser på den siste brukermeldingen. Hvert kriterium retter seg mot ett enkelt aspekt av modellresponsen, for eksempel å stille det riktige spørsmålet eller gi best mulig råd. De har hver en vekt som strekker seg fra -10 til +10: positive poeng belønner gunstig atferd, mens negative poeng straffer skadelig atferd, og kriterier med større verdier indikerer større klinisk betydning i konteksten av en samtale.

Hver samtale ble vurdert av minst tre eksperter, og kun kriterier som alle var enige om, ble inkludert i den endelige referanseindeksen. De endelige vurderingskriteriene i referanserammen gjenspeiler derfor en felles vurdering av hvordan modellene bør reagere i hver enkelt sammenheng. For hver samtale bruker vi et automatisert vurderingsverktøy, OpenAI GPT‑5.6 Sol, til å vurdere modellens svar opp mot de kriteriene som er utarbeidet av ekspertene. Artikkelen beskriver vurderingsprosessen og evalueringsinnstillingene i detalj.

Vi evaluerte et bredt utvalg av modeller med MentalHealthBench. Resultatene nedenfor viser modellenes ytelse for hele datasettet og etter samtalenes alvorlighetsgrad. Evalueringen måler om svaret fra en modell viser all den ideelle atferden ekspertene har identifisert for hvert scenario, samtidig som det unngår uønsket atferd

Vi laget syntetiske samtaler som representerte fire typer brukere: voksne, tenåringer mellom 13 og 17 år, omsorgspersoner og klinikere. Vi ga bakgrunnsinformasjon gjennom systemmeldinger, og for tenåringsprofilen oppga vi uttrykkelig at brukeren var mellom 13 og 17 år. Denne tilnærmingen er utviklet for å fungere på tvers av modelleverandører, men fanger kanskje ikke opp alle sikkerhetstiltakene som er innebygd i de enkelte produktene.

For hver samtale skrev klinikere kriterier som beskrev hva et passende neste svar burde inneholde eller unngå, og vi evaluerte modellsvarene opp mot disse kriteriene. Samtalene med tenåringsprofilen ble gjennomgått av klinikere med kompetanse på psykisk helse hos unge, slik at de kunne vurdere om svarene var tilpasset tenåringers særegne behov.

MentalHealthBench gjør det også mulig å måle modellatferd fra flere sider. Det samlede resultatet kan deles opp i ytelse langs ti dimensjoner ved modellers atferd i samtaler om psykisk helse. Atferden er definert av eksperter på psykisk helse og skal fange opp nyanser i modellenes ytelse. Modeller med lignende samlet resultat kan ha ulike styrker på disse atferdsområdene.

Slike detaljerte målinger kan hjelpe forskere med å identifisere forbedringsområder innen forståelige former for modellatferd. Vi ser for eksempel at evnen en modell har til å innhente relevant kontekst, har blitt bedre i mer avanserte modeller. Disse forbedringene gjenspeiler investeringene OpenAI og andre modelleverandører har gjort for å forbedre måten modellene håndterer samtaler om psykisk helse på.

Parallelt med MentalHealthBench gjennomførte vi en separat analyse for å sammenligne klinikernes veiledning med det folk opplever som nyttig ved støtte fra KI. Referansetesten bruker vurderingskriterier skrevet av klinikere. Denne analysen undersøkte hvor brukernes og klinikernes perspektiver samsvarte, var ulike eller sto i konflikt.

Vi samarbeidet med 44 voksne fra 16 land og med 14 språk, som hadde brukt KI til støtte for psykisk helse eller følelser. Deltakerne vurderte modellsvar på syntetiske samtaler og skrev kriterier som beskrev hva nyttig støtte bør innebære. Gjennomgangen deres var begrenset til ikke-akutte samtaler for å unngå å utsette dem for potensielt belastende materiale med høy alvorlighetsgrad.

Brukernes perspektiver fremhevet egenskaper folk verdsetter ved støtte fra KI, men som fikk mindre vekt i klinikernes veiledning – særlig praktiske neste steg og tone. Klinikerne la større vekt på å innhente relevant kontekst og tolke tvetydige situasjoner med varsomhet. Sammenligningen gir oss et mer helhetlig bilde av hva folk verdsetter ved støtte, og hvordan disse preferansene henger sammen med klinisk veiledning.

MentalHealthBench gir eksperter, forskere og utviklere et felles verktøy for å evaluere trygg og nyttig KI-støtte i ulike situasjoner som gjelder psykisk helse. Ved å gjøre den åpent tilgjengelig inviterer vi fagmiljøet til å undersøke metodene, finne mangler i eksisterende modeller og arbeide for å forbedre modellene. Ingen referansetest fanger opp alt som betyr noe i en personlig samtale, men vi håper MentalHealthBench bidrar til å heve standarden for hvordan KI støtter mennesker.

Vi støtter også andre initiativer innen KI og psykisk helse, blant annet gjennom stipender til ny forskning, ved å samle eksperter sammen med Partnership on AI⁠(åpnes i et nytt vindu) og ved å bistå supplerende, uavhengige initiativer som Transluces evaluering av psykisk helse⁠(åpnes i et nytt vindu).

Parallelt med denne forskningen har vi forbedret svarene fra ChatGPT i sensitive samtaler, utvidet tilgangen til kriseressurser og lagt til Betrodd kontakt, slik at folk kan komme i kontakt med noen de stoler på når de har det vanskelig. Vi har også lansert ChatGPT for tenåringer, med ekstra beskyttelse for yngre brukere.

MentalHealthBench er én av måtene vi arbeider for å utvikle KI som hjelper millioner av mennesker gjennom vanskelige øyeblikk, styrker relasjonene deres og bidrar til sunnere og mer meningsfulle liv.