Introduktion af MentalHealthBench

Folk bruger AI til mange slags samtaler: at navigere i et vanskeligt forhold, bearbejde hverdagens stress, støtte en person, de holder af, eller beslutte, hvordan de skal gribe en udfordrende situation an. Disse samtaler kræver præcision, praktisk dømmekraft og respekt for menneskers selvbestemmelse. Med mere end en milliard mennesker, der bruger ChatGPT hver uge, fokuserer vores forskning på at hjælpe modeller med at reagere med omhu på tværs af en bred vifte af behov og sætte folks sikkerhed og velbefindende først.

De fleste evalueringer af AI på dette område har primært fokuseret på nødscenarier, i betragtning af deres betydning for sikkerheden, og måler succes ved hjælp af brede, foruddefinerede kriterier. Dette har efterladt et hul i forståelsen af, hvordan modeller præsterer på tværs af hele spektret af samtaler om mental sundhed, og hvor godt deres svar stemmer overens med eksperternes vejledning i hver situation, ud over hvorvidt de undgår forbudte svar. Det er afgørende at vurdere, hvordan modeller håndterer disse forskellige situationer, for at kunne bygge hen imod AI, der aktivt understøtter menneskers langsigtede velbefindende og sikkerhed.

Vi introducerer MentalHealthBench, et nyt åbent benchmark til måling af, hvordan AI-systemer reagerer i realistiske samtaler om mental sundhed. MentalHealthBench blev skabt i samarbejde med en global gruppe af 80 autoriserede eksperter inden for mental sundhed fra 22 lande. Den vurderer modelkapaciteter på tværs af centrale mentale sundhedsadfærd såsom sikkerhed, at søge sammenhæng, at bevare brugerens selvbestemmelse, og at yde handlingsrettet vejledning, når det er relevant. Vi offentliggør den, så andre forskere kan undersøge metoderne, udføre deres egne evalueringer og bygge videre på arbejdet.

Resultater fra MentalHealthBench viser den konstante forbedring af AI-systemer i forhold til at hjælpe folk med at navigere i situationer vedrørende psykisk sundhed. Selvom ChatGPT ikke er en erstatning for terapi eller professionel behandling, hjælper ekspertbaserede indsigter os med at måle fremskridtene hen imod AI-modeller, der er i stand til at reagere med empati, fremme velvære og guide folk mod støtte i den virkelige verden, såsom lokale krisehotlines⁠(åbner i et nyt vindue) eller en person, de har tillid til.

Samtaler, der involverer velvære, livsråd eller andre scenarier vedrørende psykisk sundhed, kan variere meget med hensyn til emne, hast og kulturel kontekst. MentalHealthBench er designet til at indfange bredden af disse realistiske scenarier og brugerpersonaer. Ved hjælp af privatlivsbeskyttende teknikker har vi skabt syntetiske samtaler om psykisk sundhed, der præcist afspejler virkelige brugsmønstre for AI i forbindelse med psykisk sundhed. Nogle scenarier inkluderer også relevante baggrundsoplysninger om den syntetiske bruger – såsom et nyligt tab i familien – så vi kan vurdere, om modeller bruger den kontekst til at skræddersy deres svar på passende vis.

MentalHealthBench omfatter scenarier, der involverer voksne, teenagere, omsorgspersoner og klinikere på tværs af flere sprog og regioner. Samtalerne spænder over flere tematiske områder og dækker hele spektret af mental skarphed:

• Ikke-akutte – Hverdagssamtaler, der kan involvere nogle følelsesmæssige komponenter.

• Høj skarphed – Samtaler, der indikerer mere alvorlige psykiske problemer eller betydelig nød, men ikke en umiddelbar nødsituation.

• Nødsituationer – Samtaler, der involverer tegn på en psykisk nødsituation eller umiddelbare sikkerhedsproblemer, der kræver akut støtte i den virkelige verden.

Med afsæt i vores tidligere, klinikerinformerede arbejde for HealthBench og HealthBench Professional⁠(åbner i et nyt vindue),⁠(åbner i et nyt vindue) vi udviklede vi MentalHealthBench i tæt samarbejde med vores gruppe af eksperter inden for mental sundhed. Gruppen bestod af mere end 80 autoriserede psykologer og psykiatere i 22 lande, der talte 19 sprog og repræsenterede næsten 20 underspecialer inden for mental sundhed.

Eksperterne var ansvarlige for at læse hver syntetisk samtale og udarbejde en detaljeret liste over rubrikkriterier for at evaluere modelsvar på den sidste brugerbesked. Hvert kriterium er rettet mod et enkelt aspekt af modelsvaret, såsom at stille det rigtige spørgsmål eller give den bedst mulige rådgivning. De har hver en vægtning fra -10 til +10: positive point belønner gavnlig adfærd, mens negative point straffer skadelig adfærd, og kriterier med større værdier indikerer større klinisk betydning i forbindelse med en samtale.

Hver samtale blev gennemgået af mindst tre eksperter, og kun kriterier, der blev accepteret af dem alle, blev inkluderet i det endelige benchmark. De endelige kriterier i benchmarket afspejler derfor en fælles vurdering af, hvordan modeller bør reagere i hver sammenhæng. For hver samtale bruger vi en automatiseret bedømmer, GPT‑5.6 Sol, til at vurdere modelsvar i forhold til de ekspertskrevne kriterier. Artiklen beskriver karaktergivningsprocessen og evalueringsindstillingerne i detaljer.

Vi evaluerede en lang række modeller på MentalHealthBench. Resultaterne nedenfor viser disse modellers præstation på hele datasættet. Evalueringen måler, om en models svar udviser al den ideelle adfærd, som eksperter har identificeret for hvert scenarie, og samtidig undgår forbudt adfærd.

Benchmarket dækker samtaler på forskellige niveauer af mental skarphed. Dette hjælper os med at forstå modellens præstation med hensyn til mental sundhed i både dagligdagsscenarier og mere akutte nødsituationer, der kræver reel støtte i den virkelige verden.

Samtalerne i benchmarket repræsenterer fire typer af brugere: voksne, teenagere på 13-17 år, omsorgspersoner og klinikere. I teenagerprofilen angav vi udtrykkeligt via en systembesked, at brugeren var mellem 13 og 17 år. Metoden er udviklet til at fungere på tværs af modeludbydere, men indfanger muligvis ikke alle de sikkerhedsforanstaltninger, der er indbygget i de enkelte produkter. Samtaler med teenagerprofilen blev gennemgået af klinikere med ekspertise i unges mentale sundhed for bedre at kunne vurdere, om svarene passer til teenageres særlige behov.

MentalHealthBench muliggør også en flerdimensionel måling af modeladfærd. Den samlede score kan opdeles i præstationen på ti dimensioner af modellers adfærd inden for psykisk sundhed. Adfærdsdimensionerne er defineret af eksperter i psykisk sundhed og skal indfange nuancer i modellernes præstation. Modeller med lignende samlede scorer kan have forskellige styrker på tværs af disse adfærdsdimensioner.

Så detaljerede målinger kan hjælpe forskere med at finde forbedringsområder inden for forståelige former for modeladfærd. Vi kan eksempelvis se, at modellernes evne til at indhente relevant kontekst er blevet bedre med mere avancerede modeller. Forbedringerne afspejler OpenAI's og andre modeludbyderes investeringer i at gøre modeller bedre til at håndtere samtaler om psykisk sundhed.

Parallelt med MentalHealthBench foretog vi en separat analyse for at sammenligne ekspertvejledning med det, mennesker fandt nyttigt ved AI-støtte. Vi ville undersøge om svar, som eksperter vurderede højt, stadig kunne føles kolde eller ikke særligt hjælpsomme for brugere. Ved at sammenligne både brugeres og eksperters bedømmelser af modelsvar og de kriterier, de skrev, kunne vi kvantificere, hvor deres perspektiver stemte overens, adskilte sig eller supplerede hinanden. Benchmarkets endelige scoringskriterier er baseret på ekspertkonsensus; denne separate analyse ændrede dem ikke.

Vi samarbejdede med 44 voksne, som havde brugt AI til støtte i forbindelse med psykisk sundhed eller følelser. De repræsenterede 16 lande og 14 sprog. Deltagerne bedømte modellers svar på syntetiske samtaler og skrev kriterier for, hvordan nyttig støtte bør se ud. Deres gennemgang var begrænset til ikke-akutte samtaler for at undgå at udsætte dem for potentielt belastende materiale med høj alvorlighedsgrad.

Brugerperspektiver fremhævede egenskaber ved AI-støtte, som mennesker værdsætter, men som fyldte mindre i eksperternes vejledning, især praktiske næste skridt og tone. Eksperterne lagde større vægt på at indsamle relevant sammenhæng og fortolke tvetydige situationer omhyggeligt. Sammenligningen giver os et mere fuldstændigt billede af, hvad mennesker værdsætter ved støtte, og hvordan deres præferencer hænger sammen med klinisk vejledning.

MentalHealthBench giver eksperter, forskere og udviklere et fælles værktøj til at evaluere sikker og nyttig AI-støtte i forskellige situationer forbundet med mental sundhed. Ved at udgive det åbent inviterer vi fællesskabet til at undersøge metoderne, identificere mangler i eksisterende modeller og arbejde på at forbedre fremtidige modeller. Intet benchmark indfanger alt det, der betyder noget i en personlig samtale, men vi håber, at MentalHealthBench kan bidrage til at hæve standarden for, hvordan AI støtter mennesker.

Vi støtter også andre initiativer inden for AI og psykisk sundhed, blandt andet gennem bevillinger til ny forskning, ved at samle eksperter med Partnership on AI⁠(åbner i et nyt vindue) og ved at bistå supplerende, uafhængige initiativer såsom Transluces evaluering af psykisk sundhed⁠(åbner i et nyt vindue).

Parallelt med denne forskning har vi forbedret ChatGPT's svar i følsomme samtaler, udvidet adgangen til kriseressourcer og tilføjet Pålidelig kontakt, så mennesker kan få kontakt til en person, de har tillid til, når de er i krise. Vi har også introduceret ChatGPT til teenagere med yderligere beskyttelse af yngre brugere.

MentalHealthBench er en af de måder, vi arbejder hen imod AI, der hjælper millioner af mennesker gennem svære øjeblikke, styrker deres relationer og giver dem et sundere og mere meningsfuldt liv.