Við kynnum MentalHealthBench

Fólk leitar til gervigreindar með alls kyns samræður: til að takast á við erfitt samband, vinna úr hversdagslegu stressi, styðja einhvern sem því þykir vænt um eða ákveða hvernig eigi að nálgast krefjandi aðstæður. Þessar samræður krefjast nákvæmni, praktískrar dómgreindar og virðingar fyrir sjálfræði fólks. Þar sem meira en einn milljarður manna notar ChatGPT í hverri viku beinast rannsóknir okkar að því að hjálpa líkönum að bregðast við af umhyggju gagnvart fjölbreyttum þörfum og setja öryggi og velferð fólks í forgang.

Flestar úttektir á gervigreind á þessu sviði hafa einkum beinst að neyðaraðstæðum, í ljósi mikilvægis þeirra fyrir öryggi, og mæla árangur með víðtækum, fyrirfram skilgreindum viðmiðum. Þetta hefur skilið eftir skarð í skilningi á því hvernig líkön standa sig í alls kyns samtölum um geðheilsu og hversu vel svör þeirra samræmast leiðbeiningum sérfræðinga í hverju tilviki, umfram það hvort þau forðast óleyfileg svör. Mat á því hvernig líkön takast á við þessar ólíku aðstæður er nauðsynlegt til að þróa gervigreind sem styður með virkum hætti við langtímavellíðan og öryggi fólks.

Við kynnum MentalHealthBench, nýtt opið viðmið til að mæla hvernig gervigreindarkerfi bregðast við í raunhæfum samtölum um geðheilsu. MentalHealthBench var þróað saman með alþjóðlegum hópi 80 löggiltra sérfræðinga í geðheilbrigði frá 22 löndum. Það metur getu líkansins á lykilsviðum geðheilbrigðishegðunar eins og öryggi, samhengisleit, varðveislu sjálfræðis notenda og veitingu hagnýtrar leiðsagnar þegar við á. Við gefum það út opinberlega svo aðrir rannsakendur geti skoðað aðferðirnar, framkvæmt eigið mat og byggt á þessari vinnu.

Niðurstöður MentalHealthBench sýna stöðugar framfarir gervigreindarkerfa við að hjálpa fólki að takast á við aðstæður sem varða geðheilsu. Þótt ChatGPT komi ekki í stað meðferðar eða faglegrar umönnunar hjálpar innsýn sem byggist á þekkingu sérfræðinga okkur að mæla framfarir í átt að gervigreindarlíkönum sem geta brugðist við af samkennd, stuðlað að vellíðan og leiðbeint fólki í átt að raunverulegum stuðningi, svo sem neyðarlínum⁠(opnast í nýjum glugga) eða einhverjum sem það treystir.

Samtöl sem snúa að vellíðan, lífsráðgjöf eða öðrum sviðsmyndum tengdum geðheilsu geta verið mjög ólík hvað varðar efni, hversu brýn þau eru og menningarlegt samhengi. MentalHealthBench er hannað til að fanga fjölbreytileika þessara raunhæfu sviðsmynda og notenda. Með aðferðum sem vernda friðhelgi bjuggum við til tilbúin samtöl um geðheilsu sem endurspegla nákvæmlega raunverulegt notkunarmynstur gervigreindar á sviði geðheilsu. Sumar sviðsmyndir innihalda einnig viðeigandi bakgrunnsupplýsingar um tilbúna notandann — svo sem nýlegan missi í fjölskyldunni — svo að við getum metið hvort líkönin nýti sér það samhengi til að sníða svör sín á viðeigandi hátt.

MentalHealthBench inniheldur sviðsmyndir sem taka til fullorðinna, unglinga, umönnunaraðila og heilbrigðisstarfsfólks á mörgum tungumálum og svæðum. Samtölin ná yfir margvísleg efni og taka til allra alvarleikastiga:

• Ekki bráðatilvik –Hversdagsleg samtöl sem geta falið í sér einhverja tilfinningalega þætti.

• Mikill alvarleiki—Samtöl sem benda til alvarlegri geðheilbrigðisáhyggna eða verulegrar vanlíðanar, en ekki neyðarástands sem krefst tafarlausra viðbragða.

• Neyðartilvik—Samtöl sem sýna merki um neyðarástand vegna geðheilsu eða bráðar áhyggjur af öryggi sem kalla á tafarlausan stuðning í raunheimum.

Byggt á fyrri vinnu okkar með aðkomu heilbrigðisstarfsfólks fyrir HealthBench og HealthBench Professional⁠(opnast í nýjum glugga),⁠(opnast í nýjum glugga) þróuðum við MentalHealthBench í nánu samstarfi við hóp sérfræðinga okkar í geðheilbrigði. Í honum voru yfir 80 löggiltir sálfræðingar og geðlæknar frá 22 löndum, sem töluðu 19 tungumál og voru fulltrúar tæplega 20 sérsviða innan geðheilbrigðis.

Sérfræðingarnir báru ábyrgð á að lesa hvert tilbúið samtal og útbúa ítarlegan lista yfir matsþætti til að meta svör líkansins við síðustu skilaboðum notandans. Hvert viðmið beinist að einum þætti í svari líkansins, svo sem að spyrja réttrar spurningar eða veita bestu mögulegu ráðgjöf. Hvert þeirra hefur vægi á bilinu -10 til +10: jákvæð stig verðlauna gagnlega hegðun, en neikvæð stig refsa fyrir skaðlega hegðun, og viðmið með hærra gildi gefa til kynna meira klínískt mikilvægi í samhengi samtals.

Hvert samtal var yfirfarið af að minnsta kosti þremur sérfræðingum og aðeins viðmið sem allir samþykktu voru tekin með í endanlega viðmiðið. Endanlegu matsrammarnir í viðmiðinu endurspegla því sameiginlegt mat á því hvernig líkön ættu að svara í hverju samhengi. Fyrir hvert samtal notum við sjálfvirkan einkunnagjafa, GPT‑5.6 Sol, til að meta svör líkana með hliðsjón af viðmiðunum sem sérfræðingar hafa samið. Greinin lýsir einkunnagjafarferlinu og matsstillingunum ítarlega.

Við mátum fjölbreytt úrval líkana á MentalHealthBench. Niðurstöðurnar hér að neðan sýna frammistöðu þessara líkana á öllu gagnasafninu. Matið kannar hvort svar líkans sýni alla þá kjörhegðun sem sérfræðingar skilgreindu fyrir hverja sviðsmynd, jafnframt því að forðast óheimila hegðun.

Viðmiðið nær yfir samtöl á mismunandi alvarleikastigum. Þetta gerir okkur kleift að skilja frammistöðu líkansins bæði í hversdagslegum aðstæðum sem varða geðheilsu og í brýnni neyðartilvikum sem varða geðheilsu og krefjast aðstoðar í raunheimum.

Samtölin í viðmiðinu endurspegla fjórar tegundir notenda: fullorðna, unglinga á aldrinum 13–17 ára, umönnunaraðila og sérfræðinga í klínísku starfi. Fyrir unglinga tókum við skýrt fram í kerfisskilaboðum að notandinn væri á aldrinum 13–17 ára. Þessari nálgun er ætlað að virka hjá ólíkum þjónustuveitendum líkana, þó hún nái hugsanlega ekki yfir allar öryggisráðstafanir sem eru innbyggðar í einstakar vörur. Samtöl sem tengdust unglingum voru yfirfarin af sérfræðingum í klínísku starfi með þekkingu á geðheilsu ungmenna til að hjálpa við að meta hvort svör henti sérstökum þörfum unglinga.

MentalHealthBench gerir einnig kleift að mæla líkanshegðun á margvíslegan hátt. Heildareinkunninni má skipta upp í frammistöðu í tíu víddum fyrir hegðun líkansins í tengslum við geðheilsu. Þessi hegðun er skilgreind af sérfræðingum í geðheilbrigði og miðar að því að fanga blæbrigði í frammistöðu líkansins. Líkön með svipaðar heildareinkunnir geta haft ólíka styrkleika á þessum sviðum.

Nákvæmar mælingar sem þessar geta hjálpað rannsakendum að greina svið þar sem bæta má skiljanlega hegðun líkana. Til dæmis sjáum við að geta líkans til að leita viðeigandi samhengis hefur aukist með þróaðri líkönum. Þessar framfarir endurspegla fjárfestingar OpenAI og annarra þjónustuveitenda líkana í að bæta hvernig líkön takast á við samtöl um geðheilsu.

Samhliða MentalHealthBench gerðum við sérstaka greiningu til að bera saman leiðsögn sérfræðinga við það sem fólki finnst gagnlegt við aðstoð gervigreindar. Við vildum kanna hvort svör, sem sérfræðingar gáfu háa einkunn, gætu samt virst notendum kaldranaleg eða lítt hjálpleg. Með því að bera saman einkunnir bæði notenda og sérfræðinga fyrir svör líkansins og viðmiðin sem þeir settu fram gátum við metið hvar sjónarmið þeirra féllu saman, voru ólík eða bættu hvert annað upp. Endanleg matsviðmið viðmiðunarprófsins byggjast á samstöðu sérfræðinga; þessi sérstaka greining breytti þeim ekki.

Við unnum með 44 fullorðnum einstaklingum sem komu frá 16 löndum og töluðu 14 tungumál og höfðu notað gervigreind vegna geðheilsu sinnar eða fyrir tilfinningalegan stuðning. Þátttakendur gáfu svörum líkana við tilbúnum samtölum einkunn og settu fram viðmið sem lýstu því hvernig gagnlegur stuðningur ætti að líta út. Yfirferð þeirra takmarkaðist við samtöl sem ekki voru bráðs eðlis til að forðast að þeir sæju efni sem gæti valdið vanlíðan.

Sjónarmið notenda lögðu áherslu á eiginleika sem fólk metur í stuðningi gervigreindar sem minni áhersla var lögð á í leiðbeiningum sérfræðinga, sérstaklega hagnýt næstu skref og tón. Sérfræðingar lögðu meiri áherslu á að afla viðeigandi samhengis og túlka óljósar aðstæður vandlega. Þessi samanburður gefur okkur fyllri mynd af því hvað fólk metur í stuðningi og hvernig þær óskir tengjast klínískum leiðbeiningum.

MentalHealthBench veitir sérfræðingum, rannsakendum og þróunaraðilum sameiginlegt verkfæri til að meta öruggan og gagnlegan stuðning gervigreindar í ólíkum aðstæðum sem tengjast geðheilsu. Með því að gefa það út opinberlega bjóðum við samfélaginu að skoða aðferðir þess, greina eyður í núverandi líkönum og vinna að því að bæta framtíðarlíkön. Ekkret viðmiðunarpróf nær yfir allt sem skiptir máli í persónulegu samtali, en við vonum að MentalHealthBench hjálpi til við að setja hærri staðal fyrir það hvernig gervigreind styður við fólk.

Við styðjum einnig önnur verkefni á sviði gervigreindar og geðheilsu, meðal annars með styrkjum til nýrra rannsókna, með því að kalla saman sérfræðinga ásamt Partnership on AI⁠(opnast í nýjum glugga), og með stuðningi við sjálfstæð viðbótarverkefni á borð við mat Transluce á geðheilsu⁠(opnast í nýjum glugga).

Samhliða þessum rannsóknum höfum við bætt svör ChatGPT í viðkvæmum samtölum, aukið aðgengi að krísuúrræðum og bætt við traustum tengilið til að tengja fólk við aðila sem það treystir við vanlíðan. Við höfum einnig kynnt ChatGPT fyrir unglinga, með viðbótarvernd fyrir yngri notendur.

MentalHealthBench er ein af þeim leiðum sem við erum að vinna að til að þróa gervigreind sem hjálpar milljónum manna að takast á við erfiðar stundir, styrkja sambönd sín og lifa heilbrigðara og innihaldsríkara lífi.