Tutvustame MentalHealthBenchi

Inimesed pöörduvad tehisintellekti poole mitmesuguste vestluste jaoks: keerulise suhte lahendamiseks, igapäevase stressiga toimetulekuks, lähedase toetamiseks või keerulise olukorra lahendamise viisiks. Need vestlused nõuavad täpsust, praktilist otsustusvõimet ja inimeste enesemääramise austamist. Kuna ChatGPT‑d kasutab igal nädalal üle miljardi inimese, keskendub meie uuring mudelite abistamisele, et reageerida hoolikalt laiale hulgale vajadustele ning seada inimeste turvalisus ja heaolu esikohale.

Enamik tehisintellekti hindamisi selles valdkonnas on keskendunud peamiselt hädaolukordadele, arvestades nende olulisust ohutuse seisukohast, ja mõõtnud edu laiade, eelnevalt määratletud kriteeriumide abil. See on jätnud lünga arusaamises sellest, kuidas mudelid toimivad kõigis vaimse tervise vestlustes ja kui hästi nende vastused on iga olukorra puhul kooskõlas ekspertide juhistega, lisaks sellele, kas nad väldivad keelatud vastuseid. Selle hindamine, kuidas mudelid nendes erinevates olukordades toime tulevad, on oluline tehisintellekti suunas liikumiseks, mis aktiivselt toetab inimeste pikaajalist heaolu ja turvalisust.

Tutvustame MentalHealthBenchi – uut avatud võrdlusalust, mille abil mõõdetakse tehisintellekti süsteemide reageeringut realistlikes vaimse tervise vestlustes. MentalHealthBench loodi koos 80 litsentseeritud vaimse tervise eksperdist koosneva ülemaailmse rühmaga 22 riigist. See hindab mudeli võimekust peamiste vaimse tervise käitumismustrite, näiteks turvalisuse, konteksti otsimise, kasutaja tegutsemisvõime säilitamise ja vajaduse korral tegutsemiskõlblike juhiste andmise valdkonnas. Avaldame selle avalikult, et teised teadlased saaksid meetodeid uurida, oma hindamisi läbi viia ja tööle tugineda.

MentalHealthBenchi tulemused näitavad tehisintellekti süsteemide pidevat paranemist inimeste vaimse tervise olukordades navigeerimisel. Kuigi ChatGPT ei asenda teraapiat ega professionaalset abi, aitavad ekspertidelt saadud teadmised meil mõõta edusamme tehisintellekti mudelite suunas, mis suudavad reageerida empaatiaga, edendada heaolu ja suunata inimesi reaalse toe poole, näiteks kohalike kriisitelefonide⁠(avaneb uues aknas) või usaldusväärse inimese poole.

Vestlused, mis hõlmavad heaolu, elunõuandeid või muid vaimse tervise stsenaariume, võivad teema, kiireloomulisuse ja kultuurilise konteksti poolest väga erineda. MentalHealthBench on loodud nende realistlike stsenaariumide ja kasutajapersoonide ulatuse jäädvustamiseks. Privaatsust säilitavate tehnikate abil lõime sünteetilisi vaimse tervise vestlusi, mis peegeldavad täpselt tehisintellekti reaalseid kasutusmustreid vaimse tervise valdkonnas. Mõned stsenaariumid sisaldavad ka asjakohast taustainformatsiooni sünteetilise kasutaja kohta – näiteks hiljutine kaotus perekonnas –, et saaksime hinnata, kas mudelid kasutavad seda konteksti oma vastuste asjakohaseks kohandamiseks.

MentalHealthBench hõlmab stsenaariume, milles osalevad täiskasvanud, teismelised, hooldajad ja kliinilised spetsialistid mitmes keeles ja piirkonnas. Vestlused hõlmavad mitmeid teemasid ning katavad tervisemurede kogu raskusastmete spektrit:

• Mitteakuutne –igapäevased vestlused, mis võivad sisaldada emotsionaalseid komponente.

• Kõrge riskitase– vestlused, mis viitavad tõsisematele vaimse tervise probleemidele või märkimisväärsele stressile, kuid mitte otsesele hädaolukorrale.

• Hädaolukorrad– vestlused, mis hõlmavad vaimse tervise hädaolukorra märke või otseseid ohutusprobleeme, mis nõuavad kiiret reaalset tuge.

Tuginedes meie varasemale, kliiniliste spetsialistide teadmistel põhinevale tööle HealthBenchi ja HealthBench Professionali⁠(avaneb uues aknas) jaoks,⁠(avaneb uues aknas) töötasime MentalHealthBenchi välja tihedas koostöös meie vaimse tervise ekspertide rühmaga. See koosnes enam kui 80 litsentseeritud psühholoogist ja psühhiaatrist 22 riigis, kes rääkisid 19 keelt ja esindasid ligi 20 vaimse tervise alameriala.

Eksperdid vastutasid iga sünteetilise vestluse lugemise ja rubriikide kriteeriumide üksikasjaliku loendi koostamise eest, et hinnata mudeli vastuseid viimasele kasutajasõnumile. Iga kriteerium on suunatud mudeli vastuse ühele aspektile, näiteks õige küsimuse esitamisele või parima võimaliku nõu andmisele. Neil kõigil on kaal vahemikus -10 kuni +10: positiivsed punktid premeerivad kasulikku käitumist, negatiivsed punktid karistavad kahjulikku käitumist ja suuremate väärtustega kriteeriumid näitavad suuremat kliinilist tähtsust vestluse kontekstis.

Iga vestlust vaatasid üle vähemalt kolm eksperti ja lõplikku võrdlusalusesse lisati ainult need kriteeriumid, mille kõik nad aktsepteerisid. Seega peegeldavad võrdlusaluse lõplikud rubriigid ühist hinnangut selle kohta, kuidas mudelid peaksid igas kontekstis reageerima. Iga vestluse puhul kasutame automatiseeritud hindajat GPT‑5.6 Sol, et hinnata mudeli vastuseid ekspertide koostatud kriteeriumide alusel. Artiklis kirjeldatakse üksikasjalikult hindamisprotsessi ja hindamiskeskkondi.

Hindasime MentalHealthBenchiga mitmesuguseid mudeleid. Allpool toodud tulemused näitavad nende mudelite jõudlust kogu andmestiku ulatuses. Hindamisel mõõdetakse, kas mudeli vastus demonstreerib kõiki ekspertide iga stsenaariumi jaoks määratud ideaalseid käitumisviise ning väldib keelatud käitumist.

Võrdlustest katab eri raskusastmega vestlusi. See võimaldab meil mõista mudeli suutlikkust nii igapäevaste vaimse tervise stsenaariumide kui ka kiireloomulisemate vaimse tervise hädaolukordade puhul, mis vajavad reaalset tuge.

Võrdlustestis olevad vestlused hõlmavad nelja tüüpi kasutajaid: täiskasvanud, 13–17-aastased noorukid, hooldajad ja kliinilised spetsialistid. Nooruki profiili puhul märkisime süsteemisõnumi kaudu selgelt, et kasutaja on 13–17-aastane. See lähenemine on loodud toimima kõigi mudelipakkujate puhul, kuigi see ei pruugi hõlmata kõiki üksikutesse toodetesse siseehitatud kaitsemeetmeid. Nooruki profiiliga seotud vestlused vaatasid üle noorte vaimse tervise eksperdid, et aidata hinnata, kas vastused on teismeliste ainulaadsetele vajadustele kohased.

MentalHealthBench võimaldab mudeli käitumist mõõta ka mitmest küljest. Üldtulemuse saab jagada mudeli vaimse tervisega seotud käitumise kümne mõõtme tulemuseks. Need käitumised on määratlenud vaimse tervise eksperdid ning nende eesmärk on tabada mudeli toimivuse nüansse. Sarnase üldtulemusega mudelitel võivad nende käitumiste lõikes olla erinevad tugevused.

Selline üksikasjalik mõõtmine aitab teadlastel tuvastada arusaadavalt kirjeldatava mudelikäitumise parandamist vajavaid valdkondi. Näiteks näeme, et arenenumate mudelite puhul on paranenud mudeli võime asjakohaselt konteksti küsida. Need edusammud kajastavad OpenAI ja teiste mudelipakkujate investeeringuid mudelite vaimse tervise vestlustes toimimise parandamisse.

Paralleelselt MentalHealthBenchiga viisime läbi eraldi analüüsi, et võrrelda ekspertide suuniseid sellega, mida inimesed ise tehisintellekti toes kasulikuks peavad. Tahtsime kontrollida, kas ekspertide poolt kõrgelt hinnatud vastused võivad kasutajatele siiski külmad või kasutud tunduda. Võrreldes nii kasutajate kui ka ekspertide hinnanguid mudeli vastustele ja nende kirjutatud kriteeriumidele, saime kvantifitseerida, kus nende vaatenurgad kattusid, erinesid või üksteist täiendasid. Võrdlustesti lõplikud hindamiskriteeriumid põhinevad ekspertide konsensusel; see eraldi analüüs neid ei muutnud.

Tegime koostööd 44 täiskasvanuga 16 riigist, kes rääkisid 14 keelt ja olid kasutanud tehisintellekti vaimse tervise või emotsionaalse toe saamiseks. Osalejad hindasid mudelite vastuseid sünteetilistele vestlustele ja koostasid kasulikku tuge kirjeldavad kriteeriumid. Et osalejad ei puutuks kokku potentsiaalselt häiriva kõrge riskitasemega materjaliga, piirdus nende ülevaade mitteakuutsete vestlustega.

Kasutajate vaatenurgad tõid esile omadusi, mida inimesed tehisintellekti toes väärtustavad, kuid mida ekspertide juhistes vähem rõhutati, eelkõige praktilisi järgmisi samme ja tooni. Eksperdid pöörasid rohkem tähelepanu asjakohase konteksti kogumisele ja mitmeti mõistetavate olukordade hoolikale tõlgendamisele. See võrdlus annab terviklikuma pildi sellest, mida inimesed toe juures väärtustavad ja kuidas need eelistused seostuvad kliiniliste juhistega.

MentalHealthBench annab ekspertidele, teadlastele ja arendajatele ühise tööriista tehisintellekti pakutava ohutu ja kasuliku toe hindamiseks eri vaimse tervise olukordades. Selle avalikult kättesaadavaks tegemisega kutsume kogukonda uurima meetodeid, tuvastama olemasolevate mudelite puudujääke ja töötama tulevaste mudelite täiustamise nimel. Ükski võrdlustest ei hõlma kõike, mis isiklikus vestluses tähtis on, kuid loodame, et MentalHealthBench aitab kehtestada tehisintellekti pakutavale toele kõrgema standardi.

Toetame ka muid tehisintellekti ja vaimse tervise algatusi, sealhulgas uute teadusuuringute toetustega, ekspertide kokkutoomisega organisatsiooniga Partnership on AI⁠(avaneb uues aknas) ning täiendavate sõltumatute algatuste abistamisega, nagu Transluce’i vaimse tervise hindamine⁠(avaneb uues aknas).

Selle uurimistöö kõrval oleme tundlikes vestlustes täiustanud ChatGPT vastuseid, laiendanud juurdepääsu kriisiabi ressurssidele ja lisanud funktsiooni Usaldusväärne kontakt, mis aitab inimestel distressi korral võtta ühendust usaldusväärse inimesega. Oleme kasutusele võtnud ka teismelistele mõeldud ChatGPT, mis pakub noorematele kasutajatele lisakaitset.

MentalHealthBench on üks viis, kuidas töötame tehisintellekti nimel, mis aitab miljonitel inimestel tulla toime raskete hetkedega, tugevdada suhteid ning elada tervislikumat ja rahuldustpakkuvamat elu.