Pristatome „MentalHealthBench“

Žmonės kreipiasi į DI įvairiausiais klausimais: norėdami geriau suprasti sudėtingus santykius, įveikti kasdienį stresą, padėti artimam žmogui arba nuspręsti, kaip elgtis sudėtingoje situacijoje. Šiuose pokalbiuose būtinas tikslumas, praktiškas požiūris ir pagarba žmonių savarankiškumui. Kadangi „ChatGPT“ kas savaitę naudojasi daugiau nei milijardas žmonių, mūsų tyrimai sutelkti į tai, kaip padėti modeliams rūpestingai atsakyti į įvairiausius poreikius ir užtikrinti žmonių saugą bei gerovę.

Dauguma DI vertinimų šioje srityje dažniausiai orientuojami į kritines situacijas, atsižvelgiant į jų svarbą saugai, o sėkmė matuojama naudojant bendrus, iš anksto nustatytus kriterijus. Dėl to trūksta supratimo, kaip modeliai veikia įvairiuose psichikos sveikatos pokalbiuose ir kiek jų atsakymai atitinka ekspertų gaires kiekvienoje situacijoje – neapsiribojant vien tuo, ar išvengiama neleistinų atsakymų. Įvertinti, kaip modeliai susidoroja su šiomis skirtingomis situacijomis, būtina norint kurti DI, kuris aktyviai prisidėtų prie ilgalaikės žmonių gerovės ir saugos.

Pristatome „MentalHealthBench“ – naują atvirąjį lyginamąjį indeksą, skirtą įvertinti, kaip DI sistemos reaguoja tikroviškuose psichikos sveikatos pokalbiuose. „MentalHealthBench“ sukurtas bendradarbiaujant su tarptautine 80 licencijuotų psichikos sveikatos ekspertų grupe iš 22 šalių. Jis vertina modelio gebėjimus, susijusius su pagrindiniais elgsenos principais psichikos sveikatos srityje, pavyzdžiui, sauga, konteksto paieška, naudotojo savarankiškumo išlaikymu ir atitinkamais atvejais praktinių patarimų teikimu. Atveriame jį viešai, kad kiti tyrėjai galėtų nagrinėti metodus, atlikti savo vertinimus ir toliau tobulinti šį darbą.

„MentalHealthBench“ tyrimo rezultatai rodo nuolatinį dirbtinio intelekto sistemų tobulėjimą padedant žmonėms spręsti psichikos sveikatos problemas. Nors „ChatGPT“ nepakeičia terapijos ar profesionalios priežiūros, ekspertų įžvalgos padeda mums įvertinti pažangą kuriant dirbtinio intelekto modelius, kurie geba reaguoti su empatija, skatinti gerovę ir nukreipti žmones link realaus pasaulio paramos, pavyzdžiui, lokalizuotų krizių linijų⁠(atsidaro naujame lange) ar patikimo asmens.

Pokalbiai apie gerovę, gyvenimo patarimus ar kitus psichikos sveikatos scenarijus gali labai skirtis tema, skubumu ir kultūriniu kontekstu. „MentalHealthBench“ sukurtas taip, kad apimtų šiuos realius scenarijus ir vartotojų asmenybes. Naudodami privatumo išsaugojimo metodus, sukūrėme sintetinius psichikos sveikatos pokalbius, kurie tiksliai atspindi realaus pasaulio dirbtinio intelekto naudojimo psichikos sveikatos srityje modelius. Kai kuriuose scenarijuose taip pat pateikiama svarbi informacija apie sintetinį vartotoją, pavyzdžiui, neseniai įvykusi netektis šeimoje, kad galėtume įvertinti, ar modeliai naudoja tą kontekstą, kad tinkamai pritaikytų savo atsakymus.

„MentalHealthBench“ apima scenarijus su suaugusiaisiais, paaugliais, globėjais ir klinicistais iš skirtingų regionų, bendraujančiais įvairiomis kalbomis. Pokalbiai apima daugybę aktualių temų ir visą situacijų sunkumo spektrą:

• Neūminis –kasdieniai pokalbiai, kuriuose gali būti emocinių komponentų.

• Didelio aštrumo– pokalbiai, rodantys rimtesnes psichikos sveikatos problemas ar didelį stresą, bet ne neatidėliotiną ekstremalią situaciją.

• Ekstremalios situacijos– pokalbiai, kuriuose yra psichikos sveikatos krizės požymių arba neatidėliotinų saugumo problemų, reikalaujančių skubios realios pagalbos.

Remdamiesi ankstesniu, klinikų patirtimi pagrįstu darbu „HealthBench“ ir „HealthBench Professional“⁠(atsidaro naujame lange)platformose,⁠(atsidaro naujame lange) „MentalHealthBench“ kūrėme glaudžiai bendradarbiaudami su psichikos sveikatos ekspertų grupe. Ją sudarė daugiau nei 80 licencijuotų psichologų ir psichiatrų iš 22 šalių, kalbančių 19 kalbų ir atstovaujančių beveik 20 psichikos sveikatos subspecialybių.

Ekspertai buvo atsakingi už kiekvieno sintetinio pokalbio perskaitymą ir išsamaus kriterijų sąrašo, skirto modelio atsakymams į paskutinį vartotojo pranešimą įvertinti, sudarymą. Kiekvienas kriterijus yra skirtas vienam modelio atsakymo aspektui, pavyzdžiui, tinkamo klausimo uždavimui arba geriausio įmanomo patarimo pateikimui. Kiekvieno iš jų svoris svyruoja nuo -10 iki +10: teigiami taškai apdovanoja naudingą elgesį, neigiami taškai baudžia žalingą, o kriterijai su didesnėmis reikšmėmis rodo didesnę klinikinę svarbą pokalbio kontekste.

Kiekvieną pokalbį peržiūrėjo mažiausiai trys ekspertai, o į galutinį lyginamąjį indeksą įtraukti tik tie kriterijai, kuriems pritarė jie visi. Todėl galutiniai lyginamojo indekso vertinimo kriterijai atspindi bendrą nuomonę apie tai, kaip modeliai turėtų reaguoti kiekviename kontekste. Kiekvienam pokalbiui naudojame automatinį vertintoją GPT‑5.6 Sol, kuris pagal ekspertų parengtus kriterijus įvertina modelio atsakymus. Straipsnyje išsamiai aprašomas vertinimo procesas ir vertinimo nuostatos.

Naudodami „MentalHealthBench“, įvertinome daugybę įvairių modelių. Toliau pateikiami šių modelių rezultatai apdorojus visą duomenų rinkinį. Šiuo vertinimu nustatoma, ar modelio atsakymas atspindi ekspertų apibrėžtą idealią elgseną kiekviename scenarijuje ir ar išvengiama neleistinos elgsenos.

Lyginamasis indeksas apima skirtingo sunkumo pokalbius. Taip galime įvertinti modelio veiksmingumą tiek kasdienėse psichikos sveikatos situacijose, tiek skubiais psichikos sveikatos krizių atvejais, kai reikia realios pagalbos.

Lyginamojo indekso pokalbiai atspindi keturių tipų naudotojus: suaugusiuosius, 13–17 metų paauglius, globėjus ir klinicistus. Imituojant paauglį, sistemos pranešime aiškiai nurodėme, kad naudotojas yra 13–17 metų amžiaus. Šis metodas pritaikytas įvairiems modelių teikėjams, nors ir gali neapimti visų atskiruose produktuose įdiegtų saugos priemonių. Pokalbius, kuriuose naudotas paauglio vaidmuo, peržiūrėjo jaunimo psichikos sveikatos srities klinicistai, kad padėtų įvertinti, ar atsakymai atitinka unikalius paauglių poreikius.

„MentalHealthBench“ taip pat leidžia įvairiapusiškai vertinti modelio elgseną. Bendrą balą galima išskaidyti pagal dešimt modelio elgsenos psichikos sveikatos srityje aspektų. Šias elgsenas apibrėžė psichikos sveikatos ekspertai, siekdami atskleisti modelių veiksmingumo niuansus. Panašų bendrą balą gavusių modelių stiprybės pagal šias elgsenas gali skirtis.

Toks detalus vertinimas gali padėti tyrėjams nustatyti, kurias suprantamas modelio elgsenas reikėtų tobulinti. Pavyzdžiui, matome, kad pažangesni modeliai geriau geba tinkamai išsiaiškinti kontekstą. Šie patobulinimai atspindi „OpenAI“ ir kitų modelių teikėjų investicijas į tai, kad modeliai geriau orientuotųsi pokalbiuose apie psichikos sveikatą.

Be „MentalHealthBench“, atlikome atskirą analizę, kad palygintume ekspertų gaires su tuo, kas žmonėms atrodo naudinga naudojant DI pagalbą. Norėjome patikrinti, ar ekspertų gerai įvertinti atsakymai naudotojams vis tiek gali atrodyti šalti arba nenaudingi. Palyginę naudotojų ir ekspertų pateiktus modelio atsakymų įvertinimus bei jų sudarytus kriterijus, galėjome kiekybiškai įvertinti, kur jų požiūriai sutampa, išsiskiria ar papildo vienas kitą. Galutiniai lyginamojo indekso vertinimo kriterijai remiasi ekspertų sutarimu; ši atskira analizė jų nepakeitė.

Dirbome su 44 suaugusiaisiais iš 16 šalių, kalbančiais 14 kalbų ir naudojusiais DI psichikos sveikatos arba emocinei pagalbai. Dalyviai vertino modelių atsakymus į sintetinius pokalbius ir parengė kriterijus, nusakančius, kokia pagalba būtų naudinga. Jie peržiūrėjo tik neūmių situacijų pokalbius, kad nereikėtų susidurti su galimai sukrečiančia medžiaga apie didelio sunkumo situacijas.

Naudotojų požiūris išryškino savybes, kurias žmonės vertina naudodamiesi DI pagalba, tačiau kurioms ekspertų gairėse skiriama mažiau dėmesio, ypač toną ir praktinius tolesnius veiksmus. Ekspertai daugiau dėmesio skyrė siekdami surinkti reikiamą kontekstą ir atidžiai interpretuoti dviprasmiškas situacijas. Šis palyginimas leidžia geriau suprasti, ką žmonės vertina sulaukę pagalbos ir kaip šie pageidavimai dera su klinikinėmis gairėmis.

„MentalHealthBench“ suteikia ekspertams, tyrėjams ir kūrėjams bendrą priemonę, leidžiančią vertinti saugią ir naudingą DI pagalbą įvairiose psichikos sveikatos situacijose. Atverdami šią priemonę viešai, kviečiame bendruomenę nagrinėti jo metodus, nustatyti esamų modelių trūkumus ir prisidėti prie būsimų modelių tobulinimo. Joks lyginamasis indeksas neaprėpia visko, kas svarbu asmeniniame pokalbyje, tačiau tikimės, kad „MentalHealthBench“ padės nustatyti aukštesnį DI teikiamos pagalbos žmonėms standartą.

Taip pat remiame kitas DI ir psichikos sveikatos iniciatyvas, įskaitant dotacijas naujiems tyrimams, ekspertų subūrimą su „Partnership on AI“⁠(atsidaro naujame lange) ir pagalbą papildomoms nepriklausomoms iniciatyvoms, pavyzdžiui, „Transluce“ psichikos sveikatos vertinimui⁠(atsidaro naujame lange).

Kartu su šiuo tyrimu patobulinome ChatGPT atsakymus jautriuose pokalbiuose, išplėtėme prieigą prie pagalbos krizės atveju išteklių ir pridėjome funkciją Patikimas kontaktas, kad sunkią akimirką žmonės galėtų susisiekti su asmeniu, kuriuo pasitiki. Taip pat pristatėme paaugliams skirtą ChatGPT su papildomomis jaunesnių naudotojų apsaugos priemonėmis.

„MentalHealthBench“ yra viena iš priemonių, kuriomis siekiame kurti DI, padedantį milijonams žmonių įveikti sunkias akimirkas, stiprinti santykius ir gyventi sveikiau bei prasmingiau.