Nintroduċu MentalHealthBench

In-nies jirrikorru għall-IA għal ħafna tipi ta’ konverżazzjonijiet: biex jittrattaw relazzjoni diffiċli, jaffaċċjaw l-istress ta’ kuljum, jappoġġjaw lil xi ħadd għażiż għalihom jew jiddeċiedu kif jersqu lejn sitwazzjoni diffiċli. Dawn il-konverżazzjonijiet jeħtieġu preċiżjoni, ġudizzju prattiku u rispett għall-awtonomija tan-nies. B’aktar minn biljun persuna jużaw ChatGPT kull ġimgħa, ir-riċerka tagħna tiffoka fuq li ngħinu lill-mudelli jwieġbu b’attenzjoni għal firxa wiesgħa ta’ ħtiġijiet u jagħtu prijorità lis-sikurezza u l-benesseri tan-nies.

Minħabba l-importanza tagħhom għas-sikurezza, il-biċċa l-kbira tal-evalwazzjonijiet tal-IA f’dan il-qasam iffukaw l-aktar fuq xenarji ta’ emerġenza u kejlu s-suċċess permezz ta’ kriterji ġenerali u definiti minn qabel. Dan ħalla lakuna fil-fehim ta’ kif il-mudelli jaħdmu fil-firxa kollha ta’ konverżazzjonijiet dwar is-saħħa mentali, u kemm it-tweġibiet tagħhom jaqblu mal-gwida tal-esperti għal kull sitwazzjoni, lil hinn minn jekk jevitawx tweġibiet mhux permessi. L-evalwazzjoni ta’ kif il-mudelli jittrattaw dawn is-sitwazzjonijiet differenti hija essenzjali biex nibnu IA li tappoġġja b’mod attiv il-benesseri u s-sikurezza tan-nies fit-tul.

Qed nintroduċu MentalHealthBench, parametru referenzjarju miftuħ ġdid li jkejjel kif is-sistemi tal-IA jwieġbu f’konverżazzjonijiet realistiċi dwar is-saħħa mentali. MentalHealthBench inħoloq b’mod konġunt ma’ grupp globali ta’ 80 espert liċenzjat fis-saħħa mentali minn 22 pajjiż. Huwa jevalwa l-kapaċitajiet tal-mudell f’imġibiet ewlenin tas-saħħa mentali bħas-sikurezza, it-talba għal kuntest, il-preservazzjoni tal-awtonomija tal-utent u l-għoti ta’ gwida prattika meta xieraq. Qed nagħmluh disponibbli għall-pubbliku sabiex riċerkaturi oħra jkunu jistgħu jeżaminaw il-metodi, iwettqu l-evalwazzjonijiet tagħhom stess u jkomplu jibnu fuq dan ix-xogħol.

Ir-riżultati fuq MentalHealthBench juru t-titjib kostanti tas-sistemi tal-IA biex jgħinu lin-nies jaffaċċjaw sitwazzjonijiet marbuta mas-saħħa mentali. Għalkemm ChatGPT mhuwiex sostitut għat-terapija jew għall-kura professjonali, l-għarfien ibbażat fuq il-pariri tal-esperti jgħinna nkejlu l-progress lejn mudelli tal-IA li kapaċi jwieġbu b’empatija, jippromwovu l-benesseri u jiggwidaw lin-nies lejn appoġġ fid-dinja reali bħal linji telefoniċi lokali għall-kriżijiet⁠(jinfetaħ f’tieqa ġdida) jew xi ħadd li jafdaw.

Il-konverżazzjonijiet dwar il-benesseri, pariri għall-ħajja jew xenarji oħra tas-saħħa mentali jistgħu jvarjaw ħafna fis-suġġett, fl-urġenza u fil-kuntest kulturali. MentalHealthBench huwa mfassal biex jaqbad il-varjetà ta’ dawn ix-xenarji realistiċi u l-profili tal-utenti. Permezz ta’ tekniki li jipproteġu l-privatezza, ħloqna konverżazzjonijiet sintetiċi dwar is-saħħa mentali li jirriflettu b’mod preċiż ix-xejriet reali tal-użu tal-IA għas-saħħa mentali. Xi xenarji jinkludu wkoll informazzjoni rilevanti dwar l-isfond tal-utent sintetiku—bħal telfa reċenti fil-familja—sabiex inkunu nistgħu nevalwaw jekk il-mudelli jużawx dak il-kuntest biex jadattaw it-tweġibiet tagħhom b’mod xieraq.

MentalHealthBench jinkludi xenarji b’adulti, adolexxenti, persuni li jindukraw lil ħaddieħor u kliniċisti, f’diversi lingwi u reġjuni. Il-konverżazzjonijiet ikopru diversi temi u l-ispettru kollu tal-akutezza:

• Mhux akuti—Konverżazzjonijiet ta’ kuljum li jistgħu jinvolvu xi elementi emozzjonali.

• B’akutezza għolja—Konverżazzjonijiet li jindikaw tħassib aktar serju dwar is-saħħa mentali jew tbatija sinifikanti, iżda mhux emerġenza immedjata.

• Emerġenzi—Konverżazzjonijiet b’sinjali ta’ emerġenza tas-saħħa mentali jew tħassib immedjat dwar is-sikurezza li jeħtieġ appoġġ urġenti fid-dinja reali.

Filwaqt li komplejna nibnu fuq ix-xogħol preċedenti tagħna, imfassal bl-għarfien tal-kliniċisti, għal HealthBench u HealthBench Professional⁠(jinfetaħ f’tieqa ġdida),⁠(jinfetaħ f’tieqa ġdida) żviluppajna MentalHealthBench b’kollaborazzjoni mill-qrib mal-grupp tagħna ta’ esperti tas-saħħa mentali. Il-grupp kien magħmul minn aktar minn 80 psikologu u psikjatra liċenzjat minn 22 pajjiż, li jitkellmu 19-il lingwa u jirrappreżentaw kważi 20 sottospeċjalità tas-saħħa mentali.

L-esperti kienu responsabbli biex jaqraw kull konverżazzjoni sintetika u jipproduċu lista dettaljata ta’ kriterji tar-rubrika għall-evalwazzjoni tat-tweġibiet tal-mudell għall-aħħar messaġġ tal-utent. Kull kriterju jimmira aspett wieħed tat-tweġiba tal-mudell, bħal li jistaqsi l-mistoqsija t-tajba jew jagħti l-aħjar parir possibbli. Kull kriterju għandu piż minn -10 sa +10: il-punti pożittivi jippremjaw imġibiet ta’ benefiċċju, filwaqt li l-punti negattivi jippenalizzaw dawk ta’ ħsara, u l-kriterji b’valuri akbar jindikaw importanza klinika akbar fil-kuntest ta’ konverżazzjoni.

Kull konverżazzjoni ġiet rieżaminata minn mill-inqas tliet esperti, u fil-parametru referenzjarju finali ġew inklużi biss il-kriterji li aċċettaw ilkoll. Għaldaqstant, ir-rubriki finali fil-parametru referenzjarju jirriflettu ġudizzju komuni dwar kif il-mudelli għandhom iwieġbu f’kull kuntest. Għal kull konverżazzjoni, nużaw korrettur awtomatizzat, GPT‑5.6 Sol, biex jevalwa t-tweġibiet tal-mudell skont il-kriterji miktuba mill-esperti. Id-dokument jiddeskrivi fid-dettall il-proċess tal-klassifikazzjoni u l-konfigurazzjonijiet tal-evalwazzjoni.

Evalwajna firxa wiesgħa ta’ mudelli fuq MentalHealthBench. Ir-riżultati hawn taħt juru l-prestazzjoni ta’ dawn il-mudelli fuq is-sett tad-data kollu. L-evalwazzjoni tkejjel jekk it-tweġiba ta’ mudell turix l-imġibiet ideali kollha li l-esperti identifikaw għal kull xenarju, filwaqt li tevita mġiba mhux permessa.

Il-parametru referenzjarju jkopri konverżazzjonijiet b’livelli differenti ta’ akutezza. Dan jgħinna nifhmu l-prestazzjoni tal-mudelli kemm f’xenarji ta’ kuljum dwar is-saħħa mentali kif ukoll f’emerġenzi aktar urġenti li jeħtieġu appoġġ fid-dinja reali.

Il-konverżazzjonijiet fil-parametru referenzjarju jirrappreżentaw erba’ tipi ta’ utenti: adulti, adolexxenti ta’ bejn it-13 u s-17-il sena, persuni li jindukraw lil ħaddieħor, u kliniċisti. Għall-profil tal-adolexxent, permezz ta’ messaġġ tas-sistema ddikjarajna b’mod espliċitu li l-utent kellu bejn it-13 u s-17-il sena. Dan l-approċċ huwa mfassal biex jaħdem ma’ fornituri differenti ta’ mudelli, għalkemm jista’ ma jaqbadx il-miżuri protettivi kollha integrati fi prodotti individwali. Il-konverżazzjonijiet bil-profil ta’ adolexxent ġew rieżaminati minn kliniċisti b’għarfien espert fis-saħħa mentali taż-żgħażagħ, biex jgħinu jivvalutaw jekk it-tweġibiet humiex xierqa għall-ħtiġijiet uniċi tal-adolexxenti.

MentalHealthBench jippermetti wkoll kejl multidimensjonali tal-imġiba tal-mudell. Il-punteġġ ġenerali jista’ jinqasam fi prestazzjoni fuq għaxar dimensjonijiet tal-imġiba tal-mudell fil-qasam tas-saħħa mentali. Dawn l-imġibiet huma definiti minn esperti tas-saħħa mentali u għandhom l-għan li jaqbdu d-dettalji sottili tal-prestazzjoni tal-mudell. Mudelli b’punteġġi ġenerali simili jista’ jkollhom punti b’saħħithom differenti f’dawn l-imġibiet.

Kejl dettaljat bħal dan jista’ jgħin lir-riċerkaturi jidentifikaw oqsma ta’ titjib fl-imġibiet interpretabbli tal-mudell. Pereżempju, naraw li l-kapaċità ta’ mudell li jitlob il-kuntest b’mod xieraq żdiedet f’mudelli aktar avvanzati. Dan it-titjib jirrifletti l-investimenti ta’ OpenAI u ta’ fornituri oħra biex il-mudelli jittrattaw aħjar il-konverżazzjonijiet dwar is-saħħa mentali.

Flimkien ma’ MentalHealthBench, wettaqna analiżi separata biex inqabblu l-gwida tal-esperti ma’ dak li n-nies iqisu ta’ għajnuna fl-appoġġ mill-IA. Ridna nivverifikaw jekk tweġibiet li l-esperti tawhom klassifikazzjoni għolja setgħux xorta waħda jinħassu kesħin jew mhux utli għall-utenti. Billi qabbilna l-klassifikazzjonijiet tal-utenti u tal-esperti għat-tweġibiet tal-mudelli, kif ukoll il-kriterji li kitbu, stajna nkejlu fejn il-perspettivi tagħhom qablu, kienu differenti jew ikkomplementaw lil xulxin. Il-kriterji finali tal-punteġġ tal-parametru referenzjarju huma bbażati fuq il-kunsens tal-esperti; din l-analiżi separata ma bidlithomx.

Ħdimna ma’ 44 adult li kienu użaw l-IA għall-appoġġ tas-saħħa mentali jew emozzjonali, u li rrappreżentaw 16-il pajjiż u 14-il lingwa. Il-parteċipanti kklassifikaw it-tweġibiet tal-mudelli għal konverżazzjonijiet sintetiċi u kitbu kriterji li jiddeskrivu kif għandu jkun appoġġ utli. Ir-rieżami tagħhom kien limitat għal konverżazzjonijiet mhux akuti biex nevitaw li nesponuhom għal materjal potenzjalment ta’ tbatija b’akutezza għolja.

Il-perspettivi tal-utenti enfasizzaw kwalitajiet li n-nies japprezzaw fl-appoġġ mill-IA iżda li ngħataw inqas importanza fil-gwida tal-esperti, b’mod partikolari l-passi prattiċi li jmiss u t-ton. L-esperti taw aktar importanza lill-ġbir ta’ kuntest rilevanti u lill-interpretazzjoni bir-reqqa ta’ sitwazzjonijiet ambigwi. Dan it-tqabbil jagħtina stampa aktar sħiħa ta’ dak li n-nies japprezzaw fl-appoġġ u ta’ kif dawn il-preferenzi huma marbuta mal-gwida klinika.

MentalHealthBench jagħti lill-esperti, lir-riċerkaturi u lill-iżviluppaturi għodda komuni biex jevalwaw appoġġ mill-IA li jkun sikur u utli f’diversi sitwazzjonijiet tas-saħħa mentali. Billi nagħmluh disponibbli għall-pubbliku, nistiednu lill-komunità teżamina l-metodi tiegħu, tidentifika n-nuqqasijiet fil-mudelli eżistenti u taħdem biex ittejjeb il-mudelli futuri. Ebda parametru referenzjarju ma jaqbad dak kollu li jgħodd f’konverżazzjoni personali, iżda nittamaw li MentalHealthBench jgħin biex jistabbilixxi standard ogħla għal kif l-IA tappoġġja lin-nies.

Qed nappoġġjaw ukoll inizjattivi oħra fl-IA u s-saħħa mentali, fosthom permezz ta’ għotjiet għal riċerka ġdida, billi nlaqqgħu esperti mal-Partnership on AI⁠(jinfetaħ f’tieqa ġdida), u billi ngħinu fi sforzi indipendenti komplementari bħall-evalwazzjoni tas-saħħa mentali⁠(jinfetaħ f’tieqa ġdida) ta’ Transluce.

Flimkien ma’ din ir-riċerka, saħħaħna t-tweġibiet ta’ ChatGPT f’konverżazzjonijiet sensittivi, wessajna l-aċċess għal riżorsi għall-kriżijiet u żidna l-Kuntatt affidabbli biex inlaqqgħu lin-nies ma’ persuna li jafdaw f’mumenti ta’ tbatija. Introduċejna wkoll ChatGPT għall-Adolexxenti, bi protezzjonijiet addizzjonali għal utenti iżgħar.

MentalHealthBench huwa wieħed mill-modi kif qed naħdmu lejn IA li tgħin lil miljuni ta’ nies jgħaddu minn mumenti diffiċli, isaħħu r-relazzjonijiet tagħhom u jgħixu ħajja aktar f’saħħitha u sodisfaċenti.