Tunakuletea MentalHealthBench

Watu hugeukia AI kwa mazungumzo ya aina nyingi: kupitia uhusiano mgumu, kukabiliana na msongo wa mawazo wa kila siku, kumsaidia mtu wanayemjali, au kuamua jinsi ya kukabiliana na hali ngumu. Mazungumzo haya yanahitaji usahihi, uamuzi wa vitendo, na heshima kwa wakala wa watu. Kwa kuwa zaidi ya watu bilioni moja wanatumia ChatGPT kila wiki, utafiti wetu unalenga kuwasaidia wanamitindo kujibu kwa uangalifu katika mahitaji mbalimbali na kuweka usalama na ustawi wa watu kwanza.

Tathmini nyingi za AI katika eneo hili zimezingatia zaidi matukio ya dharura, kutokana na umuhimu wake kwa usalama, na kupima mafanikio kwa kutumia vigezo vipana na vilivyoainishwa awali. Hii imeacha pengo katika kuelewa jinsi miundo inavyofanya kazi katika wigo mzima wa mazungumzo ya afya ya akili, na jinsi majibu yao yanavyolingana vyema na mwongozo wa wataalamu kwa kila hali, zaidi ya kama yanaepuka majibu yasiyoruhusiwa. Kutathmini jinsi mifumo inavyoshughulikia hali hizi tofauti ni muhimu kwa ajili ya kuunda kuelekea AI ambayo inasaidia kikamilifu ustawi na usalama wa watu wa muda mrefu.

Tunaanzisha MentalHealthBench, kipimo kipya wazi cha kupima jinsi mifumo ya AI inavyojibu katika mazungumzo halisi ya afya ya akili. MentalHealthBench iliundwa kwa ushirikiano na kundi la kimataifa la wataalamu 80 wa afya ya akili walioidhinishwa kutoka nchi 22. Hutathmini uwezo wa muundo katika tabia muhimu za afya ya akili kama vile usalama, kutafuta muktadha, kuhifadhi uwajibikaji wa mtumiaji, na kutoa mwongozo unaoweza kutekelezwa inapobidi. Tunaitoa hadharani ili watafiti wengine waweze kuchunguza mbinu hizo, kuendesha tathmini zao wenyewe, na kuendeleza kazi hiyo.

Matokeo kwenye MentalHealthBench yanaonyesha uboreshaji thabiti wa mifumo ya AI katika kuwasaidia watu kukabiliana na hali za afya ya akili. Ingawa ChatGPT si mbadala wa tiba au huduma ya kitaalamu, maarifa yanayotokana na wataalamu hutusaidia kupima maendeleo kuelekea mifumo ya AI ambayo inaweza kujibu kwa huruma, kukuza ustawi, na kuwaongoza watu kuelekea usaidizi wa ulimwengu halisi kama vile simu za dharura za eneo husika⁠(fungua katika dirisha jipya) au mtu wanayemwamini.

Mazungumzo yanayohusisha ustawi, ushauri wa maisha, au hali zingine za afya ya akili yanaweza kutofautiana sana katika mada, dharura, na muktadha wa kitamaduni. MentalHealthBench imeundwa ili kunasa upana wa matukio haya halisi na utu wa mtumiaji. Kwa kutumia mbinu za kuhifadhi faragha, tuliunda mazungumzo ya afya ya akili bandia ambayo yanaonyesha kwa usahihi mifumo halisi ya matumizi ya AI kwa afya ya akili. Baadhi ya matukio pia yanajumuisha taarifa muhimu za usuli kuhusu mtumiaji bandia—kama vile kupotea kwa hivi karibuni katika familia—kwa hivyo tunaweza kutathmini kama mifumo hutumia muktadha huo ili kurekebisha majibu yao ipasavyo.

MentalHealthBench inajumuisha matukio yanayowahusisha watu wazima, vijana, walezi na madaktari, katika lugha na maeneo mengi. Mazungumzo hayo yanajumuisha mada nyingi, na hutoa chanjo katika wigo mzima wa werevu:

• Sio kali—Mazungumzo ya kila siku ambayo yanaweza kuhusisha baadhi ya vipengele vya kihisia.

• Usikivu wa hali ya juu—Mazungumzo yanayoonyesha wasiwasi mkubwa zaidi wa afya ya akili au dhiki kubwa, lakini si dharura ya haraka.

• Dharura—Mazungumzo yanayohusisha dalili za dharura ya afya ya akili au wasiwasi wa haraka wa usalama unaohitaji usaidizi wa haraka wa ulimwengu halisi.

Kuendeleza kazi yetu ya awali, iliyoelekezwa na daktari kwa HealthBench na HealthBench Professional⁠(fungua katika dirisha jipya),⁠(fungua katika dirisha jipya) tuliunda MentalHealthBench kwa ushirikiano wa karibu na kundi letu la wataalamu wa afya ya akili. Hii ilijumuisha zaidi ya wanasaikolojia 80 na wataalamu wa magonjwa ya akili walioidhinishwa katika nchi 22, wakizungumza lugha 19 na kuwakilisha karibu taaluma ndogo 20 za afya ya akili.

Wataalamu walikuwa na jukumu la kusoma kila mazungumzo ya sintetiki na kutoa orodha ya kina ya vigezo vya rubriki ili kutathmini majibu ya muundo kwa ujumbe wa mwisho wa mtumiaji. Kila kigezo kinalenga kipengele kimoja cha majibu ya muundo kama vile kuuliza swali sahihi au kutoa ushauri bora zaidi. Kila moja ina uzito kuanzia -10 hadi +10: pointi chanya huzawadia tabia zenye manufaa, huku pointi hasi zikiadhibu zile zenye madhara, na vigezo vyenye thamani kubwa vinaonyesha umuhimu mkubwa wa kimatibabu katika muktadha wa mazungumzo.

Kila mazungumzo yalipitiwa na angalau wataalamu watatu, na vigezo vilivyokubaliwa na wote pekee ndivyo vilivyojumuishwa katika kipimo cha mwisho. Kwa hivyo, vigezo vya mwisho vya rubriki katika kipimo vinaonyesha uamuzi wa pamoja kuhusu jinsi miundo inavyopaswa kujibu katika kila muktadha. Kwa kila mazungumzo, tunatumia kipima daraja otomatiki, GPT‑5.6 Sol, kutathmini majibu ya muundo dhidi ya vigezo vilivyoandikwa na wataalamu. Karatasi inaelezea mchakato wa uainishaji na mipangilio ya tathmini kwa undani.

Tulitathmini miundo mbalimbali kwa kutumia MentalHealthBench. Matokeo yaliyo hapa chini yanaonyesha utendaji wa miundo hii kwenye mkusanyiko mzima wa data. Tathmini hupima ikiwa jibu la muundo linaonyesha tabia zote bora ambazo wataalamu walibainisha kwa kila hali huku likiepuka tabia zilizokatazwa.

Kigezo hiki kinashughulikia mazungumzo katika viwango tofauti vya ukali. Hii hutuwezesha kuelewa utendaji wa muundo katika hali za kila siku za afya ya akili na pia dharura za afya ya akili zilizo za haraka zaidi zinazohitaji usaidizi wa ulimwengu halisi.

Mazungumzo katika kigezo yanawakilisha aina nne za watumiaji: watu wazima, vijana wenye umri wa miaka 13–17, walezi na wataalamu wa tiba. Kwa mtazamo wa vijana, tulisema wazi kupitia ujumbe wa mfumo kuwa mtumiaji alikuwa na umri wa miaka 13–17. Mbinu hii imeundwa kufanya kazi na watoa huduma mbalimbali wa miundo, ingawa huenda isinase hatua zote za ulinzi zilizojumuishwa katika kila bidhaa. Mazungumzo yaliyohusisha mtazamo wa vijana yalikaguliwa na wataalamu wa tiba wenye utaalamu wa afya ya akili ya vijana ili kusaidia kutathmini ikiwa majibu yanafaa kwa mahitaji ya kipekee ya vijana.

MentalHealthBench pia huwezesha upimaji wa tabia ya muundo kwa vipengele vingi. Alama ya jumla inaweza kugawanywa kuwa utendaji katika vipengele kumi vya tabia ya muundo kuhusu afya ya akili. Tabia hizi zinafafanuliwa na wataalamu wa afya ya akili na zinalenga kunasa tofauti ndogo katika utendaji wa muundo. Miundo yenye alama za jumla zinazofanana inaweza kuwa na uwezo tofauti katika tabia hizi.

Upimaji wa kina kama huu unaweza kuwasaidia watafiti kutambua maeneo ya kuboresha katika tabia za muundo zinazoeleweka. Kwa mfano, tunaona kuwa uwezo wa muundo wa kutafuta muktadha unaofaa umeongezeka katika miundo ya hali ya juu zaidi. Maboresho haya yanaakisi uwekezaji wa OpenAI na watoa huduma wengine wa miundo katika kuboresha jinsi miundo inavyoshughulikia mazungumzo ya afya ya akili.

Pamoja na MentalHealthBench, tulifanya uchanganuzi tofauti ili kulinganisha mwongozo wa wataalamu na mambo ambayo watu huona yanafaa katika usaidizi wa AI. Tulitaka kuangalia ikiwa majibu ambayo wataalamu waliyapa alama za juu bado yangeweza kuonekana kuwa yasiyo na hisia au yasiyo na manufaa kwa watumiaji. Kwa kulinganisha alama za watumiaji na wataalamu za majibu ya miundo pamoja na vigezo walivyoandika, tuliweza kupima kiwango ambacho mitazamo yao ilikubaliana, ilitofautiana au ilikamilishana. Vigezo vya mwisho vya utoaji alama vya kipimo hiki vinatokana na makubaliano ya wataalamu; uchanganuzi huu tofauti haukuvibadilisha.

Tulifanya kazi na watu wazima 44 waliokuwa wametumia AI kupata usaidizi wa afya ya akili au kihisia, wakiwakilisha nchi 16 na lugha 14. Washiriki walikadiria majibu ya muundo kwa mazungumzo sanisi na kuandika vigezo vinavyoeleza jinsi usaidizi wenye manufaa unavyopaswa kuwa. Ukaguzi wao ulihusu tu mazungumzo yasiyo makali ili kuepuka kuwaonesha maudhui ya ukali wa juu ambayo yangeweza kuwasababishia dhiki.

Mitazamo ya watumiaji iliangazia sifa ambazo watu huthamini katika usaidizi wa AI lakini ambazo hazikutiliwa mkazo sana katika mwongozo wa wataalamu, hasa hatua za vitendo zinazofuata na toni. Wataalamu walitilia mkazo zaidi kukusanya muktadha unaofaa na kufasiri kwa makini hali zisizo wazi. Ulinganisho huu unatupa picha kamili zaidi ya mambo ambayo watu huthamini katika usaidizi na jinsi mapendeleo hayo yanavyohusiana na mwongozo wa kitabibu.

MentalHealthBench huwapa wataalamu, watafiti na wasanidi zana ya pamoja ya kutathmini usaidizi wa AI ulio salama na wenye manufaa katika hali mbalimbali za afya ya akili. Kwa kuitoa hadharani, tunaialika jamii ichunguze mbinu zake, itambue mapungufu katika miundo iliyopo na kujitahidi kuboresha miundo ya baadaye. Hakuna kigezo kinachonasa kila jambo muhimu katika mazungumzo binafsi, lakini tunatumaini MentalHealthBench itasaidia kuweka kiwango cha juu zaidi cha jinsi AI inavyowasaidia watu.

Pia tunaunga mkono juhudi nyingine katika AI na afya ya akili, ikiwa ni pamoja na ruzuku za utafiti mpya, kuwakutanisha wataalamu pamoja na Ushirikiano kwenye AI⁠(fungua katika dirisha jipya), na kusaidia juhudi huru zinazokamilishana kama vile tathmini ya afya ya akili⁠(fungua katika dirisha jipya) ya Transluce.

Pamoja na utafiti huu, tumeimarisha majibu ya ChatGPT katika mazungumzo nyeti, tumepanua ufikiaji wa nyenzo za dharura na kuongeza Mwasiliani Anayeaminika ili kuwaunganisha watu na mtu wanayemwamini wakati wa dhiki. Pia tumeanzisha ChatGPT kwa Vijana, yenye ulinzi wa ziada kwa watumiaji wenye umri mdogo.

MentalHealthBench ni mojawapo ya njia tunazotumia kujenga AI inayowasaidia mamilioni ya watu kukabiliana na nyakati ngumu, kuimarisha mahusiano yao na kuishi maisha yenye afya na kuridhisha zaidi.