Ipinapakilala ang MentalHealthBench

Bumabaling ang mga tao sa AI para sa iba't ibang uri ng pag-uusap: pagharap sa mahirap na relasyon, pagharap sa araw-araw na stress, pagsuporta sa taong mahalaga sa kanila, o pagpapasya kung paano haharapin ang isang mahirap na sitwasyon. Ang mga pag-uusap na ito ay nangangailangan ng katumpakan, praktikal na paghatol, at paggalang sa kalayaan ng mga tao. Sa mahigit isang bilyong tao na gumagamit ng ChatGPT bawat linggo, nakatuon ang aming pananaliksik sa pagtulong sa mga modelo na tumugon nang maingat sa malawak na hanay ng pangangailangan at unahin ang kaligtasan at kapakanan ng mga tao.

Karamihan sa mga pagsusuri ng AI sa larangang ito ay nakatuon sa mga emergency scenario, dahil sa kahalagahan nito sa kaligtasan, at sinusukat ang tagumpay gamit ang malawak at paunang itinakdang pamantayan. Nag-iwan ito ng gap sa pag-unawa kung paano gumagana ang mga modelo sa buong hanay ng mga pag-uusap sa kalusugang pangkaisipan, at kung gaano kaayon ang kanilang mga tugon sa gabay ng mga eksperto para sa bawat sitwasyon, at hindi lamang kung iniiwasan nila ang mga hindi pinapayagang tugon. Mahalaga ang pagsusuri kung paano hinaharap ng mga modelo ang iba't ibang sitwasyong ito para sa pagbuo ng AI na aktibong sumusuporta sa pangmatagalang kapakanan at kaligtasan ng mga tao.

Ipinapakilala namin ang MentalHealthBench, isang bagong bukas na pamantayan para sukatin kung paano tumutugon ang mga AI system sa makatotohanang pag-uusap tungkol sa kalusugan ng isip. Ang MentalHealthBench ay nilikha kasama ang pandaigdigang grupo ng 80 lisensyadong eksperto sa kalusugang pangkaisipan mula sa 22 bansa. Sinusuri nito ang mga kakayahan ng modelo sa mga pangunahing pag-uugali sa kalusugan ng isip tulad ng kaligtasan, paghahanap ng konteksto, pagpapanatili ng kakayahan ng gumagamit, at pagbibigay ng gabay na maaaring aktuparin kapag naaangkop. Ilalabas namin ito nang hayagan para masuri ng ibang mga mananaliksik ang mga pamamaraan, makapagsagawa ng sarili nilang mga pagsusuri, at mapalawak ang gawain.

Ipinapakita ng mga resulta sa MentalHealthBench ang tuloy-tuloy na pagbuti ng mga AI system sa pagtulong sa mga tao na mag-navigate sa mga sitwasyon ng mental health. Bagaman ang ChatGPT ay hindi kapalit ng therapy o propesyonal na pangangalaga, tinutulungan tayo ng mga ekspertong kaalaman na masukat ang progreso patungo sa mga AI model na kayang tumugon nang may empatiya, itaguyod ang kagalingan, at gabayan ang mga tao patungo sa totoong suporta tulad ng mga lokal na crisis hotline⁠(magbubukas sa bagong window) o isang taong pinagkakatiwalaan.

Ang mga pag-uusap na may kinalaman sa kagalingan, payo sa buhay, o iba pang sitwasyon sa kalusugan ng isip ay maaaring magkaiba-iba sa paksa, agarang pangangailangan, at kontekstong kultural. Dinisenyo ang MentalHealthBench upang makuha ang lawak ng mga makatotohanang senaryo at mga persona ng gumagamit. Gamit ang mga teknik na nagpapanatili ng privacy, lumikha kami ng mga sintetikong pag-uusap sa kalusugan ng isip na tumpak na sumasalamin sa mga totoong pattern ng paggamit ng AI para sa kalusugang pangkaisipan. May ilang senaryo rin na may kaugnay na background information tungkol sa synthetic user—tulad ng kamakailang pagkawala ng pamilya—upang masuri kung ginagamit ng mga modelo ang kontekstong iyon upang iakma ang kanilang mga tugon.

Kasama sa MentalHealthBench ang mga senaryo na kinasasangkutan ng mga adulto, tinedyer, tagapag-alaga, at mga clinician, sa iba't ibang wika at rehiyon. Ang mga pag-uusap ay sumasaklaw sa iba't ibang tema, at nagbibigay ng saklaw sa buong saklaw ng talas:

• Hindi matindi—Pang-araw-araw na usapan na maaaring may kasamang emosyonal na bahagi.

• Mataas-acuity—Mga pag-uusap na nagpapahiwatig ng mas seryosong mental health concerns o matinding paghihirap, ngunit hindi agarang emergency.

• Emergency—Mga pag-uusap na may kinalaman sa mga palatandaan ng mental health emergency o agarang alalahanin sa kaligtasan na nangangailangan ng agarang suporta sa totoong buhay.

Batay sa aming dating clinician-informed na trabaho para sa HealthBench at HealthBench Professional⁠(magbubukas sa bagong window),⁠(magbubukas sa bagong window) binuo namin ang MentalHealthBench sa malapit na pakikipagtulungan sa aming grupo ng mga eksperto sa kalusugang pangkaisipan. Binubuo ito ng mahigit 80 lisensyadong sikologo at saykayatrista sa 22 bansa, nagsasalita ng 19 na wika, at kumakatawan sa halos 20 subspesyalidad sa kalusugang pangkaisipan.

Ang mga eksperto ang responsable sa pagbasa ng bawat synthetic na pag-uusap at paggawa ng detalyadong listahan ng mga pamantayan sa rubric upang suriin ang mga tugon ng modelo sa huling mensahe ng gumagamit. Bawat pamantayan ay nakatuon sa isang aspeto ng tugon ng modelo tulad ng pagtatanong ng tamang tanong o pagbibigay ng pinakamahusay na payo. Bawat isa ay may bigat mula -10 hanggang +10: ang positibong puntos ay nagbibigay gantimpala sa mga kapaki-pakinabang na gawain, habang ang negatibong puntos ay nagpaparusa sa mga nakasasama, at ang mga pamantayan na may mas mataas na halaga ay nagpapakita ng mas mataas na klinikal na kahalagahan sa konteksto ng isang pag-uusap.

Bawat pag-uusap ay nirepaso ng hindi bababa sa tatlong eksperto, at tanging mga pamantayan na tinanggap ng lahat ang isinama sa panghuling benchmark. Ang mga huling rubric sa benchmark ay sumasalamin sa pinagsamang paghatol kung paano dapat tumugon ang mga modelo sa bawat konteksto. Para sa bawat pag-uusap, gumagamit kami ng automated grader, GPT‑5.6 Sol, para suriin ang mga tugon ng modelo gamit ang mga pamantayang isinulat ng eksperto. Inilalarawan ng papel nang detalyado ang proseso ng grading at mga setting ng pagsusuri.

Sinuri namin sa MentalHealthBench ang maraming uri ng modelo. Ipinapakita ng mga resulta sa ibaba ang performance ng mga modelo ito sa buong dataset. Sinusukat ng pagsusuri kung naipapakita ng tugon ng modelo ang lahat ng mainam na gawing tinukoy ng mga eksperto para sa bawat senaryo habang iniiwasan ang mga ipinagbabawal na gawi.

Saklaw ng benchmark ang mga pag-uusap sa iba't ibang antas ng kalubhaan. Nagbibigay-daan ito sa amin na maunawaan ang performance ng modelo sa mga pang-araw-araw na sitwasyon sa kalusugang pangkaisipan at sa mga mas agarang emergency sa kalusugang pangkaisipan na nangangailangan ng suporta sa totoong buhay.

Ang mga pag-uusap sa benchmark ay kumakatawan sa apat na uri ng user: mga nasa hustong gulang, tinedyer na 13-17 taong gulang, tagapag-alaga, at clinician. Para sa tinedyer na persona, tahasan naming sinabi sa pamamagitan ng system message na nasa pagitan ng 13 at 17 taong gulang ang user. Idinisenyo ang pamamaraang ito para gumana sa iba't ibang provider ng modelo, bagaman maaaring hindi nito masaklaw ang lahat ng pananggalang na nakapaloob sa bawat produkto. Sinuri ng mga clinician na dalubhasa sa kalusugang pangkaisipan ng kabataan ang mga pag-uusap na may persona ng tinedyer para makatulong na masuri kung angkop ang mga tugon sa natatanging pangangailangan ng mga tinedyer.

Nagbibigay-daan din ang MentalHealthBench sa maraming aspekto ng pagsukat sa gawi ng modelo. Maaaring hatiin ang pangkalahatang score sa performance sa sampung dimensiyon ng gawi ng modelo para sa kalusugang pangkaisipan. Tinukoy ng mga eksperto sa kalusugang pangkaisipan ang mga gawing ito upang masaklaw ang maseselang pagkakaiba sa performance ng modelo. Maaaring magkaiba ang mga kalakasan ng mga modelong may magkatulad na pangkalahatang score sa mga gawing ito.

Makakatulong ang ganitong detalyadong pagsukat sa mga researcher na matukoy ang mga dapat pagbutihin sa nauunawaang mga gawi ng modelo. Halimbawa, nakikita naming humusay ang kakayahan ng isang modelo na angkop na humingi ng konteksto habang nagiging mas advanced ang mga modelo. Sinasalamin ng mga pagbuting ito ang pamumuhunan ng OpenAI at iba pang provider sa pagpapahusay ng paraan ng pagharap ng mga modelo sa mga pag-uusap tungkol sa kalusugang pangkaisipan.

Kasabay ng MentalHealthBench, nagsagawa kami ng hiwalay na pagsusuri para ihambing ang gabay ng mga eksperto sa itinuturing ng mga tao na kapaki-pakinabang na suporta mula sa AI. Gusto naming suriin kung ang mga tugon na binigyan ng mataas na rating ng mga eksperto ay maaari pa ring magmukhang hindi maganda o hindi nakakatulong sa mga user. Sa pamamagitan ng paghahambing ng mga rating ng mga user at eksperto sa mga tugon ng modelo at ng mga pamantayang isinulat nila, matutukoy natin kung saan nagkakasundo, nagkakaiba, o nagtutulungan para mapunan ang mga kakulangan ng isa’t isa. Nakabatay sa pagkakasundo ng mga eksperto ang panghuling pamantayan sa pag-score ng benchmark; hindi binago ng hiwalay na pagsusuring ito ang mga iyon.

Nakipagtulungan kami sa 44 na nasa hustong gulang na gumamit ng AI para sa kalusugang pangkaisipan o emosyonal na suporta, mula sa 16 na bansa at 14 na wika. Ni-rate ng mga kalahok ang mga tugon ng modelo sa mga sintetikong pag-uusap at sumulat sila ng mga criterion na naglalarawan kung ano ang maituturing na kapaki-pakinabang na suporta. Nilimitahan ang kanilang pagsusuri sa mga hindi malubhang pag-uusap upang hindi sila malantad sa materyal na may mataas na tindi at posibleng makapagdulot ng paghihirap.

Binigyang-diin ng pananaw ng mga user ang mga katangiang pinahahalagahan ng mga tao sa suporta ng AI pero hindi gaanong binigyang-pansin sa gabay ng mga eksperto, lalo na ang mga praktikal na susunod na hakbang at tono. Mas binigyang-diin ng mga eksperto ang pangangalap ng nauugnay na konteksto at maingat na pagbibigay-kahulugan sa mga hindi malinaw na sitwasyon. Nagbibigay sa amin ang paghahambing na ito ng mas kumpletong larawan ng pinahahalagahan ng mga tao sa suporta at kung paano nauugnay ang kanilang mga kagustuhan sa klinikal na gabay.

Nagbibigay ang MentalHealthBench sa mga eksperto, researcher, at developer ng iisang tool para suriin ang ligtas at kapaki-pakinabang na suporta ng AI sa iba't ibang sitwasyon ng kalusugang pangkaisipan. Sa bukas na paglalabas nito, inaanyayahan namin ang komunidad na suriin ang mga pamamaraan nito, tukuyin ang mga kakulangan sa mga umiiral na modelo, at magsikap na mapahusay ang mga modelo sa hinaharap. Walang pamantayan ang kumukuha ng lahat ng mahalaga sa isang personal na pag-uusap, pero umaasa kami na makakatulong ang MentalHealthBench na magtakda ng mas mataas na pamantayan kung paano sinusuportahan ng AI ang mga tao.

Sinusuportahan din namin ang iba pang pagsisikap sa AI at kalusugang pangkaisipan, kabilang ang mga grant para sa bagong pananaliksik, pagtitipon ng mga eksperto kasama ang Partnership on AI⁠(magbubukas sa bagong window), at pagtulong sa mga kaugnay na independiyenteng pagsisikap gaya ng pagsusuri sa kalusugang pangkaisipan⁠(magbubukas sa bagong window) ng Transluce.

Kasabay ng pananaliksik na ito, pinahusay namin ang mga tugon ng ChatGPT sa mga sensitibong pag-uusap, pinalawak ang access sa mga resource sa panahon ng krisis, at idinagdag ang Pinagkakatiwalaang Contact upang maiugnay ang mga tao sa isang taong pinagkakatiwalaan nila sa panahon ng matinding paghihirap. Ipinakilala rin namin ang ChatGPT para sa mga Teenager, na may mga karagdagang proteksiyon para sa mas batang user.

Ang MentalHealthBench ay isa sa mga paraan ng aming pagsisikap na bumuo ng AI na tumutulong sa milyon-milyong tao na harapin ang mahihirap na sandali, patatagin ang kanilang mga relasyon, at mamuhay nang mas malusog at kasiya-siya.