MentalHealthBench á chur i láthair

Casann daoine ar an Intleacht Shaorga le haghaidh go leor cineálacha comhráite: caidreamh deacair a nascleanúint, strus laethúil a shárú, tacú le duine a bhfuil cúram orthu faoi, nó cinneadh a dhéanamh ar conas dul i ngleic le cás dúshlánach. Éilíonn na comhráite seo cruinneas, breithiúnas praiticiúil agus meas ar neamhspleáchas daoine. Le breis is billiún duine ag baint úsáide as ChatGPT gach seachtain, díríonn ár dtaighde ar chabhrú le samhlacha freagairt go cúramach ar raon leathan riachtanas agus sábháilteacht agus folláine daoine a chur chun tosaigh.

Dhírigh an chuid is mó de na meastóireachtaí ar IS sa réimse seo go príomha ar chásanna éigeandála, mar gheall ar a dtábhacht do shábháilteacht, agus rath a thomhas ag baint úsáide as critéir leathana, réamhshainithe. D'fhág sé seo bearna i dtuiscint ar an gcaoi a n-oibríonn samhlacha ar fud raon iomlán na gcomhráite meabhairshláinte, agus cé chomh maith agus a ailíníonn a gcuid freagraí le treoir saineolaithe do gach cás, seachas cibé an seachnaíonn siad freagraí dícheadaithe. Tá sé ríthábhachtach measúnú a dhéanamh ar an gcaoi a láimhseálann samhlacha na cásanna éagsúla seo chun tógáil i dtreo AI a thacaíonn go gníomhach le folláine agus sábháilteacht fhadtéarmach daoine.

Táimid ag tabhairt isteach MentalHealthBench, tagarmharc oscailte nua chun tomhas a dhéanamh ar an gcaoi a bhfreagraíonn córais AI i gcomhráite réadúla faoi shláinte mheabhrach. Comhchruthaíodh MentalHealthBench le grúpa domhanda de 80 saineolaí meabhairshláinte ceadúnaithe ó 22 tír. Déanann sé measúnú ar chumais shamhail ar fud príomhiompraíochtaí sláinte meabhrach amhail sábháilteacht, comhthéacs a lorg, gníomhaireacht úsáideora a chaomhnú, agus treoir inghníomhaithe a sholáthar nuair is iomchuí. Táimid á scaoileadh go hoscailte ionas gur féidir le taighdeoirí eile na modhanna a scrúdú, a gcuid meastóireachtaí féin a dhéanamh, agus cur leis an obair.

Léiríonn torthaí ar MentalHealthBench feabhas seasta ar chórais AI chun cabhrú le daoine nascleanúint a dhéanamh ar chásanna meabhairshláinte. Cé nach bhfuil ChatGPT in ionad teiripe nó cúram gairmiúil, cuidíonn léargas saineolaithe linn an dul chun cinn i dtreo samhlacha AI a thomhas atá in ann freagairt le comhbhá, folláine a chur chun cinn, agus daoine a threorú i dtreo tacaíochta fíor-shaoil mar bheolínte géarchéime logánta⁠(osclaíonn i bhfuinneog nua) nó duine a bhfuil muinín acu astu.

Is féidir le comhráite a bhaineann le folláine, comhairle saoil, nó cásanna eile sláinte meabhrach a bheith an-éagsúil ó thaobh ábhair, práinne agus comhthéacs cultúrtha de. Tá MentalHealthBench deartha chun fairsinge na gcásanna réadúla seo agus pearsana úsáideoirí a ghabháil. Agus teicnící caomhnaithe príobháideachta á n-úsáid againn, chruthaíomar comhráite sintéiseacha sláinte meabhrach a léiríonn go cruinn patrúin úsáide fíorshaoil na hintleachta saorga le haghaidh sláinte meabhrach. Áirítear le roinnt cásanna faisnéis chúlra ábhartha faoin úsáideoir sintéiseach freisin—amhail cailliúint le déanaí sa teaghlach—ionas gur féidir linn a mheas an n-úsáideann samhlacha an comhthéacs sin chun a gcuid freagraí a oiriúnú go cuí.

Áirítear le MentalHealthBench cásanna lena mbaineann daoine fásta, déagóirí, cúramóirí agus cliniceoirí, i dteangacha agus i réigiúin éagsúla. Clúdaíonn na comhráite téamaí tráthúla iomadúla, agus clúdaíonn siad speictream iomlán na géire:

• Neamhghéarmhíochaine—Comhráite laethúla a bhféadfadh roinnt comhpháirteanna mothúchánacha a bheith i gceist leo.

• Ard-géire- Comhráite a léiríonn imní meabhairshláinte níos tromchúisí nó anacair shuntasach, ach ní éigeandáil láithreach.

• Éigeandálaí- Comhráite a bhaineann le comharthaí éigeandála meabhairshláinte nó imní sábháilteachta láithreacha a éilíonn tacaíocht phráinneach sa saol fíor.

Ag cur lenár gcuid oibre roimhe seo, a raibh eolas ó chliniceoirí aici, do HealthBench agus HealthBench Professional⁠(osclaíonn i bhfuinneog nua),⁠(osclaíonn i bhfuinneog nua) d’fhorbraíomar MentalHealthBench i ndlúthchomhar lenár gcomhort saineolaithe sláinte meabhrach. Bhí sé seo comhdhéanta de níos mó ná 80 síceolaí agus síciatraí ceadúnaithe ar fud 22 tír, ag labhairt 19 teanga agus ag déanamh ionadaíochta ar bheagnach 20 fo-speisialtacht sláinte meabhrach.

Bhí na saineolaithe freagrach as gach comhrá sintéiseach a léamh agus liosta mionsonraithe de chritéir rúibric a tháirgeadh chun freagraí samhail ar an teachtaireacht úsáideora dheireanach a mheas. Díríonn gach critéar ar ghné amháin den fhreagairt samhla amhail an cheist cheart a chur nó an chomhairle is fearr is féidir a sholáthar. Tá meáchan idir -10 agus +10 ag gach ceann acu: tugann pointí dearfacha luach saothair d’iompraíochtaí tairbhiúla, agus pionós ar iompraíochtaí díobhálacha ag pointí diúltacha, agus léiríonn critéir a bhfuil luachanna níos airde acu tábhacht chliniciúil níos mó i gcomhthéacs comhrá.

Rinne triúr saineolaithe ar a laghad athbhreithniú ar gach comhrá, agus níor cuireadh san áireamh sa tagarmharc deiridh ach critéir a raibh glactha acu go léir leo. Dá bhrí sin, léiríonn na rúibricí deiridh sa tagarmharc breithiúnas comhroinnte faoin gcaoi ar cheart do shamhlacha freagairt i ngach comhthéacs. I gcás gach comhrá, úsáidimid grádóir uathoibrithe, GPT‑5.6 Sol, chun freagraí an tsamhail a mheas i gcoinne na gcritéar a scríobh saineolaithe. Déantar cur síos mionsonraithe sa pháipéar ar an bpróiseas grádaithe agus ar na socruithe meastóireachta.

Rinneamar measúnú ar réimse leathan samhlacha ar MentalHealthBench. Léiríonn na torthaí thíos feidhmíocht na samhlacha seo ar an tacar sonraí iomlán agus de réir ghéire an chomhrá. Tomhaiseann an mheastóireacht an léiríonn freagra samhla na hiompraíochtaí idéalacha ar fad a d’aithin saineolaithe do gach cás, agus iompar neamhcheadaithe á sheachaint

Chruthaíomar comhráite sintéiseacha a léiríonn ceithre chineál úsáideora: daoine fásta, déagóirí 13–17 mbliana d’aois, cúramóirí agus cliniceoirí. Thugamar faisnéis chúlra trí theachtaireachtaí córais agus, i bpearsa an déagóra, luaigh muid go sonrach go raibh an t-úsáideoir idir 13 agus 17 mbliana d’aois. Ceapadh an cur chuige seo chun oibriú i measc soláthraithe samhlacha, cé go bhféadfadh sé nach ngabhfadh sé gach cosaint atá ionsuite i dtáirgí aonair.

I gcás gach comhrá, scríobh cliniceoirí critéir a shonraigh cad ba cheart a áireamh nó a sheachaint i bhfreagra cuí ina dhiaidh sin, agus rinneamar freagraí samhlacha a mheas de réir na gcritéar sin. Rinne cliniceoirí a bhfuil saineolas acu ar mheabhairshláinte daoine óga athbhreithniú ar chomhráite a bhain le pearsa an déagóra, chun cabhrú a mheas an raibh na freagraí oiriúnach do riachtanais uathúla déagóirí.

Cumasaíonn MentalHealthBench tomhas ilghnéitheach ar iompar samhlacha freisin. Is féidir an scór foriomlán a mhiondealú ina fheidhmíocht feadh deich ngné d’iompar samhlacha i leith na meabhairshláinte. Sainíonn saineolaithe meabhairshláinte na hiompraíochtaí seo agus is é is aidhm dóibh miondifríochtaí i bhfeidhmíocht samhlacha a ghabháil. D’fhéadfadh láidreachtaí éagsúla a bheith ag samhlacha a bhfuil scóir fhoriomlána chomhchosúla acu sna hiompraíochtaí seo.

Is féidir le tomhas mionchruinn den chineál seo cabhrú le taighdeoirí réimsí feabhsúcháin a aithint i measc iompraíochtaí samhlacha is féidir a léirmhíniú. Mar shampla, feicimid gur tháinig feabhas ar chumas samhla comhthéacs a lorg go cuí de réir mar a tháinig samhlacha níos forbartha chun cinn. Léiríonn na feabhsuithe seo infheistíochtaí OpenAI agus soláthraithe eile chun feabhas a chur ar an gcaoi a láimhseálann samhlacha comhráite meabhairshláinte.

In éineacht le MentalHealthBench, rinneamar anailís ar leith chun treoir cliniceoirí a chur i gcomparáid leis an méid a mheasann daoine a bheith cabhrach i dtacaíocht IS. Úsáideann an tagarmharc critéir scórála a scríobh cliniceoirí; scrúdaigh an anailís seo na háiteanna ar tháinig dearcthaí úsáideoirí agus cliniceoirí le chéile, ar scar siad ó chéile nó ar tháinig siad salach ar a chéile.

D’oibríomar le 44 duine fásta a d’úsáid IS le haghaidh meabhairshláinte nó tacaíochta mothúchánaí, as 16 thír agus 14 theanga. Rinne rannpháirtithe freagraí samhlacha ar chomhráite sintéiseacha a rátáil agus scríobh siad critéir a mhínigh cén chuma ba cheart a bheith ar thacaíocht chabhrach. Bhí a n-athbhreithniú teoranta do chomhráite neamhghéara chun nach nochtfaí iad d’ábhar ardghéire a d’fhéadfadh anacair a chruthú.

Léirigh dearcthaí úsáideoirí tréithe a bhfuil meas ag daoine orthu i dtacaíocht IS ach nár cuireadh an oiread céanna béime orthu i dtreoir cliniceoirí, go háirithe céimeanna praiticiúla ina dhiaidh sin agus tuin chainte. Chuir cliniceoirí níos mó béime ar chomhthéacs ábhartha a bhailiú agus cásanna débhríocha a léirmhíniú go cúramach. Tugann an chomparáid seo léargas níos iomláine dúinn ar an méid a bhfuil meas ag daoine air sa tacaíocht agus ar an gcaoi a mbaineann na roghanna sin le treoir chliniciúil.

Tugann MentalHealthBench uirlis chomhroinnte do shaineolaithe, taighdeoirí agus forbróirí chun tacaíocht IS atá sábháilte agus úsáideach a mheas thar réimse cásanna meabhairshláinte. Trína eisiúint go hoscailte, tugaimid cuireadh don phobal a mhodhanna a scrúdú, bearnaí sna samhlacha reatha a aithint agus oibriú chun samhlacha a fheabhsú. Ní ghabhann aon tagarmharc gach rud atá tábhachtach i gcomhrá pearsanta, ach tá súil againn go gcabhróidh MentalHealthBench le caighdeán níos airde a leagan síos don chaoi a dtacaíonn IS le daoine.

Táimid ag tacú freisin le hiarrachtaí eile in IS agus sa mheabhairshláinte, lena n-áirítear deontais do thaighde nua, saineolaithe a thabhairt le chéile leis an Partnership on AI⁠(osclaíonn i bhfuinneog nua), agus cuidiú le hiarrachtaí neamhspleácha comhlántacha amhail meastóireacht mheabhairshláinte⁠(osclaíonn i bhfuinneog nua) Transluce.

In éineacht leis an taighde seo, táimid tar éis freagraí ChatGPT a neartú i gcomhráite íogaire, rochtain ar acmhainní géarchéime a leathnú agus Teagmhálaí iontaofa a chur leis chun daoine a nascadh le duine a bhfuil muinín acu as le linn tréimhsí anacra. Tá ChatGPT do Dhéagóirí tugtha isteach againn freisin, le cosaintí breise d’úsáideoirí níos óige.

Tá MentalHealthBench ar cheann de na bealaí ina bhfuilimid ag obair i dtreo IS a chuidíonn leis na milliúin daoine dul trí thréimhsí deacra, a gcaidrimh a neartú agus saol níos sláintiúla, níos sásúla a chaitheamh.