Iepazīstinām ar MentalHealthBench

Cilvēki vēršas pie mākslīgā intelekta (MI) daudzu veidu sarunām: sarežģītu attiecību risināšanai, ikdienas stresa pārvarēšanai, tuva cilvēka atbalstam vai lēmumu pieņemšanai par to, kā rīkoties sarežģītā situācijā. Šīs sarunas prasa precizitāti, praktisku spriestspēju un cieņu pret cilvēku rīcības brīvību. Tā kā ChatGPT katru nedēļu izmanto vairāk nekā miljards cilvēku, mūsu pētījumi koncentrējas uz to, lai palīdzētu modeļiem rūpīgi reaģēt uz plašu vajadzību klāstu un pirmajā vietā izvirzītu cilvēku drošību un labbūtību.

Lielākajā daļā MI novērtējumu šajā jomā galvenā uzmanība ir pievērsta ārkārtas scenārijiem, ņemot vērā to nozīmi drošības nodrošināšanā, un panākumi tiek mērīti, izmantojot plašus, iepriekš definētus kritērijus. Tas ir atstājis robu izpratnē par to, kā modeļi darbojas visā garīgās veselības sarunu klāstā un cik labi to atbildes atbilst ekspertu norādījumiem katrā situācijā, neaprobežojoties tikai ar to, vai tie izvairās no neatļautām atbildēm. Lai virzītos uz MI, kas aktīvi atbalsta cilvēku ilgtermiņa labbūtību un drošību, ir svarīgi novērtēt, kā modeļi rīkojas šajās dažādajās situācijās.

Mēs ieviešam MentalHealthBench – jaunu atvērtu etalonu, lai novērtētu, kā MI sistēmas reaģē reālistiskās sarunās par garīgo veselību. MentalHealthBench tika izveidots sadarbībā ar 80 licencētu garīgās veselības ekspertu globālu grupu no 22 valstīm. Tas novērtē modeļa spējas attiecībā uz būtiskiem uzvedības aspektiem sarunās par garīgo veselību, piemēram, drošību, konteksta noskaidrošanu, lietotāja rīcībspējas saglabāšanu un praktisku norādījumu sniegšanu, kad tas ir piemēroti. Mēs to publiskojam, lai citi pētnieki varētu izpētīt metodes, veikt savus novērtējumus un balstīties uz darbu.

MentalHealthBench rezultāti liecina par pastāvīgu mākslīgā intelekta sistēmu uzlabošanos, palīdzot cilvēkiem orientēties garīgās veselības situācijās. Lai gan ChatGPT neaizstāj terapiju vai profesionālu aprūpi, ekspertu sniegtās atziņas palīdz mums novērtēt progresu ceļā uz mākslīgā intelekta modeļiem, kas spēj reaģēt ar empātiju, veicināt labsajūtu un vadīt cilvēkus pēc reālas palīdzības, piemēram, lokālām krīzes tālruņu līnijām⁠(atveras jaunā logā) vai kādam, kam viņi uzticas.

Sarunas, kas saistītas ar labsajūtu, dzīves padomiem vai citiem garīgās veselības scenārijiem, var ievērojami atšķirties pēc tēmas, steidzamības pakāpes un kultūras konteksta. MentalHealthBench ir izstrādāts, lai aptvertu šo reālistisko scenāriju un lietotāju personu klāstu. Izmantojot privātuma saglabāšanas metodes, mēs izveidojām sintētiskas sarunas par garīgo veselību, kas precīzi atspoguļo mākslīgā intelekta lietošanas modeļus garīgās veselības jomā reālajā pasaulē. Dažos scenārijos ir iekļauta arī atbilstoša fona informācija par sintētisko lietotāju, piemēram, nesen piedzīvots zaudējums ģimenē, lai mēs varētu novērtēt, vai modeļi izmanto šo kontekstu, lai atbilstoši pielāgotu savas atbildes.

MentalHealthBench ietver scenārijus, kuros vairākās valodās un reģionos ir iesaistīti pieaugušie, pusaudži, aprūpētāji un klīnicisti. Sarunas aptver vairākas tēmas un visu situāciju nopietnības spektru:

• Neakūtas —ikdienas sarunas, kurās var būt ietvertas dažas emocionālas komponentes.

• Augsta asuma situācija— sarunas, kas liecina par nopietnākām garīgās veselības problēmām vai ievērojamu stresu, bet ne par tūlītēju ārkārtas situāciju.

• Ārkārtas situācijas— sarunas, kas saistītas ar garīgās veselības ārkārtas situācijas pazīmēm vai neatliekamām bažām par drošību, kuru dēļ nepieciešama steidzama palīdzība reālajā dzīvē.

Pamatojoties uz mūsu iepriekšējo, uz klīnicistiem balstīto darbu HealthBench un HealthBench Professional⁠(atveras jaunā logā)vajadzībām,⁠(atveras jaunā logā) mēs izstrādājām MentalHealthBench ciešā sadarbībā ar mūsu garīgās veselības ekspertu grupu. To veidoja vairāk nekā 80 licencētu psihologu un psihiatru no 22 valstīm, kuri runāja 19 valodās un pārstāvēja gandrīz 20 garīgās veselības apakšspecialitātes.

Eksperti bija atbildīgi par katras sintētiskās sarunas izlasīšanu un detalizēta rubriku kritēriju saraksta izveidi, lai novērtētu modeļa atbildes uz pēdējo lietotāja ziņojumu. Katrs kritērijs ir vērsts uz vienu modeļa atbildes aspektu, piemēram, pareizā jautājuma uzdošanu vai vislabākā iespējamā padoma sniegšanu. Katram no tiem ir svars no -10 līdz +10: pozitīvi punkti apbalvo labvēlīgu uzvedību, savukārt negatīvi punkti soda kaitīgu uzvedību, un kritēriji ar lielākām vērtībām norāda uz lielāku klīnisko nozīmi sarunas kontekstā.

Katru sarunu pārskatīja vismaz trīs eksperti, un galīgajā etalonā tika iekļauti tikai tie kritēriji, kurus pieņēma visi. Tāpēc etalonā iekļautie galīgie vērtēšanas kritēriju kopumi atspoguļo kopīgu spriedumu par to, kā modeļiem vajadzētu reaģēt katrā kontekstā. Katrai sarunai mēs izmantojam automatizētu vērtētāju GPT‑5.6 Sol, lai novērtētu modeļa atbildes, izmantojot ekspertu rakstītos kritērijus. Rakstā ir detalizēti aprakstīts vērtēšanas process un vērtēšanas iestatījumi.

Ar MentalHealthBench novērtējām plašu modeļu klāstu. Tālāk redzamie rezultāti atspoguļo šo modeļu sniegumu visā datu kopā un pēc sarunas situācijas nopietnības. Novērtējumā tiek pārbaudīts, vai modeļa atbilde atspoguļo visas ekspertu katram scenārijam noteiktās ideālās uzvedības un vienlaikus nepieļauj aizliegtu uzvedību.

Mēs izveidojām sintētiskas sarunas, kas pārstāv četrus lietotāju veidus: pieaugušos, 13–17 gadus vecus pusaudžus, aprūpētājus un klīnicistus. Pamatinformāciju sniedzām sistēmas ziņojumos, bet pusaudža personā skaidri norādījām, ka lietotājs ir 13–17 gadus vecs. Šī pieeja ir paredzēta dažādu modeļu nodrošinātāju risinājumiem, taču tā var neaptvert visus atsevišķos produktos iebūvētos aizsardzības pasākumus.

Katrai sarunai klīnicisti izstrādāja kritērijus, kas nosaka, kas būtu jāietver vai no kā būtu jāizvairās atbilstošā nākamajā atbildē, un mēs pēc tiem novērtējām modeļu atbildes. Sarunas ar pusaudža personu pārskatīja klīnicisti, kuri specializējas jauniešu garīgajā veselībā, lai palīdzētu izvērtēt atbilžu piemērotību pusaudžu īpašajām vajadzībām.

MentalHealthBench ļauj arī daudzpusīgi novērtēt modeļa uzvedību. Kopējo rezultātu var sadalīt sniegumā desmit modeļa uzvedības dimensijās, kas saistītas ar garīgo veselību. Šīs uzvedības ir definējuši garīgās veselības eksperti, lai aptvertu modeļu snieguma nianses. Modeļiem ar līdzīgiem kopējiem rezultātiem var būt atšķirīgas stiprās puses šajās uzvedībās.

Šāds detalizēts novērtējums var palīdzēt pētniekiem noteikt pilnveidojamās jomas, balstoties uz interpretējamām modeļa uzvedībām. Piemēram, redzam, ka līdz ar progresīvākiem modeļiem ir uzlabojusies modeļa spēja atbilstoši noskaidrot kontekstu. Šie uzlabojumi atspoguļo OpenAI un citu modeļu nodrošinātāju ieguldījumu tajā, lai modeļi labāk risinātu sarunas par garīgo veselību.

Paralēli MentalHealthBench veicām atsevišķu analīzi, lai salīdzinātu klīnicistu ieteikumus ar to, ko cilvēki uzskata par noderīgu MI sniegtajā atbalstā. Etalonā izmantoti klīnicistu izstrādāti vērtēšanas kritēriji, savukārt šajā analīzē pētījām, kuros aspektos lietotāju un klīnicistu viedokļi sakrita, atšķīrās vai bija pretrunīgi.

Mēs sadarbojāmies ar 44 pieaugušajiem no 16 valstīm, kuri runāja 14 valodās un bija izmantojuši MI garīgās veselības vai emocionālam atbalstam. Dalībnieki vērtēja modeļu atbildes sintētiskās sarunās un izstrādāja kritērijus, kas raksturo noderīgu atbalstu. Viņi pārskatīja tikai neakūtas sarunas, lai nebūtu jāsaskaras ar potenciāli satraucošu augstas nopietnības materiālu.

Lietotāju skatījums izcēla MI atbalsta īpašības, ko cilvēki novērtē, bet klīnicistu ieteikumos uzsvēra mazāk, īpaši praktiskus nākamos soļus un toni. Klīnicisti lielāku uzmanību pievērsa būtiskā konteksta noskaidrošanai un neskaidru situāciju rūpīgai interpretēšanai. Šis salīdzinājums sniedz pilnīgāku priekšstatu par to, ko cilvēki novērtē atbalstā un kā viņu vēlmes ir saistītas ar klīniskajiem ieteikumiem.

MentalHealthBench sniedz ekspertiem, pētniekiem un izstrādātājiem kopīgu rīku droša un noderīga MI atbalsta novērtēšanai dažādās garīgās veselības situācijās. Publicējot to brīvai piekļuvei, aicinām kopienu izpētīt tā metodes, atklāt esošo modeļu trūkumus un kopīgi pilnveidot modeļus. Neviens etalons nespēj aptvert visu personiskā sarunā būtisko, taču ceram, ka MentalHealthBench palīdzēs noteikt augstāku standartu tam, kā MI atbalsta cilvēkus.

Atbalstām arī citus MI un garīgās veselības projektus, tostarp piedāvājam dotācijas jauniem pētījumiem, pulcējam ekspertus kopā ar Partnership on AI⁠(atveras jaunā logā) un palīdzam īstenot papildinošus neatkarīgus projektus, piemēram, Transluce garīgās veselības novērtējumu⁠(atveras jaunā logā).

Līdztekus šim pētījumam esam uzlabojuši ChatGPT atbildes sensitīvās sarunās, paplašinājuši piekļuvi krīzes palīdzības resursiem un pievienojuši funkciju Uzticības kontaktpersona, lai distresa brīžos cilvēkus savienotu ar kādu, kam viņi uzticas. Esam ieviesuši arī ChatGPT pusaudžiem ar papildu aizsardzību jaunākiem lietotājiem.

MentalHealthBench ir viens no veidiem, kā strādājam pie MI, kas miljoniem cilvēku palīdz pārvarēt grūtus brīžus, stiprināt attiecības un dzīvot veselīgāku, piepildītāku dzīvi.