Представљамо MentalHealthBench

Људи се обраћају вештачкој интелигенцији за многе врсте разговора: овладавање изазовима у тешком односу, излажење на крај са свакодневним стресом, подржавање некога до кога им је стало или одлучивање како да приступе изазовној ситуацији. Ови разговори захтевају тачност, практично расуђивање и поштовање личне аутономије. Уз више од милијарду људи који користе ChatGPT сваке недеље, наше истраживање се фокусира на помоћ моделима да пажљиво одговоре на широк спектар потреба и на прво место ставе сигурност и благостање људи.

Већина процена AI у овом домену фокусирала се првенствено на ситуације хитних случајева, с обзиром на њихов значај за сигурност, и мере успех користећи опсежне, унапред дефинисане критеријуме. Ово је оставило празнину у разумевању како модели раде у читавом спектру разговора о менталном здрављу и колико су њихови одговори усклађени са упутствима стручњака за сваку ситуацију, поред тога да ли избегавају забрањене одговоре. Процена начина на који се модели носе са овим различитим ситуацијама од суштинског је значаја за изградњу AI која активно подржава дугорочно благостање и сигурност људи.

Представљамо MentalHealthBench, ново отворено бенчмарк испитивање за мерење начина на који AI системи реагују у стварним разговорима о менталном здрављу. MentalHealthBench је креиран заједно са глобалном кохортом од 80 лиценцираних стручњака за ментално здравље из 22 земље. Процењује могућности модела у кључним понашањима у области менталног здравља као што су сигурност, тражење контекста, очување аутономије корисника и пружање смерница које се могу применити када је то прикладно. Отворено га објављујемо како би други истраживачи могли да испитају методе, изврше сопствене процене и надограде рад.

Резултати на MentalHealthBench показују континуирано побољшање AI система у помагању људима да се носе са ситуацијама везаним за ментално здравље. Иако ChatGPT није замена за терапију или професионалну негу, увиди засновани на стручном знању помажу нам да измеримо напредак ка AI моделима који су у стању да реагују на емпатичан начин, да промовишу благостање и усмеравају људе ка подршци у стварном свету, као што су локализоване дежурне линије за кризне ситуације⁠(отвара се у новом прозору) или особе од поверења.

Разговори који укључују благостање, животне савете или друге сценарије менталног здравља могу се увелико разликовати у погледу теме, хитности и културног контекста. MentalHealthBench је дизајниран да обухвати домен ових реалних сценарија и личности корисника. Користећи технике очувања приватности, створили смо синтетичке разговоре о менталном здрављу који тачно одражавају стварне обрасце употребе AI за ментално здравље. Неки сценарији такође укључују релевантне основне информације о синтетичком кориснику – као што је недавни губитак у породици – тако да можемо да проценимо да ли модели користе тај контекст како би на одговарајући начин прилагодили своје одговоре.

MentalHealthBench укључује сценарије који укључују одрасле, тинејџере, неговатеље и клиничаре, на више језика и региона. Разговори обухватају више актуелних тема и пружају покривеност читавим спектром оштрине:

• Неакутни случајеви –свакодневни разговори који могу укључивати неке емоционалне компоненте.

• Високоакутни случајеви– Разговори који указују на озбиљније проблеме са менталним здрављем или значајну психичку узнемиреност, али не представљају непосредну опасност или хитну ситуацију.

• Хитне ситуације – Разговори који укључују знакове ванредне ситуације у менталном здрављу или непосредне безбедносне проблеме који захтевају хитну подршку у стварном свету.

Надовезујући се на наш претходни рад, уз допринос клиничких стручњака за HealthBench и HealthBench Professional⁠(отвара се у новом прозору),⁠(отвара се у новом прозору) развили смо MentalHealthBench у блиској сарадњи са групом стручњака за ментално здравље. Ову групу чинило је више од 80 лиценцираних психолога и психијатара из 22 земље, који говоре 19 језика и представљају готово 20 субспецијалности у области менталног здравља.

Стручњаци су били задужени да прочитају сваки синтетички разговор и саставе детаљан списак критеријума за оцењивање одговора модела на последњу поруку корисника. Сваки критеријум односи се на један аспект одговора модела, као што је постављање правог питања или пружање најбољег могућег савета. Сваки од њих носи тежину у распону од -10 до +10: позитивни бодови награђују корисно понашање, док негативни бодови кажњавају штетна, а критеријуми са већим вредностима указују на већи клинички значај у контексту разговора.

Сваки разговор су прегледала најмање три стручњака, а само критеријуми које су сви прихватили укључени су у коначну референтну вредност. Коначне рубрике у референтној вредности стога одражавају заједничку процену о томе како модели треба да реагују у сваком контексту. За сваки разговор користимо аутоматизовани грејдер, ГПТ-5.6 Sol, за процену одговора модела према критеријумима написаним од стране стручњака. У раду су детаљно описани процес оцењивања и подешавања евалуације.

На мерилу MentalHealthBench оценили смо широк спектар модела. Резултати у наставку приказују учинак ових модела на целом скупу података и према степену озбиљности разговора. Процена мери да ли одговор модела показује сва идеална понашања која су стручњаци утврдили за сваки сценарио, уз избегавање недозвољеног понашања.

Направили смо синтетичке разговоре који представљају четири врсте корисника: одрасле, тинејџере узраста 13–17 година, старатеље и клиничаре. Позадинске информације дали смо кроз системске поруке, а код тинејџерске персоне изричито смо навели да корисник има између 13 и 17 година. Овај приступ је осмишљен тако да ради код различитих добављача модела, мада можда не обухвата све заштитне механизме уграђене у појединачне производе.

За сваки разговор клиничари су написали критеријуме који описују шта одговарајући наредни одговор треба да садржи или избегне, а одговоре модела оценили смо према тим критеријумима. Разговоре с тинејџерском персоном прегледали су клиничари стручни за ментално здравље младих како би помогли у процени да ли су одговори примерени посебним потребама тинејџера.

MentalHealthBench омогућава и вишеструко мерење понашања модела. Укупни резултат може се рашчланити на учинак дуж десет димензија понашања модела у области менталног здравља. Ова понашања дефинисали су стручњаци за ментално здравље како би обухватили нијансе у учинку модела. Модели са сличним укупним резултатима могу имати различите предности у погледу ових понашања.

Овакво прецизно мерење може помоћи истраживачима да препознају области за побољшање кроз разумљива понашања модела. На пример, видимо да је код напреднијих модела побољшана способност модела да на одговарајући начин затражи контекст. Ова побољшања одражавају улагања компаније OpenAI и других добављача модела у унапређење начина на који се модели сналазе у разговорима о менталном здрављу.

Упоредо са мерилом MentalHealthBench, спровели смо засебну анализу да бисмо упоредили смернице клиничара с оним што људи сматрају корисним у подршци коју пружа AI. Мерило користи критеријуме оцењивања које су написали клиничари; ова анализа испитала је где се ставови корисника и клиничара подударају, разликују или су у сукобу.

Сарађивали смо са 44 одрасле особе које су користиле AI за подршку у области менталног здравља или емоционалну подршку, из 16 земаља и са 14 језика. Учесници су оцењивали одговоре модела на синтетичке разговоре и писали критеријуме који описују како корисна подршка треба да изгледа. Њихов преглед био је ограничен на разговоре који нису акутни како не би били изложени потенцијално узнемирујућем материјалу високог степена озбиљности.

Ставови корисника истакли су особине које људи цене у подршци коју пружа AI, а које су биле мање наглашене у смерницама клиничара, нарочито практичне наредне кораке и тон. Клиничари су већи нагласак ставили на прикупљање релевантног контекста и пажљиво тумачење нејасних ситуација. Ово поређење пружа нам потпунију слику о томе шта људи цене у подршци и како су те склоности повезане с клиничким смерницама.

MentalHealthBench пружа стручњацима, истраживачима и програмерима заједнички алат за процену безбедне и корисне AI подршке у различитим ситуацијама повезаним с менталним здрављем. Јавним објављивањем позивамо заједницу да испита његове методе, препозна недостатке постојећих модела и ради на њиховом побољшању. Ниједно мерило не обухвата све што је важно у личном разговору, али се надамо да ће MentalHealthBench допринети вишем стандарду начина на који AI пружа подршку људима.

Подржавамо и друге активности у области AI-ја и менталног здравља, укључујући грантове за нова истраживања, окупљање стручњака с организацијом Partnership on AI⁠(отвара се у новом прозору) и помоћ независним, комплементарним иницијативама попут Transluce-ове процене менталног здравља⁠(отвара се у новом прозору).

Упоредо с овим истраживањем, унапредили смо одговоре ChatGPT‑а у осетљивим разговорима, проширили приступ ресурсима за кризне ситуације и додали контакт особу од поверења како бисмо људе у тренуцима узнемирености повезали с неким коме верују. Увели смо и ChatGPT за тинејџере, с додатним заштитама за млађе кориснике.

MentalHealthBench је један од начина на које радимо на развоју AI-ја који помаже милионима људи да преброде тешке тренутке, ојачају односе и живе здравије и испуњеније.