Prezantimi i MentalHealthBench

Njerëzit i drejtohen inteligjencës artificiale për shumë lloje bisedash: për të lundruar në një marrëdhënie të vështirë, për të kapërcyer stresin e përditshëm, për të mbështetur dikë që u intereson ose për të vendosur se si t'i qasen një situate sfiduese. Këto biseda kërkojnë saktësi, gjykim praktik dhe respekt për lirinë e veprimit të njerëzve. Me më shumë se një miliard njerëz që përdorin ChatGPT çdo javë, hulumtimi ynë përqendrohet në ndihmën e modeleve për t'iu përgjigjur me kujdes një game të gjerë nevojash dhe për të vënë sigurinë dhe mirëqenien e njerëzve në radhë të parë.

Shumica e vlerësimeve të IA-së në këtë fushë janë përqendruar kryesisht në skenarët e emergjencës, duke pasur parasysh rëndësinë e tyre për sigurinë, dhe matin suksesin duke përdorur kritere të gjera dhe të paracaktuara. Kjo ka lënë një boshllëk në të kuptuarit se si modelet performojnë në të gjithë gamën e bisedave për shëndetin mendor dhe sa mirë përputhen përgjigjet e tyre me udhëzimet e ekspertëve për secilën situatë, përtej faktit nëse ato shmangin përgjigjet e papranueshme. Vlerësimi i mënyrës se si modelet i trajtojnë këto situata të ndryshme është thelbësor për ndërtimin drejt një IA-je që mbështet në mënyrë aktive mirëqenien dhe sigurinë afatgjatë të njerëzve.

Po prezantojmë MentalHealthBench, një standard të ri të hapur për matjen e mënyrës se si sistemet AI përgjigjen në biseda realiste për shëndetin mendor. MentalHealthBench u krijua bashkë me një grup global prej 80 ekspertësh të licencuar të shëndetit mendor nga 22 vende. Ai vlerëson aftësitë e modelit në sjelljet kyçe të shëndetit mendor si siguria, kërkimi i kontekstit, ruajtja e agjencisë së përdoruesit dhe ofrimi i udhëzimeve të zbatueshme kur është e përshtatshme. Po e publikojmë hapur që studiues të tjerë të mund të shqyrtojnë metodat, të kryejnë vlerësimet e tyre dhe të ndërtojnë mbi punën.

Rezultatet në MentalHealthBench tregojnë përmirësimin e vazhdueshëm të sistemeve të inteligjencës artificiale në ndihmën e njerëzve për të lundruar në situata të shëndetit mendor. Ndërkohë që ChatGPT nuk zëvendëson terapinë ose kujdesin profesional, njohuritë e bazuara në ekspertë na ndihmojnë të matim progresin drejt modeleve të inteligjencës artificiale që janë në gjendje të përgjigjen me empati, të promovojnë mirëqenien dhe t'i udhëzojnë njerëzit drejt mbështetjes në botën reale, siç janë linjat telefonike lokale të krizave⁠(hapet në një dritare të re) ose dikush të cilit i besojnë.

Bisedat që përfshijnë mirëqenien, këshilla për jetën, ose skenarë të tjerë të shëndetit mendor mund të ndryshojnë shumë në temë, urgjencë dhe kontekst kulturor. MentalHealthBench është krijuar për të kapur gamën e këtyre skenarëve realistë dhe profileve të përdoruesve. Duke përdorur teknika që ruajnë privatësinë, ne krijuam biseda sintetike mbi shëndetin mendor që pasqyrojnë me saktësi modelet e përdorimit të inteligjencës artificiale në botën reale për shëndetin mendor. Disa skenarë përfshijnë gjithashtu informacion të rëndësishëm rreth përdoruesit sintetik—si një humbje rishtazi në familje—në mënyrë që të vlerësojmë nëse modelet përdorin atë kontekst për të përshtatur përgjigjet e tyre në mënyrë të përshtatshme.

MentalHealthBench përfshin skenarë që përfshijnë të rritur, adoleshentë, kujdestarë dhe klinicistë, në gjuhë dhe rajone të shumta. Bisedat përfshijnë tema të shumta aktuale dhe ofrojnë mbulim në të gjithë spektrin e mprehtësisë:

• Jo-akute—Biseda të përditshme që mund të përfshijnë disa komponentë emocionalë.

• Rëndesë e lartë— Biseda që tregojnë probleme më serioze të shëndetit mendor ose shqetësim të konsiderueshëm, por jo një urgjencë të menjëhershme.

• Emergjenca— Biseda që përfshijnë shenja të një emergjence të shëndetit mendor ose shqetësime të menjëhershme për sigurinë që kërkojnë mbështetje urgjente në botën reale.

Duke u bazuar në punën tonë të mëparshme, të informuar nga klinicistët, për HealthBench dhe HealthBench Professional⁠(hapet në një dritare të re),⁠(hapet në një dritare të re) ne zhvilluam MentalHealthBench në bashkëpunim të ngushtë me grupin tonë të ekspertëve të shëndetit mendor. Ky përbëhej nga më shumë se 80 psikologë dhe psikiatër të licencuar në 22 vende, që flisnin 19 gjuhë dhe përfaqësonin afërsisht 20 nën-specialitete të shëndetit mendor.

Ekspertët ishin përgjegjës për leximin e çdo bisede sintetike dhe për hartimin e një liste të detajuar të kritereve të rubrikës për të vlerësuar përgjigjet e modelit ndaj mesazhit të fundit të përdoruesit. Çdo kriter synon një aspekt të vetëm të përgjigjes së modelit, siç është bërja e pyetjes së duhur ose dhënia e këshillës më të mirë të mundshme. Secila prej tyre mbart një peshë që varion nga -10 në +10: pikët pozitive shpërblejnë sjelljet e dobishme, ndërsa pikët negative penalizojnë ato të dëmshme, dhe kriteret me vlera më të mëdha tregojnë rëndësi më të madhe klinike në kontekstin e një bisede.

Çdo bisedë u shqyrtua nga të paktën tri ekspertë, dhe vetëm kriteret që u pranuan nga të gjithë u përfshinë në standardin përfundimtar. Rubrikat përfundimtare në standard, pra, pasqyrojnë një gjykim të përbashkët se si modelet duhet të përgjigjen në secilin kontekst. Për çdo bisedë, ne përdorim një vlerësues të automatizuar, GPT‑5.6 Sol, për të vlerësuar përgjigjet e modelit kundrejt kritereve të shkruara nga ekspertët. Punimi përshkruan në detaje procesin e vënies së notave dhe cilësimet e vlerësimit.

Vlerësuam një gamë të gjerë modelesh në MentalHealthBench. Rezultatet më poshtë tregojnë performancën e këtyre modeleve në të gjithë grupin e të dhënave dhe sipas rëndesës së bisedës. Vlerësimi mat nëse përgjigjja e një modeli shfaq të gjitha sjelljet ideale që ekspertët identifikuan për secilin skenar, duke shmangur njëkohësisht sjelljet e palejuara

Krijuam biseda sintetike që përfaqësonin katër lloje përdoruesish: të rritur, adoleshentë 13–17 vjeç, kujdestarë dhe klinicistë. Informacionin kontekstual e dhamë përmes mesazheve të sistemit dhe, për personazhin adoleshent, deklaruam shprehimisht se përdoruesi ishte 13–17 vjeç. Kjo qasje është krijuar për të funksionuar me ofrues të ndryshëm modelesh, megjithëse mund të mos përfshijë të gjitha masat mbrojtëse të integruara në produkte të veçanta.

Për çdo bisedë, klinicistët shkruan kritere që përshkruanin çfarë duhej të përfshinte ose të shmangte një përgjigje e përshtatshme pasuese, dhe ne i vlerësuam përgjigjet e modeleve sipas tyre. Bisedat me personazhin adoleshent u shqyrtuan nga klinicistë të specializuar në shëndetin mendor të të rinjve, për të ndihmuar në vlerësimin nëse përgjigjet u përshtateshin nevojave të veçanta të adoleshentëve.

MentalHealthBench mundëson gjithashtu matjen shumëdimensionale të sjelljes së modelit. Rezultati i përgjithshëm mund të zbërthehet në performancën përgjatë dhjetë dimensioneve të sjelljes së modelit për shëndetin mendor. Këto sjellje përcaktohen nga ekspertët e shëndetit mendor dhe synojnë të pasqyrojnë nuancat e performancës së modelit. Modelet me rezultate të përgjithshme të ngjashme mund të kenë pika të forta të ndryshme në këto sjellje.

Një matje kaq e hollësishme mund t’i ndihmojë studiuesit të identifikojnë fusha për përmirësim në sjellje të interpretueshme të modelit. Për shembull, shohim se aftësia e një modeli për të kërkuar siç duhet kontekst është rritur te modelet më të përparuara. Këto përmirësime pasqyrojnë investimet e OpenAI dhe ofruesve të tjerë për të përmirësuar mënyrën se si modelet trajtojnë bisedat për shëndetin mendor.

Krahas MentalHealthBench, kryem një analizë të veçantë për të krahasuar udhëzimet e klinicistëve me atë që njerëzit e konsiderojnë të dobishme në mbështetjen nga IA-ja. Standardi përdor kritere vlerësimi të shkruara nga klinicistët; kjo analizë shqyrtoi se ku përputheshin, ndryshonin ose binin ndesh këndvështrimet e përdoruesve dhe klinicistëve.

Punuam me 44 të rritur që kishin përdorur IA-në për shëndetin mendor ose mbështetje emocionale, të cilët përfaqësonin 16 vende dhe 14 gjuhë. Pjesëmarrësit vlerësuan përgjigjet e modeleve ndaj bisedave sintetike dhe shkruan kritere që përshkruanin si duhet të ishte një mbështetje e dobishme. Shqyrtimi i tyre u kufizua në biseda joakute, për të shmangur ekspozimin ndaj materialeve me rëndesë të lartë që mund të shkaktonin shqetësim.

Këndvështrimet e përdoruesve nxorën në pah cilësi që njerëzit vlerësojnë te mbështetja nga IA-ja, por që theksoheshin më pak në udhëzimet e klinicistëve, sidomos hapat praktikë vijues dhe toni. Klinicistët i kushtuan më shumë rëndësi mbledhjes së kontekstit përkatës dhe interpretimit të kujdesshëm të situatave të paqarta. Ky krahasim na jep një tablo më të plotë të asaj që njerëzit vlerësojnë te mbështetja dhe të lidhjes së këtyre parapëlqimeve me udhëzimet klinike.

MentalHealthBench u jep ekspertëve, studiuesve dhe zhvilluesve një mjet të përbashkët për të vlerësuar mbështetjen e sigurt dhe të dobishme të IA-së në situata të shëndetit mendor. Duke e publikuar hapur, ftojmë komunitetin të shqyrtojë metodat e tij, të identifikojë mangësitë e modeleve ekzistuese dhe të punojë për përmirësimin e tyre. Asnjë standard vlerësimi nuk përfshin gjithçka që ka rëndësi në një bisedë personale, por shpresojmë që MentalHealthBench të ndihmojë në vendosjen e një standardi më të lartë për mënyrën se si IA-ja i mbështet njerëzit.

Po mbështesim edhe përpjekje të tjera në fushën e IA-së dhe shëndetit mendor, duke përfshirë grante për kërkime të reja, mbledhjen e ekspertëve me Partnership on AI⁠(hapet në një dritare të re) dhe ndihmën për nisma të pavarura plotësuese, si vlerësimi i shëndetit mendor⁠(hapet në një dritare të re) nga Transluce.

Krahas këtij kërkimi, kemi përmirësuar përgjigjet e ChatGPT në bisedat delikate, kemi zgjeruar qasjen në burimet për krizat dhe kemi shtuar funksionin kontakt i besuar, për t’i lidhur njerëzit me dikë të besuar në çaste shqetësimi. Kemi prezantuar gjithashtu ChatGPT për adoleshentët, me mbrojtje shtesë për përdoruesit më të rinj.

MentalHealthBench është një nga mënyrat se si po punojmë drejt një IA-je që ndihmon miliona njerëz të përballojnë çaste të vështira, të forcojnë marrëdhëniet e tyre dhe të bëjnë jetë më të shëndetshme e më përmbushëse.