MentalHealthBenchનો પરિચય

લોકો અનેક પ્રકારની વાતચીત માટે AI તરફ વળે છે: મુશ્કેલ સંબંધોમાં નેવિગેટ કરવા, રોજિંદા તણાવમાંથી બહાર નીકળવા, તેઓ જેની કાળજી રાખે છે તેને ટેકો આપવા અથવા પડકારજનક પરિસ્થિતિનો સામનો કેવી રીતે કરવો તે નક્કી કરવા. આ વાતચીતોમાં ચોકસાઈ, વ્યવહારુ નિર્ણય અને લોકોની એજન્સી માટે આદરની જરૂર હોય છે. દર અઠવાડિયે એક અબજથી વધુ લોકો ChatGPT નો ઉપયોગ કરે છે, અમારું સંશોધન મોડેલોને વિવિધ જરૂરિયાતોને પૂર્ણ કરવામાં અને લોકોની સલામતી અને સુખાકારીને પ્રથમ સ્થાને રાખવામાં મદદ કરવા પર ધ્યાન કેન્દ્રિત કરે છે.

આ ક્ષેત્રમાં AI ના મોટાભાગના મૂલ્યાંકન મુખ્યત્વે કટોકટીના દૃશ્યો પર ધ્યાન કેન્દ્રિત કરે છે, સલામતીને તેમનું મહત્વ આપે છે અને વ્યાપક, પૂર્વવ્યાખ્યાયિત માપદંડોનો ઉપયોગ કરીને સફળતાને માપે છે. આનાથી માનસિક સ્વાસ્થ્ય વાતચીતોની સંપૂર્ણ શ્રેણીમાં મોડેલો કેવી રીતે કાર્ય કરે છે અને તેમના પ્રતિભાવો દરેક પરિસ્થિતિ માટે નિષ્ણાતોના માર્ગદર્શન સાથે કેટલા સારી રીતે સુસંગત છે તે સમજવામાં અંતર રહ્યું છે—માત્ર તેઓ અસ્વીકાર્ય પ્રતિભાવો ટાળે છે કે નહીં એથી આગળ. મોડેલો આ વિવિધ પરિસ્થિતિઓને કેવી રીતે હેન્ડલ કરે છે તેનું મૂલ્યાંકન કરવું એ એઆઈ તરફ નિર્માણ કરવા માટે જરૂરી છે જે લોકોની લાંબા ગાળાની સુખાકારી અને સલામતીને સક્રિયપણે ટેકો આપે છે.

અમે મેન્ટલહેલ્થબેન્ચ રજૂ કરી રહ્યા છીએ, જે વાસ્તવિક માનસિક સ્વાસ્થ્ય વાતચીતમાં AI સિસ્ટમ્સ કેવી રીતે પ્રતિક્રિયા આપે છે તે માપવા માટે એક નવો ખુલ્લો બેન્ચમાર્ક છે. MentalHealthBench 22 દેશોના 80 લાઇસન્સ પ્રાપ્ત માનસિક સ્વાસ્થ્ય નિષ્ણાતોના વૈશ્વિક જૂથ સાથે સહ-નિર્માણ કરવામાં આવ્યું હતું. તે સલામતી, સંદર્ભ શોધવો, વપરાશકર્તા એજન્સી સાચવવી અને યોગ્ય હોય ત્યારે કાર્યક્ષમ માર્ગદર્શન પૂરું પાડવા જેવી મુખ્ય માનસિક સ્વાસ્થ્ય વર્તણૂકોમાં મોડલ ક્ષમતાઓનું મૂલ્યાંકન કરે છે. અમે તેને ખુલ્લેઆમ પ્રકાશિત કરી રહ્યા છીએ જેથી અન્ય સંશોધકો પદ્ધતિઓનું પરીક્ષણ કરી શકે, પોતાનું મૂલ્યાંકન કરી શકે અને આ કાર્યને આગળ વધારી શકે.

મેન્ટલહેલ્થબેન્ચ પરના પરિણામો દર્શાવે છે કે માનસિક સ્વાસ્થ્ય પરિસ્થિતિઓમાં લોકોને મદદ કરવા માટે AI સિસ્ટમ્સમાં સતત સુધારો થઈ રહ્યો છે. જ્યારે ChatGPT એ ઉપચાર અથવા વ્યાવસાયિક સંભાળનો વિકલ્પ નથી, ત્યારે નિષ્ણાત-માહિતગાર આંતરદૃષ્ટિ આપણને AI મોડેલો તરફ પ્રગતિને માપવામાં મદદ કરે છે જે સહાનુભૂતિ સાથે પ્રતિસાદ આપવા, સુખાકારીને પ્રોત્સાહન આપવા અને લોકોને વાસ્તવિક દુનિયાના સમર્થન જેમ કે સ્થાનિક કટોકટી હોટલાઇન્સ⁠(નવી વિન્ડોમાં ખૂલે છે) અથવા તેઓ જેના પર વિશ્વાસ કરે છે તેના તરફ માર્ગદર્શન આપવા સક્ષમ છે.

સુખાકારી, જીવન સલાહ અથવા અન્ય માનસિક સ્વાસ્થ્ય પરિસ્થિતિઓ સાથે સંકળાયેલી વાતચીતો વિષય, તાકીદ અને સાંસ્કૃતિક સંદર્ભમાં વ્યાપકપણે બદલાઈ શકે છે. મેન્ટલહેલ્થબેન્ચ આ વાસ્તવિક દૃશ્યો અને વપરાશકર્તાના વ્યક્તિત્વની પહોળાઈને કેપ્ચર કરવા માટે રચાયેલ છે. ગોપનીયતા-જાળવણી તકનીકોનો ઉપયોગ કરીને, અમે કૃત્રિમ માનસિક સ્વાસ્થ્ય વાર્તાલાપ બનાવ્યા છે જે માનસિક સ્વાસ્થ્ય માટે AI ના વાસ્તવિક-વિશ્વના ઉપયોગ પેટર્નને સચોટ રીતે પ્રતિબિંબિત કરે છે. કેટલાક દૃશ્યોમાં કૃત્રિમ વપરાશકર્તા વિશે સંબંધિત પૃષ્ઠભૂમિ માહિતી પણ શામેલ હોય છે - જેમ કે પરિવારમાં તાજેતરમાં થયેલું નુકસાન - જેથી અમે મૂલ્યાંકન કરી શકીએ કે મોડેલો તેમના પ્રતિભાવોને યોગ્ય રીતે અનુરૂપ બનાવવા માટે તે સંદર્ભનો ઉપયોગ કરે છે કે નહીં.

મેન્ટલહેલ્થબેન્ચમાં બહુવિધ ભાષાઓ અને પ્રદેશોમાં પુખ્ત વયના લોકો, કિશોરો, સંભાળ રાખનારાઓ અને ચિકિત્સકોને સંડોવતા દૃશ્યોનો સમાવેશ થાય છે. વાર્તાલાપ બહુવિધ વિષયોની થીમ્સને આવરી લે છે અને ઉગ્રતાના સંપૂર્ણ સ્પેક્ટ્રમમાં કવરેજ પૂરું પાડે છે:

• બિન-તીક્ષ્ણ—રોજિંદા વાતચીત જેમાં કેટલાક ભાવનાત્મક ઘટકો શામેલ હોઈ શકે છે.

• હાઇ તીવ્રતા- વધુ ગંભીર માનસિક સ્વાસ્થ્ય ચિંતાઓ અથવા નોંધપાત્ર તકલીફ સૂચવતી વાતચીત, પરંતુ તાત્કાલિક કટોકટી નહીં.

• કટોકટી- માનસિક સ્વાસ્થ્ય કટોકટીના સંકેતો અથવા તાત્કાલિક સલામતીની ચિંતાઓ સાથેની વાતચીત જેમાં તાત્કાલિક વાસ્તવિક દુનિયાની સહાયની જરૂર હોય.

હેલ્થબેન્ચ અને હેલ્થબેન્ચ પ્રોફેશનલ⁠(નવી વિન્ડોમાં ખૂલે છે)માટે અમારા અગાઉના, ક્લિનિશિયન-માહિતગાર કાર્ય પર નિર્માણ,⁠(નવી વિન્ડોમાં ખૂલે છે) અમે અમારા માનસિક સ્વાસ્થ્ય નિષ્ણાતોના જૂથ સાથે ગાઢ સહયોગથી MentalHealthBench વિકસાવ્યું છે. આમાં 22 દેશોમાં 80 થી વધુ લાઇસન્સ પ્રાપ્ત મનોવૈજ્ઞાનિકો અને મનોચિકિત્સકોનો સમાવેશ થતો હતો, જેઓ 19 ભાષાઓ બોલતા હતા અને લગભગ 20 માનસિક આરોગ્ય પેટાવિશેષતાઓનું પ્રતિનિધિત્વ કરતા હતા.

નિષ્ણાતો દરેક કૃત્રિમ વાતચીત વાંચવા અને છેલ્લા વપરાશકર્તા સંદેશના મોડલ પ્રતિભાવોનું મૂલ્યાંકન કરવા માટે રૂબ્રિક માપદંડોની વિગતવાર સૂચિ તૈયાર કરવા માટે જવાબદાર હતા. દરેક માપદંડ મોડલ પ્રતિભાવના એક પાસાને લક્ષ્ય બનાવે છે જેમ કે યોગ્ય પ્રશ્ન પૂછવો અથવા શ્રેષ્ઠ શક્ય સલાહ આપવી. તે દરેકનું વજન -10 થી +10 સુધીનું છે: સકારાત્મક બિંદુઓ ફાયદાકારક વર્તણૂકોને પુરસ્કાર આપે છે, જ્યારે નકારાત્મક બિંદુઓ હાનિકારક વર્તણૂકોને દંડ આપે છે, અને મોટા મૂલ્યોવાળા માપદંડ વાતચીતના સંદર્ભમાં વધુ ક્લિનિકલ મહત્વ દર્શાવે છે.

દરેક વાતચીતની સમીક્ષા ઓછામાં ઓછા ત્રણ નિષ્ણાતો દ્વારા કરવામાં આવી હતી અને ફક્ત તે બધા દ્વારા સ્વીકારાયેલા માપદંડોને અંતિમ બેન્ચમાર્કમાં સમાવવામાં આવ્યા હતા. તેથી, બેન્ચમાર્કના અંતિમ રૂબ્રિક્સ દરેક સંદર્ભમાં મોડેલોએ કેવી રીતે પ્રતિક્રિયા આપવી જોઈએ તે અંગેના સહિયારા નિર્ણયને પ્રતિબિંબિત કરે છે. દરેક વાતચીત માટે, અમે નિષ્ણાતો દ્વારા લખાયેલા માપદંડો સામે મોડલ પ્રતિભાવોનું મૂલ્યાંકન કરવા માટે ઓટોમેટેડ ગ્રેડર, GPT‑5.6 Sol નો ઉપયોગ કરીએ છીએ. આ પેપર ગ્રેડિંગ પ્રક્રિયા અને મૂલ્યાંકન સેટિંગ્સનું વિગતવાર વર્ણન કરે છે.

અમે MentalHealthBench પર વિવિધ પ્રકારનાં મોડલોનું મૂલ્યાંકન કર્યું. નીચેના પરિણામો સમગ્ર ડેટાસેટ અને સંવાદની ગંભીરતા મુજબ આ મોડલોનું પ્રદર્શન દર્શાવે છે. મૂલ્યાંકન તપાસે છે કે મોડલનો પ્રતિભાવ પ્રતિબંધિત વર્તન ટાળીને દરેક પરિસ્થિતિ માટે નિષ્ણાતોએ ઓળખેલાં તમામ આદર્શ વર્તનો દર્શાવે છે કે નહીં.

અમે ચાર પ્રકારના વપરાશકર્તાઓ દર્શાવતા કૃત્રિમ સંવાદો બનાવ્યા: પુખ્ત વ્યક્તિઓ, 13થી 17 વર્ષના કિશોરો, દેખભાળ કરનારાઓ અને ચિકિત્સકો. અમે સિસ્ટમ સંદેશો દ્વારા પૃષ્ઠભૂમિની માહિતી આપી અને કિશોર વ્યક્તિત્વમાં સ્પષ્ટ જણાવ્યું કે વપરાશકર્તાની ઉંમર 13થી 17 વર્ષ વચ્ચે છે. આ અભિગમ વિવિધ મોડલ પ્રદાતાઓ સાથે કામ કરવા માટે રચાયો છે, જોકે તે દરેક ઉત્પાદનમાં સમાવિષ્ટ તમામ સુરક્ષા ઉપાયો આવરી ન પણ શકે.

દરેક સંવાદ માટે ચિકિત્સકોએ યોગ્ય આગામી પ્રતિભાવમાં શું સામેલ કરવું કે ટાળવું તે વર્ણવતા માપદંડો લખ્યા અને અમે તે મુજબ મોડલના પ્રતિભાવોનું મૂલ્યાંકન કર્યું. કિશોર વ્યક્તિત્વ ધરાવતા સંવાદોની સમીક્ષા યુવા માનસિક આરોગ્યમાં નિષ્ણાત ચિકિત્સકોએ કરી, જેથી પ્રતિભાવો કિશોરોની વિશિષ્ટ જરૂરિયાતોને અનુરૂપ છે કે નહીં તે આંકી શકાય.

MentalHealthBench મોડલના વર્તનનું બહુપક્ષીય માપન પણ શક્ય બનાવે છે. એકંદર ગુણને માનસિક આરોગ્ય સંબંધિત મોડલ વર્તનનાં દસ પરિમાણો મુજબના પ્રદર્શનમાં વિભાજિત કરી શકાય છે. આ વર્તનો માનસિક આરોગ્ય નિષ્ણાતોએ વ્યાખ્યાયિત કર્યા છે અને તેમનો હેતુ મોડલના પ્રદર્શનની સૂક્ષ્મતાઓ આવરી લેવાનો છે. સમાન એકંદર ગુણ ધરાવતા મોડલોની આ વર્તનોમાં અલગ-અલગ શક્તિઓ હોઈ શકે છે.

આવું સૂક્ષ્મ માપન સંશોધકોને સમજી શકાય તેવા મોડલ વર્તનોમાં સુધારાના ક્ષેત્રો ઓળખવામાં મદદ કરી શકે છે. દાખલા તરીકે, અમે જોયું કે વધુ અદ્યતન મોડલો સાથે યોગ્ય રીતે સંદર્ભ મેળવવાની મોડલની ક્ષમતા વધી છે. આ સુધારા માનસિક આરોગ્ય સંવાદોને મોડલો કેવી રીતે સંભાળે છે તે બહેતર બનાવવા માટે OpenAI અને અન્ય મોડલ પ્રદાતાઓએ કરેલા રોકાણને દર્શાવે છે.

MentalHealthBenchની સાથે અમે ચિકિત્સકીય માર્ગદર્શનની તુલના AI સહાયમાં લોકોને ઉપયોગી લાગતી બાબતો સાથે કરવા અલગ વિશ્લેષણ કર્યું. માપદંડ ચિકિત્સકોએ લખેલા ગુણાંકનના નિયમો વાપરે છે; આ વિશ્લેષણે વપરાશકર્તા અને ચિકિત્સકના દૃષ્ટિકોણ ક્યાં સમાન, અલગ કે વિરોધાભાસી હતા તે તપાસ્યું.

અમે માનસિક આરોગ્ય કે ભાવનાત્મક સહાય માટે AIનો ઉપયોગ કરેલા 44 પુખ્ત વ્યક્તિઓ સાથે કામ કર્યું, જેઓ 16 દેશો અને 14 ભાષાઓનું પ્રતિનિધિત્વ કરતા હતા. સહભાગીઓએ કૃત્રિમ સંવાદો પ્રત્યેના મોડલ પ્રતિભાવોને ગુણ આપ્યા અને ઉપયોગી સહાય કેવી હોવી જોઈએ તે વર્ણવતા માપદંડો લખ્યા. સંભવિત રીતે વ્યથિત કરી શકે તેવી ઉચ્ચ ગંભીરતાની સામગ્રીથી તેમને બચાવવા તેમની સમીક્ષા માત્ર બિન-તાકીદના સંવાદો સુધી મર્યાદિત હતી.

વપરાશકર્તાના દૃષ્ટિકોણે AI સહાયમાં લોકો મહત્ત્વ આપતા હોય પરંતુ ચિકિત્સકીય માર્ગદર્શનમાં ઓછો ભાર અપાયો હોય એવા ગુણો, ખાસ કરીને વ્યવહારુ આગામી પગલાં અને ભાષાના લહેજાને ઉજાગર કર્યા. ચિકિત્સકોએ સંબંધિત સંદર્ભ એકત્ર કરવા અને અસ્પષ્ટ પરિસ્થિતિઓનું સાવચેતીપૂર્વક અર્થઘટન કરવા પર વધુ ભાર મૂક્યો. આ તુલનાથી સહાયમાં લોકો શું મહત્ત્વનું માને છે અને તેમની પસંદગીઓ ચિકિત્સકીય માર્ગદર્શન સાથે કેવી રીતે સંબંધિત છે તેનું વધુ સંપૂર્ણ ચિત્ર મળે છે.

MentalHealthBench નિષ્ણાતો, સંશોધકો અને વિકાસકર્તાઓને વિવિધ માનસિક આરોગ્ય પરિસ્થિતિઓમાં સુરક્ષિત અને ઉપયોગી AI સહાયનું મૂલ્યાંકન કરવા સહિયારું સાધન આપે છે. તેને ખુલ્લેઆમ ઉપલબ્ધ કરીને અમે સમુદાયને તેની પદ્ધતિઓ તપાસવા, હાલના મોડલોમાં ખામીઓ ઓળખવા અને મોડલો સુધારવા માટે કામ કરવા આમંત્રિત કરીએ છીએ. કોઈ એક માપદંડ વ્યક્તિગત સંવાદમાં મહત્ત્વ ધરાવતી દરેક બાબતને આવરી શકતો નથી, પરંતુ અમને આશા છે કે MentalHealthBench લોકો માટેની AI સહાયનું ધોરણ ઊંચું કરવામાં મદદ કરશે.

અમે AI અને માનસિક આરોગ્ય ક્ષેત્રના અન્ય પ્રયાસોને પણ સહાય કરીએ છીએ, જેમાં નવા સંશોધન માટે અનુદાન, AI માટેની ભાગીદારી⁠(નવી વિન્ડોમાં ખૂલે છે) સાથે નિષ્ણાતોને એકત્ર કરવા અને Transluceના માનસિક આરોગ્ય મૂલ્યાંકન⁠(નવી વિન્ડોમાં ખૂલે છે) જેવા પૂરક સ્વતંત્ર પ્રયાસોમાં સહાય કરવાનો સમાવેશ થાય છે.

આ સંશોધનની સાથે અમે સંવેદનશીલ સંવાદોમાં ChatGPTના પ્રતિભાવો મજબૂત કર્યા છે, કટોકટી સંસાધનોની ઉપલબ્ધતા વધારી છે અને વ્યથાની ક્ષણોમાં લોકોને તેમના વિશ્વાસપાત્ર વ્યક્તિ સાથે જોડવા વિશ્વસનીય સંપર્ક ઉમેર્યો છે. અમે યુવા વપરાશકર્તાઓ માટે વધારાની સુરક્ષા સાથે કિશોરો માટે ChatGPT પણ રજૂ કર્યું છે.

MentalHealthBench એ એવા AI તરફના અમારા પ્રયાસોમાંથી એક છે, જે લાખો લોકોને મુશ્કેલ ક્ષણો સંભાળવા, સંબંધો મજબૂત કરવા અને વધુ સ્વસ્થ તથા પરિપૂર્ણ જીવન જીવવામાં મદદ કરે.