सादर करत आहोत, MentalHealthBench

लोक अनेक प्रकारच्या संवादांसाठी AI ची मदत घेतात: जसे की, अवघड नातेसंबंध हाताळणे, दैनंदिन तणावाचा सामना करणे, तुमच्या प्रिय व्यक्तीला आधार देणे किंवा एखाद्या आव्हानात्मक परिस्थितीला कसे सामोरे जायचे हे ठरवणे. या संभाषणांसाठी अचूकता, व्यावहारिक विवेकबुद्धी आणि लोकांच्या स्वायत्ततेचा आदर आवश्यक असते. दर आठवड्याला एक अब्जाहून अधिक लोक ChatGPT वापरत असल्याने, आमचे संशोधन मॉडेल्सना विविध प्रकारच्या गरजांना काळजीपूर्वक प्रतिसाद देण्यास आणि लोकांची सुरक्षितता व कल्याण यांना प्राधान्य देण्यास मदत करण्यावर लक्ष केंद्रित करते.

या क्षेत्रातील AI च्या बहुतेक मूल्यमापनांनी, सुरक्षेच्या दृष्टीने त्यांचे महत्त्व लक्षात घेता, प्रामुख्याने आपत्कालीन परिस्थितींवर लक्ष केंद्रित केले आहे आणि व्यापक, पूर्वनिर्धारित निकषांचा वापर करून यशाची मोजमाप केेील आहे. यामुळे, मॉडेल मानसिक आरोग्याशी संबंधित सर्व प्रकारच्या संभाषणांमध्ये कशी कामगिरी करतात आणि ते निषिद्ध प्रतिसाद टाळतात की नाही यापलीकडे जाऊन, प्रत्येक परिस्थितीसाठी त्यांचे प्रतिसाद तज्ज्ञांच्या मार्गदर्शनाशी किती जुळतात, हे समजून घेण्यात एक पोकळी निर्माण झाली आहे. लोकांच्या दीर्घकालीन कल्याणाला आणि सुरक्षिततेला सक्रियपणे सपोर्ट करणाऱ्या AI च्या विकासासाठी, मॉडेल्स या वेगवेगळ्या परिस्थिती कशा हाताळतात याचे मूल्यांकन करणे आवश्यक आहे.

आम्ही MentalHealthBench सादर करत आहोत, हा एक नवीन खुला बेंचमार्क आहे जो वास्तववादी मानसिक आरोग्य संभाषणांमध्ये AI सिस्टम कसा प्रतिसाद देतात याचे मापन करतो. MentalHealthBench ची निर्मिती 22 देशांतील 80 परवानाधारक मानसिक आरोग्य तज्ञांच्या जागतिक समूहाच्या सहकार्याने करण्यात आली होती. हे सुरक्षितता, संदर्भ शोधणे, वापरकर्त्याच्या निर्णयक्षमतेचे जतन करणे आणि योग्य असल्यास कृतीयोग्य मार्गदर्शन करणे यांसारख्या प्रमुख मानसिक आरोग्य वर्तनांमध्ये मॉडेल क्षमतांचे मूल्यांकन करते. आम्ही ते सार्वजनिकरीत्या प्रकाशित करत आहोत, जेणेकरून इतर संशोधक त्याच्या पद्धतींचे परीक्षण करू शकतील, स्वतःची मूल्यांकने करू शकतील आणि या कामावर पुढे काम करू शकतील.

MentalHealthBench वरील निकालांमधून, लोकांना मानसिक आरोग्याच्या परिस्थिती हाताळण्यास मदत करण्यामध्ये AI सिस्टम्समध्ये सातत्यपूर्ण सुधारणा होत असल्याचे दिसून येते. जरी ChatGPT हा थेरपी किंवा व्यावसायिक सेवेचा पर्याय नसला, तरीही तज्ञांकडून मिळालेली माहिती आम्हाला अशा AI मॉडेल्सच्या दिशेने होणाऱ्या प्रगतीची मोजमाप करण्यास मदत करते, जे सहानुभूतीने प्रतिसाद देऊ शकतात, कल्याणाला प्रोत्साहन देऊ शकतात आणि लोकांना स्थानिक संकटकालीन हॉटलाइन⁠(नवीन विंडोमध्ये उघडेल) किंवा त्यांच्या विश्वासू व्यक्तीसारख्या प्रत्यक्ष मदतीकडे मार्गदर्शन करू शकतात.

आरोग्य, जीवनाविषयीचा सल्ला किंवा मानसिक आरोग्याशी संबंधित इतर परिस्थितींमधील संभाषणे विषय, निकड आणि सांस्कृतिक संदर्भानुसार मोठ्या प्रमाणात भिन्न असू शकतात. MentalHealthBench हे या वास्तववादी परिस्थिती आणि वापरकर्ता व्यक्तिरेखांची व्यापकता टिपण्यासाठी तयार केले आहे. गोपनीयतेचे रक्षण करणाऱ्या तंत्रांचा वापर करून, आम्ही कृत्रिम मानसिक आरोग्य संभाषणे तयार केली, जी मानसिक आरोग्यासाठी AI च्या वास्तविक वापराच्या पद्धतींचे अचूकपणे प्रतिबिंब दर्शवतात. काही परिस्थितींमध्ये कृत्रिम वापरकर्त्याबद्दलची संबंधित पार्श्वभूमी माहिती देखील समाविष्ट असते—जसे की कुटुंबातील अलीकडील एखाद्या व्यक्तीचा मृत्यू—जेणेकरून मॉडेल त्यांचे प्रतिसाद योग्यरित्या जुळवून घेण्यासाठी त्या संदर्भाचा वापर करतात की नाही याचे मूल्यांकन आपण करू शकू.

MentalHealthBench मध्ये विविध भाषा आणि प्रदेशांमधील प्रौढ, किशोरवयीन, काळजी घेणारे आणि चिकित्सक यांच्या परिस्थितींचा समावेश आहे.. या संभाषणांमध्ये अनेक आधुनिक विषयांचा समावेश आहे आणि त्यांमध्ये आकलनक्षमतेच्या संपूर्ण स्तराचा आढावा घेतला जातो:

• तीव्र नसलेली— दररोजची अशी संभाषणे ज्यात काही भावनिक घटकांचा समावेश असू शकतो.

• उच्च-तीव्रता— अशी संभाषणे जी अधिक गंभीर मानसिक आरोग्य समस्या किंवा लक्षणीय तणाव दर्शवतात, परंतु ती तात्काळ आपत्कालीन परिस्थिती नसते.

• आणीबाणी— मानसिक आरोग्याच्या आणीबाणीची चिन्हे किंवा तात्काळ सुरक्षिततेची चिंता दर्शवणारी संभाषणे, ज्यासाठी त्वरित प्रत्यक्ष मदतीची आवश्यकता असते.

HealthBench आणि HealthBench Professional⁠(नवीन विंडोमध्ये उघडेल) साठी केलेल्या आमच्या पूर्वीच्या, चिकित्सकांच्या माहितीवर आधारित कामाच्या आधारावर,⁠(नवीन विंडोमध्ये उघडेल) आम्ही आमच्या मानसिक आरोग्य तज्ज्ञांच्या ग्रुपच्या सहकार्याने MentalHealthBench तयार केले. यामध्ये 22 देशांमधील, 19 भाषा बोलणारे आणि मानसिक आरोग्याच्या जवळपास 20 उपशाखांचे प्रतिनिधित्व करणारे 80 हून अधिक परवानाधारक मानसशास्त्रज्ञ आणि मनोचिकित्सक यांचा समावेश होता.

प्रत्येक कृत्रिम संभाषण वाचण्यासाठी आणि वापरकर्त्याच्या शेवटच्या संदेशासाठी मॉडेलच्या प्रतिसादांचे मूल्यांकन करण्यासाठी रुब्रिक निकषांची तपशीलवार यादी तयार करण्यासाठी तज्ज्ञ जबाबदार होते. प्रत्येक निकष मॉडेल प्रतिसादाच्या एका पैलूला लक्ष्य करते जसे की योग्य प्रश्न विचारणे किंवा सर्वोत्तम शक्य सल्ला देणे. त्यांचे प्रत्येकाचे वजन -10 ते +10 पर्यंत असते: सकारात्मक गुण फायदेशीर वर्तनांना बक्षीस देतात, तर नकारात्मक गुण हानिकारक वर्तनांना दंड देतात आणि मोठ्या मूल्यांसह निकष संभाषणाच्या संदर्भात अधिक क्लिनिकल महत्त्व दर्शवतात.

प्रत्येक संभाषणाचे किमान तीन तज्ज्ञांकडून पुनरावलोकन केले गेले आणि त्या सर्वांना मान्य असलेले निकषच अंतिम बेंचमार्कमध्ये समाविष्ट करण्यात आले. त्यामुळे, बेंचमार्कमधील अंतिम निकष हे प्रत्येक संदर्भात मॉडेल्सनी कसा प्रतिसाद द्यावा याबद्दलच्या सामायिक मताचे प्रतिबिंब आहेत. प्रत्येक संभाषणासाठी, आम्ही मॉडेल प्रतिसादांचे तज्ज्ञांनी लिहिलेल्या निकषांनुसार मूल्यांकन करण्यासाठी GPT‑5.6 Sol नावाचे ऑटोमेटेड ग्रेडर वापरतो. या पेपरमध्ये ग्रेडिंगची प्रक्रिया आणि मूल्यांकन सेटिंग्जचे तपशीलवार वर्णन केले आहे.

आम्ही MentalHealthBench वर विविध प्रकारच्या मॉडेलचे मूल्यमापन केले. खालील निकाल संपूर्ण डेटासंचावरील आणि संभाषणाच्या तीव्रतेनुसार या मॉडेलची कामगिरी दाखवतात. प्रत्येक परिस्थितीसाठी तज्ज्ञांनी ओळखलेली सर्व आदर्श वर्तने मॉडेलच्या प्रतिसादात दिसतात का आणि निषिद्ध वर्तन टाळले जाते का, हे या मूल्यमापनात मोजले जाते.

आम्ही चार प्रकारच्या वापरकर्त्यांचे प्रतिनिधित्व करणारी कृत्रिम संभाषणे तयार केली: प्रौढ, 13 ते 17 वर्षांचे किशोरवयीन, काळजी घेणारे आणि वैद्यकीय तज्ज्ञ. आम्ही सिस्टमच्या संदेशांतून पार्श्वभूमीची माहिती दिली आणि किशोरवयीन व्यक्तिमत्त्वासाठी वापरकर्त्याचे वय 13 ते 17 वर्षांदरम्यान असल्याचे स्पष्टपणे नमूद केले. ही पद्धत विविध मॉडेल प्रदात्यांसाठी चालावी म्हणून तयार केली आहे; मात्र स्वतंत्र उत्पादनांत अंतर्भूत असलेल्या सर्व सुरक्षा उपायांचे प्रतिबिंब तिच्यात असेलच असे नाही.

प्रत्येक संभाषणासाठी योग्य पुढील प्रतिसादात काय समाविष्ट करावे किंवा काय टाळावे, हे सांगणारे निकष वैद्यकीय तज्ज्ञांनी लिहिले. त्यानुसार आम्ही मॉडेलच्या प्रतिसादांचे मूल्यमापन केले. किशोरवयीन व्यक्तिमत्त्व असलेल्या संभाषणांचे पुनरावलोकन वयाने लहान रुग्णांच्या मानसिक आरोग्यात तज्ज्ञ असलेल्या वैद्यकीय व्यावसायिकांनी केले, जेणेकरून किशोरवयीनांच्या विशिष्ट गरजांसाठी प्रतिसाद योग्य आहेत का हे ठरवता येईल.

MentalHealthBench मुळे मॉडेलच्या वर्तनाचे बहुआयामी मापनही करता येते. एकूण गुणांचे मानसिक आरोग्याशी संबंधित मॉडेलच्या वर्तनाच्या दहा आयामांतील कामगिरीत विभाजन करता येते. ही वर्तने मानसिक आरोग्यतज्ज्ञांनी परिभाषित केली असून, मॉडेलच्या कामगिरीतील सूक्ष्म बारकावे टिपणे हा त्यांचा उद्देश आहे. एकूण गुण सारखे असलेल्या मॉडेलची या वर्तनांमधील बलस्थाने वेगवेगळी असू शकतात.

अशा सूक्ष्म मापनामुळे संशोधकांना समजण्यास सुलभ असलेल्या मॉडेल-वर्तनांमध्ये सुधारणा करण्याची क्षेत्रे ओळखता येतात. उदाहरणार्थ, अधिक प्रगत मॉडेलमध्ये योग्य प्रकारे संदर्भ जाणून घेण्याची क्षमता वाढल्याचे आम्हाला दिसते. मानसिक आरोग्यावरील संभाषणे मॉडेल अधिक चांगल्या प्रकारे हाताळू शकतील यासाठी OpenAI आणि इतर मॉडेल प्रदात्यांनी केलेली गुंतवणूक या सुधारणांतून दिसते.

MentalHealthBench सोबतच, कृत्रिम बुद्धिमत्तेच्या मदतीत लोकांना काय उपयुक्त वाटते आणि वैद्यकीय तज्ज्ञांचे मार्गदर्शन यांची तुलना करण्यासाठी आम्ही स्वतंत्र विश्लेषण केले. बेंचमार्कमध्ये वैद्यकीय तज्ज्ञांनी लिहिलेले स्कोरिंगचे निकष वापरले आहेत. या विश्लेषणात वापरकर्ते आणि वैद्यकीय तज्ज्ञांचे दृष्टिकोन कुठे जुळतात, वेगळे असतात किंवा परस्परविरोधी ठरतात, हे तपासले.

मानसिक आरोग्य किंवा भावनिक आधारासाठी AI वापरलेल्या 44 प्रौढांसोबत आम्ही काम केले. ते 16 देश आणि 14 भाषांचे प्रतिनिधित्व करत होते. सहभागींनी कृत्रिम संभाषणांवरील मॉडेलच्या प्रतिसादांना गुण दिले आणि उपयुक्त सपोर्ट कसा असावा, हे सांगणारे निकष लिहिले. संभाव्यतः अस्वस्थ करणाऱ्या उच्च-तीव्रतेच्या मजकुराशी त्यांचा संपर्क येऊ नये म्हणून त्यांचे पुनरावलोकन तीव्र नसलेल्या संभाषणांपुरते मर्यादित ठेवले.

AI च्या मदतीत लोक ज्यांना महत्त्व देतात, पण वैद्यकीय तज्ज्ञांच्या मार्गदर्शनात ज्यांवर तुलनेने कमी भर होता, असे गुण वापरकर्त्यांच्या दृष्टिकोनातून समोर आले. विशेषतः पुढील व्यावहारिक पावले आणि संवादाचा सूर. वैद्यकीय तज्ज्ञांनी संबंधित संदर्भ गोळा करणे आणि संदिग्ध परिस्थितींचा काळजीपूर्वक अर्थ लावणे यावर अधिक भर दिला. या तुलनेमुळे मदतीत लोकांना काय महत्त्वाचे वाटते आणि त्या पसंतींचा वैद्यकीय मार्गदर्शनाशी कसा संबंध आहे, याचे अधिक संपूर्ण चित्र मिळते.

MentalHealthBench मुळे तज्ज्ञ, संशोधक आणि डेव्हलपर्सना विविध मानसिक आरोग्य परिस्थितींमध्ये सुरक्षित व उपयुक्त AI सहाय्याचे मूल्यमापन करण्यासाठी एक शेअर केलेले टूल मिळते. ते खुलेपणाने उपलब्ध करून आम्ही समुदायाला त्याच्या पद्धती तपासण्याचे, विद्यमान मॉडेलमधील त्रुटी ओळखण्याचे आणि मॉडेल सुधारण्यासाठी काम करण्याचे आमंत्रण देतो. वैयक्तिक संभाषणात महत्त्वाचे असलेले सर्व काही कोणताही बेंचमार्क टिपू शकत नाही. तरीही, AI लोकांना कसे मदत करते यासाठी MentalHealthBench अधिक उच्च मानक निश्चित करण्यास हातभार लावेल, अशी आम्हाला आशा आहे.

आम्ही AI आणि मानसिक आरोग्याशी संबंधित इतर प्रयत्नांनाही पाठिंबा देत आहोत. त्यात नवीन संशोधनासाठी अनुदाने, AIसाठी भागीदारी⁠(नवीन विंडोमध्ये उघडेल), संस्थेसोबत तज्ज्ञांना एकत्र आणणे आणि Transluce च्या मानसिक आरोग्य मूल्यमापनासारख्या⁠(नवीन विंडोमध्ये उघडेल) पूरक स्वतंत्र प्रयत्नांना मदत करणे यांचा समावेश आहे.

या संशोधनासोबतच, आम्ही संवेदनशील संभाषणांमधील ChatGPT चे प्रतिसाद अधिक सक्षम केले, संकटसंसाधनांची उपलब्धता वाढवली आणि अस्वस्थतेच्या क्षणी लोकांना विश्वासातील व्यक्तीशी जोडण्यासाठी विश्वसनीय संपर्क जोडले. तरुण वापरकर्त्यांसाठी अतिरिक्त संरक्षणांसह आम्ही ChatGPT for Teens देखील सादर केले आहे.

लाखो लोकांना कठीण प्रसंग हाताळण्यास, नाती अधिक दृढ करण्यास आणि अधिक आरोग्यपूर्ण व समाधानकारक जीवन जगण्यास मदत करणारे AI तयार करण्यासाठी आम्ही करत असलेल्या प्रयत्नांपैकी MentalHealthBench हा एक प्रयत्न आहे.