સંવેદનશીલ વાતચીતમાં ChatGPTના પ્રતિસાદને વધુ મજબૂત બનાવવું

અમે તાજેતરમાં ChatGPTના ડિફૉલ્ટ મોડલ⁠(નવી વિન્ડોમાં ખૂલે છે)ને અપડેટ કર્યું છે જેથી તે વ્યથાની પળોમાં રહેલા લોકોને વધુ સારી રીતે ઓળખી અને સહાય કરી શકે. આજે અમે આ સુધારાઓ કેવી રીતે કર્યા અને તે કેવી રીતે કાર્ય કરી રહ્યા છે તે શેર કરી રહ્યા છીએ. વાસ્તવિક ક્લિનિકલ અનુભવ ધરાવતા માનસિક આરોગ્ય નિષ્ણાતો સાથે કામ કરીને, અમે મોડલને વ્યથા વધુ સારી રીતે ઓળખવા, વાતચીતમાં તણાવ ઘટાડવા અને યોગ્ય સમયે લોકોને વ્યાવસાયિક સંભાળ તરફ દોરી જવાનું શીખવ્યું છે. અમે કટોકટી હેલ્પલાઇન સુધીની પહોંચ પણ વિસ્તારી છે, અન્ય મોડલમાંથી શરૂ થતી સંવેદનશીલ વાતચીતને વધુ સુરક્ષિત મોડલ તરફ ફરી દોરી⁠(નવી વિન્ડોમાં ખૂલે છે) છે, અને લાંબા સત્રો દરમિયાન વિરામ લેવા⁠ માટે નરમ યાદ અપાવણીઓ ઉમેરેલી છે.

અમારો વિશ્વાસ છે કે ChatGPT લોકોને પોતાની લાગણીઓ સમજવા માટે સહાયક જગ્યા આપી શકે છે, અને યોગ્ય સમયે તેમને મિત્રો, પરિવાર અથવા માનસિક આરોગ્ય નિષ્ણાત સુધી પહોંચવા માર્ગદર્શન આપી શકે છે. તાજેતરના મોડલ અપડેટમાં અમારા સુરક્ષા સુધારાઓ નીચેના ક્ષેત્રો પર કેન્દ્રિત છે: 1) સાયકોસિસ અથવા મેનિયા જેવી માનસિક આરોગ્ય ચિંતાઓ; 2) સ્વહાનિ અને આત્મહત્યા; અને 3) AI પર લાગણીાત્મક નિર્ભરતા. આગળ જતાં, આત્મહત્યા અને સ્વહાનિ માટેના અમારા લાંબા સમયથી ચાલતા આધારભૂત સુરક્ષા માપદંડો ઉપરાંત, અમે ભાવનાત્મક નિર્ભરતા અને બિન-આત્મહત્યાત્મક માનસિક આરોગ્ય તાત્કાલિક પરિસ્થિતિઓને ભાવિ મોડલ પ્રકાશનો માટેના આધારભૂત સુરક્ષા પરીક્ષણોના અમારા માનક સમૂહમાં ઉમેરી રહ્યા છીએ.

આ અપડેટ્સ અમારા મોડલ સ્પેક⁠(નવી વિન્ડોમાં ખૂલે છે)માં વર્ણવેલા મોડલ કેવી રીતે વર્તવા જોઈએ તેના હાલના સિદ્ધાંતો પર આધારિત છે. અમે મોડલ સ્પેકને અપડેટ કરીને અમારા કેટલાક લાંબા સમયના લક્ષ્યોને વધુ સ્પષ્ટ બનાવ્યા છે: કે મોડલે વપરાશકર્તાઓના વાસ્તવિક જીવનના સંબંધોને સમર્થન અને માન આપવું જોઈએ, માનસિક અથવા ભાવનાત્મક વ્યથા સાથે સંભવિત રીતે સંબંધિત આધારહીન માન્યતાઓને સમર્થન આપવાનું ટાળવું જોઈએ, ભ્રમ અથવા મેનિયાના સંકેતો પર સુરક્ષિત અને સહાનુભૂતિપૂર્વક પ્રતિસાદ આપવો જોઈએ, અને સંભવિત સ્વહાનિ અથવા આત્મહત્યાના જોખમના પરોક્ષ સંકેતો પર વધુ ધ્યાન આપવું જોઈએ.

પ્રાથમિકતા ધરાવતા દરેક ક્ષેત્રમાં ChatGPT કેવી રીતે પ્રતિસાદ આપે છે તે સુધારવા માટે, અમે પાંચ-પગલાની પ્રક્રિયા અનુસરીએ છીએ:

• સમસ્યાની વ્યાખ્યા કરીએ - અમે સંભવિત નુકસાનના વિવિધ પ્રકારોને નકશાંકિત કરીએ છીએ.
• તેનું માપન શરૂ કરીએ - મૂલ્યાંકન, વાસ્તવિક વાતચીતમાંથી મળેલા ડેટા અને વપરાશકર્તા સંશોધન જેવા સાધનોનો ઉપયોગ કરીને અમે સમજીએ છીએ કે જોખમો ક્યાં અને કેવી રીતે ઊભા થાય છે.
• અમારા અભિગમની પુષ્ટિ કરીએ - અમે બાહ્ય માનસિક આરોગ્ય અને સુરક્ષા નિષ્ણાતો સાથે અમારી વ્યાખ્યાઓ અને નીતિઓની સમીક્ષા કરીએ છીએ.
• જોખમો ઘટાડીએ - અમે મોડલને પોસ્ટ-ટ્રેન કરીએ છીએ અને અસુરક્ષિત પરિણામો ઘટાડવા માટે પ્રોડક્ટ હસ્તક્ષેપોને અપડેટ કરીએ છીએ.
• માપન અને સુધારાઓ ચાલુ રાખીએ - અમે ખાતરી કરીએ છીએ કે ઉપાયો દ્વારા સુરક્ષા સુધરી છે અને જ્યાં જરૂરી હોય ત્યાં વધુ સુધારા કરીએ છીએ.

આ પ્રક્રિયાના ભાગરૂપે, અમે વિગતવાર માર્ગદર્શિકાઓ બનાવીએ છીએ અને સુધારીએ છીએ (જેને “ટેક્સોનોમીઝ” કહેવામાં આવે છે) જે સંવેદનશીલ વાતચીતોના લક્ષણો અને આદર્શ તેમજ અનિચ્છનીય મોડલ વર્તન કેવું દેખાય છે તે સમજાવે છે. આ અમને મોડલને વધુ યોગ્ય રીતે પ્રતિસાદ આપવાનું શીખવવામાં અને ડિપ્લોયમેન્ટ પહેલાં અને પછી તેની કામગીરી ટ્રૅક કરવામાં મદદ કરે છે. પરિણામે એવું મોડલ મળે છે જે સાયકોસિસ, મેનિયા, આત્મહત્યા અને સ્વહાનિના વિચારો, અથવા મોડલ પ્રત્યેની અસ્વસ્થ લાગણીાત્મક આસક્તિના સંકેતો દર્શાવતા વપરાશકર્તાઓને વધુ વિશ્વસનીય રીતે સારો પ્રતિસાદ આપે છે.

માનસિક આરોગ્યના લક્ષણો અને લાગણીાત્મક વ્યથા માનવીય સમાજોમાં સર્વત્ર જોવા મળે છે, અને વધતા વપરાશકર્તા આધારનો અર્થ એ થાય છે કે ChatGPTની કેટલીક વાતચીતોમાં આવી પરિસ્થિતિઓનો સમાવેશ થાય છે. પરંતુ સાયકોસિસ, મેનિયા અથવા આત્મહત્યાના વિચારો જેવી સુરક્ષા ચિંતાઓ ઊભી કરતી માનસિક આરોગ્ય સંબંધિત વાતચીતો અત્યંત દુર્લભ છે. કારણ કે તે એટલી અસામાન્ય છે, તેને માપવાની રીતમાં નાનાં ફેરફારો પણ અમે દર્શાવતા આંકડાઓ પર નોંધપાત્ર અસર કરી શકે છે. ¹

હાલના પ્રોડક્શન ટ્રાફિકમાં પ્રચલિતતા વિશે અમે નીચે આપેલા અંદાજો અમારા અત્યાર સુધીના શ્રેષ્ઠ અંદાજો છે. જેમ જેમ અમે અમારી ટેક્સોનોમીઝને વધુ સુધારીએ છીએ, અમારી માપન પદ્ધતિઓ પરિપક્વ બને છે અને અમારા વપરાશકર્તા સમૂહનું વર્તન બદલાય છે, તેમ તેમ આ અંદાજોમાં નોંધપાત્ર ફેરફાર થઈ શકે છે.

સંબંધિત વાતચીતોની અત્યંત ઓછી પ્રચલિતતાને ધ્યાનમાં લઈને, અમે માત્ર ChatGPTના વાસ્તવિક ઉપયોગના માપનો પર આધાર રાખતા નથી. ડિપ્લોયમેન્ટ પહેલાં અમે રચનાબદ્ધ પરીક્ષણો પણ ચલાવીએ છીએ (જેને “ઓફલાઇન મૂલ્યાંકનો” કહેવામાં આવે છે), જે ખાસ કરીને મુશ્કેલ અથવા ઊંચા જોખમવાળી પરિસ્થિતિઓ પર કેન્દ્રિત હોય છે. આ મૂલ્યાંકનો એટલા પડકારજનક રીતે ડિઝાઇન કરાયેલા છે કે અમારા મોડલ્સ હજી તેમાં સંપૂર્ણ રીતે સારું પ્રદર્શન કરતા નથી, એટલે કે અનિચ્છનીય પ્રતિસાદ મેળવવાની ઊંચી સંભાવના ધરાવતા ઉદાહરણો ઇરાદાપૂર્વક પસંદ કરવામાં આવે છે. તે અમને વધુ સુધારાની તક ક્યાં છે તે બતાવે છે, અને સામાન્ય કેસોની બદલે કઠિન કેસો પર ધ્યાન કેન્દ્રિત કરીને તથા અનેક સુરક્ષા શરતોના આધારે પ્રતિસાદનું મૂલ્યાંકન કરીને પ્રગતિને વધુ ચોક્કસ રીતે માપવામાં મદદ કરે છે. નીચેના વિભાગોમાં દર્શાવેલા મૂલ્યાંકન પરિણામો એવા મૂલ્યાંકનોમાંથી આવે છે જે લગભગ સંપૂર્ણ પ્રદર્શન નજીક “સૅચ્યુરેટ” ન થાય તે રીતે ડિઝાઇન કરાયેલા છે, અને ભૂલદર સરેરાશ પ્રોડક્શન ટ્રાફિકનું પ્રતિનિધિત્વ કરતા નથી.

અમારા મોડલ્સની સુરક્ષા વ્યવસ્થાઓને વધુ મજબૂત બનાવવા અને લોકો ChatGPTનો કેવી રીતે ઉપયોગ કરે છે તે સમજવા માટે, અમે રસના કેટલાક ક્ષેત્રો નિર્ધારિત કર્યા અને તેમના કદ તથા સંબંધિત મોડલ વર્તનોનું પરિમાણ કર્યું. આ ત્રણેય ક્ષેત્રોમાં, અમે પ્રોડક્શન ટ્રાફિક, સ્વચાલિત મૂલ્યાંકન અને સ્વતંત્ર માનસિક આરોગ્ય ક્લિનિશિયનો દ્વારા મૂલ્યાંકિત પરીક્ષણોમાં મોડલ વર્તનમાં નોંધપાત્ર સુધારાઓ જોયા છે. અમારા અંદાજ મુજબ હવે વિવિધ માનસિક આરોગ્ય સંબંધિત ક્ષેત્રોમાં અમારી ટેક્સોનોમીઝ હેઠળ ઇચ્છિત વર્તનનું સંપૂર્ણ પાલન ન કરતા પ્રતિસાદો મોડલ 65% થી 80% ઓછી વાર આપે છે.

અમારી માનસિક આરોગ્ય ટેક્સોનોમી એવી રીતે બનાવવામાં આવી છે કે જ્યારે વપરાશકર્તાઓ સાયકોસિસ અને મેનિયા જેવી ગંભીર માનસિક આરોગ્ય ચિંતાઓના સંકેતો બતાવતા હોય, તેમજ એકલ ભ્રમ જેવા ઓછી ગંભીર સંકેતો હોય, ત્યારે તેને ઓળખી શકાય. અમે શરૂઆત સાયકોસિસ અને મેનિયા પર ધ્યાન કેન્દ્રિત કરીને કરી કારણ કે આ લક્ષણો પ્રમાણમાં સામાન્ય માનસિક આરોગ્ય તાત્કાલિક પરિસ્થિતિઓ છે, અને જ્યારે તે થાય છે ત્યારે તેમના લક્ષણો બહુ તીવ્ર અને ગંભીર હોય છે. ડિપ્રેશન જેવા લક્ષણો પ્રમાણમાં સામાન્ય હોવા છતાં, તેનું સૌથી તીવ્ર સ્વરૂપ પહેલેથી જ આત્મહત્યા અને સ્વહાનિ અટકાવવાના અમારા કાર્ય દ્વારા આવરી લેવામાં આવી રહ્યું હતું. અમે સલાહ લીધેલા ક્લિનિશિયનોએ અમારા ધ્યાન કેન્દ્રિત ક્ષેત્રોની પુષ્ટિ કરી.

• અમારા અંદાજ મુજબ GPT‑5ના તાજેતરના અપડેટે માનસિક આરોગ્ય મુદ્દાઓ સંબંધિત પડકારજનક વાતચીતોમાં અમારી ટેક્સોનોમીઝ હેઠળ ઇચ્છિત વર્તનનું સંપૂર્ણ પાલન ન કરતા પ્રતિસાદોની દરમાં તાજેતરના પ્રોડક્શન ટ્રાફિકમાં 65% ઘટાડો કર્યો. ²
• ઉપર નોંધ્યા મુજબ, આ વાતચીતો કેટલી દુર્લભ છે તે કારણે તેમને ઓળખવી અને માપવી મુશ્કેલ છે, છતાં અમારી પ્રારંભિક વિશ્લેષણ મુજબ કોઈ આપેલ અઠવાડિયામાં સક્રિય લગભગ 0.07% વપરાશકર્તાઓ અને 0.01% સંદેશાઓમાં સાયકોસિસ અથવા મેનિયા સંબંધિત માનસિક આરોગ્ય તાત્કાલિક પરિસ્થિતિઓના સંભવિત સંકેતો દેખાય છે. ³
• પડકારજનક માનસિક આરોગ્ય સંબંધિત વાતચીતોમાં, નિષ્ણાતોએ જાણવા મળ્યું કે નવા GPT‑5 મોડલ, ChatGPTના ડિફૉલ્ટ મોડલ, એ GPT‑4oની સરખામણીએ અનિચ્છનીય પ્રતિસાદોમાં 39% ઘટાડો કર્યો (n=677).
• 1,000થી વધુ પડકારજનક માનસિક આરોગ્ય સંબંધિત વાતચીતો ધરાવતા મોડલ મૂલ્યાંકનમાં, અમારા નવા સ્વચાલિત મૂલ્યાંકનોએ નવા GPT‑5 મોડલને અમારી ટેક્સોનોમીઝ હેઠળ ઇચ્છિત વર્તન સાથે 92% અનુરૂપ ગણાવ્યું, જ્યારે અગાઉના GPT‑5 મોડલ માટે આ આંકડો 27% હતો. ઉપર નોંધ્યા મુજબ, આ સતત સુધારાને શક્ય બનાવવા માટે ડિઝાઇન કરાયેલ પડકારજનક કાર્ય છે.

અમે આત્મહત્યા અને સ્વહાનિ અટકાવવા માટેના અમારા હાલના કામ⁠ પર નિર્માણ કરીને, જ્યારે વપરાશકર્તા આત્મહત્યા કે સ્વહાનિના વિચારો અનુભવી રહ્યો હોય અથવા આત્મહત્યામાં રસ દર્શાવતા સંકેતોનો સમૂહ દેખાતો હોય ત્યારે તેને ઓળખવાનો પ્રયત્ન કર્યો છે. કારણ કે આવી વાતચીતો અત્યંત દુર્લભ છે, સ્વહાનિ અથવા આત્મહત્યાના સંભવિત સંકેતો ધરાવતી વાતચીતોને શોધવી હજી પણ ચાલુ સંશોધનનું ક્ષેત્ર છે, જેમાં અમે સતત સુધારો કરી રહ્યા છીએ.

• અમે અમારા મોડલ્સને સુરક્ષિત રીતે પ્રતિસાદ આપવા તાલીમ આપીએ છીએ, જેમાં લોકોને કટોકટી હેલ્પલાઇન જેવા વ્યાવસાયિક સાધનો તરફ દોરી જવું પણ સામેલ છે. કેટલીક દુર્લભ પરિસ્થિતિઓમાં, આ સંવેદનશીલ પરિસ્થિતિઓમાં મોડલ ધાર્યા મુજબ વર્તે નહીં. જેમ જેમ અમે વધારાની સુરક્ષા વ્યવસ્થાઓ અને સુધારેલ મોડલ રજૂ કર્યા છે, તેમ તેમ અમે અમારા ટેક્સોનોમીઝ હેઠળ ઇચ્છિત વર્તનનું સંપૂર્ણ પાલન ન કરતા પ્રતિસાદો આપવાની દરમાં અંદાજે 65% ઘટાડો જોયો છે.
• ઉપર નોંધ્યા મુજબ, આ વાતચીતો કેટલી દુર્લભ છે તે કારણે તેમને ઓળખવી અને માપવી મુશ્કેલ છે, છતાં અમારી પ્રારંભિક વિશ્લેષણ મુજબ કોઈ આપેલ અઠવાડિયામાં સક્રિય લગભગ 0.15% વપરાશકર્તાઓ એવી વાતચીત કરે છે જેમાં સંભવિત આત્મહત્યા આયોજન અથવા ઇરાદાના સ્પષ્ટ સંકેતો હોય છે અને 0.05% સંદેશાઓમાં આત્મહત્યાના વિચારો અથવા ઇરાદાના સ્પષ્ટ અથવા પરોક્ષ સંકેતો હોય છે.
• પડકારજનક સ્વહાનિ અને આત્મહત્યા સંબંધિત વાતચીતોમાં, નિષ્ણાતોએ જાણવા મળ્યું કે નવા GPT‑5 મોડલે GPT‑4oની સરખામણીએ અનિચ્છનીય જવાબોમાં 52% ઘટાડો કર્યો (n=630).
• 1,000થી વધુ પડકારજનક સ્વહાનિ અને આત્મહત્યા સંબંધિત વાતચીતો ધરાવતા મોડલ મૂલ્યાંકનમાં, અમારા નવા સ્વચાલિત મૂલ્યાંકનોએ નવા GPT‑5 મોડલને અમારા ઇચ્છિત વર્તનો સાથે 91% અનુરૂપ ગણાવ્યું, જ્યારે અગાઉના GPT‑5 મોડલ માટે આ 77% હતું.
• અમે લાંબી વાતચીતોમાં GPT‑5ની વિશ્વસનીયતા સુધારવાનું ચાલુ રાખ્યું છે. અમે વાસ્તવિક પરિસ્થિતિઓ આધારિત નવી પડકારજનક લાંબી વાતચીતોની શ્રેણી બનાવી, જે નિષ્ફળ થવાની વધુ સંભાવના માટે પસંદ કરવામાં આવી હતી. અમારી અંદાજ મુજબ, અમારા તાજેતરના મોડલ્સે લાંબી વાતચીતોમાં 95%થી વધુ વિશ્વસનીયતા જાળવી રાખી, અને ખાસ પડકારજનક પરિસ્થિતિમાં સુધારો કર્યો જેનો અમે પહેલાં ઉલ્લેખ કર્યો છે⁠.

આ ક્ષેત્રમાં અમારા અગાઉના કાર્ય⁠(નવી વિન્ડોમાં ખૂલે છે) પર આધારિત અમારી લાગણીાત્મક નિર્ભરતા ટેક્સોનોમી, સ્વસ્થ સંકળાણ અને ચિંતાજનક ઉપયોગ પેટર્ન વચ્ચે ભેદ કરે છે, જેમ કે જ્યારે કોઈ વ્યક્તિ વાસ્તવિક જીવનના સંબંધો, પોતાનું કલ્યાણ અથવા ફરજોની કીમતે મોડલ પ્રત્યે વિશિષ્ટ આસક્તિના સંભવિત સંકેતો દર્શાવે છે.

• અમારા અંદાજ મુજબ તાજેતરના અપડેટે તાજેતરના પ્રોડક્શન ટ્રાફિકમાં અમારી લાગણીાત્મક નિર્ભરતા ટેક્સોનોમીઝ હેઠળ ઇચ્છિત વર્તનનું સંપૂર્ણ પાલન ન કરતા મોડલ પ્રતિસાદોની દરમાં અંદાજે 80% ઘટાડો કર્યો.
• ઉપર નોંધ્યા મુજબ, આ વાતચીતો કેટલી દુર્લભ છે તે કારણે તેમને ઓળખવી અને માપવી મુશ્કેલ છે, છતાં અમારી પ્રારંભિક વિશ્લેષણ મુજબ કોઈ આપેલ અઠવાડિયામાં સક્રિય લગભગ 0.15% વપરાશકર્તાઓ અને 0.03% સંદેશાઓમાં ChatGPT પ્રત્યે વધેલી લાગણીાત્મક આસક્તિના સંભવિત સંકેતો જોવા મળે છે.
• લાગણીાત્મક નિર્ભરતા દર્શાવતી પડકારજનક વાતચીતોમાં, નિષ્ણાતોએ જાણવા મળ્યું કે નવા GPT‑5 મોડલે 4oની સરખામણીએ અનિચ્છનીય જવાબોમાં 42% ઘટાડો કર્યો (n=507).
• લાગણીાત્મક નિર્ભરતા દર્શાવતી 1,000થી વધુ પડકારજનક વાતચીતો ધરાવતા મોડલ મૂલ્યાંકનમાં, અમારા સ્વચાલિત મૂલ્યાંકનોએ નવા GPT‑5 મોડલને અમારા ઇચ્છિત વર્તન સાથે 97% અનુરૂપ ગણાવ્યું, જ્યારે અગાઉના GPT‑5 મોડલ માટે આ 50% હતું.

લાગણીાત્મક નિર્ભરતા દર્શાવતી વાતચીતો માટે, અમે અમારા મોડલ્સને વાસ્તવિક જીવનના સંબંધોને પ્રોત્સાહિત કરવાનું શીખવીએ છીએ:

ભ્રાંતિપૂર્ણ માન્યતાઓ સંબંધિત વાતચીતો માટે, અમે અમારા મોડલ્સને સુરક્ષિત અને સહાનુભૂતિપૂર્વક પ્રતિસાદ આપવાનું, અને આધારહીન માન્યતાઓને સમર્થન ન આપવાનું શીખવીએ છીએ:

અમે ગ્લોબલ ફિઝિશિયન નેટવર્ક બનાવ્યું છે—લગભગ 300 ડૉક્ટરો અને મનોચિકિત્સકોનો વિશાળ સમૂહ, જેઓ 60 દેશોમાં પ્રેક્ટિસ કરી ચૂક્યા છે—જેનો ઉપયોગ અમે અમારી સુરક્ષા સંશોધનને સીધો માર્ગદર્શન આપવા અને વૈશ્વિક દૃષ્ટિકોણ પ્રતિનિધિત્વ કરવા માટે કરીએ છીએ. છેલ્લા કેટલાક મહિનાઓ દરમિયાન આમાંથી 170થી વધુ ક્લિનિશિયનોએ (ખાસ કરીને માનસિક રોગવિશેષજ્ઞો, મનોચિકિત્સકો અને પ્રાથમિક સંભાળ પ્રેક્ટિશનરો) નીચેના એક અથવા વધુ માર્ગે અમારા સંશોધનને સમર્થન આપ્યું:

• માનસિક આરોગ્ય સંબંધિત પ્રોમ્પ્ટ માટે આદર્શ પ્રતિસાદ લખવા
• મોડલ પ્રતિસાદોના કસ્ટમ, ક્લિનિકલ સમજ આધારિત વિશ્લેષણો તૈયાર કરવા
• અલગ અલગ મોડલ્સના પ્રતિસાદોની સુરક્ષાનું મૂલ્યાંકન કરવા
• અમારા અભિગમ પર ઉચ્ચ સ્તરીય માર્ગદર્શન અને પ્રતિસાદ આપવા

આ સમીક્ષાઓમાં, ક્લિનિશિયનોએ નોંધ્યું છે કે તાજેતરનું મોડલ અગાઉના સંસ્કરણોની તુલનામાં વધુ યોગ્ય અને વધુ સુસંગત રીતે પ્રતિસાદ આપે છે.

આ કાર્યના ભાગરૂપે, માનસિક રોગવિશેષજ્ઞો અને મનોચિકિત્સકોએ ગંભીર માનસિક આરોગ્ય પરિસ્થિતિઓ ધરાવતા 1,800થી વધુ મોડલ પ્રતિસાદોની સમીક્ષા કરી અને નવા GPT‑5 ચેટ મોડલના પ્રતિસાદોની અગાઉના મોડલ્સ સાથે તુલના કરી. આ નિષ્ણાતોએ શોધ્યું કે GPT‑4oની તુલનામાં નવું મોડલ નોંધપાત્ર રીતે સુધરેલું હતું, જેમાં તમામ શ્રેણીઓમાં અનિચ્છનીય પ્રતિસાદોમાં 39-52% ઘટાડો જોવા મળ્યો. આ ગુણાત્મક પ્રતિસાદ નવા મોડલ લોન્ચ કરતી વખતે પ્રોડક્શન ટ્રાફિકમાં જોવામાં આવેલા પરિમાણાત્મક સુધારાઓને પ્રતિધ્વનિત કરે છે.

કોઈપણ જટિલ વિષયની જેમ, ક્યારેક નિષ્ણાતો પણ શ્રેષ્ઠ પ્રતિસાદ કેવો હોવો જોઈએ તે મુદ્દે અસહમતિ ધરાવે છે. અમે આ ફેરફારને ઇન્ટર-રેટર એગ્રીમેન્ટ દ્વારા માપીએ છીએ—મોડલનો પ્રતિસાદ ઇચ્છનીય છે કે અનિચ્છનીય તે અંગે નિષ્ણાતો કેટલી વાર સમાન નિષ્કર્ષે પહોંચે છે. આ અમને સમજવામાં મદદ કરે છે કે વ્યાવસાયિક મતભેદ ક્યાં છે અને મોડલના વર્તનને યોગ્ય ક્લિનિકલ નિર્ણય સાથે કેવી રીતે સુસંગત કરવું. માનસિક આરોગ્ય, લાગણીાત્મક નિર્ભરતા અને આત્મહત્યા સંબંધિત મોડલ પ્રતિસાદોને સ્કોર કરતા નિષ્ણાત ક્લિનિશિયનો વચ્ચે અમે યોગ્ય સ્તરની ઇન્ટર-રેટર વિશ્વસનીયતા જોીએ છીએ, પરંતુ કેટલાક કેસોમાં નિષ્ણાતોમાં અસહમતિ પણ જોવા મળે છે, જેમાં ઇન્ટર-રેટર એગ્રીમેન્ટ 71-77% વચ્ચે છે.

HealthBench⁠ પરના અમારા કાર્યની જેમ, અમે ગ્લોબલ ફિઝિશિયન નેટવર્ક સાથે સહકાર કરીને લક્ષિત મૂલ્યાંકનો તૈયાર કર્યા, જેનો અમે આંતરિક રીતે માનસિક આરોગ્ય સંદર્ભોમાં મોડલ કાર્યક્ષમતાનું મૂલ્યાંકન કરવા ઉપયોગ કરીએ છીએ, જેમાં પ્રકાશન પહેલાંના નવા મોડલ્સ પણ સામેલ છે.

આ કામ અમારા માટે અત્યંત મહત્વનું છે, અને વિશ્વભરના અનેક માનસિક આરોગ્ય નિષ્ણાતોનું અમે આભારી છીએ, જે સતત તેને માર્ગદર્શન આપે છે. અમે અર્થપૂર્ણ પ્રગતિ કરી છે, પરંતુ હજી ઘણું કરવાનું બાકી છે. અમે આ અને ભવિષ્યના ક્ષેત્રોમાં મોડલ વર્તનને માપવા અને મજબૂત બનાવવા માટે અમારી ટેક્સોનોમીઝ અને અમે ઉપયોગમાં લેતા તકનીકી સિસ્ટમ્સ બંનેને આગળ વધારતા રહીશું. કારણ કે આ સાધનો સમય જતાં વિકસે છે, ભવિષ્યના માપનો ભૂતકાળના માપનો સાથે સીધી રીતે સરખાવી શકાય એવા ન પણ હોય, છતાં તે અમારી દિશા અને પ્રગતિને ટ્રૅક કરવાનો મહત્વપૂર્ણ માર્ગ છે.

તમે આ કામ વિશે વધુ GPT‑5 સિસ્ટમ કાર્ડના પરિશિષ્ટ⁠માં વાંચી શકો છો.