लोगों की तब मदद करना जब उन्हें इसकी सबसे ज़्यादा ज़रुरत हो

जैसे-जैसे ChatGPT का इस्तेमाल दुनिया भर में बढ़ा है, हमने देखा है कि लोग न सिर्फ़ सर्च, कोडिंग और राइटिंग के लिए इसका सहारा ले रहे हैं—बल्कि गहन पर्सनल फ़ैसलों के लिए भी इसका इस्तेमाल कर रहे हैं, जिसमें ज़िंदगी के लिए सलाह⁠(एक नई विंडो में खुलेगा), कोचिंग⁠(एक नई विंडो में खुलेगा), और सपोर्ट⁠(एक नई विंडो में खुलेगा) भी शामिल हैं.

इस स्तर पर, कभी-कभी हमारा सामना गंभीर मेंटल या इमोशनल तनाव में फ़ंसे लोगों से भी होता है. हमने कुछ हफ़्ते पहले इसके बारे में लिखा था और अगले बड़े अपडेट के बाद और ज़्यादा जानकारी शेयर करने का प्लैन किया था. हालांकि, इतनी मुसीबतों वाले समय के दौरान ChatGPT का इस्तेमाल करने वाले लोगों के हालिया दिल तोड़ देने वाले मामले हमारे लिए बहुत दुख की बात हैं, और हमारा मानना ​​है कि अब और ज़्यादा शेयर करना ज़रूरी है.

हमारा लक्ष्य है कि हमारे टूल्स लोगों के लिए जहां तक हो सके, मददगार हों—और इसी के मद्देनज़र, हम अपने मॉडल्स द्वारा मेंटल या इमोशनल तनाव के संकेतों को पहचानने और उन पर जवाब देने और एक्सपर्ट इनपुट के गाइडेंस में देखभाल के ज़रिये लोगों को जोड़ने के तरीके में लगातार सुधार कर रहे हैं.

जैसे-जैसे दुनिया इस नई तकनीक को अपना रही है, हम उन लोगों की मदद करने की गहरी ज़िम्मेदारी महसूस करते हैं जिन्हें इसकी सबसे ज़्यादा ज़रुरत है. हम ये बताना चाहते हैं कि ChatGPT को किस काम के लिए डिज़ाइन किया गया है, हमारे सिस्टम में कहां सुधार किया जा सकता है, और हम आगे किस काम की प्लैनिंग कर रहे हैं.

हमारा लक्ष्य लोगों का ध्यान आकर्षित करना नहीं है. सफ़लता को बिताए गए समय या क्लिक से मापने के बजाय, हम वाकई में मददगार बनने पर ज़्यादा ध्यान देते हैं. जब किसी बातचीत से ये पता चलता है कि कोई कमज़ोर है और जोखिम में हो सकता है, तो इसके लिए हमने ChatGPT में सुरक्षा उपायों के कई लेयर तैयार किए हैं.

सहानुभूति के साथ पहचानें और जवाब दें.

2023 की शुरुआत से, हमारे मॉडल्स को सेल्फ़-हार्म से जुड़े इंस्ट्रक्शन्स न देने और मददगार, सहानुभूति से भरी भाषा में शिफ़्ट होने के लिए ट्रेन किया गया है. जैसे कि, अगर कोई लिखता है कि वो खुद को चोट पहुंचाना चाहता है, तो ChatGPT को ट्रेन किया गया है कि वो ऐसा न करे, बल्कि उसकी भावनाओं को स्वीकार करे और उसे मदद के लिए प्रेरित करे.

इसके अलावा, हमारी गहन रक्षा के नज़रिये के अनुरूप, हमारे मॉडल्स की सेफ़्टी ट्रेनिंग के खिलाफ़ जाने वाले जवाबों को—जैसा कि हमारे क्लासिफ़ायर्स द्वारा पहचाना गया है—अपने आप ब्लॉक कर दिया जाता है, और नाबालिगों व लॉग-आउट इस्तेमाल के लिए ज़्यादा मज़बूत सुरक्षा दी जाती है. सेल्फ़-हार्म वाले इमेज आउटपुट को भी सभी के लिए ब्लॉक कर दिया गया है, और नाबालिगों के लिए ज़्यादा कड़ी सुरक्षा व्यवस्था की गई है.

बहुत लंबे सेशन्स के दौरान, ChatGPT लोगों को एक ब्रेक लेने के लिए भी प्रेरित करता है.

लोगों को असली दुनिया के रीसोर्सेस के बारे में बताएं.

अगर कोई आत्महत्या करने का इरादा जताता है, तो ChatGPT को लोगों को प्रोफ़ेशनल हेल्प के लिए जानकारी देने के लिए ट्रेन किया गया है. अमेरिका में, ChatGPT लोगों को 988 (आत्महत्या और क्राइसिस हेल्पलाइन), ब्रिटेन में सैमरिटन्स, और दूसरी जगहों पर findahelpline.com⁠(एक नई विंडो में खुलेगा) पर भेजता है. ये लॉजिक मॉडल के बिहेवियर में बिल्ट-इन है.

हम 30+ देशों के 90+ फ़िज़िशियन्स—साइकेट्रिस्ट, पीडियाट्रिशियन्स और जनरल प्रैक्टिशनर्स—के साथ मिलकर काम कर रहे हैं और हम मानसिक स्वास्थ्य, युवा विकास और ह्यूमन-कंप्यूटर इंटरैक्शन के एक्सपर्ट्स के एक एडवाइज़री ग्रुप का गठन कर रहे हैं ताकि ये पक्का किया जा सके कि हमारी अप्रोच लेटेस्ट रिसर्च और बेहतरीन कामों को रिफ़्लेक्ट करती है.

दूसरों को शारीरिक नुकसान पहुंचाने के खतरे को ह्यूमन रिव्यु के लिए आगे बढ़ाना.

जब हमें ऐसे यूज़र्स का पता चलता है जो दूसरों को नुकसान पहुंचाने का प्लैन कर रहे हैं, तो हम उनकी बातचीत को ख़ास पाइपलाइन्स में भेजते हैं, जहां हमारी इस्तेमाल से जुड़ी पॉलिसियों पर ट्रेन की गई एक छोटी टीम द्वारा उनका रिव्यु किया जाता है और जो अकाउंट्स को बैन करने सहित, कार्रवाई करने के लिए अधिकृत होते हैं. अगर ह्यूमन रिव्युअर्स ये तय करते हैं कि किसी मामले में दूसरों को गंभीर शारीरिक नुकसान पहुंचने का खतरा है, तो हम इसे लॉ एन्फ़ोर्समेंट एजेंसियों को भेज सकते हैं. ChatGPT इंटरैक्शन के यूनीक प्राइवेट नेचर को देखते हुए लोगों की प्राइवेसी का सम्मान करने के लिए हम अभी सेल्फ़-हार्म वाले मामलों को लॉ एन्फ़ोर्समेंट के पास नहीं भेज रहे हैं.

हम लगातार सुधार कर रहे हैं कि सेंसिटिव इंटरैक्शन में हमारे मॉडल्स कैसे जवाब देते हैं, और अभी इमोशनल निर्भरता, मेंटल हेल्थ इमरजेंसी, और चाटुकारिता सहित कई क्षेत्रों में लक्षित सुरक्षा सुधारों पर काम कर रहे हैं.

अगस्त में, हमने ChatGPT को काम करने में मदद करने वाले डिफ़ॉल्ट मॉडल के तौर पर GPT‑5 लॉन्च किया. कुल मिलाकर, GPT‑5 ने इमोशनल निर्भरता के अस्वास्थ्यकर लेवल्स से बचने, चाटुकारिता को कम करने और मेंटल हेल्थ इमरजेंसी की स्थितियों में गैर-आदर्श मॉडल जवाबों के फ़ैलाव को 4o के मुकाबले 25% से ज़्यादा कम करने जैसे क्षेत्रों में सार्थक सुधार दिखाया है. GPT‑5 में सेफ़्टी कम्पलीशन्स नाम का एक नई सेफ़्टी ट्रेनिंग मेथड भी शामिल है, जो मॉडल को सुरक्षा सीमाओं के अंदर रहते हुए जहां तक हो सके, मददगार बनना सिखाता है. इसका मतलब ये हो सकता है कि डिटेल में जवाब देने के बजाय अधूरा या हाई-लेवल का जवाब देना खतरनाक हो सकता है.

इन सुरक्षा उपायों के बावजूद, ऐसे पल भी आए हैं जब सेंसिटिव स्थितियों में हमारे सिस्टम्स उम्मीद के हिसाब से काम नहीं कर पाए. यहां कुछ चीज़ें हैं जिनमें सुधार के लिए हम काम कर रहे हैं.

लंबी बातचीतों में सुरक्षा उपायों को मज़बूत करना.

हमारे सुरक्षा उपाय आम, छोटे आदान-प्रदानों में ज़्यादा भरोसेमंद तरीके से काम करते हैं. हमने समय के साथ सीखा है कि ये सुरक्षा उपाय कभी-कभी लंबे इंटरैक्शन्स में कम भरोसेमंद हो सकते हैं: जैसे-जैसे आगे-पीछे बढ़ता जाता है, मॉडल की सेफ़्टी ट्रेनिंग के कुछ हिस्से कम असरदार होते जा सकते हैं. जैसे कि, जब कोई पहली बार आत्महत्या की मंशा का उल्लेख करता है, तो ChatGPT सही तरीके से एक आत्महत्या हॉटलाइन की ओर इशारा कर सकता है, लेकिन लंबे समय तक कई मेसेजों के बाद, ये आखिरकार ऐसा जवाब दे सकता है जो हमारी सुरक्षा के खिलाफ़ जाता हो. ये बिल्कुल उसी तरह की खराबी है जिसे रोकने के लिए हम काम कर रहे हैं. हम इन सुरक्षा के उपायों को मज़बूत कर रहे हैं ताकि वे लंबी बातचीतों में भरोसेमंद बने रहें, और हम कई बातचीतों में मज़बूत बिहेवियर पक्का करने के तरीकों पर रिसर्च कर रहे हैं. इस तरह, अगर कोई एक चैट में आत्महत्या की मंशा जताता है और बाद में दूसरी चैट शुरू कर देता है, तो भी मॉडल उचित तरीके से जवाब दे सकता है.

कंटेंट को ब्लॉक करने के तरीके को भी और बेहतर किया जा रहा है.

हमने कुछ ऐसे मामले देखे हैं जहां जिस कंटेंट को ब्लॉक किया जाना चाहिए था, उसे ब्लॉक नहीं किया गया. ये अंतर आमतौर पर इसलिए होते हैं क्योंकि क्लासिफ़ायर्स जो देख रहा है उसकी गंभीरता को कम आंकता है. हम उन सीमाओं को एडजस्ट कर रहे हैं, ताकि सुरक्षा तभी ट्रिगर हो सके, जब उन्हें होना चाहिए.

हमारी टॉप प्रायोरिटी ये पक्का करना है कि ChatGPT किसी मुश्किल पल को और बदतर न बना दे.

ऊपर दिए गए को ठीक करने के साथ ही काम ख़त्म नहीं हो जाता. हम ये भी प्लैन कर रहे हैं कि: 

ज़्यादा से ज़्यादा संकटग्रस्त लोगों तक मदद बढ़ाना.

जबकि हमारे शुरूआती सुरक्षा उपायों में बहुत ज़्यादा सेल्फ़-हार्म को प्रायोरिटी दी गई थी, कुछ लोग दूसरे तरह के मानसिक तनाव का अनुभव करते हैं. जैसे कि, कोई जोश में मॉडल को बता सकता है कि उनका मानना ​​है कि वे 24/7 गाड़ी चला सकते हैं, क्योंकि दो रातों तक नहीं सोने के बाद उन्हें एहसास हुआ कि वे अजेय हैं. आज, हो सकता है कि ChatGPT इसे खतरनाक न माने या इसका अनुमान न लगा पाए और—उत्सुकता से एक्सप्लोर करके—इसे आसानी से और बढ़ावा दे सकता है.

हम GPT‑5 के एक ऐसे अपडेट पर काम कर रहे हैं, जिससे ChatGPT किसी को असलियत से परिचित कराकर तनाव कम कर देगा. इस उदाहरण में, ये समझाया जाएगा कि नींद कम होना खतरनाक है और किसी भी काम से पहले आराम करने की सलाह दी जाएगी.

इमरजेंसी सर्विसेज़ तक पहुंचना और एक्सपर्ट्स से मदद पाना और भी आसान बनाना.

आज, जब लोग खुद को नुकसान पहुंचाने का इरादा जताते हैं, तो हम उन्हें मदद लेने के लिए प्रोत्साहित करते हैं और उन्हें रियल-वर्ल्ड के रीसोर्सेस रेफ़र करते हैं. हमने अमेरिका और यूरोप में रीसोर्सेस को लोकलाइज़ करना शुरू कर दिया है, और हम दूसरे ग्लोबल मार्केट्स में एक्सपैंड करने का प्लैन कर रहे हैं. हम इमरजेंसी सर्विसेज़ को एक-क्लिक में एक्सेस कर पाने के साथ एक्सेस को भी बढ़ाएंगे.

हम इस बात पर विचार कर रहे हैं कि किस तरह पहले से हस्तक्षेप किया जाए और लोगों को गंभीर मुसीबत में फ़ंसने से पहले ही सर्टिफ़ाइड थेरेपिस्ट से जोड़ा जाए. इसका मतलब है कि क्राइसिस हॉटलाइन्स से आगे बढ़कर इस बात पर विचार करना कि हम लाइसेंस प्राप्त प्रोफ़ेशनल्स का एक नेटवर्क कैसे बना सकते हैं, जिस तक लोग ChatGPT के ज़रिये सीधे पहुंच सकें. इसे सही करने में समय और सावधानी से किया गया काम ज़रूरी होगा.

भरोसेमंद कॉन्टेक्ट्स से कनेक्शन्स इनेबल करें.

इमरजेंसी सेवाओं के अलावात, हम ऐसे तरीके एक्सप्लोर कर रहे हैं जिनसे लोगों के लिए अपने नज़दीकी लोगों तक पहुंचना आसान हो सके. इसमें सेव किए गए इमरजेंसी कॉन्टेक्ट्स, दोस्तों या परिवार के मेंबर्स को एक-क्लिक में मेसेजेज़ भेजना या कॉल करना शामिल हो सकता है, जिसमें बातचीत शुरू करने में मुश्किल कम करने के लिए सुझाई गई भाषा का इस्तेमाल किया जा सकता है.

हम ऐसे फ़ीचर्स पर भी विचार कर रहे हैं जो लोगों को गंभीर मामलों में उनकी ओर से निर्दिष्ट कॉन्टेक्ट तक पहुंचने के लिए ChatGPT करने में मदद करेंगे.

तीरह से उन्नीस वर्ष की उम्र वाले युवाओं के लिए सुरक्षा को मज़बूत करें.

ऐतिहासिक तौर पर, हमने अपने सभी यूज़र्स के लिए एक ही आदर्श मॉडल बिहेवियर निर्दिष्ट किया था; जैसे-जैसे ChatGPT उभरता गया, हमने अतिरिक्त सुरक्षाएं जोड़ना शुरू कर दिया, जब हमें पता चला कि यूज़र की उम्र 18 वर्ष से कम है. हम नौजवानों की ख़ास डेवलपमेंट से जुडी ज़रूरतों को ध्यान में रखते हुए, सेंसिटिव कंटेंट और जोखिम भरे व्यवहारों के प्रति ज़्यादा सख्त सुरक्षा उपायों को बनाना और लागू करना जारी रखे हुए हैं.

हम जल्द ही पैरेंटल कंट्रोल भी शुरू करेंगे, जो माता-पिता को इस बारे में और ज़्यादा जानकारी प्राप्त करने और ये तय करने के ऑप्शन्स देगा कि उनके नौजवान बच्चे ChatGPT का इस्तेमाल किस तरह करते हैं. हम नौजवानों के लिए (माता-पिता की निगरानी में) एक भरोसेमंद इमरजेंसी कॉन्टेक्ट नियुक्त करना मुमकिन करने पर भी विचार कर रहे हैं. इस तरह, बहुत ज़्यादा मुसीबत के पलों में, ChatGPT रीसोर्सेस की ओर इशारा करने से कहीं ज़्यादा कर सकता है: ये नौजवानों को सीधे किसी ऐसे व्यक्ति से कनेक्ट करने में मदद कर सकता है जो उनकी मदद कर पाए.

हम इस बात को अच्छी तरह जानते हैं कि जब हरेक एलिमेंट उम्मीद के हिसाब से काम करता है तो सुरक्षा उपाय सबसे ज़्यादा मज़बूत होते हैं. हम एक्सपर्ट्स के गाइडेंस में और हमारे टूल्स का इस्तेमाल करने वाले लोगों के प्रति उत्तरदायित्व के आधार पर सुधार करते रहेंगे—और हम आशा करते हैं कि दूसरे लोग भी हमारे साथ मिलकर ये पक्का करेंगे कि ये टेक्नोलॉजी सबसे कमज़ोर लोगों की सुरक्षा करे.