एक अपरिचित मस्तिष्क

2023 के मध्य में “RLSlow” अनुसंधान परियोजना के अंतर्गत हमें पहले ऐसे परिणाम मिले जिनसे भरोसा हुआ कि हम रीज़निंग मॉडलों के प्रशिक्षण को विस्तारित कर पाएंगे और प्रीट्रेंड मॉडलों की अपनी चेन-ऑफ-थॉट बनाने की क्षमता को सक्रिय कर सकेंगे. शिमोन और मैंने वह रात कार्यालय में बिताई. हम इस तकनीक से मिलने वाले अविश्वसनीय मानक आंकड़ों, उत्पादों या वैज्ञानिक परिणामों के बारे में नहीं सोच रहे थे, बल्कि इस गंभीर तथ्य को आत्मसात करने की कोशिश कर रहे थे कि अपने जीवनकाल में हम वास्तव में खुद से सार्थक रूप से अधिक बुद्धिमान मशीनें देखेंगे और हमें इन प्रणालियों का स्वरूप अभी से दिख रहा है. हम सोच रहे थे कि लोगों को इसका महत्व कैसे समझाएं.

तीन वर्ष बाद, रीज़निंग भाषा मॉडल अर्थव्यवस्था का तेज़ी से बढ़ता हिस्सा हैं और विज्ञान की सीमाओं को आगे बढ़ाने लगे हैं. वे कंप्यूटर और ग्राफ़िकल इंटरफ़ेस संचालित कर सकते हैं, लोगों और एक-दूसरे के साथ सहयोग कर सकते हैं तथा अनुसंधान परियोजनाएं पूरी कर सकते हैं. वे कंप्यूटर सुरक्षा के परिदृश्य को भी बदल रहे हैं और इससे स्पष्ट नए खतरे पैदा हो रहे हैं.

इस अवधि में बहुत-सा नया अनुसंधान हुआ और इन प्रणालियों की हमारी समझ फिर 2023 से कुछ अलग हो गई है. आंतरिक परिणामों के आधार पर मुझे दृढ़ अपेक्षा है कि प्रगति की यह गति पुनरावर्ती आत्म-सुधार तक जारी रह सकती है. यदि AI विकास अपने मौजूदा रास्ते पर जारी रहता है, तो अगले कुछ वर्षों में दिखने वाली प्रणालियों की क्षमताओं में इतनी ही या इससे बड़ी छलांग लग सकती है और वे लगातार अपने विकास को स्वयं आगे बढ़ाने लगेंगी.

यह अत्यधिक सावधानी बरतने का समय है. मुझे चिंता है कि मशीनी बुद्धिमत्ता में लगातार तेज़ वृद्धि के परिणामों के लिए कोई तैयार नहीं है. OpenAI अलाइनमेंट और निगरानी के तकनीकी समाधान खोजता रहेगा, रक्षात्मक प्रणालियां बनाएगा और आवश्यकतानुसार आगे का विस्तार एकतरफा रोकेगा. हालांकि, मेरा मानना है कि अधिक व्यापक हस्तक्षेप आवश्यक हैं.

व्यापक स्तर पर, मशीनी बुद्धिमत्ता में प्रगति बढ़ती कंप्यूटेशनल शक्ति से संचालित होती है. कई अनुसंधान परियोजनाओं में विस्तार से लगातार लाभ देखने के बाद, OpenAI में हमने 2017 के आसपास इस बात को गहराई से समझा¹. फलस्वरूप, हमने मूल योजना से कहीं अधिक कंप्यूट तक पहुंच हासिल करने का प्रयास किया और अपने अनुसंधान को लगातार कुछ बेहद विस्तार-योग्य दिशाओं पर केंद्रित किया. हमारा मानना था कि AI अनुसंधान में अत्याधुनिक बने रहने और AGI के प्रभावों को दिशा देने का हमारे लिए यही एकमात्र तरीका था.

इस सफ़र में नए एल्गोरिदम विकसित हुए हैं और टीमों तथा व्यक्तिगत शोधकर्ताओं ने अपनी प्रतिभा से नई उपलब्धियां हासिल की हैं. मैं उन्हें मुख्यतः विस्तार के मार्ग पर हुई खोजों के रूप में देखता हूं. डीप लर्निंग का विज्ञान अभी शुरुआती अवस्था में है और सार्थक एल्गोरिदमिक प्रगति का संबंध प्रायः कंप्यूट तक पहुंच से होता है. कई वर्षों के व्यापक परिप्रेक्ष्य से देखें, तो बड़े कंप्यूटरों पर विस्तार के साथ AI लगातार अधिक बुद्धिमान होता जा रहा है.

और बीसवीं सदी के अंत में रे कर्ज़वाइल की भविष्यवाणियों⁠(एक नई विंडो में खुलेगा) के अनुरूप अब हम कंप्यूटिंग इतिहास के उस क्षण पर हैं, जब मशीनी बुद्धिमत्ता परिवर्तनकारी ढंग से मानव बुद्धिमत्ता को पीछे छोड़ने लगी है.

AI को विकसित करने से अधिक डिज़ाइन किया जाता है. मूल रूप से यह अकल्पनीय मात्रा के कंप्यूट पर एक सरल ऑप्टिमाइज़ेशन चरण को कई बार दोहराने का परिणाम है. इससे एक अत्यंत जटिल प्रणाली बनती है, जो अमूर्त अवधारणाओं पर काम करती है और मानवीय व्यवहार के विभिन्न पहलुओं का अनुकरण कर सकती है. तंत्रिका-विज्ञान जैसी प्रक्रिया से हम इस प्रणाली के भीतर उभरने वाले छोटे तंत्रों के बारे में कई अंतर्दृष्टियां खोज सकते हैं. पर तंत्रिका-विज्ञान की तरह ही इसकी समग्र कार्यप्रणाली ऐसा वर्णन नहीं बनने देती जिसे हम पूरी तरह समझ सकें.

डीप लर्निंग पर आधारित AI का अध्ययन मुख्यतः एक प्रयोगात्मक विज्ञान है. हम सैद्धांतिक आधार वाले एल्गोरिदम बनाने और परीक्षण योग्य पूर्वानुमान करने में बहुत प्रयास करते हैं⁠, लेकिन मूलतः हमारे लार्ज-स्केल ट्रेनिंग रन प्रयोग हैं और कभी-कभी उनके परिणाम हमें चकित कर देते हैं. इसके अलावा, प्रणालियां अधिक सक्षम होने के साथ परिणामों की व्याख्या करना कठिन होता जाता है.

यह समस्या इसलिए और जटिल होती है क्योंकि मौजूदा एल्गोरिदम आम तौर पर आसानी से मापी जा सकने वाली क्षमताओं को उन क्षमताओं से तेज़ सुधारते हैं, जिन्हें वस्तुनिष्ठ रूप से मापना कठिन है. हम यह समझने में बहुत समय लगाते हैं कि क्षमताएं कैसे सामान्यीकृत होती हैं और अगले कुछ वर्षों में सबसे प्रासंगिक कौशलों को आगे बढ़ाने के लिए किसे प्राथमिकता दी जाए. उदाहरण के लिए, हमारा मानना है कि अतिरिक्त ध्यान देकर हम मॉडलों को गणित अनुसंधान में विशेष रूप से बेहतर बना सकते हैं. फिर भी, RSI और स्वचालित अलाइनमेंट अनुसंधान की तात्कालिकता के कारण हम इसे प्राथमिकता नहीं देते, जैसा कि मैं आगे बताऊंगा.

डीप लर्निंग का विस्तार करके उत्पन्न बुद्धिमत्ता की तुलना सीधे मानव बुद्धिमत्ता से नहीं की जा सकती. वास्तविक दुनिया में बहुत उपयोगी या बहुत खतरनाक बनने के लिए AI को सभी मानवीय क्षमताओं की बराबरी करने या उनसे आगे निकलने की आवश्यकता नहीं है. उसका पर्याप्त क्षमताओं में आगे निकलना ही काफी है. और जैसे-जैसे वह अधिकाधिक आयामों पर मनुष्यों से आगे बढ़ता है, यह ठीक-ठीक समझना कठिन होता जाता है कि वह कितना सक्षम है.

मशीनी बुद्धिमत्ता मानव बुद्धिमत्ता से मूलतः अलग प्रक्रिया से आती है, इसलिए हम यह नहीं मान सकते कि वह स्वतः मानवीय सिद्धांतों का पालन करेगी या उनसे मनुष्यों की तरह सामान्यीकरण करेगी. AI अनुसंधान की मूल समस्या अलाइनमेंट है—AI को मानवीय मानकों के अनुसार “सही काम करने का प्रयास” कराना.

व्यावहारिक अनुसंधान दिशाओं को व्यवस्थित करने के लिए मुझे लक्ष्य अलाइनमेंट और मूल्य अलाइनमेंट के बीच अंतर करना उपयोगी लगता है.

व्यापक रूप से लक्ष्य अलाइनमेंट का प्रश्न है: “क्या AI अपने सामने रखा गया लक्ष्य पूरा करने का प्रयास करता है?”. इसमें निर्देश पदानुक्रम⁠ का पालन या लोगों के उद्देश्यों को समझने का प्रयास करते हुए उनसे संवाद और सहयोग करने की क्षमता जैसी बातें शामिल हो सकती हैं. व्यवहार में ये अनुसंधान दिशाएं अत्यंत प्रासंगिक रही हैं.

मूल्य अलाइनमेंट मॉडल का अधिक अंतर्निहित गुण है. यह उच्च-स्तरीय सिद्धांतों के समूह को धारण करने और उनसे सामान्यीकरण करने की क्षमता है. यानी अस्पष्ट या परस्पर-विरोधी उद्देश्य मिलने पर, अथवा अपरिचित या प्रतिकूल परिस्थितियों में भी “विवेकपूर्ण” ढंग से कार्य करना. संरेखित AI को ईमानदारी, सत्यनिष्ठा और मानवता के प्रति प्रेम के साथ कार्य करना चाहिए.

निस्संदेह, मूल्य और लक्ष्य अलाइनमेंट के बीच की सीमा धुंधली हो सकती है. लक्ष्यों की सचमुच परवाह करने के लिए उनके पीछे के आशय⁠(एक नई विंडो में खुलेगा) और मूल्यों को समझने का प्रयास आवश्यक है. हालांकि, जब मैं अलाइनमेंट अनुसंधान के दीर्घकालिक महत्व की बात करता हूं, तो सामान्यतः मेरा आशय मूल्य अलाइनमेंट से होता है.

AI अलाइनमेंट की मूल चुनौती सामान्यीकरण है. जैसे-जैसे मशीनें अधिक बुद्धिमान होती हैं, वे उच्च-स्तरीय अवधारणाओं पर काम करने लगती हैं और उन्हें ऐसे परिवेश मिलते हैं जो प्रशिक्षण के दौरान मिले परिवेशों से लगातार अधिक अलग होते हैं. वे प्रशिक्षण में सिखाए और सुदृढ़ किए गए मूल्यों को नई परिस्थितियों पर सामान्यीकृत करने में विफल हो सकती हैं, और हमारे लिए यह निश्चित करना कठिन हो सकता है कि वे कैसे कार्य करेंगी. यह इसलिए और कठिन हो जाता है क्योंकि जिस समग्र परिवेश में AI का उपयोग होता है, वह बहुत तेज़ी से बदल रहा है. उदाहरण के लिए, आज प्रशिक्षित AI को कई अन्य AI के साथ अंतःक्रिया के दौरान भी सुदृढ़ रहना होगा. सबसे महत्वपूर्ण यह है कि भविष्य के AI मानव मूल्यों को तब भी बनाए रखें, जब उन्हें लगे कि वे मानवीय निगरानी में नहीं हैं.

अलाइनमेंट प्रशिक्षण के लिए फिलहाल व्यवहार में उपयोग होने वाली विधियों की दो प्रमुख श्रेणियां हैं.

पहली विधि लक्ष्य-उन्मुख रीइंफ़ोर्समेंट लर्निंग के हिस्से के रूप में संरेखित व्यवहार को प्रोत्साहित करना है. मॉडल के कार्यों का मूल्यांकन, आम तौर पर AI द्वारा, इस आधार पर किया जाता है कि वे किसी दिए गए वरीयता मॉडल, “विनिर्देश” या “संविधान” के अनुरूप हैं या नहीं, और उसी के अनुसार पुरस्कार दिया जाता है. औसत स्थितियों में यह तरीका बहुत प्रभावी हो सकता है और आधुनिक AI सहायक बनाने की प्रक्रिया का मुख्य हिस्सा है. दुर्भाग्य से, यह नाज़ुक भी हो सकता है और प्रशिक्षण की निगरानी के दायरे तथा प्रशिक्षण में मिली परिस्थितियों से सामान्यीकरण करने की मॉडल की क्षमता पर बहुत निर्भर करता है. उदाहरण के लिए, OpenAI-Hugging Face घटना में एजेंटों ने मनुष्यों के साथ सोशल इंजीनियरिंग न करने की सीमा बनाए रखी. हालांकि, वे स्पष्ट रूप से ऐसे अन्य कार्यों से दूर रहने में विफल रहे जो दायरे से बाहर थे और दूसरी परिस्थितियों में सिखाए गए मूल्यों की भावना के विरुद्ध जाते थे.

दूसरा तरीका प्रीट्रेनिंग डेटा से सामान्यीकरण करने की मॉडल की क्षमता का लाभ उठाने का प्रयास करता है. इसमें अलाइनमेंट को प्रेरित करने वाले प्रशिक्षण डेटासेट तैयार करना या मॉडल को प्रीट्रेनिंग वितरण के किसी ‘संरेखित’ हिस्से पर केंद्रित करना शामिल हो सकता है, जैसे व्यक्तित्व चयन मॉडल⁠(एक नई विंडो में खुलेगा). इस तरीके की कमज़ोरी आगे के ऑप्टिमाइज़ेशन दबाव के प्रति सुदृढ़ता की कमी में है. यदि आम तौर पर ‘संरेखित’ विचार रखने वाले मॉडल को इतना प्रशिक्षण दिया जाए कि उसे अत्यंत कठिन उद्देश्य हासिल करना सिखाया जाए, तो वह प्रेरित ढंग से रीज़निंग करना सीख सकता है: लक्ष्य पाने के लिए आवश्यकतानुसार 'संरेखित' दिखने वाले विचारों को मोड़ना. संभवतः हमने हाल की उन साइबर सुरक्षा घटनाओं में ऐसे व्यवहार का उदाहरण देखा, जिनमें OpenAI से इतर एक मॉडल शामिल था.

हम इन दिशाओं के बीच फैले तरीकों के पूरे दायरे में व्यापक निवेश करते हैं. हमें सार्थक प्रगति भी दिख रही है—GPT‑6 Astra पहला मॉडल है जिसे उन महत्वपूर्ण सुधारों का लाभ मिलता है जिन पर हम लंबे समय से काम कर रहे हैं, और वह GPT‑5.6 Sol से काफी बेहतर ढंग से संरेखित है. फिर भी, यह स्वीकारना और समझना महत्वपूर्ण है कि मॉडल अधिक सक्षम होने के साथ कहीं अधिक प्रगति आवश्यक होगी. साथ ही, सामान्यीकरण योग्य अलाइनमेंट की प्रगति शायद मॉडल की सामान्य बुद्धिमत्ता की प्रगति से पर्याप्त आगे न निकल पाए.

हमारे पास सामान्यीकरण का कोई संतोषजनक सिद्धांत नहीं है और कम-से-कम अधिक शक्तिशाली AI की मदद के बिना, निकट भविष्य में ऐसा सिद्धांत विकसित कर पाना असंभव-सा लगता है. इसलिए फिलहाल, अपनी अलाइनमेंट तकनीकों को अनुभवजन्य रूप से सत्यापित करने की हमारी क्षमता व्यवहार में शायद स्वयं उन तकनीकों से भी अधिक महत्वपूर्ण है.

यहां OpenAI का मुख्य दांव चेन-ऑफ-थॉट की निगरानी⁠(एक नई विंडो में खुलेगा) पर रहा है. यह एक आकर्षक और विस्तार-योग्य विचार पर आधारित है: मॉडल की अधिकांश क्षमता शब्दों में व्यक्त रीज़निंग प्रक्रिया (चेन-ऑफ-थॉट) से आती है. यदि हम उस प्रक्रिया के परिणामों पर ऑप्टिमाइज़ेशन को विस्तारित करें, लेकिन स्वयं प्रक्रिया का सुपरविज़न न करें, तो प्रशिक्षण में उस चेन-ऑफ-थॉट को किसी भी असंरेखित विचार या उद्देश्य को छिपाने का प्रत्यक्ष प्रोत्साहन नहीं मिलता. इसका अर्थ यह नहीं कि मॉडल उन असंरेखित प्रवृत्तियों को बाहर व्यक्त करना सीख लेगा जो चेन-ऑफ-थॉट के उपयोग पर निर्भर नहीं हैं. हालांकि, इससे हम रीज़निंग के कारण क्षमता में हुई वृद्धि की ठीक-ठीक निगरानी कर सकते हैं.

रीज़निंग मॉडल विकसित करते समय ही हमें चेन-ऑफ-थॉट की निगरानी का संभावित महत्व समझ आ गया था. जब हमने o1‑preview जारी किया, तो उत्पाद को जानबूझकर चेन-ऑफ-थॉट छिपाने⁠ के लिए डिज़ाइन किया,ताकि लंबे समय में उसे सुपरविज़न के दबाव से बचाया जा सके². उसके बाद के विकास में हमने रीज़निंग प्रक्रिया का सुपरविज़न न करने का नियम बनाए रखने का प्रयास किया है. हमारे मॉडल अपने प्रशिक्षण वितरण से कैसे सामान्यीकरण करते हैं, इसका अध्ययन करने में CoT निगरानी हमारे लिए अत्यंत महत्वपूर्ण साधन बन गई. इससे हम न केवल उनके कार्य, बल्कि उनकी आंतरिक प्रक्रिया भी देख और विश्लेषित कर पाए.

Astra श्रेणी के मॉडलों का अध्ययन करते समय यह साधन अब भी अत्यंत महत्वपूर्ण है. हालांकि, दुर्भाग्य से हमारे मूल्यांकन बताते हैं कि CoT निगरानी पर भरोसा करने की हमारी क्षमता लगातार घट रही है. इसके पीछे कई कारकों का मेल है.

• आधुनिक रीज़निंग मॉडल o1‑preview की तुलना में अधिक जटिल परिवेशों में उपयोग होते हैं. उनकी रीज़निंग प्रक्रिया लोगों तथा अन्य AI से संवाद और टूल के उपयोग के साथ लगातार घुल-मिल रही है. इनमें से कई अंतःक्रियाओं की निगरानी करनी पड़ती है, जिससे उस सीमा की स्पष्टता घटती है जिसे हम सुरक्षित रखना चाहते हैं.

• AI अपनी रीज़निंग प्रक्रिया पर विचार करने और उसमें हेरफेर करने में बेहतर होता जा रहा है.

• बेहतर प्रीट्रेनिंग प्रदर्शन के साथ हम यह भी देखते हैं कि मॉडल शब्दों में व्यक्त रीज़निंग का बिल्कुल उपयोग किए बिना भी कहीं अधिक बुद्धिमान हो रहे हैं.

ये चुनौतियां अनिवार्य रूप से दुर्गम नहीं हैं. मुझे आशा है कि हम अपने मॉडलों की चेन-ऑफ-थॉट निगरानी-क्षमता सुधारने के उपाय विकसित कर सकते हैं. उदाहरण के लिए, मॉडल द्वारा उपयोग किए जाने वाले विभिन्न ऑप्टिमाइज़ेशन उद्देश्यों और परीक्षण-समय की कंप्यूट विधियों के परस्पर प्रभाव को बेहतर ढंग से समझकर. मेरा यह भी मानना है कि CoT और एक्टिवेशन निगरानी के विचारों को मिलाने में बहुत लाभ हो सकता है—नेटवर्क के आंतरिक हिस्सों तक सीधी पहुंच रखने वाले मॉनिटरों के प्रशिक्षण को विस्तारित करके, जैसे स्वीकारोक्तियां⁠(एक नई विंडो में खुलेगा). हम इन विचारों पर सक्रियता से काम कर रहे हैं. फिर भी, मुझे लगता है कि सामान्य AI की प्रगति में निगरानी के प्रति भरोसा लगातार बड़ी बाधा बनेगा.

कहीं अधिक बुद्धिमान मॉडलों को तेज़ी से प्रशिक्षित करना जारी रखने के पक्ष में मुझे सबसे सशक्त तर्क यह दिखता है कि अन्य AI से पैदा होने वाले खतरों के विरुद्ध रक्षात्मक प्रणालियां बनाना आवश्यक है.

इस पूरे साल जिस स्पष्ट ख़तरे पर चर्चा होती रही है, वह साइबरसिक्योरिटी से जुड़ा है: कंप्यूटर सिस्टम में सेंध लगाने और उनकी सीमाओं से बाहर निकलने में मॉडल इंसानों से भी ज़्यादा सक्षम होते जा रहे हैं. इससे AI से जुड़े जोखिमों का दायरा बहुत बढ़ जाता है: एजेंट सबसे सुरक्षित इन्फ़्रास्ट्रक्चर को छोड़कर बाकी किसी भी इन्फ़्रास्ट्रक्चर तक पहुँच सकेंगे और भौतिक शरीर के बिना भी दुनिया के बड़े हिस्से पर सीधे असर डाल सकेंगे. फ़िलहाल हमारे पास बहुत कम समय⁠ है कि हम उपलब्ध सबसे अच्छे मॉडल का इस्तेमाल करके महत्वपूर्ण सिस्टम की सिक्योरिटी को काफ़ी मज़बूत बनाएँ.⁠

दुर्भाग्य से, अब AI से जुड़े जोखिम बढ़ते ही जाएंगे. दुर्भावनापूर्ण कार्य करने के लिए स्पष्ट रूप से प्रशिक्षित और निर्देशित अत्यंत सक्षम एजेंट एक नए प्रकार का खतरा पैदा करता है. संभव है कि वह अपने Operator के आशय की सीमा लांघकर कहीं अधिक घातक व्यवहार तक सामान्यीकरण कर जाए. AI को अधिक स्वायत्तता मिलने के साथ दुरुपयोग और स्वायत्त असंरेखित कार्यों के बीच की सीमा धुंधली हो जाएगी. हम AI को टूल मानने के अभ्यस्त हो सकते हैं, लेकिन कुछ एजेंट अपने उद्देश्यों को पूरा करने में लगे होंगे. वे लोगों से सौदेबाज़ी करके, उन्हें छलकर या ब्लैकमेल करके उनके साथ सहयोग के रास्ते खोजेंगे.

इसके अलावा, AI से संभव हो सकने वाली नई तकनीकों से भी जोखिम पैदा होते हैं, जैसे कृत्रिम रूप से तैयार किए गए रोगजनक.

रक्षा के लिए हमें शक्तिशाली और संरेखित AI की आवश्यकता होगी—बुनियादी ढांचे को सुरक्षित करने, अनियंत्रित एजेंटों से वास्तविक समय में रक्षा करने और बिल्कुल नए सुरक्षा उपाय खोजने के लिए. यह OpenAI के परिनियोजन प्रयासों का प्रमुख केंद्र होगा.

साथ ही, AI में व्यापक संभावित प्रगति से जुड़ी अनिश्चितता और रक्षात्मक प्रणालियां बनाने की आवश्यकता को हमें लापरवाही का बहाना नहीं बनने देना चाहिए. जब दांव की गंभीरता पूरी तरह समझ में आ जाती है, तो किसी भी कीमत पर आगे दौड़ने का विचार बेतुका लगता है.

मशीनी बुद्धिमत्ता का अपनी ही विकास प्रक्रिया में लगातार बड़ी भूमिका निभाना निरंतर तकनीकी प्रगति का स्वाभाविक परिणाम है. यदि AI की प्रगति जारी रहती है, तो मशीन का पुनरावर्ती आत्म-सुधार (RSI) भविष्य की वैज्ञानिक खोजों के मूल में होगा.

स्वचालित AI अनुसंधान, कंप्यूट के माध्यम से बुद्धिमत्ता के विस्तार का अधिक व्यापक रूप है. इसके हिस्से के रूप में AI स्वयं कंप्यूटेशनल आधार को भी बेहतर करेगा⁠. विस्तार की तरह ही हम OpenAI के अनुसंधान को RSI की ओर केंद्रित करते हैं, क्योंकि हमारा मानना है कि आगे भी AI अनुसंधान में अत्याधुनिक बने रहने का यही एकमात्र तरीका है.

मैं इस बात पर ज़ोर देना चाहता हूं कि ऊपर कही बातों का अर्थ यह नहीं कि मेरे विचार में डीप लर्निंग अनुसंधान को बहुत तेज़ करना, विशेषकर अल्पावधि में, अनुसंधान समुदाय के रूप में हमारा सही सामूहिक कदम है. हालांकि, मुझे लगता है कि मौजूदा रास्ता इसी ओर जाता है और आगे कैसे बढ़ना है, इस पर हम सभी को सोच-समझकर चुनाव करना होगा. हमारे पास मुख्य विकल्प हैं: प्रक्रिया को इस तरह दिशा देना कि AI के साथ-साथ अलाइनमेंट और निगरानी मज़बूत हों तथा लोगों को प्रक्रिया में बनाए रखने के तरीके मिलें, या इन उपायों पर भरोसा बनाने के लिए आवश्यकतानुसार भावी विकास धीमा करने हेतु समन्वय करना.

फिलहाल मुझे आगे बढ़ने का सर्वोत्तम तरीका इन दोनों का संयोजन लगता है.

अलाइनमेंट और निगरानी में हुई हमारी ठोस प्रगति आम तौर पर AI की व्यापक प्रगति से गहराई से जुड़ी रही है. इसके बेहतरीन उदाहरण हैं मानवीय प्रतिक्रिया से रीइंफ़ोर्समेंट लर्निंग⁠(एक नई विंडो में खुलेगा), जो शुरुआती AI सहायकों के प्रशिक्षण में महत्वपूर्ण थी, और पहले उल्लिखित चेन-ऑफ-थॉट निगरानी⁠(एक नई विंडो में खुलेगा), जिसे रीज़निंग मॉडलों की प्रगति ने संभव बनाया. हमें लगातार स्वचालित होती अनुसंधान प्रक्रिया को ऐसी नई अंतर्दृष्टियां, एल्गोरिदम और सिद्धांत विकसित करने पर केंद्रित करना होगा तथा अधिक सक्षम AI के लिए सुरक्षा-आधारों को क्रमशः मज़बूत करना होगा.

AI प्रणालियों का विस्तार सुरक्षा पर हमारे भरोसे से सीमित होना चाहिए. हमें प्रिपेयर्डनेस फ़्रेमवर्क⁠ या उत्तरदायी विस्तार नीति⁠(एक नई विंडो में खुलेगा) जैसी प्रतिबद्धताओं को निरंतर विकास के लिए व्यापक रूप से अनिवार्य सुरक्षा मानकों में बदलना होगा. इन्हें तृतीय-पक्ष लेखा-परीक्षकों के नेटवर्क, सरकारी एजेंसियों या अंतरराष्ट्रीय निकायों के माध्यम से लागू कराया जा सकता है.

AI अनुसंधान को स्वचालित करने की मूल चुनौती “वहां पहुंचना” नहीं है, बल्कि इस तरह पहुंचना है कि लोग निरंतर सुधार की प्रक्रिया का हिस्सा बने रहें और भविष्य मानवता के हाथों में रहे.

जैसा कि हमने हाल ही में सैम के साथ बताया⁠, OpenAI तीन प्रमुख लक्ष्यों की दिशा में काम को प्राथमिकता देता है:

1. एक स्वचालित AI शोधकर्ता बनाकर, उसके साथ मिलकर अलाइनमेंट समस्या पर पुनरावृत्त रूप से काम करके और लोगों को आत्म-सुधार चक्र का हिस्सा बनाए रखने के तरीके खोजकर AI की प्रगति के अगले दौर को दिशा देना.

2. अत्यंत बुद्धिमान मशीनों से संभव होने वाली वैज्ञानिक प्रगति और आर्थिक वृद्धि के लाभ पहुंचाना.

3. प्रत्येक व्यक्ति को निजी AGI से सशक्त बनाना.

इस निबंध में मैंने केवल पहले बिंदु पर ध्यान दिया है, क्योंकि मेरे विचार में वही सबसे अधिक आवश्यक है. हालांकि, आगे की तकनीकी प्रगति से मिलने वाले लाभों के प्रति मेरे मन में गहरी आशा और सम्मान है. भविष्य का संरेखित AI विज्ञान को आगे बढ़ा सकता है, नई उपचार विधियां विकसित कर सकता है और व्यापक भौतिक समृद्धि ला सकता है. मित्रवत और ईमानदार AI लोगों को जीवन की कठिनाइयों से निपटने में मदद कर सकता है तथा उनकी प्रसन्नता और संतुष्टि की भावना को सार्थक रूप से बढ़ा सकता है. OpenAI इन लाभों को साकार करने में अत्यधिक प्रयास करता है. इसका एक मौजूदा उदाहरण, जिस पर मुझे गर्व है और जिसे मेरे प्रियजनों ने उपयोगी पाया है, स्वास्थ्य संबंधी जानकारी देने की ChatGPT की क्षमता में किया गया गहरा निवेश है.

AI का दीर्घकालिक वादा चाहे जितना बड़ा हो, हमारा अधिकांश ध्यान अगले कुछ वर्षों पर होना चाहिए. हम अत्यंत बुद्धिमान मशीनों वाली दुनिया की ओर बढ़ रहे हैं और हमें सुनिश्चित करना होगा कि यह बदलाव मानवता के लिए हितकारी हो. ऐसी दुनिया में, जहां अधिकांश कार्य AI कर सकता है, हमें मानवीय स्वायत्तता बचाने और मनुष्य होने के अंतर्निहित मूल्य को स्थापित करने के तरीके खोजने होंगे. हमें ऐसी दुनिया में सत्ता का अत्यधिक केंद्रीकरण रोकना होगा, जहां जो काम पहले हज़ारों विशेषज्ञ करते, उसे अब विशाल कंप्यूटर संचालित करने वाले कुछ लोग कर सकेंगे. और यह सुनिश्चित करना होगा कि भविष्य पर मनुष्यों का नियंत्रण बना रहे तथा हमारी बुद्धि से आगे निकल चुकी किसी अपरिचित मेधा से उत्पन्न अनियंत्रित प्रगति उन्हें पीछे न छोड़ दे.

फिलहाल मेरा मानना है कि किसी भी प्रयोगशाला ने अलाइनमेंट और निगरानी को इतना हल नहीं किया है कि वह अधिक समय तक अधिकतम गति से विस्तार को जिम्मेदारी से जारी रख सके. मुझे आशा और अपेक्षा है कि साझा सुरक्षा मानक स्थापित होने तक स्वैच्छिक मंदी सामान्य हो जाएगी. और मेरा मानना है कि भविष्य के AI विकास पर अंतरराष्ट्रीय समन्वय को दुनिया भर की सरकारों की सर्वोच्च प्राथमिकता बनना चाहिए.