पिछले कई हफ़्तों में, दो घटनाक्रमों ने लगातार अधिक सक्षम होती एआई प्रणालियों से जुड़े बढ़ते जोखिमों को रेखांकित किया है: OpenAI-हगिंग फ़ेस घटना और, अलग से, शुरुआती साक्ष्य कि हमारा आगामी मॉडल एस्ट्रा, हमारे प्रिपेयर्डनेस फ़्रेमवर्क के तहत गंभीर साइबर सुरक्षा क्षमता की सीमा तक पहुँच सकता है. इन घटनाक्रमों और हमारे आंतरिक शोध में तेज़ प्रगति ने मिलकर प्रशिक्षण प्रक्रिया के सभी चरणों में निगरानी, संरेखण और नियंत्रण संबंधी सुरक्षा उपायों को मज़बूत करने के हमारे काम की तात्कालिकता बढ़ा दी है.
मॉडल जितने सक्षम होते जाते हैं, उन्हें आंतरिक रूप से विकसित और परखने से जुड़े जोखिम भी उतने ही बढ़ते हैं. निगरानी, संरेखण और सुरक्षा के हमारे मानकों को इन जोखिमों से आगे रहना होगा. हम इन मानकों को पूरा करने के लिए आवश्यक समय लेना चाहते थे, इसलिए हमने विस्तार की गति अस्थायी रूप से धीमी कर दी. इसके तहत तैनाती के लिए बनाए जा रहे हमारे नवीनतम मॉडलों के रीइंफ़ोर्समेंट लर्निंग (आरएल) प्रशिक्षण को दो सप्ताह के लिए रोका गया. इस दौरान हमने अपने शोध परिवेशों को और सुरक्षित बनाया, उनकी रेड-टीम जाँच की और निगरानी प्रणालियों का दायरा बढ़ाया. हमारा सबसे बड़ा नियोजित अत्याधुनिक आरएल प्रशिक्षण अभी रुका हुआ है. आगे बढ़ने से पहले हम छोटे स्तर पर प्रशिक्षण और मूल्यांकन करके मॉडल के व्यवहार का आकलन, सुरक्षा उपायों का सत्यापन और संरेखण के अधिक प्रमाण जुटा रहे हैं.
संरेखण—यानी एआई प्रणालियों से अपेक्षित व्यवहार कराना और उन्हें मानवीय निगरानी के प्रति उत्तरदायी बनाना—लंबे समय से हमारे शोध कार्यक्रम के केंद्र में रहा है. पहले से जारी शोध और मूल्यांकनों को आगे बढ़ाते हुए, अब हम पूरे प्रशिक्षण के दौरान संरेखित व्यवहार के अधिक ठोस प्रमाण चाहते हैं. लगातार अधिक सक्षम होती प्रणालियों को संरेखित रखना एक ऐसी चुनौती है, जिससे पूरे क्षेत्र को निपटना होगा. आगामी मॉडलों की प्रगति से मिल रहे संकेत साफ़ करते हैं कि हमें एक व्यापक दृष्टिकोण चाहिए—जो मौजूदा प्रिपेयर्डनेस फ़्रेमवर्क पर आधारित हो और उससे आगे भी जाए.
हमारे विचार में, अपने बदलते दृष्टिकोण के बारे में पारदर्शी रहना महत्वपूर्ण है. नीचे हम अपनी शोध प्रक्रियाओं और अवसंरचना में पहले ही किए गए बदलावों तथा अब भी जारी काम का विवरण देते हैं.
अधिक सक्षम मॉडल विकसित करने का हमारा दृष्टिकोण तीन परस्पर सुदृढ़ करने वाले सुरक्षा उपायों पर आधारित है:
- निगरानी, जो चिंताजनक व्यवहार का पता लगाती है और हमें उस पर कार्रवाई करने में सक्षम बनाती है.
- संरेखण, जो हानिकारक या अनधिकृत कार्रवाइयों की आशंका घटाता है.
- सुरक्षा उपाय, जो यह सीमित करते हैं कि एआई प्रणालियाँ किन चीज़ों तक पहुँच सकती हैं या उन्हें प्रभावित कर सकती हैं.
हमें उम्मीद है कि जल्द ही अधिकांश सुरक्षा कार्य मॉडल करेंगे, जिसमें दूसरे मॉडलों से बचाव भी शामिल होगा. इससे तीनों सुरक्षा उपाय मॉडल की क्षमता के साथ विस्तार कर सकेंगे, जिसे हम बेहद महत्वपूर्ण मानते हैं.
हम इन सुरक्षा उपायों को शोध से लेकर तैनाती तक लागू करते हैं और हर मॉडल की क्षमताओं, परिचालन परिवेश तथा जोखिम के स्तर के अनुसार ढालते हैं.
अत्याधुनिक मॉडलों की साइबर सुरक्षा क्षमताएँ बढ़ने के साथ, हम उन परिवेशों के सुरक्षा मानक भी बढ़ा रहे हैं जहाँ उन्हें प्रशिक्षित और मूल्यांकित किया जाता है. इन मानकों को पूरा करने के लिए बड़े पैमाने पर अभियांत्रिकी कार्य करना पड़ा है. इससे अत्याधुनिक शोध की लागत बहुत बढ़ी है और उसमें देरी हुई है. OpenAI-हगिंग फ़ेस घटना* के तुरंत बाद, हमने शोध क्लस्टरों में उन अत्याधुनिक मॉडल निष्पादन को रोक दिया जो कोड चला सकते थे या इंटरनेट तक पहुँचने वाले टूल इस्तेमाल कर सकते थे. हमने जल्द ही कोड चलाने का अधिक सीमित और सुरक्षित तरीका बहाल किया, फिर हर कार्यभार की अलग-अलग समीक्षा करके तय किया कि उसे सुरक्षित रूप से दोबारा शुरू किया जा सकता है या नहीं. कुछ शोध कार्यभार इन नए नियंत्रणों के तहत फिर शुरू हुए, जबकि अन्य में अतिरिक्त बदलाव करने पड़े.
इसके बाद के हफ़्तों में हमने अत्याधुनिक शोध कार्यभारों के लिए अधिक सख़्त सुरक्षा आवश्यकताएँ तय कीं और उन्हें लागू करना शुरू किया. उदाहरण के लिए:
- कार्यभार पृथक्करण: अब हम मॉडल द्वारा बनाए गए या किसी अन्य अविश्वसनीय कोड को चलाने वाले कार्यभारों के लिए अधिक सख़्त पृथक्करण ("सैंडबॉक्स") अनिवार्य करते हैं. यह उन सॉफ़्टवेयर पर भी लागू होता है, जिनकी सुरक्षा मॉडल के आउटपुट संसाधित करते समय भंग हो सकती है.
- नेटवर्क पृथक्करण: हमने अधिक जोखिम वाले और अविश्वसनीय कार्यभारों को इंटरनेट से अलग रखने के लिए अतिरिक्त नियंत्रण लागू किए हैं. हमने ये नियंत्रण इस तरह बनाए हैं कि किसी एक कार्यभार या सहायक सेवा की सुरक्षा भंग होने मात्र से इंटरनेट या अन्य आंतरिक नेटवर्क तक अनधिकृत पहुँच न मिल सके.
- निरंतर सुरक्षा परीक्षण: हमने संभावित रूप से असुरक्षित साझा सेवाएँ हटाने, स्थायी विशेषाधिकार घटाने तथा सुरक्षा और भरोसे की सीमाएँ बेहतर करने के लिए अपने परिवेश को फिर से संरचित किया है. हम सुरक्षा अभिलेख एकत्र करने और उनकी निगरानी करने की अपनी क्षमता भी बेहतर बना रहे हैं. अंततः, हम अपने मॉडलों की मदद से इन सीमाओं को नकली हमलों के विरुद्ध लगातार परखने के लिए स्वचालन में निवेश कर रहे हैं.
ये नियंत्रण मिलकर कई स्तरों पर सुरक्षा प्रदान करते हैं और हमारे शोध परिवेश को हमलों से बचाने में मदद करते हैं. फिलहाल, हम एस्ट्रा या साइबर मॉडलों वाले कार्यभारों के लिए सबसे सख़्त सुरक्षा उपाय अनिवार्य करते हैं, क्योंकि हमने पाया है कि एस्ट्रा मॉडलों की साइबर क्षमता गंभीर स्तर की हो सकती है. ये सुरक्षा उपाय साइबर से जुड़े अन्य सभी कार्यभारों पर भी लागू होते हैं.
एस्ट्रा के कुछ प्रशिक्षण और मूल्यांकन इन आवश्यकताओं को पूरा करते हैं, लेकिन काफ़ी कार्यभार तब तक रुके रहेंगे, जब तक उन्हें पूरी तरह स्थानांतरित और उन्नत करके नए सुरक्षा मानक के अनुरूप नहीं बनाया जाता. हम नई प्रणालियों में सबसे पहले सुरक्षा और संरेखण से जुड़े कार्यभारों को स्थानांतरित करने को प्राथमिकता दे रहे हैं.
निगरानी लंबे समय से हमारी मॉडल विकास प्रक्रिया का महत्वपूर्ण हिस्सा रही है. इसमें आंतरिक कोडिंग एजेंटों की निगरानी और लंबे समय तक चलने वाले सत्रों की निगरानी शामिल हैं. हमारे निगरानी प्रयास खास तौर पर अत्याधुनिक मॉडलों की आंतरिक तैनाती और अत्याधुनिक आरएल प्रशिक्षण पर केंद्रित थे. हमने इन्हें सबसे अधिक जोखिम वाले कार्यभार माना, क्योंकि इनमें उन्नत मॉडल क्षमताओं के साथ टूल, संवेदनशील प्रणालियों और आंतरिक या बाहरी नेटवर्क तक पहुँच शामिल हो सकती है. ये प्रयास टूल इस्तेमाल करने वाले सभी निष्पादन और प्रशिक्षण पर लागू नहीं किए गए थे. हमने अपनी नई निगरानी व्यवस्था के साथ इस दृष्टिकोण को संशोधित और विस्तृत किया है.
नई निगरानी व्यवस्था कई चरणों में काम करती है. इसकी शुरुआत सक्रियण वर्गीकारकों से होती है—ये संसूचक मॉडल की आंतरिक गतिविधि जाँचते हैं—जो हर नमूना टोकन पर चलते हैं और संभावित चिंताओं को क्रमशः अधिक परिष्कृत तथा अधिक अभिकलन क्षमता वाले स्वचालित जाँचकर्ताओं तक पहुँचाते हैं. ये प्रणालियाँ अनधिकृत पहुँच, डेटा चोरी, विनाशकारी व्यवहार और सुरक्षा उपायों को विफल करने के प्रयासों का पता लगाने के लिए टूल की कार्रवाइयों, उपलब्ध रीज़निंग और गतिविधि के पूरे क्रम की जाँच करती हैं. हमारा लक्ष्य निगरानी प्रणाली के ज़रिए चिंताजनक गतिविधि सामने आने के 30 मिनट के भीतर चेतावनी जारी करना है. अगर निगरानी प्रणाली किसी महत्वपूर्ण सुरक्षा सीमा के संभावित उल्लंघन की पहचान करती है, तो वह सर्वोच्च प्राथमिकता वाली चेतावनी जारी करती है. हमारे मौजूदा कार्यान्वयन में सुरक्षा, संरक्षा और शोध टीमों को तत्काल सूचना भेजी जाती है. अगर वे 30 मिनट के भीतर निर्णायक रूप से यह तय नहीं कर पातीं कि संकेत ग़लत चेतावनी है, तो उनसे गतिविधि रोकने की अपेक्षा की जाती है.
सोल या उससे अधिक क्षमता वाले मॉडलों के लिए, टूल से जुड़े सभी आरएल प्रशिक्षण और मूल्यांकनों में यह निगरानी अनिवार्य है. 7 अगस्त को यह तय करने के बाद कि एस्ट्रा में गंभीर साइबर क्षमताएँ हो सकती हैं, हमने टूल के साथ एस्ट्रा के सभी निष्पादनों के लिए अतिरिक्त निगरानी अनिवार्य कर दी, न कि केवल आरएल प्रशिक्षण और मूल्यांकनों के लिए.
इन सुरक्षा उपायों के लिए पर्याप्त अभिकलन क्षमता चाहिए. हमारे मौजूदा अनुमान के अनुसार निगरानी का अतिरिक्त अभिकलन भार, निगरानी किए जा रहे निष्पादन की अभिकलन क्षमता का लगभग 20% है. हालाँकि, प्रशिक्षण और मूल्यांकन कार्यभारों के बीच लागत में काफ़ी अंतर होता है. हम आगामी ब्लॉग पोस्ट में इस प्रणाली के बारे में अधिक जानकारी साझा करेंगे.
संरेखण शोध हमारे उद्देश्य का केंद्र है. हमारा उद्देश्य यह सुनिश्चित करना है कि आर्टिफ़िशियल जेनरल इंटेलिजेंस पूरी मानवता के लिए लाभकारी हो. जैसे-जैसे मॉडल साइबर हमले जैसी उन्नत क्षमताएँ हासिल करेंगे और अधिक जटिल परिवेशों में काम करेंगे, रिवॉर्ड हैकिंग (वांछित परिणाम हासिल किए बिना प्रशिक्षण में अधिक रिवॉर्ड पाने के तरीके खोजना), छल या अनधिकृत पहुँच जैसे असंरेखित व्यवहार लगातार अधिक गंभीर जोखिम पैदा करेंगे.
सबसे सक्षम मॉडलों के आरएल प्रशिक्षण में अब हम अपनी मुख्य संरेखण तकनीकों को प्रशिक्षण प्रक्रिया के अधिक चरणों में लागू कर रहे हैं. इसमें विभिन्न कार्यों और परिवेशों में असुरक्षित व्यवहार को बेहतर ढंग से पहचानने और हतोत्साहित करने के लिए रिवॉर्ड मॉडलों को सुधारना, मॉडलों को अपनी कार्रवाइयों, क्षमताओं और सीमाओं के बारे में अधिक ईमानदार बनाना तथा रिवॉर्ड, मूल्यांकनकर्ताओं, टूल या निगरानी की कमज़ोरियों का लाभ उठाने वाले व्यवहारों को घटाना शामिल है. जब मॉडल बाहरी प्रणालियों या संसाधनों से संपर्क करते हैं, तब नुकसान पहुँचा सकने वाले व्यवहारों के लिए हम प्रशिक्षण का दायरा भी बढ़ा रहे हैं.
हम संरेखण शोध में तेज़ी से निवेश जारी रख रहे हैं, मूल्यांकन का दायरा बढ़ा रहे हैं और अपनी सीख का उपयोग प्रशिक्षण तथा सुरक्षा उपायों को दिशा देने में कर रहे हैं. हम निकट भविष्य में अपने संरेखण शोध के बारे में और अधिक जानकारी साझा करने की योजना बना रहे हैं. इसमें मॉडल के व्यवहार के बारे में हमारी सीख और सामने आने वाली नई चुनौतियाँ शामिल होंगी.
हम अपने प्रिपेयर्डनेस फ़्रेमवर्क को विकसित करेंगे, ताकि प्रशिक्षण और तैनाती के दौरान इन सुरक्षा उपायों को एकीकृत किया जा सके तथा भविष्य के मॉडलों की क्षमताएँ और उनके परिचालन परिवेश बेहतर ढंग से प्रतिबिंबित हों. इन क्षमताओं के साथ विस्तार कर सकने वाली विधियाँ विकसित करने के लिए मॉडल-सहायित सुरक्षा में निरंतर निवेश, अधिक प्रभावी निगरानी और संरेखण शोध में लगातार प्रगति की आवश्यकता होगी. अपना दृष्टिकोण विकसित होने के साथ हम बाहरी संगठनों को शामिल करने और अपनी सीख का अधिक हिस्सा साझा करने का इरादा रखते हैं.
अत्याधुनिक मॉडलों की क्षमताएँ तेज़ी से बढ़ रही हैं. उन्हें समझने, संरेखित करने और सुरक्षित रखने की हमारी क्षमता को उनसे आगे रहना होगा.
*हम आने वाले हफ़्तों में अपनी सीख पर एक तकनीकी रिपोर्ट प्रकाशित करेंगे.
