अत्याधुनिक एआई प्रशिक्षण के लिए सुरक्षा तर्कों की ओर
हमारा मानना है कि हम एक नए युग में प्रवेश कर रहे हैं, जिसमें अत्याधुनिक रीइंफ़ोर्समेंट लर्निंग के किसी भी प्रशिक्षण सत्र को जारी रखने से पहले सुव्यवस्थित सुरक्षा दस्तावेज़ अनिवार्य होने चाहिए. आदर्श रूप से, ऐसे दस्तावेज़ “सुरक्षा तर्कों” के स्तर के होने चाहिए—यानी जोखिम के बारे में व्यापक, सुव्यवस्थित और साक्ष्य-आधारित तर्क, जिनका उपयोग अन्य सुरक्षा-संवेदनशील उद्योगों में होता है. हम सुरक्षा तर्कों को अपना मार्गदर्शक लक्ष्य मानते हैं और उसे हासिल करने की दिशा में काम कर रहे हैं. साथ ही, हम मानते हैं कि एआई मॉडलों के लिए इन्हें विमानन या परमाणु ऊर्जा जितना कठोर बनाना चुनौतीपूर्ण है, क्योंकि एआई की क्षमता के हर नए स्तर पर नई जटिलताएँ उभरती हैं. हम इन पद्धतियों को औपचारिक रूप देने के लिए एक रूपरेखा पर काम कर रहे हैं.
नीचे कुछ शुरुआती दिशानिर्देश दिए गए हैं जो, हमारे विचार में, अत्याधुनिक एआई प्रशिक्षण के ऐसे सुरक्षा तर्कों का हिस्सा होने चाहिए. ये सर्वोत्तम पद्धतियाँ हमारी अब तक की सीख पर आधारित हैं. हमें उम्मीद है कि सावधानीपूर्वक विकास की आंतरिक प्रक्रियाओं में लगातार सुधार के साथ ये भी विकसित होती रहेंगी. हम इन्हें अभी साझा कर रहे हैं, ताकि हमारी मौजूदा सोच पारदर्शी हो और समुदाय अपनी राय दे सके. ध्यान दें कि यह दस्तावेज़ अत्याधुनिक रीइंफ़ोर्समेंट लर्निंग प्रशिक्षण पर केंद्रित है; आंतरिक और बाहरी परिनियोजन के लिए संरेखण के कहीं अधिक व्यापक गुणों पर विचार करना ज़रूरी है.
सुरक्षा तर्कों में तकनीकी प्रणाली के तीन पहलू शामिल होने चाहिए: संरेखण प्रशिक्षण, सीमाबंदी और निगरानी. ये उपाय सुनिश्चित करने में मदद करते हैं कि मॉडल निर्धारित उद्देश्यों के विरुद्ध कार्रवाई की कोशिश न करे. यदि वह ऐसा करे भी, तो उसके लिए तय सीमाओं से बाहर निकलना कठिन हो और नुकसान होने से पहले निगरानी उसे पकड़ ले.
मॉडल संरेखण: बचाव की पहली परत मॉडलों को संरेखित रहने का प्रशिक्षण देना होना चाहिए; यानी वे भरोसेमंद ढंग से हमारी मंशा के अनुसार काम करें. इसमें शामिल हो सकते हैं:
प्रशिक्षण परिवेश और अंक निर्धारण: प्रशिक्षण के दौरान पुरस्कार व्यवस्था की खामियों का फ़ायदा उठाने वाले व्यवहार को सकारात्मक प्रोत्साहन मिलने से रोकें, ताकि मॉडलों में असंरेखित व्यवहार विकसित होने का जोखिम घटे. इसमें शामिल हो सकते हैं:
डेटासेट की स्वचालित समीक्षा: एजेंटों से रीइंफ़ोर्समेंट लर्निंग के उन दोषपूर्ण परिवेशों को खोजें और सुधारें जिनमें असंरेखित क्रियाक्रम अपेक्षित व्यवहार के बजाय खामियों का फ़ायदा उठाकर अधिक पुरस्कार पा सकते हैं. इससे प्रशिक्षण में असंरेखण को प्रोत्साहन मिलने के अवसर घटेंगे.
डेटासेट की मानवीय समीक्षा: स्वचालित रेड टीमिंग के साथ डेटासेट की मानवीय समीक्षा और गुणवत्ता जाँच भी करें, ताकि ऐसे दोषपूर्ण कार्य पहचाने जा सकें जो अनजाने में असंरेखित व्यवहार को प्रोत्साहित कर सकते हैं.
अंक निर्धारकों का समायोजन: अंक निर्धारकों को इस तरह समायोजित करें कि प्रशिक्षण के दौरान रीइंफ़ोर्समेंट लर्निंग परिवेश की खामियों का फ़ायदा उठाने या उसमें हेरफेर करने के मॉडल के प्रयासों पर अंक काटे जाएँ.
पिछले प्रशिक्षण सत्रों का विश्लेषण: पिछले प्रयोगों के गतिविधि अभिलेखों पर वर्गीकारक चलाएँ, ताकि सुनिश्चित हो सके कि अंक निर्धारक अपेक्षा के अनुसार काम कर रहे हैं.
संरेखण का मापन: संरेखण प्रशिक्षण का असर मापने के लिए ऐसे मूल्यांकन करें जो मॉडल की असंरेखण प्रवृत्तियों पर नज़र रखें. इसमें शामिल हो सकते हैं:
ऑफ़लाइन संरेखण मूल्यांकन: अत्याधुनिक प्रशिक्षण सत्रों के दौरान संरेखण मूल्यांकन करें, ताकि पता चले कि प्रशिक्षण अपेक्षा के अनुसार काम कर रहा है या नहीं, और किसी भी उल्लेखनीय गिरावट की जाँच करें.
पिछली घटनाओं पर परीक्षण: संरेखण मूल्यांकनों को पिछली घटनाओं पर परखें, ताकि पुष्टि हो सके कि वे पहले असंरेखित रहे मॉडलों को पहचानते हैं और केवल कुछ खास घटनाओं के अनुरूप नहीं ढाले जा रहे हैं.
मूल्यांकन में हेरफेर पर नज़र: मूल्यांकन जागरूकता या जाँच को पहचानकर रणनीति बदलने पर नज़र रखें, जिससे मॉडल का व्यवहार बदल सकता है. उदाहरण के लिए, संरेखण मूल्यांकनों में इनकी निगरानी चालू करें और रोक लगाने की स्पष्ट सीमाएँ तय करें.
सबसे खराब स्थितियों के दबाव परीक्षण:सबसे खराब संभावित दुर्व्यवहार को उभारें और जाँचें कि कम से कम एक मूल्यांकन उसे पकड़ सकता है.
चेन-ऑफ-थॉट पर प्रशिक्षण रोकें: रीइंफ़ोर्समेंट लर्निंग में स्वचालित अंक निर्धारकों को चेन-ऑफ-थॉट न देखने दें, ताकि मॉडल चेन-ऑफ-थॉट की निगरानी से बचने की क्षमता विकसित न करें.
सीमाबंदी: अलग-थलग परीक्षण परिवेश और सुरक्षा को इतना मज़बूत बनाएँ कि मॉडल के असंरेखित हो जाने पर भी हानिकारक कार्रवाइयाँ रोकी जा सकें. इसमें शामिल हो सकते हैं:
बुनियादी ढाँचे की बहुस्तरीय सुरक्षा: मॉडल के अलग-थलग परीक्षण परिवेश और उसे चलाने वाले अनुसंधान ढाँचे, दोनों की सुरक्षा मज़बूत करने में पर्याप्त निवेश करें. इससे मॉडल के परीक्षण परिवेश से बाहर निकल जाने पर भी सुरक्षा की एक अतिरिक्त परत मौजूद रहेगी.
सीमाबंदी की रेड टीमिंग: सुरक्षा विश्लेषण के अधीन, अत्याधुनिक प्रशिक्षण सत्रों की सहेजी गई मध्यवर्ती मॉडल अवस्थाओं से प्रणालियों की बार-बार रेड टीमिंग करें. इससे अलग-थलग परीक्षण परिवेश, अनुसंधान ढाँचे और उसकी बाहरी सीमा की सुरक्षा में कमियाँ खोजकर दूर की जा सकेंगी. उन सभी सेवाओं की भी रेड टीमिंग करें जिन तक मॉडल प्रशिक्षण के दौरान पहुँच सकता है (जैसे, इंटरनेट कैश).
नमूनों के बीच संचार: नमूनों के बीच उच्च डेटा-क्षमता वाला संचार स्वीकृत माध्यमों, जैसे बहु-एजेंट उपकरणों, तक सीमित रखें. बुनियादी ढाँचे के ऐसे अप्रत्यक्ष संचार रास्ते बंद करें जिनकी डेटा-क्षमता अधिक हो और जिन्हें एजेंट आसानी से खोज सकें.
अपरिवर्तनीय प्रतिलेख: सभी रीइंफ़ोर्समेंट लर्निंग प्रशिक्षण, मूल्यांकन और आंतरिक परिनियोजन के एजेंट प्रतिलेख उचित अवधि तक ऐसे सहेजें कि उनमें बदलाव न हो सके (जैसे, केवल एक बार लिखे जा सकने वाले भंडारण खातों में). इससे घटनाओं की विश्वसनीय जाँच होगी और अनजाने संपादन रुकेंगे.
निगरानी: मॉडल के असंरेखित कार्रवाई शुरू करने की स्थिति में, संभावित असंरेखण पकड़ने के लिए वास्तविक समय में निगरानी करने वाली प्रणाली होनी चाहिए. गंभीर घटना होने से पहले प्राथमिकता वाले मुद्दों को तुरंत सुलझाया जाना चाहिए. इसमें शामिल हो सकते हैं:
निगरानी-योग्यता अनिवार्य करें: सुनिश्चित करें कि मॉडलों की निगरानी संभव बनी रहे. इसे निगरानी-योग्यता और निगरानी से बचने की क्षमता के मूल्यांकनों से मापें, जिनकी सीमाएँ स्पष्ट हों, ताकि चिंताजनक व्यवहार जल्दी पकड़ा जा सके.
ज्ञात समस्याओं की व्यापक पहचान: अलग रखे गए परीक्षण डेटा पर मूल्यांकन करके सुनिश्चित करें कि निगरानी प्रणाली पिछली घटनाओं के बड़े अनुपात को पकड़ पाती है.
निगरानी के मूल्यांकन अद्यतन रखें: नए प्रशिक्षण सत्रों के बिल्कुल नए जोखिमों को दर्शाने वाले मूल्यांकन डेटा-बिंदु बनाएँ, ताकि निगरानी की पहचान-दर और सटीकता के माप पुराने न पड़ें.
त्वरित प्रतिक्रिया: प्राथमिकता वाली चेतावनियाँ लागू करें, जिन पर तय सेवा-स्तर समझौते के भीतर कार्रवाई हो: ड्यूटी पर मौजूद व्यक्ति को तत्काल सूचना देकर या प्रभावित प्रशिक्षण सत्र अपने-आप रोककर. ऐसा मॉडल के नुकसान पहुँचाने से पहले हो. उदाहरण के लिए, दिन में घटना होने पर ड्यूटी पर मौजूद सुरक्षा कर्मी और सत्र के ज़िम्मेदार व्यक्ति को सूचित करें; रात में चेतावनी की प्राप्ति की पुष्टि न होने पर सत्र अपने-आप रोक दें.
तकनीकी सुरक्षा उपायों की सिफ़ारिशों के साथ-साथ, हम अत्याधुनिक एआई के प्रशिक्षण सत्र के लिए सुरक्षा तर्क तैयार करने की सर्वोत्तम संचालन पद्धतियों पर भी काम कर रहे हैं. इनमें शामिल हो सकते हैं:
असहमति (विफलता का पूर्व-विश्लेषण): सुरक्षा तर्क का मसौदा बनने के बाद, दूसरी टीम का कोई सदस्य उसमें संभावित कमियाँ खोजने और जोखिम का संतुलित आकलन साझा करने के लिए असहमति टिप्पणी लिखे. फिर प्रशिक्षण टीम उन मुद्दों का समाधान करे, ताकि सुरक्षा तर्क मज़बूत हों.
अनुमोदन: वरिष्ठ नेतृत्व के सदस्यों को सुरक्षा तर्क की समीक्षा करनी चाहिए. प्रत्येक को प्रशिक्षण सत्र रोकने का अधिकार होना चाहिए, ताकि उस पर कई स्तरों की आंतरिक जाँच सुनिश्चित हो सके (जैसे, अनुसंधान संगठन के प्रमुख / उपाध्यक्ष, सुरक्षा प्रमुख और मुख्य वैज्ञानिक).
जवाबदेही: प्रशिक्षण सत्र के ज़िम्मेदार वरिष्ठ अधिकारी (जैसे, अनुसंधान संगठन के प्रमुख / अनुसंधान उपाध्यक्ष) को सुरक्षा तर्क और किसी भी घटना पर प्रतिक्रिया के लिए जवाबदेह होना चाहिए. यह जवाबदेही उनके कार्य-प्रदर्शन की समीक्षा का भी हिस्सा हो, ताकि प्रशिक्षण टीमों को सुरक्षा और संरेखण बढ़ाने का प्रोत्साहन मिले.
अस्थायी रोक: यदि ऐसी समस्याएँ मिलें जो सुरक्षा तर्क को अमान्य कर दें (जैसे, सुरक्षा की कोई नई समस्या), तो उसके दायरे में आने वाले सभी प्रशिक्षण सत्र रोकने के लिए संचालन पुस्तिकाएँ, तकनीकी नियंत्रण और सेवा-स्तर समझौते मौजूद होने चाहिए.
आंतरिक पारदर्शिता: सुरक्षा तर्क आंतरिक निरीक्षण समूहों (जैसे, सेफ़्टी और सिक्योरिटी कमिटी) को उपलब्ध कराए जाने चाहिए.
लेखापरीक्षा: लेखापरीक्षकों को पर्याप्त पहुँच दी जानी चाहिए, ताकि वे सुरक्षा तर्क के दावों की वैधता और मज़बूती सत्यापित कर सकें और कोई कमी मिलने पर उसे सामने ला सकें.
वरिष्ठ स्तर पर सूचना देना: असंरेखण के मामलों को वरिष्ठ स्तर तक पहुँचाने की स्पष्ट प्रक्रिया होनी चाहिए. इसमें असंरेखण की गंभीरता के परिभाषित स्तरों की तालिका हो और एक ऐसा ज़िम्मेदार व्यक्ति ड्यूटी पर हो जो प्रशिक्षण सत्र के किसी निश्चित गंभीरता स्तर पर पहुँचने पर अधिकारियों (जैसे, मुख्य कार्यकारी अधिकारी) को तत्काल सूचना दे सके.
तकनीकी नियंत्रण: नियमों का पालन न करने वाले प्रशिक्षण सत्र शुरू करना मनुष्यों और एजेंटों के लिए कठिन होना चाहिए. निगरानी और स्वचालित रोक जैसी सुरक्षा सुविधाएँ विफल होने पर गतिविधि रुक जानी चाहिए. उदाहरण के लिए, उचित निगरानी चालू किए बिना प्रशिक्षण सत्र शुरू करना, या रीइंफ़ोर्समेंट लर्निंग प्रशिक्षण, मूल्यांकन या आंतरिक परिनियोजन के भीतर से निगरानी बंद करना संभव नहीं होना चाहिए.
प्रभाव पलटने की क्षमता: प्रशिक्षण प्रक्रिया में असंरेखित मॉडल के आगे होने वाले सभी उपयोगों (जैसे, डेटा तैयार करने या अंक देने) की पहचान आसान होनी चाहिए, ताकि ज़रूरत पड़ने पर असंरेखित आउटपुट के प्रभाव को पलटा जा सके.
शेष जोखिमों की पूरी सूची: सुरक्षा तर्कों में, यथासंभव, उन सभी शेष जोखिमों की व्यापक सूची होनी चाहिए जिन्हें मौजूदा जोखिम-निवारण उपाय नहीं सँभालते. इससे जोखिम स्वीकार करने के बारे में जानकारी के आधार पर निर्णय लिए जा सकेंगे.
ये हमारी मौजूदा सिफ़ारिशें हैं और इन्हें OpenAI में लागू किया जा रहा है. हमें उम्मीद है कि आने वाले हफ़्तों में हमारी पद्धतियाँ लगातार विकसित होती रहेंगी.
हम एआई के गंभीर असंरेखण की घटनाओं की जाँच के लिए भी कुछ सर्वोत्तम पद्धतियाँ विकसित कर रहे हैं. प्रयोगशालाओं को हर घटना से अधिकतम सीखने का प्रयास करना चाहिए, ताकि भविष्य में ऐसी घटनाएँ रोकी जा सकें. यह अन्य अत्यधिक जोखिम वाले उद्योगों की जाँच पद्धतियों(एक नई विंडो में खुलेगा) जैसा होगा. ऐसी कार्रवाइयों के कुछ उदाहरण हैं:
आंतरिक पारदर्शिता: जाँच पूरी होने में काफ़ी समय लग सकता है, इसलिए घटना की जाँच की प्रगति नियमित रूप से आंतरिक स्तर पर साझा की जानी चाहिए (जैसे, जारी जाँच की दैनिक जानकारी). कर्मचारियों के लिए अधिक पहुँच पाने की स्पष्ट प्रक्रियाएँ होनी चाहिए. यदि सुरक्षित हो और उनके काम से संबंधित हो, तो इसमें मूल प्रतिलेखों तक पहुँच और असंरेखित मॉडलों से नमूने लेने की सुविधा शामिल होनी चाहिए.
असंरेखण का मूल कारण: शोधकर्ताओं को प्रशिक्षण प्रक्रिया में मूल कारणों का पता लगाना चाहिए, ताकि समझा जा सके कि असंरेखित व्यवहार कैसे उत्पन्न हुए. इसके लिए लक्षित घटकों को हटाकर या दोबारा नमूने लेकर प्रयोग किए जा सकते हैं. इससे असंरेखण के विज्ञान को बेहतर समझने और भविष्य में उसे रोकने में मदद मिलेगी.
घटना-पश्चात समीक्षा: घटना में योगदान देने वाले सभी कारणों को समझने के लिए संचालन और संगठनात्मक संस्कृति की समीक्षा की जानी चाहिए. जैसे, समस्याएँ क्यों पैदा हुईं और घटना से पहले वे पकड़ में क्यों नहीं आईं या वरिष्ठ स्तर तक क्यों नहीं पहुँचाई गईं.
पता लगाना: हमें संरेखण जाँच की ऐसी विधियाँ विकसित करनी चाहिए जो घटना पैदा करने की प्रवृत्ति पहचान सकें. उन्हें घटना से मिली जानकारी (जैसे, प्रतिलेख या घटना के सारांश) पर सीधे बार-बार अनुकूलित करके बेहतर नहीं बनाया जाना चाहिए. घटना पर आधारित मूल्यांकन “पुनरावृत्ति जाँच” के रूप में बनाए जाने चाहिए, ताकि यह सुनिश्चित हो सके कि भविष्य के मॉडल बहुत मिलती-जुलती घटनाओं में असंरेखण की प्रवृत्ति न दिखाएँ.
सार्वजनिक खुलासे: जाँच पूरी होने के बाद उसके नतीजे, घटना-पश्चात समीक्षाएँ और संचालन में किए गए बदलाव जनता के साथ साझा किए जाने चाहिए. प्रभावित तृतीय पक्षों को जल्द से जल्द सूचित किया जाना चाहिए.
