प्रभावी तृतीय-पक्ष आकलनों की प्राथमिकताएं और सिद्धांत
अत्याधुनिक एआई प्रयोगशालाओं पर मॉडलों के सुरक्षित प्रशिक्षण, मूल्यांकन और परिनियोजन की बड़ी जिम्मेदारी है. इस जिम्मेदारी में संतुलन बनाने, एआई सुरक्षा पर राय देने के अवसर बढ़ाने, दुनिया को सूचित रखने और प्रयोगशालाओं को स्पष्ट तथा स्वतंत्र रूप से समर्थित सुरक्षा दावों के प्रति जवाबदेह बनाए रखने में तृतीय-पक्ष आकलन अहम हैं.
अत्याधुनिक प्रगति के साथ तालमेल रखने के अपने प्रयासों के तहत, OpenAI प्रशिक्षण, मूल्यांकन और परिनियोजन के सभी चरणों तक गहरी पहुंच वाले स्वतंत्र आकलनों का समर्थन करने के लिए प्रतिबद्ध है. इस पहुंच से आकलनकर्ताओं को हमारी मान्यताओं को चुनौती देने, हमारी नजर से छूटे जोखिम पहचानने और हमारे सुरक्षा उपायों की प्रभावशीलता पर अपने निष्कर्ष निकालने में सक्षम होना चाहिए.
हम लंबे समय से मॉडल के विकास और परिनियोजन की प्रक्रिया के विभिन्न चरणों में तृतीय-पक्ष आकलनकर्ताओं के साथ काम करते आए हैं. हमने तृतीय-पक्ष आकलनों को अपनी प्रिपेयर्डनेस फ़्रेमवर्क प्रक्रियाओं में भी शामिल किया है और अधिक कठोर एवं जवाबदेह प्रक्रिया की वकालत करने वाले संगठनों और कानूनों का समर्थन किया है. इन सहभागिताओं के दौरान हमने व्यापक पहुंच दी है, जिसमें हमारे तकनीकी सुरक्षा उपायों की जानकारी, दृश्यमान चेन-ऑफ-थॉट तक पहुंच और घटना-प्रतिक्रिया तथा निगरानी प्रणाली की रेड टीमिंग के लिए अभूतपूर्व स्तर पर गोपनीय डेटा एवं आंतरिक परिनियोजन तक पहुंच शामिल है. यहां साझा की गई प्राथमिकताएं और सिद्धांत तकनीकी सुरक्षा आकलनों के लिए निजी तथा गैर-लाभकारी क्षेत्रों के स्वतंत्र आकलन संगठनों के साथ हमारी सहभागिता पर केंद्रित हैं. ये परीक्षण और मूल्यांकन पर सरकारों के साथ हमारे काम के पूरक हैं, जहां अलग-अलग भूमिकाओं और जिम्मेदारियों के लिए भिन्न दृष्टिकोण आवश्यक हो सकते हैं.
इन आकलनों को प्रभावी बनाने के लिए स्वतंत्रता की मजबूत व्यवस्थाएं, वैज्ञानिक कठोरता, सुदृढ़ सुरक्षा प्रक्रियाएं और स्पष्ट जिम्मेदारियां आवश्यक हैं. प्रयोगशालाओं की जिम्मेदारी है कि वे संवेदनशील जानकारी की रक्षा करते हुए सार्थक जांच संभव बनाएं. इसे सही ढंग से करने की जिम्मेदारी प्रयोगशालाओं और स्वतंत्र आकलनकर्ताओं की साझा है, और उन्हें सुरक्षा प्रक्रियाओं के साझा अंतरराष्ट्रीय मानकों के अनुसार काम करना चाहिए. नीचे हम कठोर, सुरक्षित और स्वतंत्र कार्य के सिद्धांतों के साथ गहन आकलन के चार प्राथमिकता क्षेत्र प्रस्तावित करते हैं.
तृतीय-पक्ष आकलन तब सबसे उपयोगी होते हैं जब वे विशिष्ट और महत्वपूर्ण प्रश्नों को संबोधित करते हैं: क्या साक्ष्य प्रयोगशाला के सुरक्षा तर्क और सुरक्षा दावों का समर्थन करते हैं? क्या मूल्यांकन उन जोखिमों का पर्याप्त परीक्षण करते हैं जिन्हें मापने के लिए उन्हें बनाया गया है? क्या सुरक्षा उपाय वास्तविक परिस्थितियों में काम करते हैं?
यहां बताए गए आकलन जांचे जा रहे सुरक्षा प्रश्नों के आधार पर अलग-अलग रूपों में किए जाने हैं. हम अलग-अलग अवधियों में कई आकलनों को समानांतर रूप से सहयोग देने की अपेक्षा रखते हैं. इनमें कुछ कई सप्ताह और कुछ कई महीने चलेंगे. तृतीय-पक्ष आकलन परिनियोजन-पूर्व कार्य का हिस्सा भी हो सकते हैं और परिनियोजन संबंधी निर्णयों में सहायक हो सकते हैं, लेकिन यहां बताया गया काम सामान्यतः दीर्घकालिक और लोकार्पण से स्वतंत्र है. इसका उद्देश्य समय के साथ विशिष्ट सुरक्षा दावों की गहन जांच करना है.
हम अपने सभी प्राथमिकता क्षेत्रों और सिद्धांतों में सुरक्षा दावों तथा सुरक्षा तर्कों का उल्लेख करते हैं. इन शब्दों से हमारा आशय निम्नलिखित है:
सुरक्षा दावा: किसी मॉडल या सिस्टम की क्षमताओं, व्यवहार या सुरक्षा उपायों के बारे में ऐसा विशिष्ट दावा, जो उसकी सुरक्षा से संबंधित हो और जिसका साक्ष्यों के आधार पर आकलन किया जा सके. दावे में संबोधित जोखिमों और परिस्थितियों के साथ प्रासंगिक मान्यताओं और सीमाओं की पहचान होनी चाहिए.
सुरक्षा तर्क: साक्ष्यों पर आधारित एक सुव्यवस्थित तर्क, जो बताता है कि प्रशिक्षण, मूल्यांकन या परिनियोजन जैसी किसी निर्दिष्ट गतिविधि के लिए मॉडल या सिस्टम के जोखिमों का पर्याप्त प्रबंधन क्यों किया गया है. सुरक्षा तर्क अलग-अलग सुरक्षा दावों को उनके समर्थक साक्ष्यों से जोड़ता है और उन मान्यताओं, अनिश्चितताओं तथा शेष जोखिमों को स्पष्ट करता है जो उसके निष्कर्षों को प्रभावित कर सकते हैं.
हम कठोर, सुरक्षित और स्वतंत्र कार्य के सिद्धांतों के साथ गहन आकलन के चार प्राथमिकता क्षेत्र प्रस्तावित करते हैं.
प्रशिक्षण, मूल्यांकन, आंतरिक परिनियोजन और बाहरी परिनियोजन से जुड़े सुरक्षा तर्कों का स्वतंत्र आकलन.
सुरक्षा तर्कों के आकलन के लिए संरेखण, निगरानी जैसी नियंत्रण विधियों, साइबर सुरक्षा, जैविक और रासायनिक दुरुपयोग तथा रेड टीमिंग में विशेषज्ञता आवश्यक है. सुरक्षा तर्कों में प्रशिक्षण, क्षमता मूल्यांकन और सुरक्षा उपायों से जुड़े दावे शामिल होते हैं, जिनका आकलन समग्र रूप से या अलग-अलग भागों में किया जा सकता है. नीचे प्राथमिकता 2 और 3 देखें. संभवतः कई आकलनकर्ताओं को अपनी-अपनी विशेषज्ञता के आधार पर सुरक्षा तर्कों के अलग-अलग भागों की जांच करनी होगी. उनके आकलनों को मिलकर इन जैसे प्रश्नों के उत्तर देने चाहिए:
क्या प्रशिक्षण, मूल्यांकन और परिनियोजन के सुरक्षा तर्कों के समर्थन में पर्याप्त साक्ष्य हैं? क्या प्रशिक्षण, मूल्यांकन और परिनियोजन के दौरान सुरक्षा तर्क की शर्तों का पालन किया गया था?
क्या हमारे सुरक्षा तर्क आकलन के दौरान पहचाने गए सबसे अत्यावश्यक जोखिमों को कवर करते हैं? क्या सुरक्षा दावे समग्र सुरक्षा तर्क का समर्थन करते हैं? क्या कोई कमी या सुधार की गुंजाइश है?
क्या प्रशिक्षण में ऐसे प्रोत्साहनों की पहचान करने और उन्हें घटाने के लिए प्रभावी विधियां अपनाई जाती हैं जो छल, रिवॉर्ड हैकिंग, विनाशकारी कार्रवाइयों या प्रतिबंधों से बच निकलने को पुरस्कृत कर सकते हैं?
आंतरिक और बाहरी परिनियोजनों में महत्वपूर्ण सुरक्षा उपायों का आकलन
बदलती क्षमताओं और परिवेश के अनुरूप हमारे सुरक्षा उपायों का समूह निरंतर विकसित हो रहा है. हमारे सुरक्षा उपाय प्रशिक्षण, आंतरिक परिनियोजन और बाहरी परिनियोजन तक फैले हैं. इनमें फिलहाल मॉडल-स्तरीय सुरक्षा उपाय, प्रवर्तन संबंधी सुरक्षा उपाय, सुरक्षा व्यवस्थाएं और असंरेखण निगरानी प्रणालियां शामिल हैं. ये नियंत्रण खोने तथा साइबर, जैविक और रासायनिक जोखिमों से जुड़े दुरुपयोग जैसे अनेक जोखिमों को कवर करती हैं. तकनीकी साझेदारियां अभी सुरक्षा उपायों की कमजोरियां पहचान सकती हैं, साथ ही आकलन विधियों में सुधार और मानकों के विकास को तेज कर सकती हैं. इससे अत्याधुनिक प्रगति के साथ तालमेल रखने वाली भावी सार्वजनिक नीतियों को अधिक मजबूत तकनीकी आधार मिलेगा, खासकर आंतरिक परिनियोजनों के लिए, जहां सुरक्षा मानक अभी शुरुआती अवस्था में हैं.
स्वतंत्र आकलनों में जांच की जानी चाहिए कि ये सुरक्षा उपाय कितनी अच्छी तरह काम करते हैं और कहां कम पड़ सकते हैं. उदाहरण के लिए:
क्या “ग्रे बॉक्स” पहुंच के साथ सुरक्षा उपाय प्रतिकूल परीक्षणों यानी जेलब्रेक के विरुद्ध मजबूत हैं, और क्या वे साइबर तथा जैविक जैसे उच्च-जोखिम क्षेत्रों में क्षमता बढ़ने से पर्याप्त सुरक्षा देते हैं? क्या हमारे प्रतिकूल परीक्षण और रेड टीमिंग सबसे महत्वपूर्ण जोखिमों को कवर करते हैं?
वास्तविक परिचालन परिस्थितियों में अधिकृत परीक्षण के दौरान एजेंट, पहुंच नियंत्रण, पृथक परिवेश तथा पहचान एवं प्रतिक्रिया प्रणालियों जैसी साइबर सुरक्षा व्यवस्थाओं के साथ कैसे परस्पर क्रिया करते हैं? कौन-सी सुरक्षा व्यवस्थाएं हानिकारक कार्रवाइयों को रोकती, पहचानती या सीमित करती हैं, और वे कहां विफल होती हैं?
क्या आंतरिक और बाहरी परिनियोजनों में हमारी असंरेखण निगरानी प्रणालियों में ऐसी गंभीर कमियां हैं, जिनसे नियंत्रण खो सकता है या गंभीर असंरेखण हो सकता है? मॉडल की क्षमताएं बढ़ने पर सुरक्षा या संरेखण के साक्ष्य के स्रोत के रूप में चेन-ऑफ-थॉट की निगरानी कितनी विश्वसनीय है?
क्या सभी प्रासंगिक प्रशिक्षण, मूल्यांकन और परिनियोजन में ऐसी उचित निगरानी लागू है जिसे आसानी से निष्क्रिय न किया जा सके?
क्या क्षमताओं के अनुरूप सुरक्षा उपाय लागू किए गए हैं?
प्रिपेयर्डनेस जोखिम श्रेणियों, यानी रासायनिक और जैविक जोखिमों, साइबर सुरक्षा तथा एआई आत्म-सुधार को कवर करने वाले क्षमता मूल्यांकनों और असंरेखण जोखिमों के संरेखण मूल्यांकनों का आकलन
हमारे प्रिपेयर्डनेस फ़्रेमवर्क के अनुसार मूल्यांकनों में अत्याधुनिक जोखिम के प्रमुख क्षेत्रों का आकलन किया जाना आवश्यक है. जब सीमाएं पार हो जाती हैं और मॉडल मूल्यांकनों में लगातार अधिकतम प्रदर्शन करने लगते हैं, तब प्रिपेयर्डनेस जोखिम क्षेत्रों की क्षमताओं को मापने वाले मूल्यांकनों तथा गंभीर असंरेखण जोखिमों को मापने वाले संरेखण मूल्यांकनों को नियमित रूप से नया बनाना और उनका कवरेज एवं गुणवत्ता सुनिश्चित करना जरूरी है.
प्रासंगिक प्रश्नों में ये शामिल हैं:
क्या प्रिपेयर्डनेस जोखिमों का आकलन करने वाले मूल्यांकन, प्रिपेयर्डनेस जोखिम सीमा की परिभाषा को पर्याप्त रूप से कवर करते हैं? क्या इन मूल्यांकनों की सीमाएं सही ढंग से तय की गई हैं?
जब मॉडल लगातार सर्वोच्च अंक पाने लगते हैं, तो क्या मूल्यांकन अपडेट किए जाते हैं और क्या नए परीक्षण अधिक उन्नत क्षमताओं को सार्थक ढंग से मापते हैं?
क्या हमारे संरेखण मूल्यांकन गंभीर असंरेखण जोखिमों को पर्याप्त रूप से कवर करते हैं, और उनसे कौन-से महत्वपूर्ण व्यवहार या परिस्थितियां छूट सकती हैं?
असंरेखण की गंभीर घटनाओं की स्वतंत्र जांच
एआई सुरक्षा की विभिन्न गंभीर घटनाओं में स्वतंत्र जांच उपयोगी हो सकती है. यहां हम मॉडल के असंरेखण पर ध्यान देते हैं, जिसमें बिना अनुमति कार्य करना या निगरानी से बचना शामिल है. ऐसे व्यवहार जानबूझकर दुरुपयोग न होने पर भी संरेखण विधियों और सुरक्षा उपायों की कमजोरियां उजागर कर सकते हैं.
OpenAI हगिंग फेस घटना की तरह कुछ विशेष परिस्थितियों में स्वतंत्र असंरेखण घटना जांच के लिए किसी स्वतंत्र तृतीय पक्ष को शामिल करना लाभकारी हो सकता है. यह अत्यंत आवश्यक है कि घटना जांच में शामिल तृतीय पक्षों के पास अपेक्षित विशेषज्ञता हो. जहां लागू हो, इसमें साइबर न्यायिक विश्लेषण, संरेखण, बड़े पैमाने पर चेन-ऑफ-थॉट विश्लेषण तथा समय पर जांच करने के लिए उपलब्ध कर्मचारी और संसाधन शामिल हैं. घटना-प्रतिक्रिया में संवेदनशील आंतरिक डेटा और तृतीय-पक्ष डेटा तक पहुंच शामिल हो सकती है. इसलिए कुछ विवरण प्रकाशित करने या उन तक पहुंच देने की दृष्टि से संवेदनशील हो सकते हैं. स्वतंत्र जांच के निष्कर्ष किसी मॉडल के संरेखण और पहले देखे गए असंरेखण को सुधारने के लिए उठाए गए कदमों की प्रभावशीलता संबंधी दावों के आकलन हेतु साक्ष्य देकर उसके सुरक्षा तर्क को भी मजबूत कर सकते हैं.
असंरेखण की घटनाओं के संदर्भ में हम निम्नलिखित स्वतंत्र आकलनों को प्राथमिकता देते हैं:
घटना के दौरान मॉडल का कौन-सा व्यवहार या असंरेखण संबंधी समस्या सामने आई, और उसके प्रमुख कारण क्या थे?
क्या सुरक्षा उपाय और सुधार भविष्य में ऐसी घटनाओं को प्रभावी रूप से कम कर सकेंगे?
आकलन के लिए स्पष्ट दायरे और पारस्परिक सहमति वाले दावे: आकलन की शुरुआत पारस्परिक रूप से सहमत दायरे से होनी चाहिए. इसके बाद सुरक्षा दावों को स्पष्ट रूप से परिभाषित करके आकलन गतिविधियां शुरू होने से पहले पंजीकृत किया जाना चाहिए. तृतीय पक्षों और प्रयोगशालाओं को स्पष्ट करना चाहिए कि ये आकलन के लिए कंपनी द्वारा प्रस्तुत दावे हैं या ऐसे दावे जिन्हें तृतीय-पक्ष आकलनकर्ता स्वतंत्र रूप से जांचना चाहता है और प्रयोगशाला जिनके आधार पर अपना आकलन कराने पर सहमत है. कुछ दावों के दायरे से बाहर होने के कई कारण हो सकते हैं, जैसे तृतीय पक्षों के लिए डेटा तक पहुंच संभव न होना, आकलनकर्ता के पास पर्याप्त विशेषज्ञता न होना या अत्यावश्यक आकलन के लिए उचित समय-सीमाएं होना. प्रयोगशालाओं और आकलनकर्ताओं को मूल दायरे से बाहर पहचाने गए महत्वपूर्ण जोखिमों पर विचार करने की प्रक्रिया बनानी चाहिए, जिसमें यह तय करना भी शामिल हो कि आगे जांच आवश्यक है या नहीं. निष्कर्षों में यह स्पष्ट होना चाहिए कि पारस्परिक रूप से सहमत दायरे के संदर्भ में किन बातों का आकलन किया गया और किनका नहीं.
आनुपातिक पहुंच: कानूनी, सुरक्षा और बौद्धिक संपदा संबंधी सीमाओं के भीतर, जहां संभव हो, आकलनकर्ताओं को सहमत दावों का आकलन करने के लिए आवश्यकतानुसार पहुंच मिलनी चाहिए. जहां सीधी पहुंच व्यावहारिक या संभव न हो, वहां आकलनकर्ता कंपनी के किसी नामित प्रतिनिधि के साथ काम कर सकते हैं या मूल जानकारी की सुरक्षा के लिए अप्रत्यक्ष अथवा गोपनीयता-संरक्षक पहुंच प्रणालियां अपना सकते हैं.
पारदर्शी कार्यप्रणाली और मानक: आकलनकर्ताओं को अपनी विधियां, आकलन मानदंड और अनिश्चितताएं स्पष्ट करनी चाहिए तथा उपलब्ध होने पर स्थापित मानकों का उपयोग करना चाहिए. जहां अभी मानक मौजूद नहीं हैं, वहां उन्हें अपने इस्तेमाल किए गए मानदंडों का स्पष्ट औचित्य देना चाहिए. रिपोर्ट में प्रत्यक्ष निष्कर्षों और उनकी व्याख्या को अलग रखा जाना चाहिए, अनिश्चितता समझाई जानी चाहिए और स्पष्ट किया जाना चाहिए कि साक्ष्य किन निष्कर्षों का समर्थन करते हैं.
विशेषज्ञता और स्वतंत्रता: आकलनकर्ताओं को प्रासंगिक तकनीकी विशेषज्ञता प्रदर्शित करनी चाहिए और वित्तीय प्रोत्साहनों, डेवलपरों से संबंधों तथा आकलन किए जा रहे कार्य में पिछली भागीदारी सहित संगठनात्मक एवं व्यक्तिगत हित-संघर्षों की पहचान, घोषणा और समाधान करना चाहिए. सुरक्षा उपाय ऐसे होने चाहिए कि व्यावसायिक दबाव और पारिश्रमिक संबंधी व्यवस्थाएं निष्कर्षों को प्रभावित न करें. इनमें संबंधित व्यक्ति का प्रक्रिया से अलग होना या उचित अवधि तक उसका बहिष्कार शामिल हो सकता है.
सुरक्षा और गोपनीयता: आकलनकर्ताओं को ऐसी सूचना-सुरक्षा प्रक्रियाएं और लागू की जा सकने वाली गोपनीयता व्यवस्थाएं प्रदर्शित करनी चाहिए, जो उनके कर्मियों पर लागू हों और प्राप्त सिस्टम एवं जानकारी की संवेदनशीलता के अनुरूप हों. इन व्यवस्थाओं में बौद्धिक संपदा, संवेदनशील जानकारी और आकलन अभिलेख शामिल होने चाहिए. जहां आकलनकर्ता अपने परिवेश में सुरक्षा आवश्यकताएं पूरी नहीं कर सकते या उपयोग किया जा रहा डेटा विशेष रूप से संवेदनशील है, वहां कंपनी द्वारा प्रबंधित उपकरणों या परिसरों में पहुंच देना उचित हो सकता है.
कार्रवाई योग्य निष्कर्ष और सुधार का समय: आकलनों में विशिष्ट कमियों की पहचान होनी चाहिए और प्रयोगशालाओं को उन्हें दूर करने के लिए पर्याप्त विवरण दिया जाना चाहिए. जहां उचित हो, प्रयोगशालाओं को प्रकाशन से पहले समस्याएं दूर करने के लिए पर्याप्त समय मिलना चाहिए. जहां प्रासंगिक हो, रिपोर्ट में एजेंट डेवलपरों, परिनियोजकों और रक्षकों के लिए मिली सीख भी समझाई जानी चाहिए तथा कार्यान्वयन हेतु व्यावहारिक सुझाव दिए जाने चाहिए.
उत्तरदायी प्रकाशन प्रक्रियाएं: आकलन रिपोर्ट साक्ष्यों पर आधारित होनी चाहिए और संवेदनशील तथा गोपनीय जानकारी की रक्षा करते हुए यथासंभव खुले रूप से साझा की जानी चाहिए. जहां पूरी जानकारी सार्वजनिक करना संभव न हो, वहां उपयुक्त निरीक्षण निकायों, जैसे शासन निकायों या कंपनियों के निदेशक मंडलों, को गोपनीय रिपोर्ट देना जवाबदेही को बढ़ावा दे सकता है. स्वतंत्रता और गोपनीयता में संतुलन बनाए रखने के लिए सैद्धांतिक आधार वाली संपादन-सुरक्षा और नीतियां तथा प्रतिक्रिया एवं अशुद्धियों के सुधार संबंधी स्पष्ट अपेक्षाएं तय होनी चाहिए. आकलनकर्ताओं को गोपनीयता और बौद्धिक संपदा की सुरक्षा सुनिश्चित करते हुए संपादकीय स्वतंत्रता बनाए रखनी चाहिए. आकलनकर्ताओं को स्पष्ट संपादन नीतियां अपनानी चाहिए, जिनके तहत प्रयोगशालाएं संवेदनशील जानकारी हटाने का अनुरोध कर सकें और आकलनकर्ता यह बता सकें कि कहां महत्वपूर्ण अंश हटाए गए हैं तथा इससे उनकी रिपोर्ट पर क्या प्रभाव पड़ा है.
हम प्रभावी तृतीय-पक्ष आकलनों के लिए स्वतंत्र आकलनकर्ताओं को सहयोग देने और भावी कानूनों तथा निजी शासन संस्थानों के माध्यम से अधिक स्पष्ट एवं साझा अंतरराष्ट्रीय मानक स्थापित करने के लिए प्रतिबद्ध हैं. स्वतंत्र मूल्यांकन का परिवेश अभी विकसित हो रहा है. हम अत्याधुनिक सुरक्षा से जुड़े विभिन्न प्रश्नों की गहरी विशेषज्ञता रखने वाले स्वतंत्र आकलनकर्ताओं के विविध समुदाय का सहयोग करके और उसके साथ काम करके इसके विकास में मदद करेंगे. कोई एक तृतीय पक्ष अत्यावश्यक अत्याधुनिक सुरक्षा प्रश्नों को व्यापक रूप से न तो कवर कर सकता है, न ही उसे ऐसा करना चाहिए. हम अपनी क्षमता बढ़ाने और बढ़ते तृतीय-पक्ष परिवेश को सर्वोत्तम प्रक्रियाओं तथा सिद्धांतों पर सहमत होने में सक्षम बनाने के लिए सोच-समझकर और स्पष्ट उद्देश्य के साथ आगे बढ़ेंगे. हम ऊपर बताए गए प्राथमिकता क्षेत्रों के अनुरूप प्रस्तावों पर कई तृतीय पक्षों से चर्चा कर रहे हैं.
