नियंत्रण कक्ष

आमची मॉडेल अधिक शक्तिशाली होत आहेत आणि त्यांच्याशी संबंधित सुरक्षिततेचे व सुरक्षेचे धोकेही वाढत आहेत. त्यामुळे संभाव्य समस्या ओळखणे आणि गरज पडल्यास मॉडेलचे काम लगेच थांबवणे अधिकाधिक महत्त्वाचे ठरत आहे. यावर उपाय म्हणून आम्ही नियंत्रण कक्ष तयार केला आहे.

नियंत्रण कक्ष ही आमच्या संशोधन पायाभूत सोयींमधील मॉडेलच्या कार्यभारांचा मागोवा घेणारी केंद्रीय यंत्रणा आहे. सुरक्षिततेबद्दल किंवा सुरक्षेबद्दल चिंता निर्माण झाल्यास ती हे कार्यभार लगेच थांबवते. मॉडेल प्रशिक्षण आणि मूल्यमापनासाठी एजंटद्वारे नमुने घेणे, डेटावर प्रक्रिया करणे यांसह संशोधनातील अनुमानप्रक्रियेचा प्रत्येक कार्यभार या यंत्रणेशी जोडलेला असतो. ही यंत्रणा आमच्या उद्दिष्टांशी विसंगत वर्तनावर लक्ष ठेवणाऱ्या यंत्रणांसोबत काम करते. एखादे कार्य थांबवण्यासाठी किंवा तात्पुरते स्थगित करण्यासाठी हस्तक्षेप करण्याचा निर्णय घेतल्यापासून 35 सेकंदांच्या आत ती मॉडेलचे आउटपुट थांबवते. इतर यंत्रणा अयशस्वी झाल्या तरी ही यंत्रणा कार्यरत राहील आणि नियंत्रण कक्ष स्वतःच बंद पडला तर मॉडेलचा आउटपुट थांबेल, अशी तिची रचना आहे.

जिथे सर्वाधिक गरज आहे, अशा आमच्या संशोधन पायाभूत सोयींमध्ये नियंत्रण कक्ष आधीच डिप्लॉय केला आहे. बाह्य वापरकर्त्यांना मॉडेल सेवा पुरवणारी आमची तंत्रव्यवस्था मुळातच बरीच अधिक केंद्रीकृत आहे. गरज पडल्यास डिप्लॉय केलेले मॉडेल लगेच बंद करण्याची सुसज्ज परिचालन क्षमताही तिच्याकडे आहे.

नियंत्रण कक्ष काही यंत्रणा एकत्र जोडून काम करतो: कार्यभार, अनुमानप्रक्रिया इंजिन आणि केंद्रीकृत नियंत्रण कक्ष सेवा.

• कार्यभार म्हणजे चालवले जाणारे कार्य. उदाहरणार्थ, रीइन्फोर्समेंट लर्निंगचा प्रयोग, एखादे मूल्यमापन, मोठ्या प्रमाणावर नमुने घेणे किंवा डेटावर प्रक्रिया करण्याचे कार्य. एजंटद्वारे अनुमानप्रक्रिया करणारा प्रत्येक संशोधन कार्यभार मंजूर सुरक्षिततेच्या पुराव्याधारित प्रकरणाशी जोडलेला असणे आम्ही अनिवार्य केले आहे.

• अनुमानप्रक्रिया इंजिन, किंवा थोडक्यात इंजिन, म्हणजे मॉडेलच असते. इंजिन म्हणजे थेट GPU वर चालणारा मॉडेलचा मेंदू, असे समजू शकता. एखादा कार्यभार सहसा एक किंवा अधिक मॉडेल वापरतो. ही मॉडेल एक किंवा अधिक वेगवेगळ्या अनुमानप्रक्रिया इंजिनांवर चालत असू शकतात. एकच अनुमानप्रक्रिया इंजिन एकापेक्षा अधिक वेगवेगळ्या कार्यभारांसाठी वापरले जाऊ शकते.

• नियंत्रण कक्ष सेवा कार्यांचा मागोवा घेते आणि त्यांना मॉडेलचे आउटपुट निर्माण करत राहण्याची परवानगी द्यायची की नाही, हे नियंत्रित करते. विनंती पूर्ण करण्यापूर्वी इंजिने नियंत्रण कक्ष सेवेकडे परवानगी तपासतात. कार्य थांबवलेले असल्यास सेवा विनंती नाकारते आणि पुढील आउटपुट होऊ देत नाही.

नियंत्रण कक्ष पुढीलप्रमाणे इंटीग्रेट केलेला असतो:

• नवीन कार्य सुरू करताना कार्यभाराचा कोड नियंत्रण कक्षाकडे नवीन job_id मागतो.

• कार्यभाराला मॉडेलमधून टोकनचे नमुने घ्यायचे असतील तेव्हा तो ते मॉडेल चालवणाऱ्या अनुमानप्रक्रिया इंजिनाला job_id सह विनंती पाठवतो. इंजिन तो job_id नियंत्रण कक्षाला पाठवून ती विनंती पूर्ण करण्याची परवानगी मागते.

• नियंत्रण कक्ष ते कार्य थांबवले आहे का, हे तपासतो. थांबवले असल्यास तो अनुमानप्रक्रियेची विनंती नाकारतो. इंजिन कार्यभाराच्या अनुमानप्रक्रिया विनंतीला नकार देते. त्यामुळे त्या कार्यासाठी मॉडेलचा पुढील आउटपुट निर्माण होणे थांबते.

आमची रीइन्फोर्समेंट लर्निंगची सर्व अत्याधुनिक कार्ये निरीक्षकासह चालतात. निरीक्षक हे आणखी एक मॉडेल असते. प्रशिक्षण घेत असलेले मॉडेल जे काही करते, त्या प्रत्येक गोष्टीची ते तपासणी करते आणि समस्या आढळल्यास अलर्ट देते. उदाहरणार्थ, अलीकडे घडलेली आमची DNS शी संबंधित घटना⁠(नवीन विंडोमध्ये उघडेल) एका निरीक्षकानेच शोधली होती.

नियंत्रण कक्ष आणि आमची देखरेख यंत्रणा पुढीलप्रमाणे इंटीग्रेट केलेले आहेत:

• देखरेख यंत्रणेला संभाव्य समस्या आढळल्यास, त्या समस्येचे तपशील आणि गांभीर्य पाहून ती कार्य थांबवण्याचा निर्णय घेऊ शकते.

• अशा वेळी देखरेख यंत्रणा नियंत्रण कक्षाला job_id सह ते कार्य थांबवण्याचा मेसेज पाठवते. नियंत्रण कक्ष ते कार्य थांबवल्याची नोंद करतो.

• पुढच्या वेळी त्या job_id चे कार्य कोणत्याही इंजिनावर चालणाऱ्या कोणत्याही मॉडेलमधून आणखी टोकनचे नमुने घेण्यासाठी अनुमानप्रक्रियेची विनंती करेल, तेव्हा ती नाकारली जाईल. त्यामुळे मॉडेलचा पुढील आउटपुट थांबेल.

नियंत्रण कक्षाला एखादे कार्य थांबवण्याची सूचना मिळाल्यापासून त्या कार्यात पुढील प्रगती अशक्य होईपर्यंतचा कमाल कालावधी 35 सेकंद आहे. नेहमी येणाऱ्या विनंत्या हाताळण्यासाठी अनुमानप्रक्रियेच्या परवानग्या तात्पुरत्या साठवणाऱ्या स्तराचा वापर होतो. या स्तरामुळे 35 सेकंदांचा उशीर होतो. कार्ये तात्काळ थांबवता यावीत, यासाठी हा कालावधी शून्यावर आणण्याचे आमचे प्रयत्न सुरू आहेत.

प्रयोग, मूल्यमापनाची कार्ये इत्यादी कार्यभारांची मालकी आणि संचालन सहसा संशोधकांकडे किंवा संशोधकांच्या टीम्सकडे असते. त्यामुळे कार्यभाराचा कोड वारंवार बदलतो आणि सुरक्षिततेचा मुख्य आधार असलेल्या उपायांची अंमलबजावणी करण्यासाठी ते आदर्श ठिकाण नाही. म्हणूनच, कार्यभाराचा कोड सदोष असला किंवा चालत नसला तरी आमची यंत्रणा कार्यरत राहील, अशी तिची रचना केली आहे.

हे साधण्यासाठी आम्ही अनुमानप्रक्रियेच्या स्तरावर कार्य थांबवण्याची यंत्रणा राबवतो. कार्यभाराचा कोड खूप वैविध्यपूर्ण आणि विकेंद्रित असतो. याउलट, OpenAI मधील सर्व संशोधनात अनुमानप्रक्रियेसाठी वापरल्या जाणाऱ्या कोडमधील अंमलबजावणी मार्गांची संख्या अगदी कमी आहे आणि त्यांचे डिप्लॉयमेंट बरेच अधिक केंद्रीकृत व एकसमान आहे. त्यामुळे अनुमानप्रक्रियेचा स्तर सर्व विनंत्यांसाठी एक अडथळा ठरू शकतो. संशोधनात चालणाऱ्या मॉडेलच्या प्रत्येक अनुमानप्रक्रिया विनंतीवर नियंत्रण कक्षाकडून परवानगी तपासली जाते, याची ठोस हमी येथे देता येते. वापरकर्ते चुकून किंवा दुर्भावनेने नियंत्रण कक्ष न जोडलेली किंवा तो निष्क्रिय केलेली अनधिकृत इंजिने सुरू करत नाहीत ना, हे तपासण्यासाठी आम्ही एजंट आणि कॉम्प्यूटर प्रोग्रामिंगद्वारे सतत तपासण्याही करतो.

शेवटी, आमची यंत्रणा “बिघाड झाल्यास ॲक्सेस बंद करते”. म्हणजेच, इंजिनांमधील नियंत्रण कक्षाचे कॉन्फिगरेशन असे केलेले आहे की सिस्टममधील त्रुटीमुळे किंवा दुर्भावनापूर्ण छेडछाडीसह इतर कोणत्याही कारणाने नियंत्रण कक्ष सेवा बंद पडली, तर तिचे कामकाज पूर्ववत होईपर्यंत अनुमानप्रक्रियेच्या सर्व विनंत्या नाकारल्या जातात. बिघाड झाल्यास ॲक्सेस बंद करण्याची व्यवस्था आता अत्याधुनिक मॉडेल संशोधनाच्या सर्व कार्यभारांवर लागू केली आहे. उर्वरित सर्व संशोधन कार्यभारांवर ती लागू करण्याचे काम येत्या काही दिवसांत पूर्ण होईल.

अत्याधुनिक मॉडेलचे सुरक्षित प्रशिक्षण आणि डिप्लॉयमेंट यांसाठीच्या आमच्या सर्वांगीण दृष्टिकोनाचा नियंत्रण कक्ष हा केवळ एक भाग आहे. निर्धारित उद्दिष्टांशी विसंगत वर्तन आणि सुरक्षा-भंग यांवर लक्ष ठेवण्यासाठी गुंतवणूक करतानाच, येत्या काही महिन्यांत आम्ही ही यंत्रणा अधिक सक्षम आणि व्यापक करत राहू. AGI चा सुरक्षित विकास आणि डिप्लॉयमेंट यांसाठीच्या यंत्रणा उभारण्यात तुम्हाला मदत करायची असल्यास, आम्ही⁠ नवीन भरती करत आहोत⁠!