कंट्रोल रूम

जैसे-जैसे हमारे मॉडल ज़्यादा पावरफ़ुल होते जा रहे हैं और उनसे जुड़े सेफ़्टी और सिक्योरिटी रिस्क भी बड़े होते जा रहे हैं, यह और भी ज़रूरी होता जा रहा है कि हम संभावित दिक्कतों का पता लगा सकें, और ज़रूरत पड़ने पर मॉडल को तुरंत रोक सकें. इसे हल करने के लिए, हमने कंट्रोल रूम बनाया.

कंट्रोल रूम एक सेंट्रल सिस्टम है जो हमारे रिसर्च इंफ़्रास्ट्रक्चर में मॉडल वर्कलोड को ट्रैक करता है और सुरक्षा या सिक्योरिटी से जुड़ी चिंता होने पर उन्हें तुरंत रोकता है. यह हर रिसर्च इन्फ़रेंस वर्कलोड को जोड़ता है, जिसमें मॉडल ट्रेनिंग और इवैल्यूएशन के लिए एजेंटिक सैंपलिंग, डेटा प्रोसेसिंग और भी बहुत कुछ शामिल है. यह हमारे मिसअलाइनमेंट मॉनिटरिंग सिस्टम के साथ मिलकर काम करता है, और किसी जॉब को रोकने या पॉज़ करने के फ़ैसले के 35 सेकंड के अंदर मॉडल आउटपुट को रोक देता है. इसे इस तरह बनाया गया है कि दूसरे सिस्टम के असफ़ल होने पर भी यह काम करता रहे, और अगर कंट्रोल रूम खुद ही बंद हो जाए तो मॉडल के आउटपुट को यह रोक दे.

कंट्रोल रूम पहले से ही हमारे रिसर्च इंफ़्रास्ट्रक्चर में डिप्लॉय किया गया है, जहाँ इसकी सबसे ज़्यादा ज़रूरत है. हमारा एक्सटर्नल मॉडल-सर्विंग स्टैक पहले से ही ज़्यादा सेंट्रलाइज़्ड है, और इसमें ऐसी बेहतर ढंग से विकसित ऑपरेशनल क्षमता मौजूद है, जिससे ज़रूरत पड़ने पर मॉडल डिप्लॉयमेंट को तुरंत हटाया जा सकता है.

कंट्रोल रूम कुछ सिस्टम को जोड़कर काम करता है: वर्कलोड, इन्फ़रेंस इंजन, और सेंट्रलाइज़्ड कंट्रोल रूम सर्विस.

• वर्कलोड वह काम है जो चल रहा है, जैसे कि रीइंफ़ोर्समेंट लर्निंग एक्सपेरिमेंट, इवैल्यूएशन, हाई-वॉल्यूम सैंपलिंग या डेटा प्रोसेसिंग का काम. हम चाहते हैं कि हर रिसर्च वर्कलोड जो एजेंटिक इन्फ़रेंस करता है, वह एक अप्रूव्ड सेफ़्टी केस से जुड़ा हो.

• इन्फ़रेंस इंजन, या सिर्फ़ इंजन, खुद ही मॉडल है. आप इंजन को मॉडल का दिमाग समझ सकते हैं, जो सीधे GPU पर चलता है. एक वर्कलोड आम तौर पर एक या ज़्यादा मॉडल इस्तेमाल करता है, जो एक या ज़्यादा अलग-अलग इन्फ़रेंस इंजन पर चल सकते हैं. एक ही इन्फ़रेंस इंजन का इस्तेमाल एक से ज़्यादा अलग-अलग वर्कलोड कर सकते हैं.

• कंट्रोल रूम सर्विस जॉब्स को ट्रैक करती है और कंट्रोल करती है कि उन्हें मॉडल आउटपुट जेनरेट करना जारी रखने की इजाज़त है या नहीं. इंजन किसी रिक्वेस्ट को पूरा करने से पहले कंट्रोल रूम सर्विस से चेक करते हैं. अगर कोई जॉब रोक दिया गया है, तो सर्विस रिक्वेस्ट को मना कर देती है, जिससे आगे आउटपुट नहीं हो पाता है.

कंट्रोल रूम को इस तरह से इंटीग्रेट किया गया है:

• नई जॉब शुरू करते समय, वर्कलोड कोड कंट्रोल रूम से एक नई job_id का अनुरोध करता है.

• जब भी वर्कलोड को किसी मॉडल से टोकन सैंपल करने की ज़रूरत होती है, तो वह उस मॉडल को चलाने वाले इन्फ़रेंस इंजन से job_id पास करके रिक्वेस्ट करता है. इंजन उस रिक्वेस्ट को पूरा करने के लिए कंट्रोल रूम से अनुमति मांगता है, और job_id कंट्रोल रूम को पास करता है.

• कंट्रोल रूम चेक करता है कि क्या वह जॉब समाप्त कर दी गई है, और अगर ऐसा है, तो वह इन्फ़रेंस रिक्वेस्ट को मना कर देता है. इंजन वर्कलोड के इन्फ़रेंस रिक्वेस्ट को अस्वीकार कर देता है, जिससे उस जॉब के लिए आगे मॉडल आउटपुट बनना बंद हो जाता है.

हमारी सभी अत्याधुनिक रीइंफ़ोर्समेंट लर्निंग जॉब्स एक मॉनिटर के साथ चलती हैं. एक मॉनिटर एक और मॉडल है जो ट्रेन किए जा रहे मॉडल की हर चीज़ की जाँच करता है, और अगर उसे कोई समस्या पता चलती है तो अलर्ट भेजता है. उदाहरण के लिए, हमारी हाल की DNS से जुड़ी घटना⁠(एक नई विंडो में खुलेगा) का पता एक मॉनिटर ने लगाया था.

कंट्रोल रूम और हमारा मॉनिटरिंग सिस्टम इस तरह से जुड़े हुए हैं:

• अगर मॉनिटरिंग सिस्टम को कोई संभावित समस्या पता चलती है, तो जानकारी और गंभीरता के आधार पर, मॉनिटरिंग सिस्टम जॉब को रोकने का फ़ैसला कर सकता है.

• इस मामले में, मॉनिटरिंग सिस्टम कंट्रोल रूम को जॉब रोकने के लिए एक मेसेज भेजता है, जिसमें job_id पास किया जाता है. कंट्रोल रूम रिकॉर्ड करता है कि जॉब को समाप्त कर दिया गया है.

• अगली बार जब उस job_id वाली जॉब, किसी भी इंजन पर चल रहे किसी भी मॉडल से और ज़्यादा टोकन सैंपल करने के लिए इन्फ़रेंस रिक्वेस्ट करेगी, तो उस रिक्वेस्ट को अस्वीकार कर दिया जाएगा, जिससे मॉडल का आगे का आउटपुट रुक जाएगा.

कंट्रोल रूम को किसी काम को रोकने का निर्देश मिलने और उस काम को आगे बढ़ने से पूरी तरह रोक पाने के बीच अधिकतम 35 सेकंड का समय लगता है. यह 35 सेकंड की देरी, ज़रूरी ट्रैफ़िक वॉल्यूम को संभालने के लिए इन्फ़रेंस ऑथराइज़ेशन की कैशिंग लेयर की वजह से आती है. हम इस समय को घटाकर शून्य करने पर काम कर रहे हैं, ताकि हम किसी भी काम को तुरंत रोक सकें.

वर्कलोड, जिसमें एक्सपेरिमेंट, इवैल्यूएशन जॉब वगैरह शामिल हैं, आमतौर पर रिसर्चर या रिसर्चर की टीम के होते हैं और वे ही उन्हें चलाते हैं. इसलिए, वर्कलोड कोड अक्सर बदलता रहता है, और सुरक्षा का आधार बनने वाले अहम उपायों को लागू करने के लिए यह सही जगह नहीं है. इस वजह से, हमारा इम्प्लीमेंटेशन, बग वाले या टूटे हुए वर्कलोड कोड के लिए मज़बूत होने के लिए डिज़ाइन किया गया है.

हम इसे इन्फ़रेंस लेयर में टर्मिनेशन के तरीके को लागू करके हासिल करते हैं. वर्कलोड कोड बहुत अलग-अलग तरह का और डीसेंट्रलाइज़्ड होता है. इससे बिलकुल अलग, OpenAI रिसर्च में बहुत कम इन्फ़रेंस कोड पाथ इस्तेमाल होते हैं, और उनका डिप्लॉयमेंट बहुत ज़्यादा सेंट्रलाइज़्ड और यूनिफ़ॉर्म होता है. इसका मतलब है कि इन्फ़रेंस लेयर एक बॉटलनेक का काम कर सकती है, जहाँ हमें पक्की गारंटी मिल सकती है कि रिसर्च में चल रहे सभी मॉडल इन्फ़रेंस हर इन्फ़रेंस रिक्वेस्ट पर कंट्रोल रूम ऑथराइज़ेशन चेक के तहत आते हैं. हम इसके अलावा लगातार एजेंटिक और प्रोग्रामेटिक स्वीप भी चलाते हैं ताकि यह चेक किया जा सके कि यूज़र गलती से या गलत इरादे से कंट्रोल रूम के बिना या डिसेबल होने पर ख़राब इंजन इम्प्लीमेंटेशन लॉन्च तो नहीं कर रहे हैं.

अंत में, हमारा सिस्टम "फ़ेल-क्लोज़्ड" मोड में काम करता है. इसका मतलब यह है कि इंजनों में कंट्रोल रूम का इंटीग्रेशन इस तरह से सेट किया गया है कि अगर कंट्रोल रूम सर्विस बंद हो जाती है, चाहे वह किसी सिस्टम एरर की वजह से हो, किसी दूसरे कारण से डिसेबल हो गई हो, या फिर किसी गलत इरादे वाले व्यक्ति ने इसमें छेड़छाड़ की हो, तो सभी इन्फ़रेंस रिक्वेस्ट को तब तक अस्वीकार कर दिया जाएगा, जब तक कि कंट्रोल रूम फिर से सामान्य तौर से काम करना शुरू न कर दे. "फ़ेल-क्लोज़्ड" सिस्टम को अभी सभी अत्याधुनिक मॉडल रिसर्च वर्कलोड के लिए लागू कर दिया गया है, और अगले कुछ दिनों में इसे बाकी सभी रिसर्च वर्कलोड पर भी पूरी तरह से लागू कर दिया जाएगा.

'कंट्रोल रूम' हमारे उस व्यापक नज़रिए का सिर्फ़ एक हिस्सा है, जिसका उद्देश्य अत्याधुनिक मॉडल को सुरक्षित तौर से ट्रेनिंग देना और डिप्लॉयमेंट करना है. हम आने वाले महीनों में सिस्टम को मज़बूत और बड़ा करना जारी रखेंगे. साथ ही, हम ऐसे व्यवहार या सुरक्षा उल्लंघनों की निगरानी में भी निवेश करेंगे जो हमारे लक्ष्यों के अनुरूप नहीं हैं. अगर आप AGI के सुरक्षित और सिक्योर डेवलपमेंट और डिप्लॉयमेंट के लिए सिस्टम बनाने में मदद करना चाहते हैं, तो हम⁠ लोगों को काम पर रख रहे हैं⁠!