OpenAI मॉडल से जुड़े थर्ड-पार्टी साइबर मूल्यांकन

डिप्लॉयमेंट से पहले रिस्क को वैलिडेट करने और उन्हें और समझने में व्यक्तिगत टेस्टिंग हमारी मदद करने में अहम भूमिका निभाती है. कुछ साइबर इवैल्यूएशन जानबूझकर कस्टम कॉन्फ़िगरेशन का इस्तेमाल करते हैं, जिसमें अंदरूनी क्षमता को मापने के लिए कम सुरक्षा उपाय शामिल हैं—न कि यह कि मॉडल आमतौर पर सार्वजनिक तौर पर उपलब्ध डिप्लॉयमेंट में कैसे काम करते हैं.

हाल के मूल्यांकनों के दौरान, दो बाहरी टेस्टिंग पार्टनर ने ऐसी घटनाएं देखीं जिनमें टेस्टिंग कॉन्फ़िगरेशन और कंट्रोल के साथ-साथ नए मॉडल की बढ़ती क्षमताओं की वजह से मॉडल की एक्टिविटी तय टेस्टिंग सीमाओं से आगे निकल गई. ये घटनाएँ इस बात पर ज़ोर देती हैं कि जैसे-जैसे मॉडल ज़्यादा सक्षम होते जा रहे हैं, टेस्टिंग के एनवायरनमेंट और तरीकों के स्टैंडर्ड को बेहतर बनाने के लिए इंडस्ट्री और थर्ड-पार्टी इवैल्यूएटर्स के साथ मिलकर काम करना ज़रूरी है. एडिटर का नोट: ये घटनाएँ Hugging Face सिक्योरिटी घटना से अलग हैं, और हम Hugging Face घटना के बारे में अपडेट यहाँदेते रहेंगे.

नई घटनाओं में OpenAI मॉडल का थर्ड-पार्टी साइबर मूल्यांकन के दौरान पब्लिक इंटरनेट का इस्तेमाल करना शामिल था. ये घटनाएँ ख़ास स्थितियों और कम सुरक्षा-उपायों वाले कॉन्फ़िगरेशन में हुईं, जो सामान्य तौर पर इस्तेमाल किए जाने वाले तरीकों से अलग थे. इन घटनाओं में ये शामिल थे:

1. UK AISI, UK सरकार का AI सिक्योरिटी इंस्टीट्यूट, साइबर-रेंज इवैल्यूएशन कर रहा था. इसमें जान-बूझकर इंटरनेट एक्सेस चालू रखा गया था ताकि एजेंट अपने टूल ढूंढ सकें और असली हमलावर जैसी स्थितियों में काम कर सकें. साथ ही, असल क्षमता को मापने के लिए साइबर क्लासिफ़ायर को बंद रखा गया था. आप उनका ब्लॉग यहाँ⁠(एक नई विंडो में खुलेगा) पढ़ सकते हैं.
2. हमारे बाहरी साइबर-सिक्योरिटी टेस्टिंग पार्टनर में से एक, Irregular, 'कैप्चर-द-फ़्लैग' स्टाइल के मूल्यांकन कर रहा था. इन्हें इंटरनेट से अलग-थलग रखा जाना था, लेकिन टेस्टिंग-एनवायरनमेंट में गलत कॉन्फ़िगरेशन की वजह से मॉडल पब्लिक इंटरनेट तक पहुँच गए.

नीचे हम संक्षेप में बता रहे हैं कि क्या हुआ, किन टेस्टिंग स्थितियों की वजह से यह एक्टिविटी संभव हुई, इसे रोकने के लिए क्या कदम उठाए गए, और हम यह पक्का करने के लिए क्या कर रहे हैं कि व्यक्तिगत लैब लगातार ज़्यादा सक्षम मॉडल का सख्ती और सुरक्षित तरीके से मूल्यांकन कर सकें.

ये घटनाएँ उसी बड़ी चुनौती की ओर इशारा करती हैं, जिसका ज़िक्र हमने Hugging Face की घटना के बारे में अपनी हालिया पोस्ट में किया था: जैसे-जैसे मॉडल की क्षमताएँ बढ़ती हैं, वैसे-वैसे उनसे जुड़े सुरक्षा और बचाव सिस्टम को भी बेहतर बनाने की ज़रूरत होती है. इसमें मॉडल बनाने के लिए इस्तेमाल होने वाले एनवायरनमेंट और उन्हें परखने के लिए लैब और व्यक्तिगत पार्टनर द्वारा इस्तेमाल किए जाने वाले एनवायरनमेंट, दोनों ही शामिल हैं.

आने वाले हफ़्तों में, हम थर्ड-पार्टी टेस्टिंग के लिए अपने तरीके को रिव्यू करेंगे. इसमें ये बातें शामिल होंगी: हाई रिस्क वाले मूल्यांकन की पहचान करना, दायरे पर सहमति बनाना, इंटरनेट एक्सेस देने या सुरक्षा उपायों को कम करने के अनुरोधों का आकलन करना, आइसोलेशन, क्रेडेंशियल हैंडलिंग, मॉनिटरिंग और काम रोकने की शर्तों के लिए उम्मीदें तय करना, और घटना की सूचना देने व मामले को आगे बढ़ाने की स्पष्ट प्रक्रियाएँ बनाना.

हम हाई-रिस्क वाले मूल्यांकन सुरक्षित तौर से करने के लिए शेयर किए गए तरीकों को मज़बूत करने के मकसद से पूरी इंडस्ट्री में मिलकर काम करने के लिए प्रतिबद्ध हैं. इसमें आने वाले हफ़्तों में नेशनल AI इंस्टिट्यूट, स्वतंत्र मूल्यांकनकर्ता, दूसरी AI लैब और अन्य ग्रूप जैसे स्टेकहोल्डर्स को एक साथ लाना शामिल है. हमारा लक्ष्य सख्त व्यक्तिगत मूल्यांकन की अहमियत को बनाए रखना है और साथ ही यह पक्का करना है कि टेस्टिंग के तरीके तेज़ी से बेहतर होते जा रहे मॉडल के साथ कदम मिलाकर चलें.

3 अगस्त को UK AISI ने हमें बताया कि 25 जुलाई को शुरू हुए रूटीन साइबर इवैल्यूएशन के दौरान, OpenAI और एक दूसरी लैब के मॉडल कुछ मामलों में टेस्टिंग के दायरे से बाहर चले गए. यह इवैल्यूएशन कंट्रोल किए गए साइबर रेंज में किया गया, जिन्हें असल दुनिया के नेटवर्क जैसा बनाया गया था. पहचाने गए 19 मामलों में से दो में OpenAI का मॉडल, GPT‑5.6 Sol शामिल था. बाकी मामले दूसरी लैब के मॉडल से जुड़े थे.

इस मूल्यांकन के लिए, एजेंट्स को 'कैप्चर-द-फ़्लैग' एक्सरसाइज़ में साइबर-सिक्योरिटी एक्सपर्ट्स की तरह काम करने के निर्देश दिए गए: तीन जुड़े हुए सिम्युलेटेड एनवायरनमेंट को कॉम्प्रोमाइज़ करना और फ़ाइनल फ़्लैग हासिल करना. टास्क प्रॉम्प्ट में दायरे में आने वाले नेटवर्क की पहचान की गई और कई सिस्टम को दायरे से बाहर बताया गया. UK AISI ने लाइव इंटरनेट एक्सेस भी दिया ताकि एजेंट्स टूल डाउनलोड कर सकें और इंसानी अटैकर जैसी स्थितियों में काम कर सकें—और मॉडल की असल क्षमता को मापने के लिए उसके साइबर क्लासिफ़ायर को डिसेबल कर दिया.

UK AISI के लिए तय की गई ऑथराइज़ेशन सीमा एक सिम्युलेटेड साइबर रेंज थी: एजेंट्स को ख़ास सिम्युलेटेड नेटवर्क पर अटैक करने और एक 'फ़्लैग' हासिल करने की इजाज़त थी, न कि रेंज के नेटवर्क की सीमा के बाहर के सिस्टम के साथ इंटरैक्ट करने की. हालाँकि, एजेंट्स को साफ़ तौर पर यह नहीं बताया गया था कि वे ओपन इंटरनेट एक्सेस का इस्तेमाल कैसे कर सकते हैं और कैसे नहीं; UK AISI का मानना है कि यही इस घटना की एक संभावित वजह हो सकती है.

इन टेस्ट के दौरान, UK AISI ने पाया कि GPT‑5.6 Sol ने सिम्युलेटेड रेंज में घुसने और फ़्लैग हासिल करने का रास्ता खोजने की कोशिश करते हुए दो ऐसे काम किए जिनकी इजाज़त नहीं थी:

1. GPT‑5.6 Sol ने एक GitHub टोकन का दोबारा इस्तेमाल किया, जिसे किसी दूसरी लैब के एजेंट ने सबके लिए खुला छोड़ दिया था. इसका मकसद यह पता लगाना था कि रेंज के अंदर का कोई सिस्टम GitHub या किसी दूसरे अपडेट सर्विस से जानकारी ले रहा है या नहीं. साथ ही, उसने अकाउंट रिकवरी और रिक्वेस्ट-लिमिट की सीमाओं को पार करने की कोशिश की और बाहरी DNS और टनलिंग प्रोवाइडर्स के साथ अकाउंट रजिस्टर किए.
2. GPT‑5.6 Sol ने अपने इवैल्यूएशन एनवायरनमेंट में लोकल तौर पर चल रहे DNS सर्वर को पब्लिक इंटरनेट से एक्सेस करने लायक बनाने के लिए एक पब्लिक टनलिंग सर्विस का इस्तेमाल किया. सर्वर में ऐसे पेलोड थे जो टेस्ट रेंज पर चल रहे एक सॉफ़्टवेयर की जानी-मानी कमज़ोरी के लिए थे. यह सेटअप काम नहीं किया, इस बात का कोई सबूत नहीं है कि किसी असली रिज़ॉल्वर ने इसकी क्वेरी की हो, और इवैल्यूएशन ख़त्म होने पर इंफ़्रास्ट्रक्चर को हटा दिया गया.

हालाँकि मॉडल साइबर रेंज को पूरा करने की कोशिश कर रहा था, लेकिन UK AISI ने इन एक्शंस को बिना मंज़ूरी के माना क्योंकि इनमें रेंज की सीमा के बाहर के असली बाहरी अकाउंट और सर्विस शामिल थे और काम पूरा करने के लिए इन एक्शंस की ज़रूरत नहीं थी. DNS सर्वर ने पब्लिक इंटरनेट पर एक्सप्लॉइट पेलोड भी होस्ट किए थे, हालाँकि यह सेटअप काम नहीं कर पाया और इस बात का कोई सबूत नहीं है कि किसी असली रिज़ॉल्वर ने इसके लिए कोई क्वेरी की हो.

UK AISI ने 28 जुलाई को इस एक्टिविटी की पहचान की, जब सिक्योरिटी मॉनिटरिंग के दौरान असामान्य डेटा ट्रांसफ़र का पता चला. उसने संबंधित मूल्यांकन रोक दिए, संबंधित मशीनों को अलग-थलग कर दिया और पता चलने के लगभग एक घंटे के अंदर ही इस एक्टिविटी को रोक दिया.

हम इस पूरी प्रक्रिया में UK AISI की पार्टनरशिप की सराहना करते हैं, जिसमें इस एक्टिविटी की पहचान करने, उसकी जाँच करने और उससे जुड़ी जानकारी शेयर करने का उनका काम भी शामिल है. हम भविष्य में भी साथ मिलकर काम जारी रखने के लिए उत्सुक हैं.

29 जुलाई को, हमारे एक थर्ड-पार्टी इवैल्यूएशन पार्टनर, Irregular ने हमें 'कैप्चर-द-फ़्लैग' (CTF)-स्टाइल साइबर-सिक्योरिटी इवैल्यूएशन के दौरान OpenAI मॉडल से जुड़ी एक घटना के बारे में बताया. मॉडल को एक सिम्युलेटेड एनवायरनमेंट में कमज़ोरियों का फ़ायदा उठाकर छिपी हुई जानकारी खोजने का निर्देश दिया गया था और उन्हें बताया गया था कि उनके पास इंटरनेट का एक्सेस नहीं है. हालाँकि, टेस्टिंग एनवायरनमेंट में गलत कॉन्फ़िगरेशन की वजह से मॉडल पब्लिक इंटरनेट को एक्सेस कर पाए.

एक टेस्ट में, CTF चुनौती के लिए बनाए गए काल्पनिक टारगेट का नाम गलती से एक असली डोमेन के नाम जैसा ही निकला. क्योंकि टेस्टिंग एनवायरनमेंट गलती से इंटरनेट से कनेक्ट हो गया था, इसलिए मॉडल ने एक असली वेबसाइट का इस्तेमाल किया, यह समझते हुए कि वह सिम्युलेटेड एनवायरनमेंट का ही हिस्सा है. इसमें कोई मुश्किल 'सैंडबॉक्स एस्केप' या 'ज़ीरो-डे' शामिल नहीं था: इंटरनेट का एक्सेस गलत कॉन्फ़िगरेशन की वजह से मिला था, और ऐसा लगा कि मॉडल ने एक बेसिक सिक्योरिटी खामी का फ़ायदा उठाया.

Irregular की जाँच के आधार पर, मॉडल ने उसी साइट को चलाने के लिए क्रेडेंशियल भी ढूंढे और उनका इस्तेमाल किया. Irregular को प्रभावित साइट के अपने डेटा के अलावा किसी और असर का पता नहीं चला है और इसकी ऑडिट अभी भी चल रही है. इसने मूल्यांकन रोक दिए हैं, सुधार का काम शुरू कर दिया है और प्रभावित थर्ड पार्टी को सूचित कर दिया गया है. Irregular ने हमें बताया है कि इस घटना से जुड़ी सभी समस्याएँ अब ख़त्म हो गई हैं और टेस्टिंग एनवायरनमेंट में ज़रूरी सुरक्षा उपाय जोड़ दिए गए हैं. Irregular ने उसी टेस्टिंग एनवायरनमेंट से जुड़ी दूसरी लैब की घटनाओं के बारे में भी जानकारी दी है.

हम Irregular की पार्टनरशिप की सराहना करते हैं और उनके रिव्यू में मदद करने के लिए उनके साथ मिलकर काम करना जारी रखेंगे. Irregular एक व्हाइट पेपर भी तैयार कर रहा है जिसमें साइबर इवैल्यूएशन को सुरक्षित तौर से चलाने और खतरों को रोकने के लिए बेहतरीन तरीकों के बारे में जानकारी दी जाएगी. हम इस व्हाइट पेपर में हिस्सा लेने और इसके नतीजों को कम्युनिटी तक पहुँचाने के साथ-साथ अपनी पार्टनरशिप को आगे भी जारी रखने के लिए उत्सुक हैं. हम इस तरह के सहयोग को मौजूदा और भविष्य के मॉडल के सुरक्षित और पूरी तरह से इवैल्यूएशन के लिए ज़रूरी मानते हैं.