OpenAI

अत्याधुनिक AI जोखिम का प्रबंधन: प्रशिक्षण से तैनाती तक

18 नवंबर, 2026 · सुरक्षा

अत्याधुनिक मॉडलों की क्षमताएँ तेज़ी से बढ़ रही हैं. उन्हें समझने, संरेखित करने और सुरक्षित रखने की हमारी क्षमता को इस रफ़्तार से आगे रहना होगा. हम अपने मॉडलों के विकास और रिलीज़ की गति नियंत्रित कर रहे हैं. सुरक्षा मानक पूरे करने के लिए अधिक समय चाहिए तो इसमें आंतरिक प्रशिक्षण रोकना⁠(एक नई विंडो में खुलेगा) या GPT‑6.1 Astra जैसे मॉडलों की रिलीज़ टालना भी शामिल है. हमने सुरक्षा के प्रमाण-आधारित तर्क जैसी नई प्रक्रियाएँ शुरू की हैं और पूरे प्रशिक्षण में संरेखित व्यवहार के अधिक ठोस प्रमाण अनिवार्य किए हैं. इन आवश्यकताओं से मॉडल रिलीज़ की रफ़्तार धीमी होती है, लेकिन सुरक्षित रूप से आगे बढ़ने का हमारा भरोसा बढ़ता है.

जुलाई की Hugging Face घटना⁠ के बाद हमने मॉडल प्रशिक्षण, परीक्षण और तैनाती के लिए सुरक्षा उपाय और संरेखण की आवश्यकताएँ मज़बूत की हैं. यह लेख बताता है कि सख़्त सैंडबॉक्स वाले प्रशिक्षण परिवेशों से लेकर आपके कंप्यूटर पर इस्तेमाल होने वाले Codex तक, हर चरण में हम जोखिम का मूल्यांकन और प्रबंधन कैसे करते हैं. हर चरण में हम मॉडल और सुरक्षा उपायों, दोनों का मूल्यांकन करते हैं. अगले चरण में बढ़ने से पहले सुरक्षा समीक्षा ज़रूरी होती है.

मॉडल के पूरे जीवनचक्र में बहुस्तरीय सुरक्षा

हम बहुस्तरीय सुरक्षा अपनाते हैं, जिसमें सुरक्षा की कई परतें किसी एक उपाय पर निर्भरता घटाती हैं. एक परत विफल हो तो अन्य परतें नुकसान रोकने, प्रभाव सीमित करने या हमें सचेत करने में मदद करती हैं, ताकि हम हस्तक्षेप कर सकें.

हमारे सुरक्षा प्रबंध चार परतों में बँटे हैं:

प्रभावी निगरानी मॉडल की निगरानी-योग्यता पर निर्भर है—यानी निगरानी प्रणालियाँ मॉडल की रीज़निंग और कार्रवाइयों से गलतियाँ या असुरक्षित व्यवहार कितनी विश्वसनीयता से पहचान सकती हैं. जैसे, अपनी चेन-ऑफ-थॉट (CoT) में धोखा देने की मंशा व्यक्त करने वाले मॉडल की निगरानी, यह जानकारी छिपाने वाले मॉडल से आसान होती है. हम प्रशिक्षण के दौरान और तैनाती से पहले निगरानी-योग्यता का मूल्यांकन करते हैं, इसे मापने के बेहतर तरीके⁠(एक नई विंडो में खुलेगा) विकसित करते हैं और इसे प्रभावित करने वाले कारकों का अध्ययन करते हैं⁠(एक नई विंडो में खुलेगा).

Hugging Face घटना ने दिखाया कि अत्यधिक सक्षम मॉडलों को सीमित रखने के लिए हमें केवल सैंडबॉक्सिंग पर निर्भर क्यों नहीं रहना चाहिए. अब हम अधिकांश आंतरिक और बाहरी तैनातियों में अत्याधुनिक मॉडलों की निगरानी करते हैं. इनमें उपकरण इस्तेमाल करने वाली सभी आंतरिक तैनातियाँ शामिल हैं.

मॉडल विकास और तैनाती के तीन चरणों में हर परत की भूमिका बदलती है:

  • शोध: हम सैंडबॉक्स परिवेशों में मॉडलों का प्रशिक्षण, परीक्षण और उपयोग करते हैं.

  • आंतरिक तैनाती: OpenAI कर्मचारी व्यावहारिक काम के लिए मॉडल इस्तेमाल करते हैं.

  • बाहरी तैनाती: मॉडल व्यापक रूप से लोगों और संगठनों को उपलब्ध होते हैं.

अलग-अलग चरणों में हम अलग-अलग परतों पर निर्भर रहते हैं. प्रशिक्षण में, जब संरेखण को लेकर भरोसा कम होता है, हम सैंडबॉक्सिंग और निगरानी पर अधिक निर्भर रहते हैं. तैनाती में मॉडलों की पहुँच बढ़ने के साथ संरेखण और प्रणाली-स्तरीय नियंत्रण अधिक महत्वपूर्ण हो जाते हैं. हर चरण में हम जाँचते हैं कि संयुक्त सुरक्षा उपाय मॉडल की क्षमताओं और पहुँच के लिहाज़ से पर्याप्त हैं या नहीं. हमारे निर्णयों की समीक्षा सेफ़्टी एडवाइज़री ग्रुप (सेफ़्टी एडवाइज़री ग्रुप) के साथ और निगरानी OpenAI Foundation के निदेशक मंडल की सेफ़्टी और सिक्योरिटी कमिटी (SSC) द्वारा की जा सकती है.

शोध के दौरान: मॉडलों को सैंडबॉक्स परिवेशों तक सीमित रखना

शोध के चरण में हम मॉडलों का मूल्यांकन करके उनके संरेखण पर भरोसा बढ़ाते हैं. नुकसान रोकने के लिए अभी संरेखण पर पूरी तरह भरोसा नहीं किया जा सकता. इसलिए मॉडलों की पहुँच और कार्रवाइयाँ सीमित करने के लिए हम सुरक्षा और सैंडबॉक्सिंग पर काफ़ी निर्भर रहते हैं.

संरेखण शोध, निगरानी प्रणालियों और इंटरनेट अवसंरचना की सुरक्षा की मौजूदा स्थिति को देखते हुए, हमारे अनुसार ज़िम्मेदार तरीका है कि अत्याधुनिक मॉडलों का प्रशिक्षण लाइव इंटरनेट पहुँच के बिना हो. Hugging Face घटना के बाद हमने आंतरिक शोध प्रणालियों का व्यापक पुनर्गठन किया. मॉडलों को सीमित रखने के लिए हम इस्तेमाल करते हैं:

  • मॉडल के अधिकार सीमित करने वाले सैंडबॉक्स

  • कार्यभार को मूल कंप्यूटर से और अलग रखने वाली आभासी मशीनें

  • पूरे कंप्यूटिंग समूह को इंटरनेट से काटने वाली नेटवर्क और क्लाउड की सुरक्षा सीमाएँ

हम लगातार इस प्रणाली की रेड टीमिंग करते हैं. हमारे सबसे शक्तिशाली मॉडलों की टीमें लाइव इंटरनेट तक पहुँचने, सुरक्षा सीमाएँ तोड़ने या उन एजेंटों से संपर्क करने की कोशिश करती हैं जिनसे उन्हें अलग रखा जाना है. इससे हम जाँचते हैं कि जिन मॉडलों को सीमित रखना है, उनकी क्षमताओं के सामने हमारी सीमाएँ टिकती हैं या नहीं.

अतिरिक्त सुरक्षा के लिए हम अत्याधुनिक मॉडलों के हर निष्पादन की निगरानी करते हैं, ताकि पता चले कि मॉडल ने अनिवार्य सुरक्षा शर्तें दरकिनार तो नहीं की हैं. निगरानी में मॉडल के इंटरनेट तक पहुँचने का पता चले तो हम सुरक्षा टीमों को तत्काल सचेत करते हैं और कार्यभार अपने-आप रोक देते हैं.

मॉडल को सीमित रखने के उपाय विफल होने पर निगरानी एक महत्वपूर्ण अंतिम सुरक्षा कवच है. हाल की असंरेखण रिपोर्ट में हमने बताया कि निगरानी प्रणालियों ने एक आंतरिक शोध मॉडल को डीएनएस के गलत विन्यास का लाभ उठाते पकड़ा⁠(एक नई विंडो में खुलेगा). इससे उसे इंटरनेट तक सीमित पहुँच मिली थी. हमने 20 सितंबर से 1 अक्टूबर तक अपने सबसे सक्षम मॉडलों का प्रशिक्षण और मूल्यांकन रोका. इस दौरान हमने जाँच की और सुरक्षा की कमी दूर की.

तेज़ और भरोसेमंद हस्तक्षेप के लिए हमने Control Room⁠ बनाया. यह केंद्रीय प्रणाली शोध कार्यभारों पर नज़र रखती है और कार्य रोकने का निर्देश मिलने के 35 सेकंड के भीतर मॉडल का आगे का आउटपुट रोक देती है. ये नियंत्रण सीधे निष्पादन अवसंरचना में लागू होते हैं. इसलिए ये हर शोध कार्यभार द्वारा अलग से बंद करने की व्यवस्था लागू करने पर निर्भर नहीं हैं. अत्याधुनिक मॉडल के शोध कार्यभारों में, Control Room अनुपलब्ध होने पर भी ये मॉडल का आउटपुट रोक देते हैं.

रेड टीमिंग और निगरानी मिलकर काम करती हैं. हम सैंडबॉक्स के अभेद्य होने की गारंटी नहीं दे सकते. लेकिन रेड टीमिंग से पता लगता है कि उससे बाहर निकलने में मॉडल को कितना प्रयास लगेगा. मॉडल को जितना अधिक प्रयास करना पड़ेगा, निगरानी प्रणालियों को उसे पहचानने और रोकने के उतने ही अधिक अवसर मिलेंगे.

शोध के चरण में हम इन कारणों से मज़बूत सुरक्षा और निगरानी नियंत्रण अनिवार्य करते हैं:

  • मॉडलों का मूल्यांकन अभी जारी है. कुछ मॉडलों के लिए सार्वजनिक रिलीज़ से पहले ज़रूरी सुरक्षा प्रशिक्षण, संरेखण ऑडिट और समीक्षाएँ अभी पूरी नहीं हुई हैं.

  • अत्याधुनिक शोध की परिस्थितियाँ जोखिम बढ़ा सकती हैं. कुछ शोध कार्यों के लिए अधिक महत्वाकांक्षी व्यवस्थाएँ चाहिए, जो मॉडल को बाहरी तैनाती की तुलना में अधिक दृढ़ या सक्षम बनाती हैं. उदाहरण के लिए, नेवियर–स्टोक्स समस्या को हल करने के लिए 10,000 एजेंटों की टीम चाहिए थी.

  • बड़े पैमाने पर प्रशिक्षण में प्रत्यक्ष मानवीय निगरानी कम होती है. सामान्य Codex सत्र के विपरीत, हमारे प्रशिक्षण कार्यों में मॉडल बड़ी संख्या में कार्रवाइयाँ करते हैं और कोई व्यक्ति हर संवाद पर नज़र नहीं रखता.

आंतरिक तैनाती: संरेखण की जाँच, व्यवहार की कड़ी निगरानी

व्यापक रिलीज़ से पहले, कर्मचारी शोध के लिए सैंडबॉक्स में अत्याधुनिक मॉडलों के उपयोग से सैंडबॉक्स के बाहर आंतरिक उपयोग की ओर बढ़ते हैं. जैसे, कर्मचारियों के लिए मॉडल को ChatGPT में उपलब्ध कराना. इससे हमें बेहतर समझ मिलती है कि मॉडल व्यावहारिक परिस्थितियों में कैसा व्यवहार करते हैं⁠(एक नई विंडो में खुलेगा), और तैनाती के निर्णय लेने में मदद मिलती है.

इस चरण में हम मॉडल को व्यापक इंटरनेट, अपने Slack, कोडबेस और आंतरिक अवसंरचना तक पहुँच देते हैं. इससे जोखिम में बड़ा बदलाव आता है, क्योंकि अब मॉडल की कार्रवाइयों का सीधा असर उन प्रणालियों पर पड़ता है जिनसे हम OpenAI का निर्माण और संचालन करते हैं. आंतरिक तैनाती के दौरान हमें सुरक्षा नियंत्रणों की तुलना में मॉडल संरेखण, प्रणालीगत सुरक्षा उपायों और निगरानी पर अधिक निर्भर रहना पड़ता है.

किसी अत्याधुनिक मॉडल को सैंडबॉक्स के बाहर तैनात करने से पहले उसके संरेखण और निगरानी-योग्यता की जाँच⁠(एक नई विंडो में खुलेगा) ज़रूरी है. हमारे संरेखण मूल्यांकन विशिष्ट विफलताओं, जैसे सुरक्षा पाबंदियों को दरकिनार करना, की जाँच करते हैं. साथ ही, व्यापक व्यवहारगत प्रवृत्तियाँ भी मापते हैं, जैसे आंतरिक Codex कार्यक्रमों का दोबारा नमूना लेकर असंरेखण खोजना. हमारे संरेखण और निगरानी-योग्यता मूल्यांकनों की अधिक जानकारी नवीनतम GPT‑6 Astra सिस्टम कार्ड⁠(एक नई विंडो में खुलेगा) में देखें.

वास्तविक उपयोग की हमारी व्यवस्थाओं की तरह, हम प्रणाली-स्तरीय वर्गीकारकों से सुरक्षा की एक और परत जोड़ते हैं. ये अत्याधुनिक क्षमताओं से जुड़े नुकसानों, जैसे साइबर दुरुपयोग और जैविक हथियार बनाने, से बचाने के लिए बने हैं. Codex इस्तेमाल करने वाले कर्मचारियों के लिए हम आम तौर पर Auto-Review⁠(एक नई विंडो में खुलेगा) भी अनिवार्य करते हैं. यह संभावित जोखिम वाली कार्रवाइयाँ जाँचकर उपयोगकर्ता के निर्णय के लिए भेजती है.

अंत में, आंतरिक तैनाती के दौरान अत्याधुनिक मॉडल के हर निष्पादन में हम असंरेखित व्यवहार की निगरानी करते हैं. अब मॉडल के पास अधिक अधिकार और आंतरिक जानकारी व प्रणालियों तक पहुँच होती है. इसलिए डेटा की चोरी या संवेदनशील डेटा को अनधिकृत गंतव्य पर भेजने जैसे जोखिमों का पता लगाना विशेष रूप से महत्वपूर्ण हो जाता है. निगरानी से हमें असंरेखण के नए रूपों⁠(एक नई विंडो में खुलेगा) की जाँच में भी मदद मिलती है.

बाहरी तैनाती: बड़े पैमाने पर दुरुपयोग और असंरेखण से सुरक्षा

सार्वजनिक तैनाती में मॉडल कहीं अधिक उपयोगकर्ताओं, कार्यों और परिवेशों से जुड़ते हैं. इससे जोखिमों का पैमाना और विविधता, दोनों बढ़ते हैं. इस चरण में हमें ऐसे संभावित दुर्भावनापूर्ण लोगों से भी बचाव करना होता है जो जानबूझकर मॉडल को नुकसान पहुँचाने के निर्देश देते हैं.

सार्वजनिक रिलीज़ से पहले, मॉडलों और प्रणालीगत सुरक्षा उपायों को बाहरी तैनाती के हमारे सुरक्षा मानकों पर खरा उतरना होता है. हम इन तरीकों से उनका आकलन करते हैं:

  • संरेखण और सुरक्षा के अधिक व्यापक मूल्यांकन करना. अत्याधुनिक मॉडलों के लिए इसमें हमारी आंतरिक स्वचालित रेड टीमिंग प्रणालियों से अनुकूलनशील परीक्षण⁠ के नए दौर चलाना शामिल है, ताकि कठिन परिस्थितियों में मॉडल की मज़बूती जाँची जा सके. हम अपनी क्षमता और सुरक्षा संबंधी मूल्यांकनों के नतीजे सिस्टम कार्डों⁠(एक नई विंडो में खुलेगा) में प्रकाशित करते हैं.

  • हम अपने सबसे सक्षम मॉडलों का तीसरे पक्षों के साथ भी परीक्षण करते हैं, ताकि दुरुपयोग-रोधी उपायों और मॉडलों के मूल संरेखण, दोनों को कठिन परिस्थितियों में परखा जा सके.

  • आंतरिक तैनाती के दौरान निगरानी से मिले चेतावनी संकेतों की जाँच करना, ताकि आधार मॉडल के मूल संरेखण में बदलावों का पता चले.

मॉडल सुरक्षा प्रशिक्षण और प्रणालीगत वर्गीकारकों जैसे “उसी समय लागू होने वाले” सुरक्षा उपायों के अलावा, बाहरी तैनाती में हम ऑफ़लाइन नियम-प्रवर्तन और जाँच का भी उपयोग करते हैं. ये टीमें बड़े पैमाने पर जाँच करने वाले एजेंटों और मानवीय समीक्षा से संभावित खतरा पैदा करने वालों का पता लगाती हैं. इनमें साइबर दुरुपयोग, जैविक हथियार बनाने के उद्देश्य से AI का इस्तेमाल, मॉडल से ज्ञान का हस्तांतरण⁠ मॉडल में ही उत्पन्न होने वाला मिसअलाइनमेंट शामिल हैं. ऑफ़लाइन नियम-प्रवर्तन अलग-अलग खातों से जानकारी जुटाने में खास मदद करता है, ताकि संभावित खतरे की अधिक समग्र तस्वीर मिल सके.

Daybreak और Rosalind⁠ जैसे विश्वसनीय पहुँच कार्यक्रम सुरक्षा की एक और परत देते हैं. वे रक्षकों और वैध शोधकर्ताओं का काम तेज़ करते हुए संभावित हमलावरों की पहुँच सीमित रखते हैं.

घटनाओं पर कार्रवाई और खुलासा

सुरक्षा की किसी परत में विफलता दिखने पर, चाहे वास्तव में नुकसान हुआ हो या नहीं, हम तुरंत जाँच और प्राथमिकता निर्धारण करना चाहते हैं. संभव और उचित होने पर हम बाहरी तौर पर उसका खुलासा भी करना चाहते हैं. हमारी असंरेखण रिपोर्टिंग⁠ नीति के तहत कोई भी कर्मचारी सार्वजनिक खुलासे के लिए किसी घटना को चिह्नित कर सकता है. इन रिपोर्टों की जाँच होती है. बाहरी खुलासे पर मतभेद होने पर निर्णय हमारे सेफ़्टी एडवाइज़री ग्रुप (SAG) को भेजा जाता है. कर्मचारियों की रिपोर्टों पर निर्भर रहने के अलावा, हम खुद भी सक्रिय रूप से असंरेखण की घटनाएँ खोजते हैं, ताकि उनका समाधान कर सकें और निष्कर्ष साझा कर सकें.

हमारी असंरेखण रिपोर्टें यहाँ⁠(एक नई विंडो में खुलेगा) देखें.

​


​

यह काम शोध की प्रगति और संचालन के अनुशासन, दोनों पर निर्भर है: नियंत्रण सही ढंग से लगाना, उनका परस्पर प्रभाव जाँचना और विफलता पर निर्णायक कार्रवाई करना. नेटवर्क सेवा का गलत विन्यास या स्वचालित रोक की विफलता, अन्यथा मज़बूत सुरक्षा उपायों को भी कमज़ोर कर सकती है.

मॉडलों में नई क्षमताएँ आने के साथ हमें सुरक्षा उपायों की मूल धारणाओं को परखते रहना होगा और जहाँ ज़रूरी हो, उपाय सुधारने होंगे. अगले मॉडलों के प्रशिक्षण, मूल्यांकन और तैनाती में शोध, आंतरिक उपयोग और सार्वजनिक तैनाती से मिले सबक अपनाना ज़रूरी है.

हम सिस्टम कार्डों, घटना रिपोर्टों, आंतरिक तैनाती की जोखिम रिपोर्टों⁠(एक नई विंडो में खुलेगा) और बाहरी मूल्यांकनों⁠ से निष्कर्ष साझा करते रहेंगे, ताकि अन्य लोग हमारे तरीके और उसकी सीमाओं को परख सकें. जब प्रमाण हमारे सुरक्षा मानकों के अनुरूप नहीं होंगे, हम फिर से प्रशिक्षण रोकेंगे या आवश्यकताएँ पूरी होने तक रिलीज़ टालेंगे.

संबंधित शोध और संसाधन

सुरक्षा मानक तय करना

संरेखित व्यवहार की परिभाषा और मूल्यांकन

मॉडलों को सीमित रखना और सुरक्षा उपाय सुधारना

घटनाओं पर कार्रवाई और खुलासा

शोध की प्रगति और अनुप्रयोग

  • शोध में तेज़ी: OpenAI के भीतर की तस्वीर — कोडिंग एजेंट OpenAI के शोध को कैसे बदल रहे हैं, इसके शुरुआती प्रमाण: बढ़ता उपयोग, अधिक जटिल कार्य और प्रयोगों पर प्रभाव.

  • नेवियर–स्टोक्स सहस्राब्दी पुरस्कार समस्या पर — आंतरिक AI प्रणाली का गणितीय प्रमाण और लीन में उसका औपचारिक निरूपण, जो बड़े पैमाने की शोध तैनातियों की क्षमताएँ दिखाता है.

  • Daybreak — हमारा साइबर सुरक्षा कार्यक्रम सत्यापित रक्षकों को उन्नत AI क्षमताएँ, सुरक्षा उपकरण और सहायता देता है, ताकि वे कमज़ोरियाँ खोजें और बचाव मज़बूत करें.

  • जीवन विज्ञान शोध के लिए GPT‑Rosalind का परिचय⁠ — जीवविज्ञान, दवा खोज और शोध को उपचार में बदलने के लिए विशिष्ट मॉडल, जो विश्वसनीय पहुँच कार्यक्रम से पात्र संगठनों को उपलब्ध है.