स्किप करके मेन कंटेंट पर जाऍं
OpenAI

Astra तक का सफ़र: क्रिटिकल क्षमताएँ और फ़्रंटियर सेफ़गार्ड्स

लोड किया जा रहा है...

हमारा पहले से असेसमेंट था कि Astra साइबर सिक्योरिटी क्षमता के क्रिटिकल लेवल तक पहुँच सकता है. उसके बाद हमने और एविडेंस जुटाए और मॉडल की क्षमताओं को परखने के लिए और इवैल्यूएशन किए. अब हमारा मानना है कि Astra प्रिपेयर्डनेस फ़्रेमवर्क के तहत क्रिटिकल साइबर सिक्योरिटी क्षमता की ऊपरी सीमा तक पहुँच गया है. इसका मतलब है कि सही टूल्स और एक्सेस मिलने पर यह बिना किसी व्यक्ति के हर कदम पर गाइड किए, पहले से अनजानी सिक्योरिटी खामियों को ढूँढ सकता है और उन्हें एक्सप्लॉइट करने के तरीके तैयार कर सकता है, वह भी कई सारे अच्छे से सुरक्षित किए गए सिस्टम्स में. यह पहला मॉडल है जिसे हम इस लेवल पर रख रहे हैं. इसलिए डेवलपमेंट के दौरान और रिलीज़ से पहले इसके लिए ज़्यादा मज़बूत सेफ़गार्ड्स ज़रूरी हैं.

पिछले कुछ हफ़्तों में हमने Astra के डेवलपमेंट और रिलीज़ के कुछ हिस्सों को रोककर रखा, ताकि साइबर दुरुपयोग और मॉडल की बिना मंज़ूरी वाली एक्टिविटी से बचाने वाले सुरक्षा उपायों को और मज़बूत किया जा सके और उनकी टेस्टिंग की जा सके. इस काम के आधार पर हमारा मानना है कि प्रिपेयर्डनेस फ़्रेमवर्क के तहत रिलीज़ के लिए Astra के सेफ़गार्ड्स गंभीर नुकसान के जोखिम को काफ़ी हद तक कम करते हैं.

Astra Hugging Face की घटना में शामिल नहीं था. फिर भी, हमने उस घटना से मिली सीख(एक नई विंडो में खुलेगा) को अपनी सुरक्षा व्यवस्था में शामिल किया है. बाद में की गई टेस्टिंग के आधार पर हमारा मानना है कि उस समय के हमारे प्रोडक्शन सेफ़गार्ड्स Hugging Face की घटना को रोक देते. इसके बाद हमने Astra के लिए और भी मज़बूत सेफ़गार्ड्स लागू किए हैं. इनमें मॉडल को नुकसान पहुँचाने वाली साइबर रिक्वेस्ट्स को ज़्यादा भरोसेमंद तरीके से रिजेक्ट करने और सेफ़्टी पाबंदियों को मानने की ट्रेनिंग देना, गलत इस्तेमाल से बचाने के लिए और सुरक्षा उपाय और ऐसी मॉनिटरिंग शामिल है जो ऐसी एक्टिविटी को रोक सकती है, जिसकी इजाज़त नहीं है.

हम Astra को जल्द लॉन्च करने की योजना बना रहे हैं, लेकिन इसकी सबसे एडवांस्ड साइबर सिक्योरिटी क्षमताओं का एक्सेस ज़्यादा सीमित रहेगा. एडवांस्ड साइबर सिक्योरिटी के काम शुरुआत में कुछ टेस्टर्स के ग्रुप को ही दिए जाएँगे. इसके बाद Daybreak Blue के ज़रिए एक्सेस को बढ़ाया जाएगा, ताकि डिफ़ेंसिव इस्तेमाल को सपोर्ट किया जा सके.

हम मॉडल के सिस्टम कार्ड में लॉन्च के समय अपनी सेफ़्टी, सिक्योरिटी और अलाइनमेंट टेस्टिंग और इवैल्यूएशन की ज़्यादा जानकारी शेयर करेंगे. रिलीज़ से पहले हम यह अपडेट देना चाहते हैं कि इस लेवल की साइबर सिक्योरिटी क्षमताओं वाले मॉडल को सुरक्षित तरीके से रिलीज़ करने की तैयारी के लिए हम क्या काम कर रहे हैं—और अभी कौन से जोखिम बने हुए हैं, इसे साफ़ तौर पर बताना चाहते हैं.

Astra की साइबर सिक्योरिटी क्षमताओं का आकलन

हमारे प्रिपेयर्डनेस फ़्रेमवर्क के तहत, किसी मॉडल को क्रिटिकल सीमा तक पहुँचा हुआ माना जाता है अगर नीचे दी गई दो में से कोई एक शर्त पूरी होती है:

  • मॉडल अच्छी तरह से सुरक्षित कई क्रिटिकल सिस्टम्स में, बिना किसी इंसानी मदद के, हर गंभीरता स्तर पर काम करने वाले ज़ीरो-डे एक्सप्लॉइट्स को पहचान सकता है और तैयार कर सकता है.
  • मॉडल को सिर्फ़ एक मकसद बताने भर से, अच्छी तरह सुरक्षित टार्गेट्स के खिलाफ़ साइबर अटैक के नए तरीके तैयार करके उन्हें शुरू से अंत तक चला सकता है.

Astra के प्रिपेयर्डनेस इवैल्यूएशन में ऑटोमेटेड पब्लिक और प्राइवेट बेंचमार्क्स के साथ एक्सपर्ट्स की जाँच भी शामिल थी. GPT‑5.6 Sol की तुलना में Astra की साइबर सिक्योरिटी क्षमताओं में काफ़ी बढ़ोतरी दिखती है. यह कम टोकन में काम पूरा करता है और सुरक्षा खामियों को पहचानने और एक्सप्लॉइट तैयार करने में भी ज़्यादा बेहतर काम करता है.

एक उदाहरण के तौर पर, हमने Astra को ExploitBench पर चलाया. यहाँ मॉडल ने जानी-पहचानी सुरक्षा खामियों से एक्सप्लॉइट तैयार करने की क्षमता जाँचने वाले बेंचमार्क में पूरा 100% स्कोर हासिल किया.

डेटा में पहले से मौजूद कुछ जानकारियों के खतरों को देखते हुए, हमने एक इंटरनल बेंचमार्क बनाया, जिसका नाम "ExploitBench - इंटरनल पोर्ट (जून–अगस्त 2026)" है. इसमें हाल ही में सामने आई ज़्यादा गंभीर 20 V8 सुरक्षा खामियाँ शामिल हैं. इस डेटासेट पर Astra ने GPT‑5.6 Sol के मुकाबले मनमाने कोड को चलाने की कहीं ज़्यादा दर हासिल की, वह भी बहुत कम आउटपुट टोकंस का इस्तेमाल करके. इवैल्यूएशन के दौरान मॉडल ने एक्सप्लॉइट चेन के हिस्से के तौर पर दो ज़ीरो-डे सुरक्षा खामियाँ भी खोजीं और उनका इस्तेमाल किया. हम अभी इन दोनों सुरक्षा खामियों की जानकारी उनके मेंटेनर्स को देने का काम कर रहे हैं.

Astra के नतीजे Daybreak Blue एक्सेस के साथ दिखाई गई क्षमताओं को दिखाते हैं, डिफ़ॉल्ट प्रोडक्शन कॉन्फ़िगरेशन को नहीं.

एक अच्छी तरह सुरक्षित ब्राउज़र और ऑपरेटिंग सिस्टम पर एक्सपर्ट्स के अगुवाई में किए गए टेस्ट्स में Astra ने पहले से अनजानी सुरक्षा खामियाँ खोजीं और उन्हें काम करने वाली एक्सप्लॉइट चेन्स में बदला. इसने एक पूरी ब्राउज़र-कम्प्रोमाइज़ चेन तैयार की, जिसने सैंडबॉक्स से बाहर निकलकर होस्ट पर कमांड्स चलाए, जब ब्राउज़र ने एक HTML फ़ाइल खोली. मॉडल ने एक अच्छी तरह सुरक्षित ऑपरेटिंग सिस्टम में भी कई सुरक्षा खामियाँ खोजीं और उन्हें जोड़कर एक लोकल प्रिविलेज-एस्केलेशन चेन तैयार की, जिसमें बिना प्रिविलेज वाले यूज़र से रूट तक पहुँचा गया. इन सभी नतीजों को देखते हुए, हमारी जाँच से पता चलता है कि Astra क्रिटिकल सीमा तक पहुँचता है.

अहम क्षमताओं के लिए ज़रूरी सेफ़गार्ड्स

Astra जैसी साइबर सिक्योरिटी क्षमता वाले मॉडल्स के लिए, गंभीर साइबर नुकसान के जोखिम को कम करने के लिए हमें दो तरह के उपायों पर काम करना होगा. यह डेवलपमेंट के दौरान भी ज़रूरी है और डिप्लॉयमेंट के दौरान भी:

  • मॉडल का इस्तेमाल करने वाले गलत लोग. हमारी सुरक्षा इतनी मज़बूत होनी चाहिए कि गलत लोग Astra का इस्तेमाल करके सुरक्षित बनाए गए अहम सिस्टम्स की पहले से अनजान कमज़ोरियों के लिए एक्सप्लॉइट तैयार न कर सकें. साथ ही, वे ऐसे सिस्टम्स पर शुरू से आखिर तक कहीं भी साइबर अटैक न कर सकें.
  • मॉडल का बिना इजाज़त और गलत दिशा में काम करना. यूज़र का इरादा खतरनाक न होने पर भी, एडवांस्ड साइबर सिक्योरिटी क्षमता वाला मॉडल गलत दिशा में काम करके खुद साइबर नुकसान पहुँचा सकता है. ऐसी क्षमताओं वाले मॉडल्स के लिए हमें यह पक्का करना होगा कि वे सही दिशा में काम करें. साथ ही, हमारी सुरक्षा व्यवस्था को ऐसे गलत कामों को जल्दी पहचानकर रोकना होगा, जो असल में बड़ा नुकसान पहुँचा सकते हैं. यह सुरक्षा की दूसरी लेयर होगी.

खास बात यह है कि दूसरी तरह की सुरक्षा इंटरनल डेवलपमेंट और बाहरी इस्तेमाल, दोनों पर लागू होती है. जैसा कि हमने पहले बताया था, OpenAI-Hugging Face घटना के बाद हमने कुछ फ़्रंटियर ट्रेनिंग को दो हफ़्तों के लिए रोक दिया था (इसमें Astra की कुछ ट्रेनिंग भी शामिल थी). इस दौरान हमने अपने ट्रेनिंग इंफ़्रास्ट्रक्चर को और सुरक्षित बनाया. इसमें सिस्टम को अलग रखना, नेटवर्क कंट्रोल्स, ज़्यादा मॉनिटरिंग और मॉडल को सही दिशा में रखने वाली ट्रेनिंग और सख्त शर्तें शामिल थीं. इसके बाद हमने और सख्त कंट्रोल्स के तहत छोटे स्तर पर काम फिर शुरू किया.

Astra के आने वाले वर्ज़न्स के लिए कुछ बड़े रीइंफ़ोर्समेंट लर्निंग (RL) रन को हमने और लंबे समय तक रोककर रखा. इस दौरान हमने उनके ट्रेनिंग एनवायरनमेंट की सुरक्षा के लिए और सख्त शर्तें तय कीं. 28 अगस्त को, सेफ़्टी और सिक्योरिटी की नई शर्तें लागू करने के बाद हमने उस बड़े फ़्रंटियर RL रन को फिर शुरू किया, जिसे पहले रोक दिया गया था. एक्सपेरिमेटं से जुड़े कुछ छोटे ट्रेनिंग रन को हमने अभी भी रोका हुआ है.

Astra को रिलीज़ के लिए तैयार करने के लिए साइबर दुरुपयोग और बिना इजाज़त किए जाने वाले कामों से बचाने के लिए भी ज़्यादा मज़बूत सुरक्षा की ज़रूरत पड़ी है. नीचे हम इन सुरक्षा उपायों और उनकी जाँच के बारे में बता रहे हैं.

साइबर दुरुपयोग के खिलाफ़ मज़बूत सुरक्षा

फ़रवरी में साइबर सुरक्षा में हाई कैपेबिलिटी वाला पहला मॉडल इस्तेमाल करने के बाद से, हमने हर नए लॉन्च के साथ अपनी साइबर सुरक्षा को और मज़बूत किया है. हमारी पूरी सुरक्षा व्यवस्था में पोस्ट-ट्रेंड मॉडल की मना करने की क्षमता, सिस्टम के स्तर पर काम करने वाले सुरक्षा क्लासिफ़ायर, साथ ही ऑफ़लाइन पहचान और खतरे को रोकने के तरीके शामिल हैं.

GPT‑5.6(एक नई विंडो में खुलेगा) के लिए, हमने अपने सिस्टम लेवल स्टैक को काफ़ी मज़बूत किया है. इसमें साइबर दुरुपयोग का पता लगाने के लिए एक्टिवेशन क्लासिफ़ायर जोड़ना और ऑटोमेटेड रेड-टीमिंग से मिले यूनिवर्सल जेलब्रेक्स को पहचानने की क्षमता बढ़ाना शामिल है. इन सुधारों के आधार पर, Astra के लिए हमने अपने सेफ़गार्ड स्टैक की मॉडल लेयर में और निवेश किया है. साथ ही, अलग-अलग बातचीत के कॉन्टैक्स्ट को समझने और उसके आधार पर काम करने की हमारी सुरक्षा व्यवस्था की क्षमता भी बेहतर की है.

  • मॉडल की मज़बूती बढ़ाने वाली नई ट्रेनिंग तकनीकों का इस्तेमाल करके, Astra उन साइबर मदद की रिक्वेस्ट को ज़्यादा मजबूती से मना करता है जिनकी इजाज़त नहीं है. हमारे साइबर जेलब्रेक की जाँच में Astra ने 91.5% ऐसी रिक्वेस्ट को मना किया, जबकि GPT‑5.6 Sol ने 59% रिक्वेस्ट को मना किया था.
  • जिन अकाउंट्स से साइबर दुरुपयोग का ज़्यादा जोखिम माना जाता है, उनके लिए हम मॉडल को ज़्यादा सख्त सुरक्षा सीमाओं के तहत चलाते हैं. इसका मतलब है कि मॉडल ऐसी ज़्यादा रिक्वेस्ट पर काम नहीं करेगा, जिनमें खतरा हो सकता है. ऐसे अकाउंट्स पर नज़र रखने के लिए हमने अपने मॉनिटरिंग सिस्टम्स का दायरा बढ़ाया, ताकि साइबर दुरुपयोग के संकेतों का जल्दी पता लगाया जा सके.

हमने सख्त टेस्टिंग, इंटरनल और एक्सटर्नल रेड-टीमिंग और रिमेडिएशन का अपना प्रोग्राम भी जारी रखा है. पहले की टेस्टिंग के दौरान मिले सभी जेलब्रेक अब भी कवर हो रहे हैं, यह पक्का करने के लिए हम रिग्रेशन टेस्टिंग भी कर रहे हैं. इसके साथ ही, हमारे लेटेस्ट इंटरनल रेड-टीमिंग अटैकर्स के साथ रेड-टीमिंग का एक नया दौर भी चल रहा है. हम इंडस्ट्री पार्टनर्स के साथ मिलकर एक आम जेलब्रेक रेटिंग सिस्टम तैयार कर रहे हैं. नई फ़ाइंडिंग्स की जाँच और उन्हें ठीक करने के लिए हम अपने 24/7 रैपिड-रिस्पॉन्स प्रोग्राम का इस्तेमाल करेंगे. Astra के साइबर सेफ़गार्ड टेस्टिंग की ज़्यादा जानकारी हम Astra सिस्टम कार्ड में शेयर करेंगे.

डिफ़ेंडर्स को सुरक्षा खामियाँ ढूँढने और ठीक करने में मदद करना हमारे लिए सेफ़्टी बनाए रखने का एक अहम हिस्सा बना हुआ है. लॉन्च के समय, गलत इस्तेमाल के खतरे से बचाने के लिए Astra के सेफ़गार्ड्स कुछ ज़रूरत से ज़्यादा रोक लगा सकते हैं. एडवांस्ड साइबर सिक्योरिटी वर्कफ़्लोज़ के लिए Astra का एक्सेस शुरुआत में कुछ चुनिंदा अल्फ़ा टेस्टर्स को ही मिलेगा. इसके बाद Daybreak Blue के ज़रिए एक्सेस बढ़ाया जाएगा, ताकि डिफ़ेंसिव इस्तेमाल को सपोर्ट किया जा सके.

अलाइनमेंट ऑर मॉनिटरिंग

मॉडल को ऐसी गलत दिशा वाली एक्टिविटी करने से रोकने के लिए हमने कई लेयर वाले सुरक्षा उपाय भी जोड़े हैं:

  • मॉडल अलाइनमेंट: हमारे इवैल्यूएशन में Astra ने GPT‑5.6 Sol के मुकाबले सेफ़्टी और सिक्योरिटी पाबंदियों को मानने और अपनी तय सीमा में रहने की कहीं ज़्यादा क्षमता दिखाई. इससे यह अब तक का हमारा सबसे अच्छी तरह अलाइन्ड मॉडल बनता है. हमने खास तौर पर इस बात पर ध्यान दिया कि मॉडल सिक्योरिटी और सेफ़्टी पाबंदियों को कितना मानता है और अपनी तय सीमा में रहने की कितनी क्षमता दिखाता है.
  • मॉनिटरिंग और कंट्रोल: इंटरनल तौर पर अपनाए जाने वाले हमारे प्रोसेस की तरह, हम Astra में चेन-ऑफ़-थॉट मॉनिटरिंग भी लगा रहे हैं. इसका मक़सद गलत दिशा वाली एक्टिविटी को जल्दी पहचानना और उसे रोकना है.

मॉडल अलाइनमेंट के मामले में Astra एक बड़ा कदम है. यह लंबे समय से चल रहे कई अलाइनमेंट वर्कस्ट्रीम्स का नतीजा है. इनमें प्री-ट्रेनिंग के दौरान किए गए बदलावों से लेकर रीइंफ़ोर्समेंट लर्निंग के दौरान ज़्यादा सावधानी और एक जैसी ग्रेडिंग तक शामिल है. टेस्टिंग में हमने पाया कि GPT‑5.6 Sol के मुकाबले Astra बताई गई सेफ़्टी पाबंदियों और चेतावनियों (जैसे ऑटो-रिव्यू) को मानने की लगातार ज़्यादा क्षमता दिखाता है.

हमने Hugging Face की घटना से सीख लेकर एक टेस्ट भी तैयार किया. उस घटना में साइबर इवैल्यूएशन ExploitGym पर चल रहे एजेंट्स ने किसी थर्ड पार्टी के सिस्टम्स में सेंध लगा दी थी. हमने उस इवैल्यूएशन के सबसे मुश्किल टास्क्स का इस्तेमाल करके "हनीपॉट" टेस्ट तैयार किए. इन टेस्ट्स से यह देखा गया कि क्या मॉडल अपने दिए गए टास्क को हल करने के बजाय आसपास के सिक्योरिटी इन्फ़्रास्ट्रक्चर में सेंध लगाने की कोशिश करेगा. प्रोडक्शन सेफ़गार्ड्स के बिना GPT‑5.6 Sol ने ऐसे टार्गेट्स को एक्सेस करने की कोशिश 56% टेस्ट्स में की, जहाँ मॉडल को बेंचमार्क एनवायरनमेंट की तरह एक्सप्लॉइट तैयार करने के लिए कहा गया था. इन टेस्ट्स में Astra ने ऐसी कोई कोशिश नहीं की. ये आँकड़े साइबर सेफ़गार्ड्स के बिना किए गए टेस्ट्स में मॉडल के व्यवहार को दिखाते हैं, सामान्य प्रोडक्शन इस्तेमाल को नहीं.

बाईं ओर: इस नए इवैल्यूएशन में हम देखते हैं कि ऑटो-रिव्यू से रिजेक्शन मिलने पर मॉडल कैसे व्यवहार करता है. हर टास्क को नॉलेज-वर्क एनवायरनमेंट में रखा गया है. ऑटो-रिव्यू से इनकार मिलने के तुरंत बाद रोलआउट शुरू होता है. इसके बाद मॉडल के पास आगे बढ़ने के कई तरीके होते हैं: रोलआउट खत्म करना, कोई ज़्यादा सुरक्षित विकल्प ढूँढने की कोशिश करना, उसी तरह का कमांड फिर से चलाना, या ऑटो-रिव्यू को पूरी तरह बायपास करने के लिए खराब कॉन्फ़िगरेशन(एक नई विंडो में खुलेगा) का फ़ायदा उठाना. इनमें से आखिरी दो विकल्पों में से किसी को भी आज़माना इस इवैल्यूएशन में फ़ेल होना माना जाएगा. Astra ने ऑटो-रिव्यू को बायपास करने की कभी कोशिश नहीं की.

दाईं ओर: इस इवैल्यूएशन में हम देखते हैं कि ExploitGym इवैल्यूएशन के सबसे मुश्किल या असंभव टास्क सामने आने पर मॉडल के धोखा देने की कितनी संभावना है, यानी "हनीपॉट्स" का इस्तेमाल करने की कितनी संभावना है. यह टेस्ट एक सिम्युलेटेड एनवायरनमेंट में चलाया गया था. इसमें सेफ़गार्ड्स को सिर्फ़ ऑब्ज़र्वेशन मोड में रखा गया था, ताकि मॉडल के व्यवहार को समझा जा सके. इन स्थितियों में GPT‑5.6 Sol ने धोखा देने की ज़्यादा संभावना दिखाई. वहीं Astra ने ऐसे शॉर्टकट्स का इस्तेमाल करने की कोशिश नहीं की और फिर भी कुछ टास्क को सही तरीके से हल करने में सफल रहा.

मॉडल्स को अलाइन्ड बनाने की ट्रेनिंग सेफ़्टी की एक लेयर है. हम Astra सिस्टम कार्ड में अपनी अलाइनमेंट टेस्टिंग और उसके नतीजों की ज़्यादा जानकारी शेयर करेंगे.

हम Astra-क्लास मॉडल्स के लिए प्रोडक्शन में मिसअलाइनमेंट मॉनिटरिंग भी लगा रहे हैं, ताकि संभावित मिसअलाइनमेंट को पहचाना और जल्दी रोका जा सके. ये सेफ़गार्ड्स हमारे इंटरनल डिप्लॉयमेंट्स में इस्तेमाल होने वाली मॉनिटरिंग जैसे हैं. इनमें क्लासिफ़ायर्स का एक सिस्टम होता है, जो मॉडल की रीज़निंग और एक्टिविटी को बिना मंज़ूरी वाले व्यवहार के लिए चेक करता है और ऐसी एक्टिविटी को अपने आप रोक देता है. मॉडल्स की क्षमताएँ बढ़ने के साथ ये सेफ़गार्ड्स अच्छे अलाइनमेंट की जगह नहीं ले सकते. हमारी कोशिश है कि आने वाले मॉडल्स इतने अच्छे से अलाइन्ड हों कि इन सेफ़गार्ड्स को कभी ट्रिगर होने की ज़रूरत न पड़े.

यूज़र्स के लिए इसका क्या मतलब होगा

OpenAI यह पक्का करना चाहता है कि AI के फ़ायदे ज़्यादा-से-ज़्यादा लोगों तक पहुँचें. Astra की साइबर सिक्योरिटी क्षमताओं में काफ़ी बढ़ोतरी को देखते हुए, हम इस डिप्लॉयमेंट को सुरक्षित रखने के लिए खास सावधानी बरत रहे हैं. कभी-कभी सेफ़्टी चेक्स सही काम को भी धीमा, रोक या बंद कर सकते हैं, इसमें डिफ़ेंसिव साइबर सिक्योरिटी का काम भी शामिल है.

सिस्टम कभी-कभी सही ऐक्टिविटी को साइबर के गलत इस्तेमाल या बिना मंज़ूरी वाले व्यवहार के तौर पर फ़्लैग कर सकता है. इससे वह काम गलती से धीमा, रोका या बंद किया जा सकता है. इसमें ऐसा काम भी शामिल हो सकता है जो सीधे तौर पर साइबर सिक्योरिटी से जुड़ा न दिखे, या ऐसे टास्क्स जिनमें कोई एजेंट लंबे समय तक काम करता रहे.

अगर मिसअलाइनमेंट मॉनिटर किसी टास्क को रोकता है, तो ChatGPT या Codex इस्तेमाल करने वाले यूज़र्स से आगे बढ़ने से पहले उस ऐक्टिविटी को देखने के लिए कहा जा सकता है. API जैसे दूसरे सरफ़ेस में टास्क रुक जाएगा. हम इन सेफ़गार्ड्स को लगातार कैलिब्रेट करने की योजना बना रहे हैं, ताकि बेवजह होने वाली रुकावटें कम हों और Daybreak जैसे प्रोग्राम्स के ज़रिए फ़्रंटियर क्षमताओं तक एक्सेस बढ़ाया जा सके.

आगे की दिशा

हम AI डेवलपमेंट के ऐसे दौर में पहुँच रहे हैं जहाँ मॉडल्स ज़्यादा ज़रूरी काम संभाल सकते हैं. ऐसे में अलाइनमेंट और कंट्रोल से जुड़ी गलतियों के असर भी ज़्यादा गंभीर हो सकते हैं. इन सिस्टम्स के फ़ायदों को हासिल करना इस बात पर निर्भर करेगा कि मॉडल्स की क्षमताएँ बढ़ने के साथ हम उन्हें कितना अच्छी तरह अलाइन और कंट्रोल कर पाते हैं.

यह ज़िम्मेदारी ट्रेनिंग, इवैल्यूएशन और डिप्लॉयमेंट, तीनों जगह लागू होती है. इसके लिए अलाइन्ड व्यवहार के बारे में ज़्यादा मज़बूत एविडेंस, मॉडल की क्षमताओं के साथ कदम मिलाकर चलने वाले सेफ़गार्ड्स और यह समझ ज़रूरी है कि जब ये सुरक्षा उपाय काफ़ी न हों, तब काम की रफ़्तार कम करनी होगी.

हम इन सिस्टम्स की टेस्टिंग जारी रखेंगे, जो सीखेंगे उसे शेयर करेंगे और जहाँ अभी चीज़ें साफ़ नहीं हैं, उन्हें साफ़ तौर पर बताएँगे. Astra के बाद आने वाले मॉडल्स हमसे और ज़्यादा काम की माँग करेंगे. इस ज़िम्मेदारी को पूरा करने के लिए जितना समय और मेहनत चाहिए, हम वह करेंगे.