OpenAI रेड टीमिंग नेटवर्क

हम OpenAI रेड टीमिंग नेटवर्क के लिए खुला आमंत्रण दे रहे हैं. OpenAI के मॉडलों को और सुरक्षित बनाने में रुचि रखने वाले विषय विशेषज्ञों को हम अपने प्रयासों से जुड़ने के लिए आमंत्रित करते हैं. हम विभिन्न क्षेत्रों के ऐसे विशेषज्ञों की तलाश में हैं जो हमारे एआई मॉडलों का गहन मूल्यांकन और रेड टीमिंग करने में हमारे साथ सहयोग करें.

रेड टीमिंग^A हमारी लगातार सुधार के साथ तैनाती की प्रक्रिया⁠ का अभिन्न हिस्सा है. पिछले कुछ वर्षों में हमारे रेड टीमिंग प्रयासों का दायरा बढ़ा है. पहले हमारा ध्यान OpenAI के भीतर प्रतिकूल परिस्थितियों में परीक्षण पर था. अब हम बाहरी विशेषज्ञों के एक समूह^B के साथ भी काम करते हैं, ताकि विषय-विशेष के जोखिमों का वर्गीकरण तैयार करने और नई प्रणालियों की संभावित हानिकारक क्षमताओं का मूल्यांकन करने में मदद मिल सके. आप DALL·E 2⁠(एक नई विंडो में खुलेगा) और GPT‑4⁠(एक नई विंडो में खुलेगा) जैसे मॉडलों पर हमारे पिछले रेड टीमिंग प्रयासों के बारे में और पढ़ सकते हैं, जिनमें बाहरी विशेषज्ञों के साथ किया गया हमारा काम भी शामिल है.^C

आज हम इस बुनियाद पर आगे बढ़ने के लिए एक अधिक औपचारिक पहल शुरू कर रहे हैं. इसका उद्देश्य बाहरी विशेषज्ञों के साथ अपने सहयोग को और गहरा तथा व्यापक बनाना है, ताकि हमारे मॉडल अधिक सुरक्षित हों. स्वतंत्र विशेषज्ञों, शोध संस्थानों और नागरिक समाज संगठनों के साथ काम करना हमारी प्रक्रिया का एक महत्वपूर्ण हिस्सा है. हम इस काम को बाहरी तौर पर निर्धारित निगरानी और जवाबदेही की व्यवस्थाओं का पूरक मानते हैं, जैसे स्वतंत्र तीसरे पक्ष द्वारा की जाने वाली जाँच.

OpenAI रेड टीमिंग नेटवर्क विश्वसनीय और अनुभवी विशेषज्ञों का एक समुदाय है. यह प्रमुख मॉडलों की तैनाती से पहले होने वाले एकबारगी सहयोग और चयन प्रक्रियाओं तक सीमित न रहकर, जोखिमों का आकलन करने और उन्हें कम करने के हमारे प्रयासों को अधिक व्यापक रूप से दिशा देने में मदद कर सकता है. मॉडल और उत्पाद के विकास के विभिन्न चरणों में रेड टीमिंग में मदद के लिए नेटवर्क के सदस्यों से उनकी विशेषज्ञता के आधार पर संपर्क किया जाएगा. हर सदस्य प्रत्येक नए मॉडल या उत्पाद में शामिल नहीं होगा. हर सदस्य कितना समय देगा, यह उसके साथ मिलकर तय किया जाएगा. यह साल भर में केवल 5–10 घंटे भी हो सकता है.

OpenAI की ओर से आयोजित रेड टीमिंग अभियानों के अलावा, सदस्यों को रेड टीमिंग की सामान्य विधियों और निष्कर्षों पर एक-दूसरे से चर्चा करने का अवसर मिलेगा. उद्देश्य है अधिक विविध और निरंतर सुझाव प्राप्त करना, और रेड टीमिंग को ऐसी प्रक्रिया बनाना जिसमें हर दौर के निष्कर्षों के आधार पर आगे सुधार होते रहें. यह नेटवर्क एआई सुरक्षा में सहयोग के अन्य अवसरों का पूरक है, जिनमें हमारा शोधकर्ता पहुँच कार्यक्रम⁠ और मुक्त-स्रोत मूल्यांकन⁠(एक नई विंडो में खुलेगा) शामिल हैं.

यह नेटवर्क अधिक सुरक्षित एआई तकनीकों और नीतियों के विकास को दिशा देने का अनूठा अवसर देता है. साथ ही, आप इस बात को भी आकार दे सकते हैं कि एआई हमारे रहने, काम करने और एक-दूसरे से संवाद करने के तरीकों पर कैसा प्रभाव डाले. इस नेटवर्क से जुड़कर आप हमारे विषय विशेषज्ञों के समूह का हिस्सा बनेंगे. हमारे मॉडलों और प्रणालियों की तैनाती के विभिन्न चरणों में उनका आकलन करने के लिए इन विशेषज्ञों की मदद ली जा सकती है.

एआई प्रणालियों का आकलन करने के लिए कई अलग-अलग विषयों, विविध दृष्टिकोणों और जीवन के प्रत्यक्ष अनुभवों की समझ ज़रूरी है. हम दुनिया भर के विशेषज्ञों से आवेदन आमंत्रित करते हैं और चयन प्रक्रिया में भौगोलिक विविधता के साथ-साथ विषयगत विविधता को भी प्राथमिकता दे रहे हैं. 

हमारी रुचि के कुछ क्षेत्र नीचे दिए गए हैं, लेकिन हम इन्हीं तक सीमित नहीं हैं:

एआई प्रणालियों या भाषा मॉडलों के साथ काम करने का पूर्व अनुभव ज़रूरी नहीं है, लेकिन यह मददगार हो सकता है. हमारे लिए सबसे अहम है कि आप एआई प्रणालियों के प्रभावों का आकलन करने में भाग लेने और अपना नज़रिया साझा करने के इच्छुक हों.

OpenAI रेड टीमिंग नेटवर्क के सभी सदस्यों को रेड टीमिंग परियोजना में भाग लेने पर उनके योगदान के लिए पारिश्रमिक दिया जाएगा. इस नेटवर्क की सदस्यता आपको अपना शोध प्रकाशित करने या अन्य अवसरों का लाभ उठाने से नहीं रोकेगी. फिर भी, ध्यान रखें कि रेड टीमिंग और अन्य परियोजनाओं में भागीदारी पर अक्सर गोपनीयता समझौते लागू होते हैं या उन्हें अनिश्चित काल तक गोपनीय रखा जाता है.

आवेदन अब बंद हैं.

प्रश्न: नेटवर्क से जुड़ने पर मुझे क्या करना होगा?

उत्तर: नेटवर्क का हिस्सा होने पर किसी नए मॉडल के परीक्षण या पहले से तैनात मॉडल में किसी खास क्षेत्र के परीक्षण के अवसरों के लिए आपसे संपर्क किया जा सकता है. नेटवर्क के तहत किए जाने वाले काम पर गोपनीयता समझौता लागू होता है. हालाँकि, हम पहले अपनी रेड टीमिंग के कई निष्कर्ष सिस्टम कार्ड और ब्लॉग लेखों में प्रकाशित कर चुके हैं. रेड टीमिंग परियोजनाओं पर दिए गए समय के लिए आपको पारिश्रमिक मिलेगा.

प्रश्न: नेटवर्क का हिस्सा बनने के लिए कितना समय देना होगा? 

उत्तर: आप कितना समय देंगे, इसे आपकी उपलब्धता के अनुसार तय और समायोजित किया जा सकता है. ध्यान रखें कि हर अवसर के लिए नेटवर्क के सभी सदस्यों से संपर्क नहीं किया जाएगा. OpenAI किसी खास रेड टीमिंग परियोजना के लिए उपयुक्त सदस्यों का चयन करेगा और बाद के रेड टीमिंग अभियानों में नए दृष्टिकोणों पर ज़ोर देगा. साल भर में सिर्फ़ 5 घंटे देना भी हमारे लिए मूल्यवान होगा. इसलिए, अगर आपकी रुचि है लेकिन समय सीमित है, तो भी आवेदन करने में संकोच न करें.

प्रश्न: आवेदकों को उनके चयन की सूचना कब दी जाएगी?

उत्तर: OpenAI आवेदन आने के साथ-साथ नेटवर्क के सदस्यों का चयन करता रहेगा. आप 1 दिसंबर, 2023 तक आवेदन कर सकते हैं. यह आवेदन अवधि समाप्त होने के बाद हम भविष्य में दोबारा आवेदन खोलने पर विचार करेंगे.

प्रश्न: क्या नेटवर्क का हिस्सा बनने पर मुझसे हर नए मॉडल की रेड टीमिंग करने को कहा जाएगा?

उत्तर: नहीं. OpenAI किसी खास रेड टीमिंग परियोजना के लिए उपयुक्त सदस्यों का चयन करेगा. आपको हर नए मॉडल का परीक्षण करने का अवसर मिलने की अपेक्षा नहीं रखनी चाहिए.

प्रश्न: नेटवर्क के सदस्यों का चयन करते समय आप किन मानदंडों पर ध्यान देते हैं?

उत्तर: हम जिन मानदंडों पर ध्यान देते हैं, उनमें से कुछ हैं:

• रेड टीमिंग से संबंधित किसी खास क्षेत्र में प्रमाणित विशेषज्ञता या अनुभव

• एआई को अधिक सुरक्षित बनाने के प्रति उत्साह

• हितों का कोई टकराव न होना

• विविध पृष्ठभूमियों और परंपरागत रूप से कम प्रतिनिधित्व वाले समूहों से होना

• विभिन्न भौगोलिक क्षेत्रों का प्रतिनिधित्व 

• एक से अधिक भाषाओं में धाराप्रवाह संवाद की क्षमता

• तकनीकी क्षमता (अनिवार्य नहीं)

प्रश्न: सुरक्षा के क्षेत्र में सहयोग करने के अन्य अवसर क्या हैं?

उत्तर: नेटवर्क से जुड़ने के अलावा भी एआई सुरक्षा में योगदान देने के लिए सहयोग के अन्य अवसर हैं. उदाहरण के लिए, एक विकल्प है एआई प्रणालियों के लिए सुरक्षा मूल्यांकन तैयार करना या उन्हें चलाना और उनके नतीजों का विश्लेषण करना.

OpenAI की मुक्त-स्रोत Evals⁠(एक नई विंडो में खुलेगा) रिपॉज़िटरी (GPT‑4 की शुरुआत⁠ के साथ जारी) इस प्रक्रिया को शुरू करने के लिए उपयोग में आसान प्रारूप और विधियों के उदाहरण देती है.

मूल्यांकन में सरल प्रश्नोत्तर परीक्षणों से लेकर अधिक जटिल अनुकरण तक शामिल हो सकते हैं. ठोस उदाहरण के तौर पर, यहाँ OpenAI के विकसित किए हुए कुछ मूल्यांकन दिए गए हैं, जो एआई के व्यवहार को कई नज़रियों से परखते हैं:

राज़ी करने की क्षमता

• MakeMeSay⁠(एक नई विंडो में खुलेगा): कोई एआई प्रणाली दूसरी एआई प्रणाली को धोखे से कोई गुप्त शब्द कहने के लिए कितनी कुशलता से उकसा सकती है?

• MakeMePay⁠(एक नई विंडो में खुलेगा): कोई एआई प्रणाली दूसरी एआई प्रणाली को धन दान करने के लिए कितनी कुशलता से राज़ी कर सकती है?

• मतदान प्रस्ताव⁠(एक नई विंडो में खुलेगा): कोई एआई प्रणाली किसी राजनीतिक प्रस्ताव के प्रति दूसरी एआई प्रणाली के समर्थन को कितनी कुशलता से प्रभावित कर सकती है?

संदेश छिपाने की तकनीक (गुप्त संदेश भेजना)

• संदेश छिपाने की तकनीक⁠(एक नई विंडो में खुलेगा): कोई एआई प्रणाली दूसरी एआई प्रणाली की पकड़ में आए बिना कितनी कुशलता से गुप्त संदेश भेज सकती है?

• पाठ संपीड़न⁠(एक नई विंडो में खुलेगा): गुप्त संदेश छिपाने के लिए कोई एआई प्रणाली संदेशों को कितनी कुशलता से संपीड़ित करके फिर से मूल रूप में ला सकती है?

• शेलिंग बिंदु⁠(एक नई विंडो में खुलेगा): कोई एआई प्रणाली सीधे संवाद किए बिना दूसरी एआई प्रणाली के साथ कितनी कुशलता से तालमेल बिठा सकती है?

हम एआई प्रणालियों के मूल्यांकन में रचनात्मकता और नए प्रयोगों को प्रोत्साहित करते हैं. मूल्यांकन तैयार हो जाने पर, हम आपको उसे मुक्त-स्रोत Evals⁠(एक नई विंडो में खुलेगा) रिपॉज़िटरी में योगदान के रूप में जोड़ने के लिए आमंत्रित करते हैं, ताकि व्यापक एआई समुदाय उसका उपयोग कर सके.

आप हमारे शोधकर्ता पहुँच कार्यक्रम⁠ के लिए भी आवेदन कर सकते हैं. यह उन शोधकर्ताओं को क्रेडिट्स देता है जो हमारे उत्पादों का उपयोग करके एआई की ज़िम्मेदार तैनाती और उससे जुड़े जोखिमों को कम करने से संबंधित क्षेत्रों का अध्ययन करते हैं.