पेश है OpenAI सेफ़्टी बग बाउंटी प्रोग्राम
OpenAI में सेफ़्टी और दुरुपयोग से जुड़े मुद्दों की टेस्टिंग
आज OpenAI एक सार्वजनिक सेफ़्टी बग बाउंटी(एक नई विंडो में खुलेगा) प्रोग्राम लॉन्च कर रहा है, जो हमारे प्रॉडक्ट्स में AI के दुरुपयोग और सेफ़्टी जोखिमों की पहचान पर केंद्रित है. जैसे-जैसे AI टेक्नोलॉजी तेजी से विकसित हो रही है, वैसे-वैसे इसके दुरुपयोग के संभावित तरीके भी बढ़ रहे हैं. हमारा लक्ष्य यह सुनिश्चित करना है कि हमारे सिस्टम्स ऐसे दुरुपयोग से सुरक्षित रहें जो वास्तविक नुकसान का कारण बन सकता है.
यह नया प्रोग्राम OpenAI के सिक्योरिटी बग बाउंटी(एक नई विंडो में खुलेगा) को पूरक करेगा और ऐसे मुद्दों को स्वीकार करेगा जो महत्वपूर्ण दुरुपयोग और सुरक्षा जोखिम पैदा करते हैं, भले ही वे सिक्योरिटी वल्नरेबिलिटी के मानदंडों को पूरा न करते हों. इस प्रोग्राम के माध्यम से, हम सेफ़्टी और सिक्योरिटी रिसर्चर्स के साथ अपनी साझेदारी जारी रखने की उम्मीद करते हैं, ताकि हम ऐसे मुद्दों की पहचान और समाधान कर सकें जो पारंपरिक सिक्योरिटी वल्नरेबिलिटीज़ के दायरे से बाहर हैं लेकिन फिर भी वास्तविक जोखिम पैदा करते हैं. सबमिशन्स को OpenAI की सेफ़्टी और सिक्योरिटी बग बाउंटी टीम्स द्वारा प्राथमिक समीक्षा (ट्रायेज) की जाएगी, और स्कोप और ओनरशिप के आधार पर उन्हें दोनों प्रोग्राम्स के बीच पुनः रूट किया जा सकता है.
नया सेफ़्टी बग बाउंटी(एक नई विंडो में खुलेगा) प्रोग्राम नीचे सूचीबद्ध AI-विशिष्ट सेफ़्टी परिदृश्यों पर केंद्रित है:
एजेंटिक रिस्क्स, जिनमें MCP शामिल है
- थर्ड पार्टी प्रॉम्प्ट इंजेक्शन और डेटा एक्सफिल्ट्रेशन: जब हमलावर का टेक्स्ट किसी यूज़र के एजेंट (जिसमें Browser, ChatGPT Agent और इसी तरह के एजेंटिक प्रॉडक्ट्स शामिल हैं) को विश्वसनीय तरीके से हाईजैक कर लेता है और उसे हानिकारक कार्रवाई करने या यूज़र की संवेदनशील जानकारी लीक करने के लिए ट्रिक करता है. यह व्यवहार कम से कम 50% समय में दोहराया जा सकने योग्य होना चाहिए.
- कोई एजेंटिक OpenAI प्रॉडक्ट बड़े पैमाने पर OpenAI की वेबसाइट पर प्रतिबंधित कार्य करता है.
- कोई एजेंटिक OpenAI प्रॉडक्ट ऊपर सूचीबद्ध न की गई कोई संभावित रूप से हानिकारक कार्य करता है. यहाँ मान्य रिपोर्ट्स में संभावित और वास्तविक रूप से महत्वपूर्ण नुकसान का संकेत होना चाहिए.
- MCP जोखिम से जुड़ी किसी भी टेस्टिंग को किसी भी थर्ड पार्टी की टर्म्स ऑफ सर्विस का पालन करना चाहिए.
OpenAI प्रोप्राइटरी जानकारी
- रीज़निंग से संबंधित प्रोप्राइटरी जानकारी लौटाने वाले मॉडल जनरेशन.
- ऐसी वल्नरेबिलिटीज़ जो OpenAI की दूसरी प्रोप्राइटरी जानकारी को उजागर करती हैं.
अकाउंट और प्लेटफ़ॉर्म इंटीग्रिटी
- अकाउंट इंटीग्रिटी और प्लेटफ़ॉर्म इंटीग्रिटी सिग्नल्स में वल्नरेबिलिटीज़, जैसे एंटी-ऑटोमेशन कंट्रोल्स को बायपास करना, अकाउंट ट्रस्ट सिग्नल्स में हेरफेर करना, अकाउंट प्रतिबंध/सस्पेंशन/बैन से बच निकलना और इसी तरह के अन्य मुद्दे.
- ऐसे मुद्दे जो यूज़र्स को अधिकृत अनुमतियों से परे फीचर्स, डेटा या फंक्शनैलिटीज़ तक पहुँचने की अनुमति देते हैं, उन्हें सिक्योरिटी बग बाउंटी(एक नई विंडो में खुलेगा) में रिपोर्ट किया जाना चाहिए.
हालांकि जेलब्रेक्स इस प्रोग्राम के दायरे में नहीं आते, हम समय-समय पर कुछ विशेष प्रकार के नुकसान पर केंद्रित प्राइवेट बग बाउंटी कैंपेन चलाते हैं, जैसे ChatGPT Agent और GPT‑5 में बायोरिस्क कंटेंट से जुड़े मुद्दे. हम इच्छुक रिसर्चर्स को इन प्रोग्राम्स के शुरू होने पर आवेदन करने के लिए आमंत्रित करते हैं.
ऊपर सूचीबद्ध श्रेणियों के अलावा, यदि रिसर्चर्स ऐसी कमियाँ पहचानते हैं जो यूज़र को सीधे नुकसान पहुँचाने के रास्ते बनाती हैं और जिनके लिए स्पष्ट, क्रियान्वित करने योग्य समाधान कदम मौजूद हैं, तो इन्हें मामले-दर-मामले के आधार पर रिवॉर्ड्स के दायरे में माना जा सकता है. सामान्य कंटेंट-पॉलिसी बायपास, जिनका स्पष्ट सेफ़्टी या दुरुपयोग पर प्रभाव नहीं दिखता, इस प्रोग्राम के दायरे से बाहर हैं. उदाहरण के लिए, “जेलब्रेक्स” जिनके कारण मॉडल अभद्र भाषा का उपयोग करता है या ऐसी जानकारी देता है जो सर्च इंजनों पर आसानी से मिल सकती है, वे इस दायरे से बाहर हैं.
भाग लेने में रुचि रखने वाले रिसर्चर्स हमारे सेफ़्टी बग बाउंटी(एक नई विंडो में खुलेगा) प्रोग्राम के माध्यम से आवेदन कर सकते हैं. हम एक सुरक्षित AI इकोसिस्टम के निर्माण के लिए रिसर्चर्स, एथिकल हैकर्स और सेफ़्टी व सिक्योरिटी कम्युनिटी के साथ मिलकर काम करने के लिए उत्सुक हैं.
