पेश है gpt-oss-safeguard

आज हम gpt-oss-safeguard का रिसर्च प्रीव्यू रिलीज़ कर रहे हैं. ये सेफ़्टी क्लासिफ़िकेशन टास्क के लिए हमारे ओपन-वेट रीज़निंग मॉडल हैं और दो साइज़ में आते हैं: gpt-oss-safeguard-120b और gpt-oss-safeguard-20b. ये मॉडल हमारे gpt-oss⁠ ओपन मॉडल के फ़ाइन-ट्यून किए गए वर्ज़न हैं और इन्हीं की तरह Apache 2.0 लाइसेंस के तहत आते हैं. इसका मतलब है कि कोई भी इन्हें अपनी ज़रूरत के हिसाब से इस्तेमाल, बदल और डिप्लॉय कर सकता है. दोनों मॉडल आज Hugging Face⁠(एक नई विंडो में खुलेगा) से डाउनलोड किए जा सकते हैं.

gpt-oss-safeguard मॉडल इनफ़रेंस के समय डेवलपर की दी हुई पॉलिसी को सीधे समझने के लिए रीज़निंग का इस्तेमाल करते हैं—इसके आधार पर ये यूज़र मैसेज, कम्प्लीशन और पूरी चैट को डेवलपर की ज़रूरत के हिसाब से क्लासिफ़ाई करते हैं. कौन-सी पॉलिसी इस्तेमाल करनी है, यह डेवलपर तय करता है. इससे मॉडल का आउटपुट डेवलपर के युज़ केस के हिसाब से ज़्यादा सही होता है. मॉडल चेन-ऑफ़-थॉट का इस्तेमाल करता है, जिसे डेवलपर रिव्यू करके समझ सकता है कि मॉडल किस तरह अपने फ़ैसले तक पहुँच रहा है. इसके अलावा, पॉलिसी को मॉडल में ट्रेन करने के बजाय इनफ़रेंस के समय दिया जाता है. इसलिए डेवलपर्स परफ़ॉर्मेंस बेहतर करने के लिए पॉलिसीज़ में बार-बार बदलाव कर सकते हैं. यह तरीका हमने शुरुआत में अपने इंटरनल इस्तेमाल के लिए बनाया था. यह उस पारंपरिक तरीके से काफी ज़्यादा फ़्लेक्सिबल है, जिसमें बहुत सारे लेबल किए गए उदाहरणों से क्लासिफ़ायर को अलग-अलग तरह के कंटेंट के बीच सही फ़र्क करना सिखाया जाता है.

gpt-oss-safeguard डेवलपर्स को अपने काम के हिसाब से पॉलिसी की सही सीमाएँ तय करने की सुविधा देता है. मिसाल के लिए, किसी वीडियो गेमिंग डिस्कशन फ़ोरम को ऐसी पॉलिसी की ज़रूरत हो सकती है जो गेम में चीटिंग से जुड़ी पोस्ट को क्लासिफ़ाई करे. इसी तरह, कोई प्रोडक्ट रिव्यू साइट अपनी पॉलिसी के हिसाब से ऐसे रिव्यू को छाँट सकती है जो नकली लगते हों.

मॉडल एक साथ दो इनपुट लेता है—एक पॉलिसी और उस पॉलिसी के हिसाब से क्लासिफ़ाई किया जाने वाला कंटेंट—इसके बाद यह बताता है कि कंटेंट किस कैटेगरी में आता है और इसके साथ अपनी रीज़निंग भी देता है. इन नतीजों का अपने सेफ़्टी पाइपलाइन में इस्तेमाल करना है या नहीं, और अगर करना है तो कैसे करना है, यह डेवलपर्स तय करते हैं. हमने देखा है कि रीज़निंग पर आधारित यह तरीका खास तौर पर इन स्थितियों में अच्छा काम करता है:

• जब नया रिस्क सामने आ रहा हो या उसका रूप बदल रहा हो और पॉलिसीज़ को जल्दी अपडेट करना पड़े.
• जब डोमेन काफ़ी बारीक और मुश्किल हो और छोटे क्लासिफ़ायर के लिए उसे संभालना मुश्किल हो.
• जब डेवलपर्स के पास अपने प्लेटफ़ॉर्म के हर रिस्क के लिए अच्छी क्वालिटी का क्लासिफ़ायर ट्रेन करने के लिए सैंपल कम हों.
• जब लेटेंसी से ज़्यादा ज़रूरी अच्छी क्वालिटी वाले और आसानी से समझ आने वाले लेबल तैयार करने हों.

हम gpt-oss-safeguard का यह प्रीव्यू रिसर्च और सेफ़्टी कम्युनिटी से फ़ीडबैक लेने और मॉडल की परफ़ॉर्मेंस को आगे बेहतर करने के लिए रिलीज़ कर रहे हैं. कई महीनों तक हमने ROOST⁠(एक नई विंडो में खुलेगा) के साथ मिलकर इस ओपन-वेट रिलीज़ पर काम किया. इस दौरान हमने डेवलपर्स की ज़रूरी बातों को समझा, मॉडल को टेस्ट किया और डेवलपर डॉक्यूमेंटेशन तैयार किया. इस लॉन्च के साथ ROOST एक मॉडल कम्युनिटी⁠(एक नई विंडो में खुलेगा) भी शुरू कर रहा है, जो आज से शुरू हो रही है. इसका मकसद ऑनलाइन जगहों को सुरक्षित रखने के लिए ओपन AI मॉडल को एक्सप्लोर करना है. इस रिलीज़ के साथ हम एक छोटी टेक्निकल रिपोर्ट⁠ भी जारी कर रहे हैं, जिसमें इस प्रीव्यू मॉडल की सेफ़्टी परफ़ॉर्मेंस के बारे में बताया गया है.

सेफ़्टी के मामले में हम डिफ़ेंस-इन-डेप्थ⁠ में यकीन रखते हैं. हम अपने मॉडल्स को सुरक्षित तरीके से जवाब देने के लिए ट्रेन करते हैं. साथ ही, अपनी पॉलिसीज़ के तहत संभावित रूप से असुरक्षित इनपुट और आउटपुट को पहचानने और उस पर काम करने के लिए सुरक्षा की कई लेयर लगाते हैं. सेफ़्टी क्लासिफ़ायर किसी खास रिस्क वाले क्षेत्र में सुरक्षित और असुरक्षित कंटेंट के बीच फ़र्क करते हैं. ये लंबे समय से हमारे और दूसरे लार्ज लैंग्वेज मॉडल्स की सुरक्षा में अहम भूमिका निभाते रहे हैं.

Moderation API⁠(एक नई विंडो में खुलेगा) में मिलने वाले सेफ़्टी क्लासिफ़ायर जैसे मौजूदा क्लासिफ़ायर, पहले से तय सेफ़्टी पॉलिसीज़ के तहत सुरक्षित और असुरक्षित कंटेंट के हज़ारों उदाहरणों को मैन्युअली चुनकर तैयार किए जाते हैं. इसी ट्रेनिंग डेटा से क्लासिफ़ायर सुरक्षित और असुरक्षित आउटपुट के बीच फ़र्क करना सीखता है. इस तरीके में क्लासिफ़ायर सेफ़्टी पॉलिसी को सीधे नहीं देखता. इसके बजाय, यह उन उदाहरणों को देखकर यह समझने की कोशिश करता है कि कंटेंट को लेबल करने के लिए कौन-सी पॉलिसी इस्तेमाल की गई थी. इसके लिए यह असुरक्षित बताए गए कंटेंट में समानताएँ और सुरक्षित व असुरक्षित कंटेंट के बीच के फ़र्क देखता है.

मौजूदा क्लासिफ़ायर अच्छी परफ़ॉर्मेंस दे सकते हैं, उनकी लेटेंसी कम होती है और उन्हें चलाने का खर्च भी कम हो सकता है. लेकिन ट्रेनिंग के ज़रूरी उदाहरण जुटाने में समय और पैसा लग सकता है. पॉलिसी बदलने या अपडेट करने पर क्लासिफ़ायर को फिर से ट्रेन करना पड़ता है.

gpt-oss-safeguard इससे अलग है. इसकी रीज़निंग क्षमता डेवलपर्स को कोई भी पॉलिसी लागू करने देती है, चाहे वह खुद लिखी गई हो या किसी दूसरे सोर्स से ली गई हो. इसकी रीज़निंग क्षमता मॉडल्स को नई पॉलिसीज़ के हिसाब से भी काम करने में मदद करती है. सेफ़्टी पॉलिसीज़ के अलावा, gpt-oss-safeguard का इस्तेमाल किसी खास प्रोडक्ट या प्लेटफ़ॉर्म के लिए ज़रूरी दूसरे तरीकों से कंटेंट को लेबल करने के लिए भी किया जा सकता है.

अब हमारे मुख्य रीज़निंग मॉडल्स सेफ़्टी पॉलिसीज़ को सीधे सीखते हैं और अपनी रीज़निंग क्षमता का इस्तेमाल करके तय करते हैं कि क्या सुरक्षित है. इस तरीके को हम डेलिबरेटिव अलाइनमेंट⁠ कहते हैं. यह पहले इस्तेमाल होने वाली सेफ़्टी ट्रेनिंग के तरीकों से काफ़ी बेहतर है. इससे हमारे रीज़निंग मॉडल्स कई मामलों में पहले के बिना-रीज़निंग वाले मॉडल्स से ज़्यादा सुरक्षित हैं, जबकि उनकी क्षमताएँ भी बढ़ रही हैं. लेकिन रीज़निंग सिर्फ़ मॉडल्स को ट्रेन करने के लिए ही काम की नहीं है. इससे सुरक्षा के लिए कई स्तरों पर काम करने के नए तरीके भी मिलते हैं. रीज़निंग पर आधारित तरीके ज़्यादा फ़्लेक्सिबल होते हैं और उनकी पिछली ट्रेनिंग की सीमाएँ भी कम होती हैं. कई मामलों में इन फ़ायदों के लिए लगने वाला अतिरिक्त कंप्यूट और समय देना सही रहता है.

gpt-oss-safeguard हमारे इंटरनल तौर पर बनाए गए एक तरीके का ओपन-वेट वर्ज़न है. हम इस तरीके को 'सेफ़्टी रीज़नर' नाम के टूल में इस्तेमाल करते हैं. हमने शुरुआत पॉलिसी लेबलिंग टास्क पर रीइन्फ़ोर्समेंट फ़ाइन-ट्यूनिंग से की. इसमें मॉडल को ह्यूमन एक्सपर्ट्स के सही फ़ैसलों के मुताबिक काम करने पर बेहतर स्कोर दिया गया. इससे मॉडल ने यह समझना सीखा कि पॉलिसी के आधार पर किस तरह फ़ैसला लेना है. आज 'सेफ़्टी रीज़नर' हमें प्रोडक्शन में अपनी सेफ़्टी पॉलिसीज़ को क्लासिफ़ायर को दोबारा ट्रेन करने में लगने वाले समय से भी कम समय में अपडेट करने देता है. इस वजह से 'सेफ़्टी रीज़नर' हमारे लिए लगातार सुधार के साथ डिप्लॉयमेंट⁠ का एक अहम टूल बन गया है. जब हम नए मॉडल्स को प्रोडक्शन में लाते हैं, तो अक्सर शुरुआत ज़्यादा सख्त पॉलिसीज़ से करते हैं. ज़रूरत पड़ने पर हम काफ़ी कंप्यूट का इस्तेमाल करते हैं, ताकि 'सेफ़्टी रीज़नर' उन पॉलिसीज़ को ध्यान से लागू कर सके. इसके बाद, प्रोडक्शन में सामने आ रहे रिस्क के बारे में हमारी समझ बेहतर होने के साथ हम अपनी पॉलिसीज़ में बदलाव करते हैं. हमारे कुछ हाल के लॉन्च में सेफ़्टी रीजनिंग के लिए इस्तेमाल होने वाले कुल कंप्यूट का हिस्सा 16% तक रहा है.

'सेफ़्टी रीज़नर' अब हमारे सेफ़्टी स्टैक का एक अहम हिस्सा बन चुका है. इमेज जेनरेशन और Sora 2 में यह आउटपुट को हर स्टेप पर चेक करता है, ताकि असुरक्षित जेनरेशन को उसी समय पहचानकर रोका जा सके. बायोलॉजी और खुद को नुकसान पहुँचाने जैसे क्षेत्रों में हम Moderation API में इस्तेमाल होने वाले मॉडल्स जैसे छोटे, तेज़ और ज़्यादा से ज़्यादा कंटेंट पकड़ने वाले क्लासिफ़ायर इस्तेमाल करते हैं. ये पहले यह पता लगाते हैं कि कौन-सा कंटेंट हमारी दिलचस्पी वाले डोमेन से है. इसके बाद 'सेफ़्टी रीज़नर' उस कंटेंट को रिव्यू करता है. 'सेफ़्टी रीज़नर' मॉडल के आउटपुट को कई सारे कैटेगरी सिस्टम के आधार पर क्लासिफ़ाई करता है, ताकि तय किया जा सके कि उस पर सबसे सही तरीके से क्या कार्रवाई की जाए. यह GPT‑5 और ChatGPT Agent जैसे सिस्टम्स में सुरक्षा के कई स्तरों का एक हिस्सा है. अब gpt-oss-safeguard मॉडल्स यही तरीका हर किसी के लिए उपलब्ध कराते हैं.

हमने gpt-oss-safeguard मॉडल्स को इंटरनल और बाहरी, दोनों तरह के टेस्ट सेट पर परखा.

इंटरनल टेस्ट में हमने इनफ़रेंस के समय gpt-oss-safeguard को एक साथ कई पॉलिसीज़ दीं. हर टेस्ट इनपुट के लिए हमने देखा कि gpt-oss-safeguard सभी दी गई पॉलिसीज़ के हिसाब से टेक्स्ट को सही तरह से क्लासिफ़ाई करता है या नहीं. यह आसान काम नहीं है—मॉडल को तभी सही माना जाता है, जब वह सभी दी गई पॉलिसीज़ के लिए गोल्डन सेट में दिए गए लेबल से बिल्कुल सही मेल खाए.

हमारे gpt-oss-safeguard मॉडल्स और इंटरनल 'सेफ़्टी रीज़नर' ने कई पॉलिसीज़ के हिसाब से सही क्लासिफ़िकेशन में gpt-5-thinking और gpt-oss ओपन मॉडल्स से बेहतर परफ़ॉर्म किया. gpt-oss-safeguard मॉडल्स का gpt-5-thinking से बेहतर परफ़ॉर्मेंस खास तौर पर ध्यान देने लायक है, क्योंकि gpt-oss-safeguard मॉडल्स साइज़ में काफ़ी छोटे हैं.

हमने इन मॉडल्स को 2022 के रिसर्च पेपर⁠(एक नई विंडो में खुलेगा) के साथ रिलीज़ किए गए मॉडरेशन डेटासेट⁠(एक नई विंडो में खुलेगा) और ToxicChat⁠(एक नई विंडो में खुलेगा) पर भी परखा. ToxicChat एक पब्लिक बेंचमार्क है, जो एक ओपन-सोर्स चैटबॉट पर यूज़र्स के सवालों पर आधारित है.

2022 के मॉडरेशन टेस्ट सेट पर हमने अपनी इंटरनल सेफ़्टी पॉलिसीज़ का इस्तेमाल किया (इसमें बाद में हुए बदलावों के हिसाब से एक पॉलिसी को अपडेट किया गया था). gpt-oss-safeguard ने टेस्ट किए गए बाकी सभी मॉडल्स से थोड़ा बेहतर परफ़ॉर्म किया, जिसमें हमारा इंटरनल 'सेफ़्टी रीज़नर' और gpt-5-thinking भी शामिल हैं. हालाँकि, 'सेफ़्टी रीज़नर' और gpt-oss-safeguard के बीच यह अंतर आँकड़ों के लिहाज़ अहम नहीं है.

ToxicChat के लिए हमने अपनी कुछ इंटरनल पॉलिसीज़ के आधार पर तैयार किया गया एक छोटा, हाथ से लिखा प्रॉम्प्ट इस्तेमाल किया. हमारा इंटरनल 'सेफ़्टी रीज़नर' फिर से gpt-5-thinking से बेहतर रहा. वहीं gpt-5-thinking और 'सेफ़्टी रीज़नर', दोनों ने gpt-oss-safeguard-120b और gpt-oss-safeguard-20b से थोड़ा बेहतर परफ़ॉर्म किया. हमें लगता है कि बाकियों के मुकाबले gpt-oss-safeguard का छोटा साइज़, अभी भी इस तरह के काम के लिए इसे बेहतर ऑप्शन बनाता है.

gpt-oss-safeguard की दो खास सीमाएँ हैं. पहली, हमने देखा है कि कई हज़ार अच्छी क्वालिटी वाले लेबल किए गए सैंपल्स से ट्रेन किए गए क्लासिफ़ायर, पॉलिसी को सीधे समझकर काम करने वाले gpt-oss-safeguard से कुछ मामलों में कंटेंट को क्लासिफ़ाई करने में बेहतर परफ़ॉर्म कर सकते हैं. ज़्यादा पेचीदा रिस्क में बेहतर परफ़ॉर्मेंस चाहिए हो, तो एक अलग क्लासिफ़ायर को ट्रेन करने में समय देना बेहतर हो सकता है.

दूसरी, gpt-oss-safeguard में ज़्यादा समय और कंप्यूट लग सकता है. इसलिए पूरे प्लेटफ़ॉर्म के कंटेंट पर इसे बड़े पैमाने पर इस्तेमाल करना मुश्किल हो सकता है. हम इंटरनल तौर पर 'सेफ़्टी रीज़नर' के साथ इसे कुछ तरीकों से संभालते हैं: (1) पहले यह पता लगाने के लिए छोटे और तेज़ क्लासिफ़ायर इस्तेमाल करते हैं कि किस कंटेंट को देखना ज़रूरी है, और (2) कुछ मामलों में 'सेफ़्टी रीज़नर' को असिंक्रोनस तरीके से चलाते हैं. इससे यूज़र को जल्दी जवाब मिलता है और अगर असुरक्षित कंटेंट मिलता है, तो उसका उपाय करने की सुविधा भी बनी रहती है.

gpt-oss-safeguard OpenAI के पहले ओपन सेफ़्टी मॉडल्स हैं, जिन्हें कम्युनिटी के साथ मिलकर बनाया गया है. शुरुआती टेस्टिंग के दौरान हमने SafetyKit, ROOST, Tomoro, और Discord के ट्रस्ट और सेफ़्टी एक्सपर्ट्स के साथ मिलकर gpt-oss-safeguard में लगातार सुधार किए. ROOST के CTO विनय राव कहते हैं, "gpt-oss-safeguard पहला ओपन-सोर्स रीज़निंग मॉडल है, जिसे इस तरह बनाया गया है कि आप अपनी पॉलिसीज़ और यह तय कर सकें कि किस तरह के नुकसान को पहचानना है. ऑर्गनाइज़ेशंस को अहम सेफ़्टी टेक्नोलॉजी को खुले तौर पर समझने, बदलने और इस्तेमाल करने की आज़ादी मिलनी चाहिए, ताकि वे इसमें नए तरीके आज़मा सकें. हमारी टेस्टिंग में मॉडल ने अलग-अलग पॉलिसीज़ को समझने, अपनी रीज़निंग समझाने और पॉलिसीज़ लागू करते समय बारीक फ़र्क को समझने में अच्छा काम किया. हमारा मानना है कि इससे बिल्डर्स और सेफ़्टी टीम्स को फ़ायदा होगा."

हम कम्युनिटी के साथ मिलकर ओपन सेफ़्टी टूल्स में सुधार करते रहेंगे. इसमें ROOST मॉडल कम्युनिटी (RMC) के साथ काम करना भी शामिल है. RMC में सेफ़्टी पर काम करने वाले लोग और रिसर्चर्स साथ आते हैं. वे ओपन-सोर्स AI मॉडल्स को सेफ़्टी वर्कफ़्लो में इस्तेमाल करने के सबसे अच्छे तरीकों पर अपने अनुभव शेयर करते हैं, जिसमें टेस्ट के नतीजे और मॉडल से मिला फ़ीडबैक भी शामिल है. इस पार्टनरशिप और इसमें शामिल होने के तरीके के बारे में ज़्यादा जानने के लिए RMC GitHub रेपो⁠(एक नई विंडो में खुलेगा) देखें.

इन मॉडल्स के साथ काम शुरू करने के लिए इन्हें Hugging Face⁠(एक नई विंडो में खुलेगा) से डाउनलोड करें.