gpt-oss-safeguard રજૂ કરી રહ્યા છીએ

આજે, અમે gpt-oss-safeguard નું રિસર્ચ પ્રિવ્યૂ રજૂ કરી રહ્યા છીએ. આ સલામતી વર્ગીકરણ કાર્યો માટેના અમારા open-weight રિઝનિંગ મોડલ્સ છે, જે બે કદમાં ઉપલબ્ધ છે: gpt-oss-safeguard-120b અને gpt-oss-safeguard-20b. આ મોડલ્સ અમારા gpt-oss⁠ ઓપન મોડલ્સના ફાઇન-ટ્યુન કરાયેલા સંસ્કરણો છે અને એ જ permissive Apache 2.0 લાઇસન્સ હેઠળ ઉપલબ્ધ છે, જેથી કોઈપણ વ્યક્તિ તેને મુક્તપણે ઉપયોગ, ફેરફાર અને ડિપ્લોય કરી શકે. બંને મોડલ્સ આજે જ Hugging Face⁠(નવી વિન્ડોમાં ખૂલે છે) પરથી ડાઉનલોડ કરી શકાય છે.

gpt-oss-safeguard મોડલ્સ ઇનફરન્સ સમયે ડેવલપર દ્વારા આપવામાં આવેલી નીતિને સીધી રીતે સમજવા માટે રિઝનિંગનો ઉપયોગ કરે છે, એટલે કે ડેવલપરની જરૂરિયાત મુજબ વપરાશકર્તા સંદેશાઓ, completions અને સંપૂર્ણ chats નું વર્ગીકરણ કરે છે. કઈ નીતિ વાપરવી તે હંમેશા ડેવલપર નક્કી કરે છે, તેથી પ્રતિસાદ વધુ સંબંધિત અને ડેવલપરના ઉપયોગકેસ મુજબ ઢાળેલા હોય છે. મોડલ ચેન-ઓફ-થોટ નો ઉપયોગ કરે છે, જેને ડેવલપર સમીક્ષા કરી શકે છે જેથી મોડલ તેના નિર્ણયો સુધી કેવી રીતે પહોંચે છે તે સમજી શકાય. વધુમાં, નીતિ મોડલમાં ટ્રેન કરવામાં આવતી નથી પરંતુ ઇનફરન્સ દરમિયાન આપવામાં આવે છે, તેથી કાર્યક્ષમતા વધારવા માટે ડેવલપર્સ માટે નીતિઓને વારંવાર સુધારવી સરળ બને છે. આ અભિગમ, જે અમે શરૂઆતમાં આંતરિક ઉપયોગ માટે વિકસાવ્યો હતો, મોટી સંખ્યામાં લેબલ કરાયેલા ઉદાહરણોમાંથી નિર્ણય સીમા આડકતરી રીતે અનુમાન કરાવવા માટે ક્લાસિફાયર ટ્રેન કરવાની પરંપરાગત પદ્ધતિ કરતાં ઘણી વધુ લવચીક છે.

gpt-oss-safeguard ડેવલપર્સને તેમના ઉપયોગકેસને સર્વોત્તમ રીતે સુસંગત એવી નીતિ રેખાઓ નક્કી કરવાની સગવડ આપે છે. ઉદાહરણ તરીકે, વિડિયો ગેમિંગ ચર્ચા ફોરમ ગેમમાં cheating વિશે ચર્ચા કરતી પોસ્ટ્સને વર્ગીકૃત કરવા માટે નીતિ વિકસાવવા માગી શકે, અથવા પ્રોડક્ટ reviews સાઇટ નકલી લાગે તેવી reviews ને સ્ક્રીન કરવા માટે પોતાની નીતિ વાપરવા માગી શકે.

મોડલ એક સાથે બે ઇનપુટ લે છે, એક નીતિ અને તે નીતિ હેઠળ વર્ગીકૃત કરવાનું કન્ટેન્ટ, અને કન્ટેન્ટ ક્યાં આવે છે તે અંગે નિષ્કર્ષ આપે છે, સાથે તેની રિઝનિંગ પણ આપે છે. ડેવલપર્સ નક્કી કરે છે કે આ નિષ્કર્ષોને તેમના પોતાના સેફ્ટી પાઇપલાઇનમાં કેવી રીતે અથવા ક્યારે વાપરવા. અમે જોયું છે કે આ રિઝનિંગ-આધારિત અભિગમ ખાસ કરીને એવી પરિસ્થિતિઓમાં ખૂબ સારું પ્રદર્શન કરે છે જ્યાં:

• સંભવિત હાનિ નવી ઊભી થતી હોય અથવા બદલાતી હોય, અને નીતિઓને ઝડપથી અનુરૂપ થવાની જરૂર હોય.
• ડોમેન અત્યંત સૂક્ષ્મ હોય અને નાના ક્લાસિફાયર્સ માટે હેન્ડલ કરવું મુશ્કેલ હોય.
• ડેવલપર્સ પાસે તેમના પ્લેટફોર્મ પરના દરેક જોખમ માટે ઉચ્ચ-ગુણવત્તાવાળો ક્લાસિફાયર ટ્રેન કરવા પૂરતા samples ન હોય.
• ઉચ્ચ-ગુણવત્તાવાળા, સમજાવી શકાય એવા labels ઉત્પન્ન કરવા કરતાં latency ઓછી મહત્વની હોય.

અમે gpt-oss-safeguard નું આ પ્રિવ્યૂ રિસર્ચ અને સેફ્ટી સમુદાય પાસેથી પ્રતિસાદ મેળવવા અને મોડલના પ્રદર્શન પર આગળ સુધારા કરવા માટે રજૂ કરી રહ્યા છીએ. ઘણા મહિના સુધી અમે ROOST⁠(નવી વિન્ડોમાં ખૂલે છે) સાથે મળીને આ open weight રિલીઝ પર કામ કર્યું, જેથી ડેવલપરની મહત્વપૂર્ણ જરૂરિયાતો ઓળખી શકાય, મોડલનું પરીક્ષણ કરી શકાય અને ડેવલપર દસ્તાવેજીકરણ તૈયાર કરી શકાય. આ લોન્ચના ભાગરૂપે ROOST આજે શરૂ થતી model community⁠(નવી વિન્ડોમાં ખૂલે છે) સ્થાપિત કરશે, જે ઓનલાઇન જગ્યા સુરક્ષિત રાખવા માટે ઓપન AI મોડલ્સનું અન્વેષણ કરશે. આ રિલીઝ સાથે સાથે અમે એક સંક્ષિપ્ત technical report⁠ પણ પ્રકાશિત કરી રહ્યા છીએ, જેમાં આ પ્રિવ્યૂ મોડલની સલામતી કામગીરીની વિગત આપવામાં આવી છે.

સલામતીની બાબતમાં, અમે defense in depth⁠ માં વિશ્વાસ રાખીએ છીએ. અમે અમારા મોડલ્સને સલામત રીતે પ્રતિસાદ આપવા ટ્રેન કરીએ છીએ અને અમારી નીતિઓ હેઠળ સંભવિત અસલામત ઇનપુટ્સ અને આઉટપુટ્સ શોધવા અને હલ કરવા માટે સુરક્ષાના વધારાના સ્તરો લાગુ કરીએ છીએ. ચોક્કસ જોખમ ક્ષેત્રમાં સલામત અને અસલામત કન્ટેન્ટ વચ્ચે ભેદ કરતી સેફ્ટી ક્લાસિફાયર્સ, લાંબા સમયથી અમારા અને અન્ય મોટા ભાષા મોડલ્સ માટે રક્ષણનું મુખ્ય સ્તર રહી છે.

પરંપરાગત સેફ્ટી ક્લાસિફાયર્સ, જેમ કે અમારા Moderation API⁠(નવી વિન્ડોમાં ખૂલે છે) દ્વારા ઉપલબ્ધ છે, પૂર્વ-નિર્ધારિત સેફ્ટી નીતિઓ હેઠળ સલામત અને અસલામત કન્ટેન્ટના હજારો ઉદાહરણોને હસ્તચાલિત રીતે પસંદ કરીને વિકસાવવામાં આવે છે. આ ટ્રેનિંગ ડેટામાંથી ક્લાસિફાયર સલામત અને અસલામત આઉટપુટ્સ વચ્ચેનો ભેદ શીખે છે. આ પરંપરાગત અભિગમમાં ક્લાસિફાયર વાસ્તવમાં સેફ્ટી નીતિ ક્યારેય જોતો નથી. તેના બદલે, તે અસલામત તરીકે લેબલ કરાયેલા કન્ટેન્ટમાં સમાનતાઓ અને સલામત તથા અસલામત કન્ટેન્ટ વચ્ચેના તફાવતો શોધીને ઉદાહરણોને લેબલ કરવા માટે વપરાયેલી મૂળભૂત નીતિનું અનુમાન કરવાનો પ્રયાસ કરે છે.

પરંપરાગત ક્લાસિફાયર્સ ઓછું latency અને ઓછી ઓપરેટિંગ કિંમત સાથે ઊંચું પ્રદર્શન આપી શકે છે. પરંતુ પૂરતી માત્રામાં ટ્રેનિંગ ઉદાહરણો એકત્ર કરવાં સમયખાઉ અને ખર્ચાળ હોઈ શકે છે, અને નીતિને અપડેટ કે બદલવા માટે ક્લાસિફાયરને ફરી ટ્રેન કરવું પડે છે.

gpt-oss-safeguard અલગ છે કારણ કે તેની રિઝનિંગ ક્ષમતાઓ ડેવલપર્સને કોઈપણ નીતિ લાગુ કરવાની મંજૂરી આપે છે, જેમાં તેઓ પોતે લખેલી અથવા અન્ય સ્ત્રોતોમાંથી લીધેલી નીતિઓ પણ સામેલ છે, અને રિઝનિંગ મોડલ્સને નવી લખાયેલી નીતિઓ પર સામાન્યકરણ કરવામાં મદદ કરે છે. સેફ્ટી નીતિઓથી આગળ, gpt-oss-safeguard નો ઉપયોગ ચોક્કસ પ્રોડક્ટ્સ અને પ્લેટફોર્મ્સ માટે મહત્વના અન્ય રીતે પણ કન્ટેન્ટને લેબલ કરવા માટે કરી શકાય છે.

અમારા મુખ્ય રિઝનિંગ મોડલ્સ હવે અમારી સેફ્ટી નીતિઓને સીધી શીખે છે અને શું સલામત છે તે અંગે વિચાર કરવા માટે તેમની રિઝનિંગ ક્ષમતાઓનો ઉપયોગ કરે છે. આ અભિગમ, જેને અમે વિચાર-વિમર્શ આધારિત અલાઇનમેન્ટ⁠ કહીએ છીએ, પહેલાની સેફ્ટી ટ્રેનિંગ પદ્ધતિઓ કરતાં નોંધપાત્ર રીતે સુધારો કરે છે અને અમારી રિઝનિંગ મોડલ્સને તેમની non-reasoning પૂર્વવર્તીઓ કરતાં અનેક માપદંડો પર વધુ સલામત બનાવે છે, ભલે તેમની ક્ષમતાઓ વધે. પરંતુ રિઝનિંગ માત્ર મોડલ્સને ટ્રેન કરવા માટે જ ઉપયોગી નથી. તે defense in depth માટે નવી શક્યતાઓ પણ ઊભી કરે છે. રિઝનિંગ-આધારિત અભિગમો વધુ લવચીક હોય છે અને તેમના અગાઉના ટ્રેનિંગની વિગતો દ્વારા ઓછા મર્યાદિત હોય છે, જે લાભો ક્યારેક વધારાની compute cost અને latency ને પણ યોગ્ય ઠરાવે છે.

gpt-oss-safeguard એ આંતરિક રીતે વિકસાવેલા અમારા અભિગમનું open-weight અમલીકરણ છે, એક એવા સાધનમાં જેને અમે Safety Reasoner કહીએ છીએ. અમે નીતિ લેબલિંગ કાર્યો પર રીઇન્ફોર્સમેન્ટ ફાઇન-ટ્યુનિંગ થી શરૂઆત કરી, જેમાં માનવી નિષ્ણાતોના યોગ્ય નિર્ણયોનું પ્રતિબિંબ પાડવા બદલ મોડલને પુરસ્કૃત કરવામાં આવ્યું. આથી મોડલને સમજાયું કે નીતિ કેવી રીતે તેના નિર્ણય સુધી પહોંચાડે છે. આજે, Safety Reasoner અમને ક્લાસિફાયરને ફરી ટ્રેન કરવા જેટલા સમય કરતાં ઓછા સમયમાં પ્રોડક્શનમાં અમારી સેફ્ટી નીતિઓને ગતિશીલ રીતે અપડેટ કરવાની સક્ષમતા આપે છે. આ Safety Reasoner ને iterative deployment⁠ માટેનું એક મુખ્ય સાધન બનાવે છે. જ્યારે અમે નવા મોડલ્સને પ્રોડક્શનમાં ડિપ્લોય કરીએ છીએ, ત્યારે અમે ઘણી વાર વધુ કડક નીતિઓથી શરૂઆત કરીએ છીએ અને જ્યાં જરૂરી હોય ત્યાં પ્રમાણમાં વધુ compute નો ઉપયોગ કરીએ છીએ, જેથી Safety Reasoner આ નીતિઓને સાવધાનીપૂર્વક લાગુ કરી શકે. ત્યારબાદ, પ્રોડક્શનમાં જોખમો વિશેની અમારી સમજ સુધરે તેમ અમે અમારી નીતિઓ સમાયોજિત કરીએ છીએ. અમારા કેટલાક તાજેતરના લોન્ચોમાં સેફ્ટી રિઝનિંગ માટે ફાળવાયેલ કુલ compute નો હિસ્સો 16% જેટલો ઊંચો રહ્યો છે.

Safety Reasoner હવે અમારા સેફ્ટી સ્ટેકનો મુખ્ય ઘટક બની ગયો છે. ઇમેજ જનરેશન અને Sora 2 માટે, તે અસલામત જનરેશન્સ ઓળખવા અને વાસ્તવિક સમયમાં બ્લોક કરવા માટે આઉટપુટ્સનું ગતિશીલ, પગલું-દર-પગલું મૂલ્યાંકન કરે છે. biology અને self-harm જેવા ક્ષેત્રોમાં, અમે Moderation API માં ઉપયોગ થતા મોડલ્સ જેવા નાના, ઝડપી અને high-recall ક્લાસિફાયર્સ ચલાવીએ છીએ જેથી કયું કન્ટેન્ટ રસના ક્ષેત્રમાં આવે છે તે નક્કી કરી શકાય, અને પછી તે કન્ટેન્ટની સમીક્ષા માટે Safety Reasoner નો ઉપયોગ કરીએ છીએ. Safety Reasoner મોડલ આઉટપુટ્સને વિગતવાર taxonomy સામે વર્ગીકૃત કરે છે જેથી શ્રેષ્ઠ પ્રતિસાદ કેવી રીતે આપવો તે નક્કી થઈ શકે, અને GPT‑5 અને ChatGPT Agent જેવી સિસ્ટમ્સમાં અમારી બહુપડદાદાર સુરક્ષાનો એક ભાગ બને છે. અને હવે, gpt-oss-safeguard મોડલ્સ આ જ અભિગમને દરેક માટે ઉપલબ્ધ બનાવે છે.

અમે gpt-oss-safeguard મોડલ્સનું મૂલ્યાંકન આંતરિક અને બાહ્ય બંને મૂલ્યાંકન સેટ્સ પર કર્યું.

આંતરિક મૂલ્યાંકનમાં, અમે ઇનફરન્સ સમયે gpt-oss-safeguard ને એકસાથે અનેક નીતિઓ આપી. દરેક ટેસ્ટ ઇનપુટ માટે, અમે મૂલ્યાંકન કરીએ છીએ કે સમાવેશ કરેલી તમામ નીતિઓ હેઠળ gpt-oss-safeguard ટેક્સ્ટને યોગ્ય રીતે વર્ગીકૃત કરે છે કે નહીં. આ એક પડકારજનક કાર્ય છે. મોડલને ચોક્કસ ગણવામાં આવે છે માત્ર ત્યારે જ જ્યારે તે સમાવેશ કરેલી બધી નીતિઓ માટે golden set labels સાથે સંપૂર્ણ મેળ ખાતું હોય.

અમારા gpt-oss-safeguard મોડલ્સ અને આંતરિક Safety Reasoner, multi-policy accuracy માં gpt-5-thinking અને gpt-oss ઓપન મોડલ્સ કરતાં વધુ સારું પ્રદર્શન કરે છે. gpt-oss-safeguard મોડલ્સ gpt-5-thinking કરતાં વધુ સારું કરે છે, તે ખાસ કરીને આશ્ચર્યજનક છે કારણ કે પહેલાના મોડલ્સ કદમાં નાના છે.

આગળ અમે આ મોડલ્સનું મૂલ્યાંકન અમારા moderation dataset⁠(નવી વિન્ડોમાં ખૂલે છે) પર કર્યું, જે અમે અમારી 2022 research paper⁠(નવી વિન્ડોમાં ખૂલે છે) સાથે રિલીઝ કર્યું હતું, અને ToxicChat⁠(નવી વિન્ડોમાં ખૂલે છે) પર પણ, જે એક ઓપન-સોર્સ ચેટબોટ માટે વપરાશકર્તા પ્રશ્નો પર આધારિત જાહેર benchmark છે.

2022 moderation evaluation set પર, અમે અમારી આંતરિક સેફ્ટી નીતિઓનો ઉપયોગ કરીને મૂલ્યાંકન કર્યું, જેમાં એક નીતિને પછીના ફેરફારો માટે અનુકૂળ બનાવી. gpt-oss-safeguard એ અમારા આંતરિક Safety Reasoner અને gpt-5-thinking સહિત પરીક્ષણ કરાયેલા અન્ય તમામ મોડલ્સ કરતાં થોડું સારું પ્રદર્શન કર્યું, જોકે Safety Reasoner અને gpt-oss-safeguard વચ્ચેનો આ તફાવત આંકડાકીય રીતે મહત્વપૂર્ણ નથી.

ToxicChat માટે, અમે અમારી કેટલીક આંતરિક નીતિઓમાંથી અનુરૂપ કરાયેલા એક ટૂંકા હસ્તલિખિત પ્રોમ્પ્ટનો ઉપયોગ કરીને મૂલ્યાંકન કર્યું. અમારી આંતરિક Safety Reasoner એ ફરીથી gpt-5-thinking કરતાં વધુ સારું પ્રદર્શન કર્યું, જ્યારે gpt-5-thinking અને Safety Reasoner બંને gpt-oss-safeguard-120b અને gpt-oss-safeguard-20b કરતાં થોડું વધુ સારું પ્રદર્શન કરે છે. અમને અપેક્ષા છે કે gpt-oss-safeguard નું તુલનાત્મક રીતે નાનું કદ હજી પણ તેને આ પ્રકારના કાર્ય માટે વધુ યોગ્ય બનાવે છે.

gpt-oss-safeguard ની બે ચોક્કસ મર્યાદાઓ છે. પ્રથમ, અમે નોંધ્યું છે કે દસીઓ હજાર ઉચ્ચ-ગુણવત્તાવાળા લેબલ કરાયેલા samples પર ટ્રેન કરાયેલા ક્લાસિફાયર્સ, નીતિમાંથી સીધું રિઝનિંગ કરતી વખતે gpt-oss-safeguard કરતાં કન્ટેન્ટનું વર્ગીકરણ વધુ સારી રીતે કરી શકે છે. વધુ જટિલ જોખમો પર ઊંચું પ્રદર્શન મેળવવા માટે વિશિષ્ટ ક્લાસિફાયર ટ્રેન કરવા સમય ફાળવવો વધુ અનુકૂળ હોઈ શકે છે.

બીજું, gpt-oss-safeguard સમય અને compute બંને દૃષ્ટિએ ભારે હોઈ શકે છે, જેના કારણે સમગ્ર પ્લેટફોર્મ કન્ટેન્ટ પર તેને સ્કેલ કરવું પડકારજનક બને છે. આંતરિક રીતે, અમે Safety Reasoner સાથે આને ઘણી રીતોથી હેન્ડલ કરીએ છીએ: (1) કયું કન્ટેન્ટ મૂલ્યાંકન કરવું તે નક્કી કરવા અમે નાના અને ઝડપી ક્લાસિફાયર્સ વાપરીએ છીએ અને (2) કેટલીક પરિસ્થિતિઓમાં, વપરાશકર્તાને ઓછી latency નો અનુભવ મળે અને અસલામત કન્ટેન્ટ મળી આવે તો હસ્તક્ષેપ કરવાની ક્ષમતા યથાવત રહે તે માટે અમે Safety Reasoner ને asynchronous રીતે વાપરીએ છીએ.

gpt-oss-safeguard OpenAI ના સમુદાય સાથે મળીને બનાવેલા ઓપન સેફ્ટી મોડલ્સનો પ્રથમ સમૂહ છે. અમે શરૂઆતના પરીક્ષણના ભાગરૂપે SafetyKit, ROOST, Tomoro, અને Discord ના trust and safety વિશેષજ્ઞો સાથે gpt-oss-safeguard પર વારંવાર સુધારા કર્યા છે. ROOST ના CTO વિનય રાવે કહ્યું, “gpt-oss-safeguard એ ‘તમારી પોતાની નીતિઓ અને હાનિની વ્યાખ્યાઓ લાવો’ ડિઝાઇન ધરાવતું પ્રથમ open source રિઝનિંગ મોડલ છે. સંસ્થાઓને મહત્ત્વપૂર્ણ સેફ્ટી ટેકનોલોજીઓનો મુક્તપણે અભ્યાસ, ફેરફાર અને ઉપયોગ કરવાનો તેમજ નવીનતા લાવવાનો અધિકાર હોવો જોઈએ. અમારી પરીક્ષણમાં, તે વિવિધ નીતિઓને સમજવામાં, પોતાની રિઝનિંગ સમજાવવામાં અને નીતિઓ લાગુ કરતી વખતે સૂક્ષ્મતા દર્શાવવામાં કુશળ હતું, જે બિલ્ડર્સ અને સેફ્ટી ટીમો માટે લાભદાયી થશે એવું અમને લાગે છે.”

અમે ઓપન સેફ્ટી ટૂલિંગ સુધારવા માટે સમુદાય સાથે મળીને આગળ પણ વારંવાર સુધારા કરતાં રહીશું, જેમાં ROOST Model Community (RMC) દ્વારા પણ સમાવેશ થાય છે. RMC સલામતી પ્રેક્ટિશનર્સ અને સંશોધકોને એકત્ર કરે છે જેથી સેફ્ટી વર્કફ્લોમાં open source AI મોડલ્સ લાગુ કરવાની શ્રેષ્ઠ પદ્ધતિઓ, જેમાં મૂલ્યાંકન પરિણામો અને મોડલ પ્રતિસાદનો સમાવેશ થાય છે, શેર કરી શકાય. આ ભાગીદારી અને તેમાં કેવી રીતે જોડાવું તે વિશે વધુ જાણવા માટે RMC GitHub repo⁠(નવી વિન્ડોમાં ખૂલે છે) ની મુલાકાત લો.

આ મોડલ્સ સાથે બિલ્ડિંગ શરૂ કરવા માટે, તેમને Hugging Face⁠(નવી વિન્ડોમાં ખૂલે છે) પરથી ડાઉનલોડ કરો.