OpenAI

19 સપ્ટેમ્બર, 2023

સુરક્ષા

OpenAI રેડ ટીમિંગ નેટવર્ક

અમે OpenAI રેડ ટીમિંગ નેટવર્ક માટે ખુલ્લેઆમ અરજીઓ મંગાવી રહ્યા છીએ. OpenAIનાં મોડલની સલામતી સુધારવામાં રસ ધરાવતા વિવિધ ક્ષેત્રોના નિષ્ણાતોને અમારા પ્રયાસોમાં જોડાવા આમંત્રિત કરીએ છીએ.

રેડ ટીમિંગ નેટવર્ક

ચિત્રાંકન: જસ્ટિન જે વાંગ

લોડિંગ…

સંપાદકની નોંધ

OpenAI રેડ ટીમિંગ નેટવર્કના આ તબક્કા માટે અરજીઓ સ્વીકારવાનું 1 ડિસેમ્બર, 2023ના રોજ બંધ થયું હતું.

અમે OpenAI રેડ ટીમિંગ નેટવર્ક માટે ખુલ્લેઆમ અરજીઓ મંગાવી રહ્યા છીએ. OpenAIનાં મોડલની સલામતી સુધારવામાં રસ ધરાવતા વિવિધ ક્ષેત્રોના નિષ્ણાતોને અમારા પ્રયાસોમાં જોડાવા આમંત્રિત કરીએ છીએ. અમારાં એઆઇ મોડલનું સઘન મૂલ્યાંકન અને રેડ ટીમિંગ કરવામાં અમારી સાથે સહયોગ કરે એવા વિવિધ ક્ષેત્રોના નિષ્ણાતોની અમે શોધ કરી રહ્યા છીએ.

OpenAI રેડ ટીમિંગ નેટવર્ક શું છે?

રેડ ટીમિંગA અમારી વારંવાર સુધારા કરીને ઉપયોગમાં મૂકવાની પ્રક્રિયા⁠નો અભિન્ન ભાગ છે. છેલ્લાં કેટલાંક વર્ષોમાં અમારા રેડ ટીમિંગ પ્રયાસોનો વ્યાપ વધ્યો છે. શરૂઆતમાં OpenAIની અંદર પ્રતિકૂળ પરિસ્થિતિઓ ઊભી કરીને પરીક્ષણ કરવા પર ધ્યાન હતું. હવે અમે બાહ્ય નિષ્ણાતોના સમૂહB સાથે મળીને ક્ષેત્રવાર જોખમોના વર્ગીકરણ વિકસાવવામાં મદદ કરીએ છીએ અને નવી સિસ્ટમોમાં સંભવિત હાનિકારક ક્ષમતાઓનું મૂલ્યાંકન કરીએ છીએ. તમે DALL·E 2⁠(નવી વિન્ડોમાં ખૂલે છે) અને GPT‑4⁠(નવી વિન્ડોમાં ખૂલે છે) જેવાં મોડલ પરના અમારા અગાઉના રેડ ટીમિંગ પ્રયાસો વિશે વધુ વાંચી શકો છો, જેમાં બાહ્ય નિષ્ણાતો સાથે કરેલું અમારું કામ પણ સામેલ છે.C

આજે અમે અગાઉના આ કામને આગળ વધારવા અને અમારાં મોડલને વધુ સલામત બનાવવા માટે બાહ્ય નિષ્ણાતો સાથેનો સહયોગ વધુ ગાઢ અને વ્યાપક બનાવવાનો એક વધુ ઔપચારિક પ્રયાસ શરૂ કરી રહ્યા છીએ. વ્યક્તિગત નિષ્ણાતો, સંશોધન સંસ્થાઓ અને નાગરિક સમાજનાં સંગઠનો સાથે કામ કરવું એ અમારી પ્રક્રિયાનો મહત્ત્વનો ભાગ છે. અમે આ કામને તૃતીય પક્ષ દ્વારા ઑડિટ જેવી બહારથી નિર્ધારિત શાસન-વ્યવસ્થાની પદ્ધતિઓના પૂરક તરીકે જોઈએ છીએ.

OpenAI રેડ ટીમિંગ નેટવર્ક વિશ્વસનીય અને અનુભવી નિષ્ણાતોનો સમુદાય છે. મુખ્ય મોડલ ઉપયોગમાં મૂકતાં પહેલાં માત્ર એક વખત નિષ્ણાતો સાથે કામ કરવા અને તેમની પસંદગી કરવાની પ્રક્રિયાઓને બદલે, આ સમુદાય અમારા જોખમ મૂલ્યાંકન અને જોખમ ઘટાડવાના પ્રયાસોને વધુ વ્યાપક રીતે માર્ગદર્શન આપી શકે છે. મોડલ અને ઉત્પાદનના વિકાસચક્રના વિવિધ તબક્કે રેડ ટીમિંગમાં મદદ કરવા માટે નેટવર્કના સભ્યોને તેમની નિપુણતાના આધારે બોલાવવામાં આવશે. દરેક નવા મોડલ અથવા ઉત્પાદનમાં દરેક સભ્ય સામેલ થશે નહીં. કેટલો સમય આપવાનો રહેશે તે દરેક સભ્ય સાથે મળીને નક્કી કરવામાં આવશે, જે વર્ષમાં માત્ર 5–10 કલાક જેટલો પણ હોઈ શકે છે.

OpenAI દ્વારા સોંપવામાં આવતાં રેડ ટીમિંગ અભિયાનો ઉપરાંત, સભ્યોને રેડ ટીમિંગની સામાન્ય પદ્ધતિઓ અને તારણો અંગે એકબીજા સાથે ચર્ચા કરવાની તક મળશે. આનો હેતુ વધુ વૈવિધ્યસભર અને સતત સૂચનો મેળવવાનો તથા રેડ ટીમિંગને વારંવાર સુધરતી રહેતી પ્રક્રિયા બનાવવાનો છે. આ નેટવર્ક એઆઇની સલામતી માટે સહયોગની અન્ય તકોને પૂરક બને છે, જેમાં અમારો સંશોધક ઍક્સેસ કાર્યક્રમ⁠ અને ખુલ્લા સ્રોતવાળાં મૂલ્યાંકનો⁠(નવી વિન્ડોમાં ખૂલે છે) સામેલ છે.

OpenAI રેડ ટીમિંગ નેટવર્કમાં શા માટે જોડાવું?

આ નેટવર્ક વધુ સલામત એઆઇ ટેક્નોલોજી અને નીતિઓના વિકાસને દિશા આપવાની અનોખી તક પૂરી પાડે છે. સાથે જ, આપણે જે રીતે જીવીએ છીએ, કામ કરીએ છીએ અને એકબીજા સાથે વ્યવહાર કરીએ છીએ તેના પર એઆઇની અસરોને આકાર આપવાની પણ તક મળે છે. આ નેટવર્કમાં જોડાઈને તમે અમારા વિષય નિષ્ણાતોના સમૂહનો ભાગ બનશો. અમારાં મોડલ અને સિસ્ટમોને ઉપયોગમાં મૂકવાના વિવિધ તબક્કે તેમના મૂલ્યાંકન માટે આ નિષ્ણાતોને બોલાવવામાં આવી શકે છે.

વિવિધ ક્ષેત્રોના નિષ્ણાતોની શોધ

એઆઇ સિસ્ટમોનું મૂલ્યાંકન કરવા માટે અનેકવિધ ક્ષેત્રો, વિવિધ દૃષ્ટિકોણ અને લોકોના જાતઅનુભવની સમજ જરૂરી છે. અમે વિશ્વભરના નિષ્ણાતોને અરજી કરવા આમંત્રિત કરીએ છીએ અને અમારી પસંદગી પ્રક્રિયામાં ભૌગોલિક તેમજ વિષયક્ષેત્રોની વિવિધતાને પ્રાધાન્ય આપીએ છીએ. 

અમને રસ હોય એવાં ક્ષેત્રોમાં નીચેનાં ક્ષેત્રોનો સમાવેશ થાય છે, પરંતુ અમારી રુચિ આટલાં પૂરતી મર્યાદિત નથી:

જ્ઞાનપ્રક્રિયા વિજ્ઞાન

રસાયણશાસ્ત્ર

જીવવિજ્ઞાન

ભૌતિકશાસ્ત્ર

કમ્પ્યુટર વિજ્ઞાન

સંદેશ છુપાવવાની વિદ્યા

રાજ્યશાસ્ત્ર

મનોવિજ્ઞાન

મનાવવાની ક્ષમતા

અર્થશાસ્ત્ર

માનવશાસ્ત્ર

સમાજશાસ્ત્ર

માનવ-કમ્પ્યુટર આંતરક્રિયા

નિષ્પક્ષતા અને પૂર્વગ્રહ

માનવ મૂલ્યો સાથે સુસંગતતા

શિક્ષણ

આરોગ્ય સંભાળ

કાયદો

બાળ સુરક્ષા

સાયબર સુરક્ષા

નાણાં

ખોટી/ઇરાદાપૂર્વક ભ્રામક માહિતી

રાજકીય ઉપયોગ

ગોપનીયતા

જૈવમિતિક ઓળખ

ભાષાઓ અને ભાષાશાસ્ત્ર

એઆઇ સિસ્ટમો અથવા ભાષા મોડલ સાથેનો અગાઉનો અનુભવ જરૂરી નથી, પરંતુ ઉપયોગી થઈ શકે છે. એઆઇ સિસ્ટમોની અસરોનું મૂલ્યાંકન કરવાની અમારી પ્રક્રિયામાં ભાગ લેવાની અને તમારો દૃષ્ટિકોણ રજૂ કરવાની તમારી તૈયારીને અમે સૌથી વધુ મહત્ત્વ આપીએ છીએ.

મહેનતાણું અને ગોપનીયતા

OpenAI રેડ ટીમિંગ નેટવર્કના તમામ સભ્યોને રેડ ટીમિંગ પ્રોજેક્ટમાં ભાગ લેતી વખતે તેમના યોગદાન બદલ મહેનતાણું આપવામાં આવશે. આ નેટવર્કનું સભ્યપદ તમને તમારું સંશોધન પ્રકાશિત કરતાં કે અન્ય તકો અજમાવતાં અટકાવશે નહીં. જોકે, તમારે ધ્યાનમાં રાખવું જોઈએ કે રેડ ટીમિંગ અને અન્ય પ્રોજેક્ટમાં ભાગ લેવા માટે ઘણીવાર ગોપનીયતા કરાર (એનડીએ) લાગુ પડે છે અથવા તેમાં કરેલું કામ અનિશ્ચિત સમય સુધી ગોપનીય રાખવું પડે છે.

અરજી કેવી રીતે કરવી

હવે અરજીઓ સ્વીકારવાનું બંધ છે.

વારંવાર પૂછાતા પ્રશ્નો

પ્રશ્ન: નેટવર્કમાં જોડાવાથી શું કરવાનું રહેશે?

જવાબ: નેટવર્કના સભ્ય તરીકે તમારો સંપર્ક નવું મોડલ ચકાસવાની તક માટે અથવા પહેલેથી ઉપયોગમાં મુકાયેલા મોડલમાં રસના કોઈ ક્ષેત્રને ચકાસવા માટે થઈ શકે છે. નેટવર્કના ભાગરૂપે થતું કામ ગોપનીયતા કરાર (એનડીએ) હેઠળ થાય છે. જોકે, અમે અગાઉ અમારા રેડ ટીમિંગનાં ઘણાં તારણો સિસ્ટમની વિગતો આપતાં દસ્તાવેજો અને બ્લોગ પોસ્ટમાં પ્રકાશિત કર્યાં છે. રેડ ટીમિંગ પ્રોજેક્ટમાં આપેલા સમય માટે તમને મહેનતાણું આપવામાં આવશે.

પ્રશ્ન: નેટવર્કના સભ્ય બનવા માટે કેટલો સમય આપવાની અપેક્ષા છે? 

જવાબ: તમે કેટલો સમય આપશો તે તમારી અનુકૂળતા મુજબ નક્કી કરી શકાય છે. ધ્યાનમાં રાખો કે દરેક તક માટે નેટવર્કના દરેક સભ્યનો સંપર્ક કરવામાં આવશે નહીં. OpenAI ચોક્કસ રેડ ટીમિંગ પ્રોજેક્ટ માટે યોગ્યતાના આધારે પસંદગી કરશે અને પછીનાં રેડ ટીમિંગ અભિયાનોમાં નવા દૃષ્ટિકોણોને પ્રાધાન્ય આપશે. વર્ષમાં માત્ર 5 કલાકનું યોગદાન પણ અમારા માટે મૂલ્યવાન છે, તેથી તમને રસ હોય પણ સમય ઓછો હોય તો અરજી કરતાં અચકાશો નહીં.

પ્રશ્ન: અરજદારોને તેમની પસંદગીની જાણ ક્યારે કરવામાં આવશે?

જવાબ: OpenAI નેટવર્કના સભ્યોની પસંદગી ચાલુ ધોરણે કરશે અને તમે 1 ડિસેમ્બર, 2023 સુધી અરજી કરી શકો છો. અરજીનો આ સમયગાળો પૂરો થયા પછી, ભવિષ્યમાં ફરી અરજી કરવાની તકો આપવી કે નહીં તે અંગે અમે પુનર્વિચાર કરીશું.

પ્રશ્ન: શું નેટવર્કના સભ્ય બનવાથી મને દરેક નવા મોડલનું રેડ ટીમિંગ કરવાનું કહેવામાં આવશે?

જવાબ: ના, OpenAI ચોક્કસ રેડ ટીમિંગ પ્રોજેક્ટ માટે યોગ્યતાના આધારે પસંદગી કરશે. તમારે દરેક નવા મોડલને ચકાસવાની તક મળશે એવી અપેક્ષા રાખવી નહીં.

પ્રશ્ન: નેટવર્કના સભ્યોની પસંદગી માટે તમારાં કેટલાંક માપદંડો કયાં છે?

જવાબ: અમારાં કેટલાંક માપદંડો આ મુજબ છે:

  • રેડ ટીમિંગને સંબંધિત કોઈ ચોક્કસ ક્ષેત્રમાં પુરવાર થયેલી નિપુણતા અથવા અનુભવ

  • એઆઇની સલામતી સુધારવા માટે ઉત્કટ રસ

  • હિતોનો કોઈ ટકરાવ ન હોવો

  • વિવિધ પૃષ્ઠભૂમિઓ અને પરંપરાગત રીતે ઓછું પ્રતિનિધિત્વ ધરાવતા સમૂહો

  • વિવિધ ભૌગોલિક પ્રદેશોનું પ્રતિનિધિત્વ 

  • એક કરતાં વધુ ભાષામાં પ્રભુત્વ

  • તકનીકી ક્ષમતા (ફરજિયાત નથી)

પ્રશ્ન: સલામતી માટે સહયોગની બીજી કઈ તકો છે?

જવાબ: નેટવર્કમાં જોડાવા ઉપરાંત, એઆઇની સલામતીમાં યોગદાન આપવા માટે સહયોગની અન્ય તકો પણ છે. ઉદાહરણ તરીકે, એક વિકલ્પ એઆઇ સિસ્ટમોની સલામતીનું મૂલ્યાંકન કરવા માટે કસોટીઓ તૈયાર કરવાનો અથવા મૂલ્યાંકન હાથ ધરીને તેનાં પરિણામોનું વિશ્લેષણ કરવાનો છે.

OpenAIની ખુલ્લા સ્રોતવાળી Evals⁠(નવી વિન્ડોમાં ખૂલે છે) રિપોઝિટરી (GPT‑4ના લોન્ચ⁠ સાથે બહાર પાડવામાં આવેલી) આ પ્રક્રિયા ઝડપથી શરૂ કરવા માટે વાપરવામાં સરળ નમૂનાઓ અને પદ્ધતિઓનાં ઉદાહરણો આપે છે.

મૂલ્યાંકનોમાં સરળ પ્રશ્નોત્તરી કસોટીઓથી લઈને વધુ જટિલ અનુકૃતિઓ સુધીની પદ્ધતિઓ હોઈ શકે છે. ચોક્કસ ઉદાહરણો તરીકે, એઆઇના વર્તનને વિવિધ દૃષ્ટિકોણથી ચકાસવા માટે OpenAIએ વિકસાવેલાં મૂલ્યાંકનોના કેટલાક નમૂના અહીં છે:

મનાવવાની ક્ષમતા

સંદેશ છુપાવવાની વિદ્યા (છૂપા સંદેશવ્યવહાર)

એઆઇ સિસ્ટમોના મૂલ્યાંકનમાં અમે સર્જનાત્મકતા અને પ્રયોગોને પ્રોત્સાહન આપીએ છીએ. તમારું મૂલ્યાંકન તૈયાર થઈ જાય પછી, વ્યાપક એઆઇ સમુદાય તેનો ઉપયોગ કરી શકે એ માટે તેને ખુલ્લા સ્રોતવાળી Evals⁠(નવી વિન્ડોમાં ખૂલે છે) રિપોઝિટરીમાં ઉમેરવા માટે અમે તમને આવકારીએ છીએ.

તમે અમારા સંશોધક ઍક્સેસ કાર્યક્રમ⁠ માટે પણ અરજી કરી શકો છો. એઆઇને જવાબદારીપૂર્વક ઉપયોગમાં મૂકવા અને તેનાં સંભવિત જોખમો ઘટાડવા સંબંધિત ક્ષેત્રોનો અભ્યાસ કરવા અમારા ઉત્પાદનો વાપરતા સંશોધકોને આ કાર્યક્રમ ક્રેડિટ્સ આપે છે.

પાદટીપો

  1. A

    રેડ ટીમિંગ શબ્દનો ઉપયોગ એઆઇ સિસ્ટમોના જોખમ મૂલ્યાંકનની અનેક પદ્ધતિઓ માટે થતો આવ્યો છે. તેમાં ગુણાત્મક રીતે ક્ષમતાઓ શોધવી, જોખમ ઘટાડવાનાં પગલાંને કઠિન પરિસ્થિતિઓમાં ચકાસવાં, ભાષા મોડલ દ્વારા સ્વચાલિત રેડ ટીમિંગ કરવું અને ચોક્કસ નબળાઈથી ઊભા થતા જોખમની ગંભીરતા વિશે પ્રતિસાદ આપવો વગેરેનો સમાવેશ થાય છે. “રેડ ટીમ” શબ્દથી થતી ગૂંચવણ ઘટાડવા, અમારી પદ્ધતિઓ વિશે વાંચનારાઓને તેનો સંદર્ભ અને અર્થ વધુ સારી રીતે સમજવામાં મદદ કરવા અને ખાસ કરીને સલામતી અંગે ખોટી ખાતરીઓ ટાળવા માટે, અમે ખલાફ, 2023⁠(નવી વિન્ડોમાં ખૂલે છે)માં આપેલી સલાહ મુજબ વધુ સ્પષ્ટ પરિભાષા અપનાવવાનો પ્રયાસ કરી રહ્યા છીએ. જોકે, સરળતા ખાતર અને અમારા સહયોગીઓ સાથે વાપરેલી ભાષામાં સાતત્ય જાળવવા માટે અમે “રેડ ટીમ” શબ્દ વાપરીએ છીએ.

  2. B

    અમે “નિષ્ણાત” શબ્દ એવા લોકો માટે વાપરીએ છીએ જેમની નિપુણતા વિવિધ વિષયોનું જ્ઞાન અને જાતઅનુભવ પર આધારિત હોય

  3. C

    અમે અમારી સિસ્ટમોમાં રહેલાં જોખમો વિશે અન્ય માધ્યમો દ્વારા પણ પ્રતિસાદ મેળવ્યો છે, જેમ કે બગ બાઉન્ટી પ્રોગ્રામ⁠ અને ChatGPT પ્રતિસાદ સ્પર્ધા⁠.

લેખક

OpenAI