મોડલ મૂલ્યાંકન દરમિયાનની સુરક્ષા ઘટના સંબોધવા OpenAI અને Hugging Faceની ભાગીદારી
અમે બાહ્ય સલાહકારો સાથે મળીને અને સલામતી અને સુરક્ષા સમિતિની દેખરેખ હેઠળ સઘન સમીક્ષા કરી રહ્યા છીએ. એકવાર સમીક્ષા પૂર્ણ થઈ જાય પછી, અમે આગામી અઠવાડિયાઓમાં અમે શીખેલી બાબતોનો ટેક્નિકલ અહેવાલ પ્રકાશિત કરીશું.
28 જુલાઈ 2026ના રોજ અપડેટ કર્યું:
- આગામી રિલીઝ માટે આયોજન કરાયેલા કોઈપણ મોડલો Hugging Faceનો દૂરુપયોગ કરવામાં સામેલ નહોતાં. અમારી બ્લોગ પોસ્ટમાં ઉલ્લેખિત પ્રી-રિલીઝ મોડલ માત્ર આંતરિક ઉપયોગ માટેનું સંશોધન પ્રોટોટાઇપ છે અને તે ક્યારેય જાહેર રિલીઝ માટે બનાવાયેલું નહોતું. ઘટના બાદ, અમે તેને નિષ્ક્રિય કર્યું, એન્ક્રિપ્ટ કર્યું અને સંશોધન ઍક્સેસથી પ્રતિબંધિત કર્યું.
- ExploitGym મૂલ્યાંકન પર્યાવરણે મોડલોને સીધી ઇન્ટરનેટ ઍક્સેસ પ્રદાન કરી નહોતી. ઇન્ટરનેટ ઍક્સેસ મેળવવા માટે, મોડલોએ પેકેજ રજિસ્ટ્રી કૅશ પ્રોક્સી એવા Artifactory(નવી વિન્ડોમાં ખૂલે છે)માં અગાઉ અજાણી ઝીરો-ડે નબળાઈને ઓળખી અને તેનો લાભ લીધો. અમે આ નબળાઈ, અમારી સમીક્ષાના ભાગરૂપે અમારાં મોડલોએ ઓળખેલી અન્ય Artifactory નબળાઈઓ સાથે, વિક્રેતાને જાહેર કરી.
- અમારી સમીક્ષા ચાલુ રહે છે અને અમે Hugging Face સાથે સહયોગ ચાલુ રાખીએ છીએ, જેમાં તેમના પોસ્ટ-મોર્ટમ(નવી વિન્ડોમાં ખૂલે છે)માં યોગદાન આપવાનું પણ સામેલ છે. અમે તેમને અમારા Trusted Access for Cyber Programમાં પણ ઉમેર્યા છે.
- અમારી અત્યાર સુધીની સમીક્ષાના આધારે, અમે જેમાં પ્લેટફોર્મ-સ્તરે સુરક્ષા સાથે ચેડાં સામેલ હતાં તેવી Hugging Face સંબંધિત જે માહિતી શેર કરી છે, તેની ગંભીરતા અથવા વ્યાપના સ્તરની અન્ય કોઈ પ્રવૃત્તિ ઓળખી નથી.
- Hugging Face ઘૂસણખોરી અને અમારાં મોડલોની વધુ વ્યાપક પ્રવૃત્તિની અમારી ચાલુ સમીક્ષામાં, અમને થોડા કિસ્સાઓ મળ્યા છે જેમાં મોડલોએ અન્ય જાહેરમાં ઉપલબ્ધ સેવાઓ પર એકાઉન્ટ-સ્તરે જાહેર રીતે ખુલ્લાં પડેલા ક્રેડેન્શિયલ્સ ઓળખ્યાં અને તેનો ઉપયોગ કર્યો છે. આમાં Hugging Face ઘટનાના ભાગરૂપે ચાર સેવાઓ પરનાં ચાર એકાઉન્ટ્સ (અને અન્ય મૂલ્યાંકનોના ભાગરૂપે ઍક્સેસ કરાયેલા થોડા એકાઉન્ટ્સ) સામેલ છે. આ ચાર એકાઉન્ટ્સમાંથી એકનો ઉપયોગ આઉટબાઉન્ડ રિલે અને સ્ટેજિંગ પાથ તરીકે કરવામાં આવ્યો હતો અને બીજા એકાઉન્ટનો ઉપયોગ ડેટા સંગ્રહ માટે કરવામાં આવ્યો હતો. બાકીનાં બે એકાઉન્ટ્સને મોડલો દ્વારા ફક્ત વાંચન માટે તરીકે ઍક્સેસ કરવામાં આવ્યાં હતાં અને Hugging Faceને સુરક્ષાની દૃષ્ટિએ જોખમમાં મૂકવાના ઉદ્દેશને આગળ વધારવા માટે તેમનો ઉપયોગ કરવામાં આવ્યો નહોતો. અમે સેવા માલિકોને સીધા સૂચિત કરવાનું ચાલુ રાખીશું અને આ પ્રદાતાઓ અથવા તેમની સેવાઓ પરનાં અન્ય એકાઉન્ટ્સ પર વ્યાપક અસર થઈ હોવાના કોઈ પુરાવા અમને મળ્યા નથી.
- મોડલોએ વધુમાં જાહેરમાં ઉપલબ્ધ સેવાઓની શ્રેણીનો ઉપયોગ કર્યો, જેમાં કોડ પેસ્ટ વેબસાઇટ્સ, વિનંતી કૅપ્ચર સેવાઓ, સ્ક્રીનશૉટ સેવાઓ અને અન્ય વેબ યુટિલિટીઝનો સમાવેશ થાય છે. આ કિસ્સાઓમાં પ્લેટફોર્મ- અથવા એકાઉન્ટ-સ્તરે કોઈ સુરક્ષા ભંગ થયો ન હતો.
- સતત વધુ સક્ષમ બનતી AI સિસ્ટમોથી ઉદ્ભવતા જોખમોને ઓળખવા અને તેમના માટે તૈયારી કરવાની અમારી જવાબદારીને અમે ગંભીરતાથી લઈએ છીએ. એકવાર અમે અમારી સમીક્ષા પૂર્ણ કરી લઈએ પછી, અમે અમારા પ્રિપેરડનેસ ફ્રેમવર્ક હેઠળ સલામતી અને સુરક્ષા સમિતિ અને સલામતી સલાહકાર જૂથ સાથે તેની સમીક્ષા કરીશું.
ગયા અઠવાડિયે, Hugging Faceએ તેમની ઇન્ફ્રાસ્ટ્રક્ચરમાં ઘૂસેલા એક કૃત્રિમ બુદ્ધિ એજન્ટને શોધી અને કાબૂમાં લીધા પછી એક નવા પ્રકારની સુરક્ષા ઘટના જાહેર કરી(નવી વિન્ડોમાં ખૂલે છે); વધતી સાઇબર-ક્ષમતા ધરાવતા મોડલોના પ્રસાર સાથે આવી ઘટનાઓ વધુ સામાન્ય બનશે એવી અમારી અપેક્ષા છે. તપાસ પછી, હવે અમને ખબર છે કે સાઇબર ક્ષમતાઓના બેન્ચમાર્ક(નવી વિન્ડોમાં ખૂલે છે) પર આંતરિક રીતે પરીક્ષણ કરતી વખતે આ ખાસ ઘટના OpenAI મોડલોના સંયોજનથી થઈ હતી — જેમાં GPT‑5.6 Sol અને તેનાથી પણ વધુ સક્ષમ પ્રી-રિલીઝ મોડલ સામેલ હતા, અને મૂલ્યાંકન હેતુઓ માટે બધામાં સાઇબર ઇનકારો ઘટાડવામાં આવ્યા હતા— જ્યારે સાયબર ક્ષમતાઓના બેન્ચમાર્ક પર તેમનું આંતરિક રીતે પરીક્ષણ કરવામાં આવી રહ્યું હતું.
અમે આ ઘટનાને અભૂતપૂર્વ સાઇબર ઘટના માનીએ છીએ, જેમાં અત્યાધુનિક સાઇબર ક્ષમતાઓ સામેલ છે, અને તે પ્રમાણે પ્રતિસાદ આપી રહ્યા છીએ. આ તબક્કે અમે પ્રાથમિક તારણો શેર કરી રહ્યા છીએ, જેથી રક્ષકોને શું થયું તે સમજવામાં અને મોડલો હવે શું કરી શકે છે તે વિશે યોગ્ય અંદાજ બાંધવામાં મદદ મળે. અમે Hugging Face સાથે મળીને સંપૂર્ણ તપાસ ચાલુ રાખીશું અને અમારી તપાસ પૂરી થશે ત્યારે ખામીઓ, ઘટના અને તારણો વિશે વધુ વિગતો શેર કરીશું.
આ ઘટના એક આંતરિક મૂલ્યાંકન દરમિયાન બની હતી, જે મોડલોને તેમની સાઇબર ક્ષમતાઓ માપવા માટે જટિલ હુમલા માર્ગોનો ઉપયોગ કરીને અદ્યતન દુરુપયોગ કરવાનો પ્રયાસ કરવા પ્રેરિત કરે છે. મોડલોને ઉચ્ચ-જોખમી સાઇબર પ્રવૃત્તિ કરવાથી અટકાવવા માટે વપરાતા પ્રોડક્શન વર્ગીકરણકારો વિના આ મૂલ્યાંકન ચલાવીને અમે મહત્તમ સાઇબર ક્ષમતાઓનો અંદાજ કરીએ છીએ. અમારા બેન્ચમાર્ક્સ અત્યંત અલગ પર્યાવરણમાં ચાલે છે, જેમાં નેટવર્ક ઍક્સેસ માત્ર આંતરિક રીતે હોસ્ટ કરાયેલા તૃતીય-પક્ષ સોફ્ટવેર મારફતે પેકેજ ઇન્સ્ટોલ કરવાની ક્ષમતા સુધી મર્યાદિત છે; આ સોફ્ટવેર પેકેજ રજિસ્ટ્રીઓ માટે પ્રોક્સી અને કૅશ તરીકે કામ કરે છે.
મોડલોએ OpenAIના સંશોધન પર્યાવરણ અને Hugging Faceની પ્રોડક્શન ઇન્ફ્રાસ્ટ્રક્ચરમાં ખામીઓ ઓળખી અને જોડીને Hugging Faceના પ્રોડક્શન ડેટાબેઝમાંથી સીધા પરીક્ષણ ઉકેલો મેળવ્યા. તમામ પુરાવા સૂચવે છે કે મોડલો ExploitGym માટે ઉકેલ શોધવામાં અત્યંત એકાગ્ર હતા અને એકદમ સાંકડા પરીક્ષણ લક્ષ્યને હાંસલ કરવા અતિશય પ્રયત્નો કરી રહ્યા હતા.
અમારા સેન્ડબોક્સ્ડ ટેસ્ટિંગ એન્વાયર્નમેન્ટમાં કાર્ય કરતી વખતે, અમારા મોડલ્સે મૂલ્યાંકનની સમસ્યાને ઉકેલવાના પ્રયાસરૂપે ઓપન ઇન્ટરનેટ ઍક્સેસ મેળવવાનો માર્ગ શોધવા માટે નોંધપાત્ર પ્રમાણમાં ઇન્ફરન્સ કમ્પ્યુટનો ઉપયોગ કર્યો. ઍક્સેસ મેળવવા માટે, મોડલોએ પેકેજ રજિસ્ટ્રી કૅશ પ્રોક્સીમાં ઝીરો-ડે ખામી ઓળખી અને તેનો દુરુપયોગ કર્યો (જે અમે હવે વેન્ડરને જવાબદારીપૂર્વક જાહેર કરી છે). આ ઍક્સેસ સાથે, અમારા મોડલોએ અમારા સંશોધન પરીક્ષણ પર્યાવરણમાં પ્રિવિલેજ એસ્કલેશન અને લેટરલ મૂવમેન્ટની શ્રેણીબદ્ધ ક્રિયાઓ કરી, જ્યાં સુધી મોડલો ઇન્ટરનેટ ઍક્સેસ ધરાવતા નોડ સુધી પહોંચ્યા નહીં.
ઇન્ટરનેટ ઍક્સેસ મળ્યા પછી, મોડલોએ અનુમાન લગાવ્યું કે Hugging Face કદાચ ExploitGym માટે મોડલો, ડેટાસેટ્સ અને ઉકેલો હોસ્ટ કરતું હશે. આ જાણીને, મોડલે મૂલ્યાંકનમાં છેતરપિંડી કરવા ઉપયોગી થઈ શકે તેવી ગુપ્ત માહિતી મેળવવાના માર્ગો શોધ્યા અને સફળતાપૂર્વક શોધી કાઢ્યા. એક ઉદાહરણમાં, મોડલે ચોરાયેલા ક્રેડેન્શિયલ્સ અને ઝીરો-ડે ખામીઓનો ઉપયોગ સહિત અનેક હુમલા વેક્ટરોને જોડીને Hugging Face સર્વરો પર રિમોટ કોડ એક્ઝિક્યુશનનો માર્ગ શોધ્યો. OpenAIની સુરક્ષા ટીમે આ અસામાન્ય પ્રવૃત્તિ આંતરિક રીતે શોધી કાઢી.
Hugging Faceની સુરક્ષા ટીમ અને એજન્ટોએ તેમની ઇન્ફ્રાસ્ટ્રક્ચર પર આ પ્રવૃત્તિ શોધી અને રોકી, અને અમારી ટીમો જોડાય તે પહેલાં જ તેઓ પોતાના ઓપન-સોર્સ મોડલો સાથે કન્ટેઇનમેન્ટ અને ફોરેન્સિક પુનર્નિર્માણ શરૂ કરી ચૂક્યા હતા. અમે ઘટનાની તપાસ ચાલુ રાખવા માટે તેમની સાથે સક્રિય રીતે કામ કરી રહ્યા છીએ. તપાસ અને ઉપચારમાં Hugging Faceના ઝડપી અને નજીકના સહયોગ માટે અમે આભારી છીએ.
- તપાસના ભાગરૂપે, ખામીઓ ઠીક થાય ત્યાં સુધી અમે સંશોધનની ગતિના ભોગે ઇન્ફ્રાસ્ટ્રક્ચર કન્ફિગરેશનમાં કડક નિયંત્રણો અમલમાં મૂકી રહ્યા છીએ. અમે આ નિયંત્રણો અને તેમની અસર વિશે અમારી સલામતી અને સુરક્ષા સમિતિને નિયમિત રીતે માહિતગાર કરી રહ્યા છીએ.
- અમે ઘટનાની ફોરેન્સિક તપાસ માટે Hugging Face સાથે કામ કરી રહ્યા છીએ.
- અમે આંતરિક રીતે હોસ્ટ કરાયેલા તૃતીય-પક્ષ સોફ્ટવેરમાં ઓળખાયેલી ઝીરો-ડે ખામી જવાબદારીપૂર્વક જાહેર કરી છે અને તેને ઠીક કરવા તેમની સાથે કામ કરી રહ્યા છીએ.
- અમે Hugging Faceને વિશ્વસનીય ઍક્સેસ પ્રોગ્રામમાં સામેલ કર્યું છે અને તેમની સુરક્ષા સુધારવા માટે અમારા મોડલોની ક્ષમતાઓનો ઝડપથી ઉપયોગ કરવામાં તેમની ટીમોને સહાય આપી રહ્યા છીએ.
- અમે ભવિષ્યની તાલીમ અને મૂલ્યાંકનો માટે વધુ મજબૂત સુરક્ષાઓ સુધારી અને ઉમેરી રહ્યા છીએ. આ અઠવાડિયે, અમે લાંબી સમય સીમાવાળા મોડલોના યુગમાં સલામતી અને સંરેખણ સુધારવા વિશે એક બ્લોગ પ્રકાશિત કર્યો. આ મૂલ્યાંકન સાઇબર ખામીઓનું પરીક્ષણ કરવા માટે હતું, તેથી આ ડિપ્લોયમેન્ટ સુરક્ષાઓ ઇરાદાપૂર્વક ચાલુ કરવામાં આવી નહોતી. આ ઘટના બતાવે છે કે અમારે અમારા મોડલનું સંરેખણ, મૂલ્યાંકન સમયે સાઇબર સુરક્ષાઓ અને આંતરિક પરીક્ષણ દરમિયાન મોનિટરિંગ વધુ મજબૂત કરવાની જરૂર છે.
જેમ અમે તાજેતરમાં જણાવ્યું હતું, કૃત્રિમ બુદ્ધિ ખામીઓ શોધવા અને તેમનો દુરુપયોગ કરવાની ગતિ વધારી રહી છે. આ ઘટનામાંથી મુખ્ય પાઠ એ છે કે મોડલની સુરક્ષા અને સલામતીએ ઝડપથી વધતી ક્ષમતાઓની સાથે ગતિ જાળવવી જ જોઈએ. અમે મોડલ વિકાસ દરમિયાન વપરાતી કન્ટેઇનમેન્ટ, મોનિટરિંગ, ઍક્સેસ નિયંત્રણો અને મૂલ્યાંકન પદ્ધતિઓ મજબૂત કરી રહ્યા છીએ.
UK AISIનું મૂલ્યાંકન બતાવે છે કે GPT‑5.6 Sol જેવા મોડલો લાંબી સમય સીમામાં જટિલ, બહુ-પગલાંવાળી સાઇબર કામગીરી જાળવી રાખવામાં વધુને વધુ સક્ષમ બની રહ્યા છે. આ ઘટના સૂચવે છે કે આ સૈદ્ધાંતિક ક્ષમતાઓ વાસ્તવિક પરિસ્થિતિઓમાં પણ લાગુ પડે છે.
આ ઘટના એ પણ સ્પષ્ટ કરે છે કે અદ્યતન મોડલો સોર્સ-કોડ ઍક્સેસ વિના વાસ્તવિક સિસ્ટમોમાં નવા હુમલા માર્ગો શોધી અને તેમનો દુરુપયોગ કરી શકે છે. તે દર્શાવે છે કે અદ્યતન સાઇબર ક્ષમતાઓ વધુ મજબૂત સુરક્ષાઓ અને રક્ષણાત્મક સાધનો સાથે વિકસાવવી જરૂરી છે.
અમારું માનવું છે કે અદ્યતન સાઇબર ક્ષમતા ધરાવતા મોડલોએ સુરક્ષા ટીમોને હુમલાખોરો પહેલાં નબળાઈઓ શોધવામાં, ખામીઓ કેવી રીતે એકબીજા સાથે જોડાઈ શકે તે સમજવામાં અને મશીનની ઝડપે તેનો ઉપાય કરવામાં મદદ કરવી જોઈએ. અમે આ ક્ષમતાઓનો ઉપયોગ ઇન્ફ્રાસ્ટ્રક્ચર કન્ફિગરેશન અને મોડલ મૂલ્યાંકન પર્યાવરણોની આસપાસની સુરક્ષાઓ સતત મજબૂત કરવા માટે કરી રહ્યા છીએ; શીખતા જઈશું તેમ અમે અમારા તારણો અને શ્રેષ્ઠ પદ્ધતિઓ શેર કરીશું. અમે અન્ય રક્ષકોને વિશ્વસનીય ઍક્સેસ માટે અરજી કરવા અને આ મોડલો સાથે અત્યારે જ પ્રયોગ કરવા પ્રોત્સાહિત કરીએ છીએ, જેથી આ ક્ષમતાઓને વધુ સારી અટકાયત, ઝડપી શોધ અને વધુ અસરકારક ઘટના પ્રતિસાદમાં ફેરવી શકાય.
“આ અને અન્ય વિષયો અંગે OpenAI સાથેના સહયોગ બદલ અમે આભારી છીએ. આ ઘટના, જે કદાચ તેની પ્રકારની પ્રથમ છે, અમે લાંબા સમયથી માનતા આવ્યા છીએ તે મુદ્દાને સાબિત કરે છે. આ મુદ્દો છે: AI સલામતી ગુપ્ત રીતે કામ કરતી કોઈ એક કંપની દ્વારા ઉકેલાઈ શકશે નહીં. તેનું નિરાકરણ ખુલ્લેઆમ, સહયોગપૂર્વક, દરેક જગ્યાએ દરેક રક્ષક માટે AIની વ્યાપક ઉપલબ્ધતા સાથે કરવામાં આવશે.”
