OpenAI

अत्याधुनिक AI जोखमीचे व्यवस्थापन: प्रशिक्षणापासून डिप्लॉयमेंटपर्यंत

18 नोव्हेंबर 2026 · सुरक्षा

अत्याधुनिक मॉडेलच्या क्षमता झपाट्याने वाढत आहेत. त्यांना समजून घेण्याची, उद्दिष्टांशी सुसंगत ठेवण्याची आणि सुरक्षित करण्याची आमची क्षमता त्यापुढे राहिली पाहिजे. आम्ही मॉडेलच्या विकासाचा आणि रिलीझचा वेग नियंत्रित करत आहोत. सुरक्षा निकष पूर्ण करण्यासाठी अधिक वेळ लागल्यास अंतर्गत प्रशिक्षण⁠(नवीन विंडोमध्ये उघडेल) थांबवतो किंवा GPT‑6.1 Astra सारख्या मॉडेलचे प्रकाशन पुढे ढकलतो. आम्ही सुरक्षिततेची पुरावाधारित मांडणी यांसारख्या नव्या प्रक्रिया आणल्या आहेत आणि संपूर्ण प्रशिक्षणात उद्दिष्ट-सुसंगत वर्तनाचे अधिक भक्कम पुरावे अनिवार्य केले आहेत. या अटींमुळे मॉडेलच्या प्रकाशनाचा वेग मंदावतो, पण सुरक्षितपणे पुढे जाण्याचा विश्वास वाढतो.

जुलैमधील Hugging Face घटनेनंतर⁠ आम्ही मॉडेलच्या प्रशिक्षण, चाचणी आणि वापरासाठीचे संरक्षणात्मक उपाय व उद्दिष्ट-सुसंगतीचे निकष बळकट केले आहेत. अत्यंत बंदिस्त सँडबॉक्स प्रशिक्षण व्यवस्थेपासून तुमच्या कॉम्प्यूटरवरील Codex वापरापर्यंत, प्रत्येक टप्प्यात आम्ही जोखीम कशी तपासतो आणि हाताळतो हे या लेखात मांडले आहे. प्रत्येक टप्प्यावर मॉडेल आणि संरक्षणात्मक उपाय या दोन्हींचे मूल्यमापन करतो. पुढच्या टप्प्यात जाण्यासाठी सुरक्षा आढावा आवश्यक असतो.

मॉडेलच्या संपूर्ण जीवनचक्रात बहुस्तरीय संरक्षण

आम्ही बहुस्तरीय संरक्षण वापरतो. त्यामुळे कोणत्याही एका संरक्षणात्मक उपायावरील अवलंबित्व कमी होते. एक स्तर अयशस्वी झाल्यास, इतर स्तर हानी टाळतात, परिणाम मर्यादित करतात किंवा हस्तक्षेपासाठी आम्हाला सावध करतात.

आमचे संरक्षण चार स्तरांत मांडले आहे:

प्रभावी निरीक्षण हे मॉडेलच्या निरीक्षणक्षमतेवर अवलंबून असते—म्हणजे मॉडेलच्या रीझनिंग आणि कृतींमधून चुका किंवा असुरक्षित वर्तन निरीक्षक यंत्रणा किती विश्वासार्हपणे शोधू शकतात यावर. उदाहरणार्थ, चेन-ऑफ-थॉटमध्ये फसवण्याचा हेतू स्पष्टपणे सांगणाऱ्या मॉडेलची निरीक्षणक्षमता, ही माहिती न सांगणाऱ्या मॉडेलपेक्षा जास्त असते. प्रशिक्षणादरम्यान आणि डिप्लॉयमेंटपूर्वी आम्ही निरीक्षणक्षमता तपासतो, ती मोजण्याच्या अधिक चांगल्या पद्धती⁠(नवीन विंडोमध्ये उघडेल) विकसित करतो आणि तिच्यावर कशाचा परिणाम होतो याचा अभ्यास करतो⁠(नवीन विंडोमध्ये उघडेल).

अत्यंत सक्षम मॉडेलना नियंत्रित ठेवण्यासाठी केवळ सँडबॉक्सवर अवलंबून का राहू नये, हे Hugging Face घटनेने दाखवले. आता आम्ही बहुतेक अंतर्गत आणि बाह्य डिप्लॉयमेंटमध्ये अत्याधुनिक मॉडेलचे निरीक्षण करतो. यात टूल्स वापरणारे सर्व अंतर्गत डिप्लॉयमेंट समाविष्ट आहेत.

मॉडेलच्या विकास आणि डिप्लॉयमेंटच्या तीन टप्प्यांत प्रत्येक स्तराची भूमिका बदलते:

  • संशोधन: आम्ही सँडबॉक्समध्ये मॉडेलना प्रशिक्षण देतो, तपासतो आणि वापरतो.

  • अंतर्गत डिप्लॉयमेंट: OpenAI कर्मचारी प्रत्यक्ष कामासाठी मॉडेल वापरतात.

  • बाह्य डिप्लॉयमेंट: मॉडेल लोकांना आणि संस्थांना अधिक व्यापकपणे उपलब्ध होतात.

वेगवेगळ्या टप्प्यांत आम्ही वेगवेगळ्या स्तरांवर अवलंबून राहतो. प्रशिक्षणादरम्यान उद्दिष्ट-सुसंगतीची खात्री कमी असल्याने सँडबॉक्स आणि निरीक्षणावर अधिक भर देतो. वापरादरम्यान मॉडेलना व्यापक ॲक्सेस मिळत गेल्यावर उद्दिष्ट-सुसंगती आणि सिस्टम-स्तरीय नियंत्रणे अधिक महत्त्वाची ठरतात. प्रत्येक टप्प्यात मॉडेलच्या क्षमता आणि ॲक्सेसच्या व्याप्तीसाठी एकत्रित संरक्षण पुरेसे आहे का हे तपासतो. आमच्या निर्णयांचे सुरक्षा सल्लागार गटासोबत पुनरावलोकन होऊ शकते आणि OpenAI Foundation च्या संचालक मंडळाची सुरक्षा आणि संरक्षण समिती त्यांवर देखरेख करू शकते.

संशोधनादरम्यान: मॉडेल सँडबॉक्समध्ये बंदिस्त ठेवणे

संशोधन टप्प्यात मॉडेलच्या उद्दिष्ट-सुसंगतीबद्दल विश्वास मिळवण्यासाठी आम्ही त्यांचे मूल्यमापन करतो. हानी टाळण्यासाठी अजून उद्दिष्ट-सुसंगतीवर पूर्ण अवलंबून राहता येत नाही. म्हणून मॉडेलचा ॲक्सेस आणि कृती मर्यादित करण्यासाठी सुरक्षा व सँडबॉक्सवर मोठ्या प्रमाणात अवलंबून राहतो.

उद्दिष्ट-सुसंगती संशोधन, निरीक्षण सिस्टम्स आणि इंटरनेट पायाभूत सुविधांची सुरक्षा यांची सध्याची स्थिती पाहता, थेट इंटरनेट ॲक्सेसशिवाय अत्याधुनिक मॉडेलना प्रशिक्षण देणे हाच जबाबदार मार्ग आहे असे आम्हाला वाटते. Hugging Face घटनेनंतर मॉडेल बंदिस्त ठेवण्यासाठी आम्ही अंतर्गत संशोधन सिस्टम्सची मोठ्या प्रमाणावर पुनर्रचना केली आणि त्यात हे वापरले:

  • मॉडेलचे अधिकार मर्यादित करणारे सँडबॉक्स

  • कार्यभार मूळ कॉम्प्यूटर्सपासून आणखी विलग करणाऱ्या व्हर्च्युअल मशीन

  • संपूर्ण कॉम्प्यूटर समूह इंटरनेटपासून तोडणाऱ्या नेटवर्क आणि क्लाउड सीमा

आम्ही या सिस्टमच्या सातत्याने आक्रामक चाचण्या करतो. आमच्या सर्वात शक्तिशाली मॉडेलच्या टीम्स थेट इंटरनेट गाठण्याचा, सुरक्षा सीमा ओलांडण्याचा किंवा ज्यांच्यापासून विलग राहायचे आहे त्या एजंटशी संपर्क साधण्याचा प्रयत्न करतात. यामुळे ज्या मॉडेलना मर्यादित ठेवायचे आहे त्यांच्या क्षमतांसमोर ही बंदिस्त व्यवस्था टिकते का हे तपासता येते.

अतिरिक्त संरक्षण म्हणून, मॉडेलने आमच्या अनिवार्य सुरक्षा अटींना बगल दिली आहे का हे शोधण्यासाठी अत्याधुनिक मॉडेलच्या सर्व अनुमानप्रक्रियांचे निरीक्षण करतो. मॉडेल इंटरनेटपर्यंत पोहोचल्याचे आढळल्यास, आम्ही सुरक्षा टीम्सना तातडीची सूचना देतो आणि कार्यभार आपोआप थांबवतो.

बंदिस्त व्यवस्था अयशस्वी झाल्यास निरीक्षण हीच महत्त्वाची राखीव संरक्षणव्यवस्था ठरते. अलीकडील उद्दिष्ट-विसंगती अहवालात आम्ही सांगितले की, मर्यादित इंटरनेट ॲक्सेस मिळवण्यासाठी अंतर्गत संशोधन मॉडेल DNS मधील चुकीच्या कॉन्फिगरेशनचा फायदा घेत असल्याचे निरीक्षक यंत्रणांनी शोधले⁠(नवीन विंडोमध्ये उघडेल). तपास करून सुरक्षेतील त्रुटी दूर करेपर्यंत आम्ही 20 सप्टेंबर ते 1 ऑक्टोबर आमच्या सर्वाधिक सक्षम मॉडेलचे प्रशिक्षण आणि मूल्यमापन थांबवले.

हस्तक्षेप जलद व विश्वासार्ह करण्यासाठी आम्ही नियंत्रण कक्ष⁠ ही केंद्रीय प्रणाली उभारली. ती संशोधन कार्यभारांचा मागोवा घेते आणि काम थांबवण्याची सूचना मिळाल्यानंतर 35 सेकंदांत मॉडेलचे पुढील आउटपुट थांबवते. ही नियंत्रणे थेट अनुमानप्रक्रियेच्या पायाभूत सुविधांत लागू होतात. त्यामुळे प्रत्येक संशोधन कार्यभाराने स्वतःची बंद करण्याची यंत्रणा उभारण्यावर ती अवलंबून नसतात. अत्याधुनिक मॉडेलच्या संशोधन कार्यभारांसाठी, नियंत्रण कक्ष उपलब्ध नसल्यासही ही नियंत्रणे मॉडेलचे आउटपुट थांबवतात.

रेड टीमिंग आणि निरीक्षण एकत्र काम करतात. सँडबॉक्स अभेद्य असल्याची हमी देता येत नाही. पण त्यातून बाहेर पडण्यासाठी मॉडेलला किती प्रयत्न करावे लागतील हे रेड टीमिंगमुळे मापता येते. मॉडेलला जितके अधिक प्रयत्न करावे लागतात, तितकी त्याला शोधून थांबवण्याची संधी निरीक्षक यंत्रणांना मिळते.

संशोधन टप्प्यात आम्ही काही कारणांसाठी भक्कम सुरक्षा आणि निरीक्षण नियंत्रणे अनिवार्य करतो:

  • मॉडेलचे मूल्यमापन अजून सुरू आहे. काही मॉडेलचे सार्वजनिक प्रकाशनासाठी आवश्यक सुरक्षा प्रशिक्षण, उद्दिष्ट-सुसंगतीचे ऑडिट आणि आढावे अद्याप पूर्ण झालेले नाहीत.

  • अत्याधुनिक संशोधनाच्या सेटिंग्ज जोखीम वाढवू शकतात. काही संशोधन कार्यांसाठी अधिक महत्त्वाकांक्षी सेटअप लागतात. त्यामुळे बाह्य वापराच्या तुलनेत मॉडेल अधिक चिकाटीने काम करते किंवा अधिक सक्षम होते (उदाहरणार्थ, Navier Stokes समस्या सोडवण्यासाठी 10,000 एजंटची टीम लागली होती).

  • कमी थेट मानवी देखरेखीखाली मोठ्या प्रमाणावर प्रशिक्षण चालते. नेहमीच्या Codex सत्राच्या विपरीत, आमच्या प्रशिक्षण कामांत मॉडेल मोठ्या संख्येने कृती करतात आणि प्रत्येक संवादावर एखाद्या व्यक्तीचे लक्ष नसते.

अंतर्गत डिप्लॉयमेंट: उद्दिष्ट-सुसंगती तपासणे, वर्तनाचे बारकाईने निरीक्षण करणे

व्यापक रिलीझपूर्वी, कर्मचारी अत्याधुनिक मॉडेलचा सँडबॉक्समधील संशोधनापुरता वापर सोडून सँडबॉक्सबाहेरील अंतर्गत वापर सुरू करतात. उदाहरणार्थ, कर्मचाऱ्यांना ChatGPT मध्ये हे मॉडेल उपलब्ध करून दिले जाते. यामुळे मॉडेल प्रत्यक्ष कामात कसे वागतात⁠(नवीन विंडोमध्ये उघडेल) हे अधिक चांगले समजते आणि डिप्लॉयमेंट करण्याच्या निर्णयांना आधार मिळतो.

या टप्प्यात आम्ही मॉडेलला व्यापक इंटरनेट, आमचे Slack, आमचा कोडबेस आणि अंतर्गत पायाभूत सुविधांचा ॲक्सेस देतो. यामुळे जोखमीत मोठा बदल होतो, कारण मॉडेलच्या कृतींचा आता OpenAI उभारण्यासाठी आणि चालवण्यासाठी वापरल्या जाणाऱ्या सिस्टम्सवर थेट परिणाम होतो. अंतर्गत वापरात सुरक्षा नियंत्रणांपेक्षा मॉडेलची उद्दिष्ट-सुसंगती, सिस्टममधील संरक्षणात्मक उपाय आणि निरीक्षण यांवर अधिक अवलंबून राहावे लागते.

अत्याधुनिक मॉडेल सँडबॉक्सबाहेर वापरण्यापूर्वी त्याची उद्दिष्ट-सुसंगती आणि निरीक्षणक्षमता तपासणे⁠(नवीन विंडोमध्ये उघडेल) आवश्यक असते. आमच्या उद्दिष्ट-सुसंगती मूल्यमापन सुईटमध्ये विशिष्ट अपयशप्रकार (उदा. सुरक्षा व संरक्षण निर्बंधांना बगल देणे) आणि वर्तनप्रवृत्तीची व्यापक मोजमापे (उदा. अंतर्गत Codex कृतीक्रमांचे पुन्हा नमुने घेऊन उद्दिष्ट-विसंगती तपासणे) या दोन्हींचा समावेश आहे. आमच्या उद्दिष्ट-सुसंगती आणि निरीक्षणक्षमतेच्या मूल्यमापनांविषयी अधिक माहिती नवीनतम GPT‑6 Astra सिस्टम कार्डमध्ये⁠(नवीन विंडोमध्ये उघडेल) मिळेल.

प्रत्यक्ष उपयोगाच्या सेटअपप्रमाणेच, आम्ही सिस्टम-स्तरीय वर्गीकारकांद्वारे अतिरिक्त संरक्षण देतो. हे वर्गीकारक अत्याधुनिक मॉडेलमुळे शक्य होणाऱ्या सायबर गैरवापर आणि जैविक शस्त्रनिर्मितीसारख्या हानींपासून संरक्षणासाठी तयार केले आहेत. Codex वापरणाऱ्या कर्मचाऱ्यांसाठी आम्ही सामान्यतः ऑटोमेटेड पुनरावलोकन⁠(नवीन विंडोमध्ये उघडेल) अनिवार्य करतो. ते संभाव्य धोकादायक कृती तपासून निर्णयासाठी पुन्हा वापरकर्त्याकडे पाठवते.

शेवटी, अंतर्गत वापरादरम्यान अत्याधुनिक मॉडेलच्या प्रत्येक अनुमानप्रक्रियेत उद्दिष्ट-विसंगत वर्तनासाठी निरीक्षण करतो. मॉडेलला आता वाढीव अधिकार आणि अंतर्गत माहिती व सिस्टम्सचा प्रवेश असल्याने, माहिती बाहेर नेणे किंवा संवेदनशील माहिती अनधिकृत ठिकाणी पाठवणे यांसारख्या जोखमी शोधणे विशेष महत्त्वाचे ठरते. निरीक्षणामुळे उद्दिष्ट-विसंगतीच्या नव्या प्रकारांचा⁠(नवीन विंडोमध्ये उघडेल) तपासही करता येतो.

बाह्य डिप्लॉयमेंट: मोठ्या प्रमाणावरील गैरवापर आणि उद्दिष्ट-विसंगतीपासून संरक्षण

सार्वजनिक डिप्लॉयमेंटमध्ये मॉडेलचा खूप जास्त वापरकर्ते, कामे आणि कार्यपरिस्थितींशी संबंध येतो. त्यामुळे जोखमींचे प्रमाण आणि विविधता दोन्ही वाढतात. या टप्प्यावर जाणीवपूर्वक मॉडेलला हानी करण्यास सांगणाऱ्या संभाव्य दुष्ट हेतूच्या घटकांपासूनही संरक्षण करावे लागते.

सार्वजनिक प्रकाशनापूर्वी मॉडेल आणि सिस्टममधील संरक्षणात्मक उपायांनी बाह्य डिप्लॉयमेंटसाठीचे आमचे सुरक्षा निकष पूर्ण केले पाहिजेत. आम्ही त्यांचे मूल्यमापन पुढील प्रकारे करतो:

  • उद्दिष्ट-सुसंगती आणि सुरक्षेच्या अधिक व्यापक चाचण्या करणे. अत्याधुनिक मॉडेलसाठी, आमच्या अंतर्गत ऑटोमेटेड रेड टीमिंग यंत्रणांद्वारे अनुकूलनशील चाचण्यांच्या⁠ नव्या फेऱ्या घेऊन प्रतिकूल परिस्थितीत मॉडेलची भक्कमता तपासतो. क्षमता आणि सुरक्षेच्या मूल्यमापनांचे निष्कर्ष आम्ही आमच्या सिस्टम कार्डमध्ये⁠(नवीन विंडोमध्ये उघडेल) प्रकाशित करतो.

  • सर्वाधिक सक्षम मॉडेलसाठी आम्ही तृतीय पक्षांसोबतही चाचण्या करतो. यात गैरवापराविरुद्धचे संरक्षण आणि मॉडेलची मूलभूत उद्दिष्ट-सुसंगती या दोन्हींची कठोर परीक्षा घेतो.

  • मूळ मॉडेलच्या मूलभूत उद्दिष्ट-सुसंगतीतील बदल टिपण्यासाठी अंतर्गत डिप्लॉयमेंटमधील निरीक्षणाने नोंदवलेले धोक्याचे संकेत तपासणे.

आमच्या "त्याच वेळी कार्यरत" संरक्षणात्मक उपायांव्यतिरिक्त (उदा. मॉडेलचे सुरक्षा प्रशिक्षण आणि सिस्टम वर्गीकारक), बाह्य डिप्लॉयमेंटसाठी आम्ही वापराच्या वेळी न होणारी, स्वतंत्र अंमलबजावणी आणि तपासही करतो. या टीम्स मोठ्या प्रमाणावर कार्यरत तपासक एजंट आणि मानवी पुनरावलोकन एकत्र वापरतात. त्यातून सायबर गैरवापर, जैविक शस्त्रनिर्मिती, डिस्टिलेशन⁠ यांतील संभाव्य धोकादायक घटक तसेच मॉडेलची स्वतःची उद्दिष्ट-विसंगती शोधून ओळखले जातात. संभाव्य धोक्याचे अधिक समग्र चित्र मिळवण्यासाठी विविध खात्यांमधून माहिती गोळा करण्यात ही स्वतंत्र अंमलबजावणी विशेष उपयुक्त ठरते.

Daybreak आणि Rosalind⁠ यांसारखे विश्वसनीय ॲक्सेस कार्यक्रम अतिरिक्त सुरक्षा देतात. ते संभाव्य हल्लेखोरांचा ॲक्सेस मर्यादित ठेवून सुरक्षा रक्षक आणि वैध संशोधकांच्या कामाला गती देतात.

घटनांना प्रतिसाद आणि प्रकटीकरण

आमच्या सुरक्षेच्या एखाद्या स्तरात बिघाड दिसल्यास, प्रत्यक्ष हानी झाली असो वा नसो, आम्हाला त्वरित तपास करून त्याचे गांभीर्य ठरवायचे असते आणि शक्य व योग्य असल्यास तो बाहेर जाहीर करायचा असतो. आमच्या उद्दिष्ट-विसंगती अहवाल⁠ धोरणानुसार कोणताही कर्मचारी एखादी घटना सार्वजनिक प्रकटीकरणासाठी सुचवू शकतो. या अहवालांचा तपास होतो. ते बाहेर जाहीर करावेत का यावर मतभेद असल्यास, निर्णय आमच्या सुरक्षा सल्लागार गटाकडे सोपवला जातो. कर्मचाऱ्यांच्या अहवालांवर अवलंबून राहण्यासोबतच आम्ही उद्दिष्ट-विसंगतीच्या घटना स्वतःहून शोधतो, ज्याने त्यांवर उपाय करता येतील आणि निष्कर्ष मांडता येतील.

आमचे उद्दिष्ट-विसंगती अहवाल तुम्ही येथे⁠(नवीन विंडोमध्ये उघडेल) पाहू शकता.

​


​

हे काम संशोधनातील प्रगती आणि कार्यपद्धतीतील शिस्त या दोन्हींवर अवलंबून आहे: नियंत्रणे योग्यरीत्या कॉन्फिगर करणे, त्यांचा परस्पर परिणाम तपासणे आणि ती अयशस्वी झाल्यास ठोस प्रतिसाद देणे. चुकीचे कॉन्फिगरेशन असलेली नेटवर्क सेवा किंवा अयशस्वी ऑटोमेटेड थांबा, एरवी भक्कम असलेले संरक्षण कमकुवत करू शकतात.

मॉडेलना नव्या क्षमता मिळत जातील तसे संरक्षणात्मक उपायांमागील गृहीतके तपासत राहावे लागेल आणि गरजेनुसार उपाय सुधारावे लागतील. संशोधन, अंतर्गत डिप्लॉयमेंट आणि सार्वजनिक वापरातील धड्यांनी पुढील मॉडेलचे प्रशिक्षण, मूल्यमापन आणि वापराची दिशा ठरवली पाहिजे.

आमच्या पद्धतीची आणि तिच्या मर्यादांची इतरांना छाननी करता यावी म्हणून आम्ही सिस्टम कार्ड, घटना अहवाल, अंतर्गत वापराचे जोखीम अहवाल⁠(नवीन विंडोमध्ये उघडेल) आणि बाह्य मूल्यमापने⁠ यांतून निष्कर्ष मांडत राहू. पुरावे आमच्या सुरक्षा निकषांसाठी अपुरे पडल्यास, ते निकष पूर्ण होईपर्यंत आम्ही पुन्हा प्रशिक्षण थांबवू किंवा प्रकाशन रोखू.

संबंधित संशोधन आणि संसाधने

सुरक्षा निकष ठरवणे

उद्दिष्ट-सुसंगत वर्तनाची व्याख्या आणि मूल्यमापन

मॉडेल बंदिस्त ठेवणे आणि संरक्षण सुधारणे

घटनांना प्रतिसाद आणि प्रकटीकरण

संशोधनातील प्रगती आणि उपयोग

  • संशोधनाला गती: OpenAI मधील दृष्टिकोन — कोडिंग एजंट OpenAI मधील संशोधन कसे बदलत आहेत याचे प्रारंभिक पुरावे: वाढता वापर, अधिक गुंतागुंतीची कामे आणि प्रयोगांवरील परिणाम.

  • Navier-Stokes मिलेनियम पारितोषिक समस्येविषयी — अंतर्गत AI सिस्टमने तयार केलेली गणिती सिद्धता आणि Lean मधील औपचारिक मांडणी; मोठ्या प्रमाणावरील संशोधन वापराच्या क्षमता दाखवणारे काम.

  • Daybreak — असुरक्षितता शोधण्यासाठी आणि संरक्षण बळकट करण्यासाठी आमचा सायबरसुरक्षा कार्यक्रम पडताळलेल्या सुरक्षा रक्षकांना प्रगत AI क्षमता, सुरक्षा टूल्स आणि सहाय्य पुरवतो.

  • जीवविज्ञान संशोधनासाठी GPT‑Rosalind चा परिचय⁠ — जीवशास्त्र, औषधशोध आणि संशोधनाचे उपचारांत रूपांतर करणाऱ्या वैद्यकासाठी विशेष मॉडेल; पात्र संस्थांना विश्वसनीय ॲक्सेस कार्यक्रमातून उपलब्ध.