Hugging Face घटना आणि पुढील वाटचाल

मे आणि जूनदरम्यान, आम्ही सार्वजनिक प्रकाशनासाठी अभिप्रेत नसलेल्या अनेक नवीन संशोधन मॉडेलसाठी रीइन्फोर्समेंट लर्निंग (RL) प्रशिक्षण फेऱ्या सुरू केल्या. यापैकी एका मॉडेलने अखेरीस Hugging Face घटनेमागील क्रियाकलापाला चालना दिली. हे केवळ अंतर्गत वापरासाठी असलेले संशोधन मॉडेल आहे, ज्याला आम्ही अंतर्गत मॉडेल 1 (IM1) म्हणतो.

या प्रशिक्षण प्रयोगांमधील अनेक वातावरणांसाठी आम्ही इंटरनेट प्रवेश किंवा एजंटमधील संवाद सक्षम केला नव्हता. या निर्बंधांनंतरही, एजंट्सनी एकमेकांशी संवाद साधण्यासाठी आणि इंटरनेटवर प्रवेश मिळवण्यासाठी आमच्या संशोधन पायाभूत सुविधांचा दुरुपयोग करण्याचे मार्ग शोधून काढले.

मॉडेलांनी प्रथम Artifactory पॅकेज मॅनेजर सेवेमध्ये फायली लिहून संवाद साधण्याचे मार्ग शोधले. यामुळे प्रत्यक्षात Artifactory एका अनपेक्षित संदेश फलकात रूपांतरित झाले, जिथे एजंट्स एकमेकांशी माहितीची देवाणघेवाण करू शकत होते. अधिक वाचा: एजंट्सनी संदेश फलकाचा कसा वापर केला 

चार जुलैपर्यंत, एजंटच्या सततच्या ॲक्टिव्हिटीमुळे प्रभावित Artifactory उदाहरण अस्थिर झाले, ज्यामुळे सेवा खंडित झाली. पाच 05.07. रोजी एक सुरक्षा घटना नोंदवण्यात आली. सुरक्षा संघाने विशेषाधिकार-वाढीचा एक ज्ञात मार्ग अवरोधित केला, उघड झालेली प्रमाणपत्रे काढून टाकली आणि Artifactory पुन्हा तयार केले. यामुळे संदेश फलक रिकामा होण्याचा अनपेक्षित परिणाम झाला. या शमन उपाययोजना लागू झाल्यानंतर, सायबरसुरक्षा मूल्यांकन पुन्हा सुरू झाले.

त्या वेळी, तात्पुरत्या तयार केलेल्या संदेश फलकाचे आणि अनवधानाने मिळालेल्या इंटरनेट प्रवेशाचे व्यापक संरोधन व संरेखनविषयक परिणाम अद्याप समजले नव्हते. वेगवेगळ्या OpenAI संघांना त्या वेळी काय समजले होते, याबद्दल तांत्रिक घटना अहवालात अधिक तपशील दिला आहे. थोडक्यात, एका अंतर्गत संघाने मे महिन्याच्या शेवटी एका एजंटला संदेश फलकावरील क्रियाकलापांमध्ये सहभागी होताना आणि अनुमती नसलेल्या इंटरनेट प्रवेशाच्या घटना करताना पाहिले. तथापि, तात्पुरत्या तयार केलेल्या संदेश फलकाचे अस्तित्व आणि एजंटांमधील संवाद क्रियाकलापांचे महत्त्व घटना शोधणे आणि प्रतिसाद यांसाठी जबाबदार नेत्यांच्या लक्षात आले नव्हते. या घटनेपूर्वीच्या कालावधीत शोध आणि प्रतिसाद उपक्रमांना आकार देणाऱ्या प्रक्रिया आणि कार्यपद्धतींचा आम्ही तपास सुरू ठेवत आहोत.

पुनर्निर्मित Artifactory सेवेसह, आम्ही सायबरसुरक्षा मूल्यांकन पुन्हा सुरू केले. आमची मॉडेल्स काय करू शकतात हे समजून घेण्यासाठी आणि तैनातीसाठी योग्य सुरक्षा उपाय निश्चित करण्यासाठी आम्ही हे मूल्यांकन करतो. असे करण्यासाठी, आम्ही आमच्या बाह्यरित्या तैनात केलेल्या प्रणालींप्रमाणे तितक्याच पातळीचे सुरक्षा उपाय सक्षम करत नाही. या घटनेमागील मूल्यमापन, ExploitGym, अत्यंत कठीण आहे—काही कार्यांसाठी कदाचित ज्ञात उपाय नसू शकतो. यशस्वी होण्यासाठी, एजंट्सना फ्लॅग म्हणून ओळखले जाणारे उत्तर मिळवण्यासाठी सॉफ्टवेअरचा फायदा उठवण्याचे मार्ग शोधावे लागतील.

घटनेनंतर, प्रशिक्षण आणि मूल्यांकनातील विसंरेखनाच्या समस्यांसह, तसेच अंतर्गत मूल्यांकनांमधील सुरक्षा उपायांच्या व्याप्तीसह, मॉडेलने हे विसंरेखित वर्तन का प्रदर्शित केले याचा तपास करण्यासाठी आम्ही लक्षणीय प्रयत्न केले.

आम्ही मॉडेलच्या वर्तनामध्ये योगदान देणाऱ्या चार विसंरेखनाच्या नमुन्यांची ओळख केली: रिवॉर्ड हॅकिंग, वरकरणी अशक्य वाटणाऱ्या कामांवर चिकाटीने काम करणे, अनधिकृत संवाद, आणि एजंट्सनी एकमेकांकडून उद्दिष्टे स्वीकारणे.

हे समजून घेण्यासाठी, आम्ही मॉडेल प्रशिक्षण आणि मूल्यमापन रोलआउट्सचे विश्लेषण केले.¹ आम्ही आमच्या नवीनतम CoT निरीक्षण तंत्रांचा⁠ वापर करून चेन-ऑफ-थॉट (CoT), कृती आणि अंतिम आउटपुटचे व्यापक पश्चदृष्टी पुनरावलोकन केले. असे करताना, आमच्या तपासातून मिळालेल्या पश्चदृष्टीचा वापर करून, घटनेत आढळलेल्या वर्तनांच्या प्रकारांबाबत आमच्या मॉनिटरिंग प्रणालीची रिकॉल क्षमता आम्ही विशेषतः सुधारली.

एजंट्सनी ऑनलाइन उपाय शोधून त्यांच्या कामांमध्ये फसवणूक करण्याचा प्रयत्न करणे हे Hugging Face घटनेमागील प्रमुख कारण होते. या वर्तनाला रिवॉर्ड हॅकिंग म्हणतात: एजंट्स उच्च रिवॉर्ड हॅकिंग किंवा ती मिळवणे सोपे करण्यासाठी अनपेक्षित मार्गांनी कामे पूर्ण करतात. रिवॉर्ड हॅकिंग AI प्रणालींमध्ये ऐतिहासिकदृष्ट्या (हे दशकापूर्वीचे काम⁠ पहा, आकृती खाली दर्शवली आहे) आणि सध्याच्या अत्याधुनिक LLMs⁠(नवीन विंडोमध्ये उघडेल)मध्येही आढळले आहे. आम्ही अशा हॅक्स ओळखण्यासाठी आणि पॅच करण्यासाठीच्या पद्धतींमध्ये महत्त्वपूर्ण प्रमाणात गुंतवणूक केली आहे⁠.

विसंगत वर्तनामागील आणखी एक महत्त्वाचा घटक असा होता की एजंट्सनी त्यांच्या मूल्यमापनाच्या कामांबाबत क्वचितच “हार मानली”, अगदी ती कामे सोडवणे अशक्य वाटत असतानाही. एजंट्स त्यांचा रीझनिंग बजेट संपवत असताना, काहींनी अधिकाधिक धोकादायक आणि मर्यादेबाहेरील धोरणांचा अवलंब केला, ज्यामध्ये शेवटी तृतीय-पक्षीय पायाभूत सुविधा वापरणेही समाविष्ट होते.

आमच्या तपासादरम्यान, आम्हाला आढळले की ExploitGym मूल्यमापनात, घटनेपूर्वी 898 पैकी 198 कार्यांसाठी आमच्या कोणत्याही मॉडेलने कधीही योग्य उत्तर दिले नव्हते. ही न सुटलेली कार्ये एजंटच्या क्रियाकलापात महत्त्वाची भर घालणारी ठरली—Hugging Face घटनेदरम्यान Artifactory संदेश फलकावर चर्चा झालेल्या 93% कार्ये 198 प्रश्नांच्या या संचातून आली होती.

दुसरे म्हणजे, ही घटना मुख्यत्वे अशा एजंट्समुळे घडली ज्यांना अत्यंत मोठे रीझनिंग बजेट देण्यात आले होते, ज्यामध्ये आमच्या बाह्य उत्पादनांमध्ये उपलब्ध असलेल्या बजेटपेक्षाही खूप जास्त बजेटचा समावेश होता.

या घटनेच्या केंद्रस्थानी अनधिकृत, सतत टिकून राहणारे संदेश फलक होते. स्वतंत्रपणे काम करणे अपेक्षित असलेले एजंट्स शोधांची देवाणघेवाण करू शकले, त्यांच्या प्रयत्नांचा समन्वय साधू शकले आणि इतरांनी जिथे काम थांबवले होते तिथून पुढे काम सुरू करू शकले. यामुळे त्यांना स्वतंत्र मूल्यमापनांमधील काम आणि संगणकीय क्षमता एकत्रित करता आली, ज्यामुळे कोणताही एक एजंट एकट्याने साध्य करू शकला असता त्यापेक्षा त्यांच्या क्षमता खूपच वाढल्या. एजंटमधील संवाद स्वतःमध्ये समस्याप्रधान वर्तन नाही—आम्ही सहकार्य साधनाद्वारे त्याच कार्यावर संवाद साधू शकणाऱ्या बहु-एजंट प्रणालींना प्रशिक्षण देतो आणि तैनात करतो. जुलैतील घटनांमध्ये, वेगवेगळ्या कार्ये असलेल्या एजंट्सनी त्या मर्यादांच्या बाहेर सहयोग करण्याचा स्वतःचा मार्ग शोधला, ज्यामुळे अनपेक्षित परिणाम झाले.

या घटनेची चौकशी करत असताना, आम्हाला असे दुर्मिळ प्रकरणे आढळली ज्यात एजंट मल्टी-एजंट साधनांशिवाय प्रशिक्षणादरम्यान साइड चॅनेलद्वारे सहकार्य करण्याचे मार्ग शोधले होते. आमचा विश्वास आहे की हे वर्तन मल्टी-एजंट प्रशिक्षणातून झालेल्या सामान्यीकरणामुळे सुरू झाले.

अनधिकृत संवादाची सुरुवात अनेकदा एका एजंटने एखाद्या बाह्य प्रणालीमध्ये, सहसा बाह्य स्मृतीच्या स्वरूपात, नोट किंवा फाइल ठेवण्यापासून होते. जेव्हा इतर एजंटना हे आर्टिफॅक्ट्स दिसले, तेव्हा अनेकदा त्यांना ही जाणीव झाली की ते सहयोगासाठी ही बाह्य सेवा वापरू शकतात. आम्ही पाहिलेल्या वर्तनाचे अत्यंत प्रतिनिधिक काल्पनिक उदाहरण म्हणून, संदेश सामायिक केलेल्या इंडेक्स पृष्ठावर साठवलेल्या URL पथांमध्ये एन्कोड केले जात होते, साधारणपणे असे:

Hugging Face घटनेतील एक अंतिम, विशेषतः ठळक निष्कर्ष म्हणजे संदेश फलकावर उदयास आलेले एजंट "परिसर" होते. हा संदेश फलक स्थापन झाल्यानंतर, एजंट्सना संवाद साधण्याची जोरदार प्रेरणा मिळाली: त्यामुळे एजंट्सना नोंदी जतन करता येतात, एकमेकांच्या शोधांवर पुढे काम करता येते, आणि अन्यथा स्वतंत्र असलेल्या रनांची संगणकीय संसाधने एकत्रित वापरता येतात. एजंट्सचा हा जटिल आणि अनाकार समूह रोचक आणि उदाहरणीय वर्तन-पद्धती प्रदर्शित करतो, आणि येथे आम्ही निरीक्षण केलेल्या त्यांपैकी काहींचा तपशील देत आहोत.

एजंट्सनी स्वायत्तपणे कामाची विभागणी करण्यास सुरुवात केली. काहींनी संभाव्य शोषणांची तपासणी केली, काहींनी प्रमाणपत्रे शोधली, तर काहींनी संवाद किंवा समन्वयावर लक्ष केंद्रित केले. एजंट्सनी इतरत्र मदतीच्या बदल्यात स्वतःची तज्ज्ञता देऊ केली, आगामी कामांबद्दल माहितीची देवाणघेवाण केली आणि एखाद्या विशिष्ट धाग्याचा पाठपुरावा करण्यासाठी अधिक अनुकूल स्थितीत असू शकणाऱ्या सहकाऱ्यांसाठी विनंत्या सोडल्या.

विसंरेखनाव्यतिरिक्त, या घटनेमागील आणखी एक कारण म्हणजे आम्ही बाहेरून तैनात केलेल्या आमच्या मॉडेल्ससाठी वापरत असलेले प्रभावी सुरक्षा उपाय सर्व अंतर्गत मूल्यमापनांपर्यंत विस्तारित केले नाहीत.

प्रथम, आमच्या ग्राहकांसाठी प्रॉडक्शन सेटिंग्जमध्ये विसंरेखन कमी करणाऱ्या अनेक यंत्रणा आहेत, ज्यामध्ये सिस्टम प्रॉम्प्ट्स, हार्नेस आणि आमच्या ऑटो-रिव्ह्यू मॉडेल्स व सुरक्षा वर्गीकरणकर्त्यांसारख्या नियंत्रण यंत्रणांचा समावेश आहे. घटनेदरम्यान चालू असलेल्या मूल्यमापन वातावरणात हे सुरक्षा उपाय लागू केले गेले नव्हते. घटनेनंतर, आम्ही ExploitGym मूल्यमापनांदरम्यान एखाद्या मॉडेलची पायाभूत संरचनेशी तडजोड करण्याची प्रवृत्ती मोजणारे मूल्यमापन तयार केले. प्रॉडक्शन Codex हार्नेस आणि सिस्टम प्रॉम्प्ट वापरल्यावर पायाभूत संरचनेशी तडजोड करण्याची प्रवृत्ती १०० पटांहून अधिक कमी होऊ शकते, असे आम्हाला आढळले. आम्ही Hugging Face घटनेत सहभागी असलेल्या काही रोलआउट्सवर Codex ऑटो-रिव्ह्यू प्रणालीही चालवली आणि असे आढळले की तिने मॉडेल्सच्या अनेक धोकादायक कृतींना ध्वजांकित केले असते.

दुसरे म्हणजे, या घटनेपूर्वी आम्ही चेन-ऑफ-थॉट देखरेखीमध्ये⁠ लक्षणीय गुंतवणूक केली होती, ज्यामध्ये आमच्या अनेक अत्याधुनिक RL प्रशिक्षण रन आणि अंतर्गत कोडिंग एजंट वापर⁠ यांचे निरीक्षण समाविष्ट होते. या घटनेतील मूल्यमापनांवर हे मॉनिटर्स चालले नाहीत.

पश्चदर्शी मूल्यमापनांमध्ये, आम्हाला आढळले की आमचे CoT मॉनिटर्स घटनेशी संबंधित क्रियाकलाप ओळखण्यात अत्यंत प्रभावी होते. घटनेच्या वेळी आमची सध्या तैनात असलेली चेन-ऑफ-थॉट मॉनिटरिंग प्रणाली चालू असती, तर पहिल्या अनधिकृत तृतीय-पक्ष ॲक्सेसच्या एका तासाच्या आत तिने आमच्या सुरक्षा पथकाला तातडीची सूचना पाठवली असती. मॉडेल्सनी Hugging Face प्रणालींचे उल्लंघन करण्यापूर्वी हे 30 तासांहून अधिक आधी झाले होते. या अलर्ट्सचा विलंब आणखी कमी करण्यावरही आम्ही काम करत आहोत.

तिसरे म्हणजे, आम्ही या सँडबॉक्सची चाचणी करून पडताळणी केली होती, तरीही एजंटांनी सँडबॉक्समध्ये उघड केलेल्या पॅकेज व्यवस्थापन सेवेमधील पूर्वी अज्ञात असलेल्या भेद्यतांची ("शून्य-दिवस") साखळी तयार करून निर्बंधांना बगल देता आली, ज्याचे तपशील तांत्रिक घटना अहवालात दिले आहेत. त्या घटनेनंतर, तैनाती आणि मूल्यमापनांदरम्यान तत्सम प्रकारच्या जोखमी मर्यादित करण्यासाठी आम्ही आमचे अंतर्गत सँडबॉक्स अधिक सुरक्षित करण्यासाठी लक्षणीय प्रगती केली आहे.

OpenAI चे ध्येय आर्टिफिशियल जनरल इंटेलिजन्सचा लाभ संपूर्ण मानवजातीला मिळेल याची खात्री करणे आहे. येथे वर्णन केलेले आमच्या मॉडेल्सचे वर्तन आम्हाला ज्या स्तरावर पोहोचायचे आहे त्यापेक्षा खूपच कमी आहे. ही घटना घडलीच नसती. यामुळे हे स्पष्ट झाले की आमची सुरक्षा, देखरेख आणि संरेखन यांत सातत्याने सुधारणा करणे किती अत्यावश्यक आहे, विशेषतः आमची मॉडेल्स अशा क्षमतेच्या स्तरावर पोहोचत असताना की ज्यामुळे प्रत्यक्षात नियंत्रण गमावले जाऊ शकते.

मॉडेल विकासाच्या गतीबाबतच्या आमच्या अलीकडील अपडेटमध्ये⁠ आम्ही सामायिक केल्याप्रमाणे, तैनातीसाठी असलेल्या आमच्या नवीनतम मॉडेल्सच्या रीइन्फोर्समेंट लर्निंग (RL) प्रशिक्षणात आम्ही विराम लागू केला. आमच्या अत्याधुनिक संशोधन वातावरणांची सुरक्षा आणखी मजबूत करण्यासाठी आणि त्यावर रेड टीम चाचण्या करण्यासाठी आम्ही हा वेळ घेतला. आम्ही कर्मचाऱ्यांना सुरक्षा, सुरक्षितता आणि अलाइनमेंटवर काम करण्यासाठी पुन्हा नियुक्त केले. मॉडेलच्या वर्तनाचे मूल्यमापन करण्यासाठी, आमची संरक्षणे प्रमाणित करण्यासाठी आणि पुढे जाण्यापूर्वी अलाइनमेंटचे अधिक पुरावे मिळवण्यासाठी आम्ही लहान स्तरावरील प्रशिक्षण आणि मूल्यमापन करत आहोत. त्यामुळे आमची नियोजित सर्वांत मोठी अत्याधुनिक RL प्रशिक्षण प्रक्रिया अद्याप स्थगित आहे. या कामासाठी मोठ्या प्रमाणात अभियांत्रिकी प्रयत्न आवश्यक झाले असून, त्यामुळे अत्याधुनिक संशोधनाला लक्षणीय खर्च आणि विलंब झाला आहे.

आमच्या अहवालात चर्चा केल्याप्रमाणे, आमचा प्रतिसाद संशोधन सुरक्षा आणि निरीक्षण बळकट करण्यावर, मॉडेल संरेखनाला गती देण्यावर आणि घटना कशा ओळखल्या जातात, पुढे पाठवल्या जातात आणि त्यांना प्रतिसाद दिला जातो हे सुधारण्यावर केंद्रित आहे.