प्रॉम्प्ट इंजेक्शनला प्रतिकार करण्यासाठी AI एजंट्सची रचना करणे

AI एजंट्स वेब ब्राउझ करण्यास, माहिती मिळवण्यास आणि वापरकर्त्याच्यावतीने कृती करण्यास अधिकाधिक सक्षम होत आहेत. त्या क्षमता उपयुक्त आहेत, पण त्या हल्लेखोरांना प्रणालीमध्ये फेरफार करण्याचा प्रयत्न करण्यासाठी नवीन मार्ग देखील निर्माण करतात.

हे हल्ले अनेकदा प्रॉम्प्ट इंजेक्शन⁠ असे वर्णन केले जातात: वापरकर्त्याने न मागितलेले काहीतरी मॉडेलकडून करून घेण्याच्या प्रयत्नात बाह्य सामग्रीमध्ये ठेवलेल्या सूचना. आमच्या अनुभवात, या हल्ल्यांच्या सर्वात प्रभावी वास्तविक जगातील आवृत्त्या साध्या प्रॉम्प्ट ओव्हरराइड्सपेक्षा अधिकाधिक सामाजिक अभियांत्रिकीसारख्या दिसतात.

तो बदल महत्त्वाचा आहे. जर समस्या फक्त दुष्ट स्ट्रिंग ओळखण्याची नसून, संदर्भात दिशाभूल करणाऱ्या किंवा हाताळणी करणाऱ्या मजकुराला प्रतिकार करण्याची असेल, तर त्याविरुद्ध संरक्षण केवळ इनपुट्स फिल्टर करण्यावर अवलंबून राहू शकत नाही. यासाठी प्रणालीची रचना अशी करणेही आवश्यक आहे की, काही हल्ले यशस्वी झाले तरीही फेरफाराचा प्रभाव मर्यादित राहील.

प्रारंभिक "प्रॉम्प्ट इंजेक्शन" प्रकारचे हल्ले इतके सोपे असू शकतात की विकिपीडिया लेखात फक्त एखादी संपादन करून त्यात येणाऱ्या AI एजंट्सना थेट सूचना समाविष्ट केल्या जातात; अशा शत्रुत्वपूर्ण वातावरणाचा प्रशिक्षण-काळात अनुभव नसल्यामुळे AI मॉडेल्स बहुतेकदा त्या सूचनांनुसार प्रश्न न विचारताच वागतात ¹. मॉडेल्स अधिक हुशार झाल्यामुळे अशा प्रकारच्या सूचनांसाठी त्यांची असुरक्षितता कमी झाली आहे आणि आम्ही पाहिले आहे की प्रॉम्प्ट इंजेक्शन-शैलीतील हल्ल्यांनी त्यात सामाजिक अभियांत्रिकीचे घटक समाविष्ट केले आहेत:

विस्तृत AI सुरक्षा परिसंस्थेत "AI फायरवॉलिंग" सारख्या तंत्रांची शिफारस करणे सामान्य झाले आहे, ज्यात AI एजंट आणि बाह्य जगाच्या दरम्यानचा मध्यस्थ इनपुट्सना दुर्भावनापूर्ण प्रॉम्प्ट इंजेक्शन आणि नियमित इनपुट्समध्ये वर्गीकृत करण्याचा प्रयत्न करतो—पण अशा प्रणालींद्वारे पूर्णपणे विकसित हल्ले सहसा पकडले जात नाहीत. अशा प्रणालींसाठी, दुर्भावनापूर्ण इनपुटचा शोध घेणे हे खोटं किंवा चुकीची माहिती ओळखण्याइतकंच अतिशय कठीण समस्या बनते, आणि अनेकदा आवश्यक संदर्भाशिवाय.

वास्तविक जगातील प्रॉम्प्ट इंजेक्शन हल्ले जसे जसे अधिक गुंतागुंतीचे होत गेले, तसे आम्हाला आढळले की सर्वात प्रभावी आक्रमक तंत्रे सामाजिक अभियांत्रिकी तंत्रांवर अवलंबून होती. सामाजिक अभियांत्रिकीसह या प्रॉम्प्ट इंजेक्शन हल्ल्यांना समस्येचा स्वतंत्र किंवा पूर्णपणे नवीन वर्ग म्हणून हाताळण्याऐवजी, आम्ही इतर क्षेत्रांमध्ये मानवांवरील सामाजिक अभियांत्रिकी जोखीम व्यवस्थापित करण्यासाठी वापरल्या जाणाऱ्या त्याच दृष्टिकोनातून त्याकडे पाहू लागलो. या प्रणालींमध्ये, उद्दिष्ट केवळ दुर्भावनायुक्त इनपुट्सची परिपूर्ण ओळख पटवण्यापुरते मर्यादित नसून, एजंट्स आणि प्रणाली अशा प्रकारे डिझाइन करणे आहे की हाताळणीचा प्रभाव मर्यादित राहील, ती यशस्वी झाली तरीही. अशा प्रणाली प्रॉम्प्ट इंजेक्शन आणि सामाजिक अभियांत्रिकी या दोन्हींचे शमन करण्यात प्रभावी असल्याचे दिसून येते.

या प्रकारे, आपण AI एजंटची कल्पना ग्राहक सेवा एजंटसारख्या समान तीन-घटक प्रणालीत अस्तित्वात असल्याप्रमाणे करू शकतो; एजंटला त्यांच्या नियोक्त्याच्या वतीने कृती करायची असते, परंतु त्यांना सतत बाह्य इनपुटचा सामना करावा लागतो जो त्यांना दिशाभूल करण्याचा प्रयत्न करू शकतो. ग्राहक समर्थन एजंट, मानवी किंवा AI, यांच्या क्षमतांवर मर्यादा घालणे आवश्यक आहे, जेणेकरून अशा दुष्ट वातावरणात अस्तित्वात असण्यामुळे होणारा नकारात्मक जोखीम मर्यादित करता येईल.

अशी परिस्थिती कल्पना करा की ज्यामध्ये एखादा मानव ग्राहक समर्थन प्रणाली चालवतो आणि डिलिव्हरीमध्ये उशीर, बिघाडामुळे झालेले नुकसान इत्यादी ग्राहकाला झालेल्या गैरसोयींसाठी गिफ्ट कार्ड्स आणि रिफंड्स देऊ शकतो. ही एक बहुपक्षीय समस्या आहे ज्यात कॉर्पोरेशनला विश्वास ठेवावा लागतो की एजंट योग्य कारणांसाठी परतावे देतो, तर एजंट तृतीय पक्षांशीही संवाद साधतो, जे त्यांना दिशाभूल करण्याचा प्रयत्न करू शकतात किंवा त्यांना दबावाखालीही आणू शकतात.

वास्तविक जगात, एजंटला पालन करण्यासाठी नियमांचा एक संच दिला जातो, पण ज्या शत्रुत्वपूर्ण वातावरणात ते अस्तित्वात आहेत, त्यात त्यांना दिशाभूल केली जाईल अशी अपेक्षा असते. कदाचित एखादा ग्राहक संदेश पाठवून असा दावा करेल की त्यांचा परतावा कधीच पूर्ण झाला नाही, किंवा परतावा दिला नाही तर हानी करण्याची धमकी देईल. एजंट ज्या निर्धारक प्रणालींशी संवाद साधतो त्या ग्राहकाला दिल्या जाऊ शकणाऱ्या परताव्यांची रक्कम मर्यादित करतात, संभाव्य फिशिंग ईमेल्स चिन्हांकित करतात, आणि वैयक्तिक एजंटची तडजोड झाल्यामुळे होणारा परिणाम मर्यादित करण्यासाठी इतर अशा शमन उपाय प्रदान करतात. 

या दृष्टिकोनामुळे आम्ही तैनात केलेल्या प्रतिकारक उपाययोजनांचा एक मजबूत संच तयार केला आहे, जो आमच्या वापरकर्त्यांच्या सुरक्षा अपेक्षा पूर्ण करतो.

ChatGPT मध्ये, आम्ही हे सामाजिक अभियांत्रिकी मॉडेल स्रोत-सिंक विश्लेषणासारख्या अधिक पारंपरिक सुरक्षा अभियांत्रिकी पद्धतींसोबत एकत्र करतो.

त्या चौकटीत, हल्लेखोराला source, किंवा प्रणालीवर प्रभाव टाकण्याचा एखादा मार्ग, आणि sink, किंवा चुकीच्या संदर्भात धोकादायक ठरणारी एखादी क्षमता—दोन्हींची गरज असते. एजंटिक प्रणालींसाठी, याचा अनेकदा अर्थ असा होतो की अविश्वसनीय बाह्य सामग्रीला तृतीय पक्षाला माहिती पाठवणे, लिंकचे अनुसरण करणे किंवा टूलशी संवाद साधणे यांसारख्या कृतीसोबत एकत्र करणे.

आमचे उद्दिष्ट वापरकर्त्यांसाठी एक मूलभूत सुरक्षा अपेक्षा जपणे आहे: संभाव्यतः धोकादायक क्रिया, किंवा संभाव्यतः संवेदनशील माहितीचे प्रसारण, शांतपणे किंवा योग्य सुरक्षा उपायांशिवाय घडू नये.

ChatGPT विरुद्ध आम्हाला सर्वाधिक वेळा दिसणारे हल्ले बहुतेकदा सहाय्यकाला हे पटवून देण्याचा प्रयत्न करतात की त्याने संभाषणातील काही गुप्त माहिती घेऊन ती एखाद्या दुष्ट तृतीय पक्षाकडे पाठवावी. आम्हाला माहिती असलेल्या बहुतेक प्रकरणांमध्ये, आमचे सुरक्षा प्रशिक्षण एजंटला नकार देण्यास प्रवृत्त करते म्हणून हे हल्ले अपयशी ठरतात. ज्या प्रकरणांमध्ये एजंटला खात्री असते, त्या प्रकरणांसाठी आम्ही Safe Url नावाची एक शमन रणनीती विकसित केली आहे, जी सहाय्यकाने संभाषणात शिकलेली माहिती तृतीय पक्षाकडे प्रसारित होणार आहे का हे शोधण्यासाठी डिझाइन केलेली आहे. या दुर्मिळ परिस्थितींमध्ये, आम्ही वापरकर्त्याला पाठवली जाणारी माहिती दाखवून त्यांना पुष्टी करण्यास सांगतो, किंवा आम्ही ती रोखतो आणि एजंटला वापरकर्त्याच्या विनंतीसह पुढे जाण्यासाठी दुसरा मार्ग वापरून पाहण्यास सांगतो.

हीच यंत्रणा Atlas⁠ मधील नेव्हिगेशन आणि बुकमार्क्ससाठी लागू होते; तसेच डीप रिसर्च⁠ मधील शोध आणि नेव्हिगेशनसाठी लागू होते. ChatGPT Canvas⁠ & ChatGPT अ‍ॅप्स⁠ समान पद्धत अवलंबतात, ज्यामुळे एजंटला कार्यक्षम ॲप्लिकेशन्स तयार करता येतात आणि वापरता येतात—ही ॲप्लिकेशन्स अशा सँडबॉक्समध्ये चालतात जो अनपेक्षित संवाद ओळखतो आणि वापरकर्त्याची संमती विचारतो⁠(नवीन विंडोमध्ये उघडेल).

तुम्ही Safe Url बद्दल अधिक माहिती वाचू शकता आणि त्याच्या संरचनेबद्दलचा पेपर त्याच्या समर्पित ब्लॉग पोस्टमध्ये AI एजंट लिंकवर क्लिक करताना तुमचा डेटा सुरक्षित ठेवणे⁠ येथे शोधू शकता.

पूर्णपणे ऑटोनॉमस एजंट्ससाठी विरोधी बाह्य जगाशी सुरक्षित परस्परसंवाद आवश्यक आहे. एखाद्या AI मॉडेलला अ‍ॅप्लिकेशन सिस्टमसोबत एकत्रित करताना, अशाच परिस्थितीत मानवी एजंटकडे कोणती नियंत्रणे असावीत हे विचारण्याची आणि ती अंमलात आणण्याची आम्ही शिफारस करतो. आम्ही अपेक्षा करतो की कमाल बुद्धिमान AI मॉडेल मानवी एजंटपेक्षा सोशल इंजिनिअरिंगला अधिक चांगल्या प्रकारे प्रतिकार करू शकेल, परंतु अनुप्रयोगानुसार हे नेहमी शक्य किंवा किफायतशीर असेलच असे नाही.

आम्ही AI मॉडेल्सविरुद्ध सोशल इंजिनिअरिंगचे परिणाम आणि त्याविरुद्धच्या संरक्षणांचा अभ्यास सुरू ठेवतो आणि आमचे निष्कर्ष आमच्या अ‍ॅप्लिकेशन सुरक्षा आर्किटेक्चर्समध्ये तसेच आमच्या AI मॉडेल्सना दिल्या जाणाऱ्या प्रशिक्षणात समाविष्ट करतो.