ChatGPT Atlas-ты көмексөзге зиян келтіру шабуылдарынан үздіксіз күшейту

ChatGPT Atlas-тағы агент режимі — біз бүгінге дейін шығарған ең әмбебап агенттік мүмкіндіктердің бірі. Бұл режимде браузер агенті веббеттерді көреді және дәл сіз сияқты браузеріңіздің ішінде әрекеттерді орындайды, шертеді және пернетақта енгізулерін жасайды. Соның арқасында ChatGPT сол бір кеңістікті, контексті және деректерді пайдаланып, күнделікті жұмыс ағындарыңыздың көбінде тікелей жұмыс істей алады.

Браузер агенті сізге көбірек іс тындыруға көмектескен сайын, ол қарсылас шабуылдар үшін де құндырақ нысанаға айналады. Бұл ЖИ қауіпсіздігін ерекше маңызды етеді. ChatGPT Atlas-ты іске қоспай тұрып-ақ, біз осы жаңа «браузер ішіндегі агент» парадигмасына арнайы бағытталған жаңа қауіптерге қарсы қорғанысты үздіксіз құрып, күшейтіп келеміз. Көмексөзге зиян келтіру⁠ — ChatGPT Atlas сіздің атыңыздан қауіпсіз жұмыс істеуіне көмектесу үшін біз белсенді түрде қорғанатын ең маңызды тәуекелдердің бірі. 

Осы жұмыстың аясында біз жақында Atlas-тың браузер агентіне қауіпсіздік жаңартуын шығардық, оның ішінде қарсылас тәсілдермен жаңадан жаттықтырылған модель және күшейтілген қосымша сақтық тетіктері бар. Бұл жаңарту ішкі автоматтандырылған редтимингіміз анықтаған көмексөзге зиян келтіру шабуылдарының жаңа класына байланысты жасалды.

Бұл жазбада біз веб-негізді агенттер үшін көмексөзге зиян келтіру қаупі қалай туындайтынын түсіндіреміз және жаңа шабуылдарды үздіксіз анықтап, оларды азайту шараларын жылдам енгізуге арналған өзіміз құрып жатқан жедел әрекет циклін бөлісеміз — мұны осы соңғы қауіпсіздік жаңартуы мысалында көрсетеміз.

Біз көмексөзге зиян келтіруді ЖИ қауіпсіздігі үшін ұзақ мерзімді сын-қатер деп санаймыз және оған қарсы қорғанысты үздіксіз күшейтуіміз керек болады (адамдарға бағытталған үнемі өзгеріп тұратын онлайн алаяқтықтар сияқты). Біздің соңғы жедел әрекет цикліміз осы жолдағы маңызды құрал ретінде алғашқы үмітті нәтижелер көрсетіп отыр: біз жаңа шабуыл стратегияларын олар ашық ортада пайда болмай тұрып-ақ ішкі түрде анықтап жатырмыз. Ұзақ мерзімді көзқарасымыз — (1) модельдерімізге деген ақ жәшік қолжетімділігімізді, (2) қорғаныс тетіктерімізді терең түсінуімізді және (3) есептеу ауқымын толық пайдаланып, сыртқы шабуылдаушылардан озып жүру: осалдықтарды ертерек табу, қорғаныс шараларын жылдамырақ енгізу және циклді үздіксіз тарылту. Мұны көмексөзге зиян келтіруді шешуге арналған жаңа тәсілдер бойынша озық зерттеулермен және басқа қауіпсіздік бақылауларына инвестицияны арттырумен ұштастырсақ, осы жинақталатын цикл шабуылдарды барған сайын қиынырақ әрі қымбатырақ ете алады, осылайша шынайы әлемдегі көмексөзге зиян келтіру қаупін едәуір азайтады. Ақырында, біздің мақсатымыз — сіз ChatGPT агентіне браузеріңізді өте білікті, қауіпсіздікті жақсы түсінетін әріптесіңізге немесе досыңызға сенгендей сеніп тапсыра алуыңыз.

Көмексөзге зиян келтіру шабуылы агент өңдейтін мазмұнға зиянды нұсқауларды ендіру арқылы ЖИ агенттеріне бағытталады. Бұл нұсқаулар агенттің мінез-құлқын ауыстыруға немесе басқа арнаға бұруға арналып жасалады — оны пайдаланушының емес, шабуылдаушының ниетін орындауға мәжбүрлейді.

ChatGPT Atlas ішіндегі агент сияқты браузер агенті үшін көмексөзге зиян келтіру дәстүрлі веб-қауіпсіздік тәуекелдерінен (мысалы, пайдаланушы қатесі немесе бағдарламалық жасақтама осалдықтары) тыс жаңа қауіп векторын қосады. Адамдарды фишингпен алдаудың немесе браузер жүйесінің осалдықтарын пайдаланудың орнына, шабуылдаушы оның ішінде жұмыс істеп тұрған агентті нысанаға алады.

Гипотетикалық мысал ретінде шабуылдаушы агентті пайдаланушының сұрауын елемеуге және оның орнына құпия салық құжаттарын шабуылдаушы басқаратын электрондық пошта мекенжайына жіберуге алдамақ болып, зиянды хат жібере алады. Егер пайдаланушы агенттен оқылмаған хаттарды қарап, негізгі тұстарын түйіндеуді сұраса, агент сол жұмыс ағыны барысында сол зиянды хатты өңдеуі мүмкін. Егер ол енгізілген нұсқауларға ерсе, ол негізгі тапсырмадан ауытқып, құпия ақпаратты қате бөлісуі мүмкін.

Бұл — нақты бір ғана сценарий. Браузер агенттерін пайдалы ететін сол жалпылық тәуекелдерді де кеңейтеді: агент іс жүзінде шексіз беткі аумақта сенімсіз нұсқауларға тап болуы мүмкін — хаттар мен тіркемелерде, күнтізбе шақыруларында, ортақ құжаттарда, форумдарда, әлеуметтік желі жазбаларында және кез келген веббетте. Агент браузерде пайдаланушы орындай алатын әрекеттердің көбін орындай алатындықтан, сәтті шабуылдың ықпалы да дәл соншалықты кең болуы мүмкін: құпия хатты қайта жіберу, ақша аудару, бұлттағы файлдарды өңдеу не жою және тағы басқалар.

Бұған дейінгі жазбада⁠ бөліскендей, біз бірнеше қабатты сақтық тетіктері арқылы көмексөзге зиян келтіруден қорғануда ілгеріледік. Алайда көмексөзге зиян келтіру агент қауіпсіздігі үшін әлі де ашық мәселе болып қала береді, және біз бұл бағытта әлі талай жыл жұмыс істейміз деп күтеміз.

Қорғанысымызды күшейту үшін біз өндірістегі агент жүйелеріне қарсы жаңа көмексөзге зиян келтіру шабуылдарын үздіксіз іздеп келеміз. Мұндай шабуылдарды табу — берік қорғаныс шараларын құрудың қажетті алғышарты: ол шынайы әлемдегі тәуекелді түсінуге көмектеседі, қорғаныстағы олқылықтарды ашады және нақты түзетулерге жетелейді.

Мұны ауқымды түрде іске асыру үшін біз LLM (үлкен тілдік модель) негізіндегі автоматтандырылған шабуылдаушыны құрдық және оны браузер агентіне сәтті шабуылдай алатын көмексөзге зиян келтіру шабуылдарын іздеуге үйреттік. Біз бұл шабуылдаушыны end-to-end түрде күшейтпелі оқыту арқылы жаттықтырдық, сондықтан ол өз табыстары мен сәтсіздіктерінен үйреніп, редтиминг дағдыларын жақсартады. Біз оған «жібермес бұрын сынап көруге» де мүмкіндік бердік, яғни: ой қорыту тізбегі кезінде шабуылдаушы ықтимал енгізуді ұсына алады да, оны сыртқы симуляторға жібереді. Симулятор нысанадағы құрбан агент (қорғаушы) осы енгізуге тап болса, қалай әрекет ететінінің контрфактілік орындалуын жүргізеді және құрбан агенттің толық ой қорытуы мен әрекет ізіне қайтарып береді. Шабуылдаушы сол ізді кері байланыс ретінде пайдаланады, шабуылды жетілдіреді және симуляцияны қайта іске қосады — ақырғы шабуылға тоқталмас бұрын бұл циклді бірнеше рет қайталайды. Бұл шабуылдаушыға бір ғана сәтті/сәтсіз белгісіне қарағанда байырақ контекстік кері байланыс береді. Сонымен қатар ол шабуылдаушының тест уақытындағы есептеу ресурсын ұлғайтады. Бұдан бөлек, қорғаушының ой қорыту іздеріне (біз оны сыртқы пайдаланушыларға ашпаймыз) артықшылықты қолжетімділік біздің ішкі шабуылдаушыға асимметриялық басымдық береді — бұл оның сыртқы қарсыластардан озып кету ықтималдығын арттырады.

Неліктен күшейтпелі оқыту (RL)? Автоматтандырылған шабуылдаушыны жаттықтыру үшін біз күшейтпелі оқытуды бірнеше себеппен таңдадық:

1. Ұзақ көкжиекті және үздіксіз емес шабуылдаушы мақсаттарын оңтайландыру. Біздің мақсатымыз — агентті шынайы әлемде орын алуы мүмкін күрделі қарсылас тапсырмаларды (мысалы, хат жіберу, банктік транзакциялар) орындауға алдай алатын көмексөзге зиян келтіру шабуылдарын іздеу. Мұндай қарсылас тапсырмалар табиғатынан ұзақ көкжиекті, өйткені олар көп қадамды ой қорыту мен ортамен әрекеттесуді, әрі сирек және кешіктірілген табыс сигналдарын талап етеді. Күшейтпелі оқыту дәл осындай сирек әрі кешіктірілген марапат құрылымына жақсы сай келеді.
2. Озық LLM мүмкіндіктерін пайдалану. Біз озық LLM-дерді тікелей автоматты редтимерлер ретінде жаттықтырдық, сондықтан шабуылдаушы озық модельдердегі ой қорыту мен жоспарлау жақсартуларынан тікелей пайда көреді. Негізгі модельдер күшейген сайын, шабуылдаушы да табиғи түрде қабілетті бола түседі — бұл модельдеріміз дамыған сайын қорғанысымызға қысымды сақтаудың ауқымды тәсілі.
3. Есептеуді ауқымдау және бейімделгіш шабуылдаушыларды еліктеу. Күшейтпелі оқыту көптеген іріктеулер мен үйрену қадамдары арқылы шабуылдарды іздеуге жұмсалатын есептеуді ауқымдауға жақсы келеді, әрі ол бейімделгіш адам шабуылдаушыларының әрекетіне жақын: стратегияларды қайталап сынау, нәтижеден үйрену және сәтті мінез-құлықтарды бекіту.

Біздің автоматтандырылған шабуылдаушы жаңа, шынайы көмексөзге зиян келтіру шабуылдарын end-to-end түрде таба алады. Алдыңғы автоматтандырылған редтиминг жұмыстарының көпшілігі нақты шығыс жолдарын алдыру немесе агенттен күтпеген бір қадамдық құрал шақыруын іске қосу сияқты қарапайым сәтсіздіктерді ғана анықтаса, біздің RL арқылы жаттықтырылған шабуылдаушымыз агентті ондаған (тіпті жүздеген) қадамға созылатын күрделі, ұзақ көкжиекті зиянды жұмыс ағындарын орындауға бұра алады. Сондай-ақ біз адам жасаған редтиминг науқанымызда не сыртқы есептерде кездеспеген жаңа шабуыл стратегияларын да байқадық.

Төмендегі демонстрацияда автоматтандырылған шабуылдаушымыз тапқан көмексөзге зиян келтірудің нақты осалдығы көрсетілген, біз оны кейін ChatGPT Atlas қорғанысын одан әрі күшейтуге пайдаландық. Шабуылдаушы пайдаланушының кіріс жәшігіне агентті пайдаланушының CEO-сына жұмыстан кету туралы хат жіберуге бағыттайтын көмексөзге зиян келтіруді қамтитын зиянды хат салады. Кейін пайдаланушы агенттен жұмыста жоқ екені туралы жауап жобасын дайындауды сұрағанда, агент қалыпты тапсырманы орындау кезінде сол хатқа тап болады, енгізілген көмексөзді беделді нұсқау ретінде қабылдап, соған ереді. Жұмыста жоқ екені туралы жауап ешқашан жазылмайды, оның орнына агент пайдаланушының атынан жұмыстан кетеді.

Көмексөзге зиян келтіру табиғаты детерминдік қауіпсіздік кепілдіктерін қиындатады, бірақ автоматтандырылған қауіпсіздік зерттеулерін ауқымдап, қарсылас тестілеуді күшейтіп және жедел әрекет циклін тарылту арқылы біз шабуылдың ашық ортада болуын күтпей-ақ модельдің орнықтылығы мен қорғанысын жақсарта аламыз. 

Біз бұл демонстрацияны пайдаланушылар мен зерттеушілерге мұндай шабуылдардың табиғатын — және оларға қарсы қалай белсенді қорғанып жатқанымызды — жақсырақ түсінуге көмектесу үшін бөлісіп отырмыз. Біздің ойымызша, бұл автоматтандырылған редтимингтің қол жеткізе алатын мүмкіндіктерінің озық шегі, және біз зерттеуімізді жалғастыруға аса қуаныштымыз.

Біздің автоматтандырылған редтиминг белсенді жедел әрекет циклін жүргізеді: автоматтандырылған шабуылдаушы сәтті көмексөзге зиян келтіру шабуылдарының жаңа класын тапқан кезде, ол бірден қорғанысымызды жақсартуға арналған нақты нысана жасайды.

Жаңадан табылған шабуылдарға қарсы қарсылас тәсілмен жаттықтыру. Біз жаңартылған агент модельдерін үздік автоматтандырылған шабуылдаушымызға қарсы үздіксіз жаттықтырамыз — әсіресе нысана агенттер қазір сәтсіздікке ұшырап отырған шабуылдарға басымдық береміз. Мақсат — агенттерді қарсылас нұсқауларды елемеуге және пайдаланушының ниетіне сай қалуға үйрету, осылайша жаңадан табылған көмексөзге зиян келтіру стратегияларына төзімділікті арттыру. Бұл беріктікті жаңа, қуатты шабуылдарға қарсы тікелей модель чекпойнтына «сіңіреді». Мысалы, жуырдағы автоматтандырылған редтиминг ChatGPT Atlas-тың барлық пайдаланушыларына таратылып қойған браузер агентінің қарсылас тәсілмен жаңадан жаттықтырылған чекпойнтын тікелей берді. Түптеп келгенде, бұл пайдаланушыларымызды шабуылдардың жаңа түрлерінен жақсырақ қорғауға көмектеседі.

Шабуыл іздерін қорғаныстың кеңірек стекін жақсарту үшін пайдалану. Біздің автоматтандырылған редтимер анықтаған көптеген шабуыл жолдары модельдің өзінен тыс жерлерде де жетілдіру мүмкіндіктерін ашады — мысалы, мониторингте, модель контекстіне енгізетін қауіпсіздік нұсқауларында немесе жүйелік деңгейдегі сақтық тетіктерінде. Мұндай олжалар бізге тек агент чекпойнтын ғана емес, бүкіл қорғаныс стекін жетілдіруге көмектеседі.

Белсенді шабуылдарға жауап беру. Бұл цикл ашық ортадағы белсенді шабуылдарға да жақсырақ жауап беруге көмектесе алады. Әлемдік ауқымдағы ықтимал шабуылдарды шолған кезде, біз сыртқы қарсыластар қолданып жатқан техника мен тактикаларды алып, осы циклге енгізе аламыз, олардың әрекетін еліктей аламыз және платформамыз бойынша қорғаныс өзгерістерін жүргізе аламыз.

Агенттерге редтиминг жүргізу қабілетімізді күшейту және сол жұмыстың бір бөлігін автоматтандыру үшін ең қабілетті модельдерімізді пайдалану — анықтаудан түзетуге дейінгі циклді ауқымдау арқылы Atlas браузер агентін орнықтырақ етуге көмектеседі. Бұл күшейту жұмысы қауіпсіздіктен таныс бір сабақты растайды: қорғанысты күшейтудің сыналған жолы — нақты жүйелерді үздіксіз қысыммен сынау, сәтсіздіктерге әрекет ету және нақты түзетулерді шығару.

Қарсыластар бейімделуін жалғастырады деп күтеміз. Көмексөзге зиян келтіру, вебтегі алаяқтық пен әлеуметтік инженерия сияқты, толықтай «шешілуі» екіталай. Бірақ біз белсенді, өте шапшаң жедел әрекет циклі уақыт өте келе шынайы әлемдегі тәуекелді едәуір азайтуды жалғастыра алады деп сенеміз. Автоматтандырылған шабуыл табуды қарсылас жаттықтырумен және жүйелік деңгейдегі сақтық тетіктерімен біріктіре отырып, біз жаңа шабуыл үлгілерін ертерек анықтай аламыз, олқылықтарды тезірек жаба аламыз және пайдаланудың құнын үздіксіз өсіре аламыз.

ChatGPT Atlas-тағы агент режимі қуатты — және ол қауіпсіздікке төнетін қатерлердің беткі аумағын да кеңейтеді. Осы ымыраны анық түсіну — жауапкершілікпен құрудың бір бөлігі. Біздің мақсатымыз — әр итерация сайын Atlas-ты шын мәнінде қауіпсіздеу ету: модельдің орнықтылығын арттыру, оны қоршаған қорғаныс стекін күшейту және ашық ортадағы жаңа теріс пайдалану үлгілерін бақылау.

Біз зерттеу мен енгізудің барлық бағыттарына инвестиция салуды жалғастырамыз, автоматтандырылған редтимингтің жақсырақ әдістерін дамытамыз, көпқабатты қорғаныс шараларын енгіземіз және үйренген сайын жылдам жетілдіреміз. Сондай-ақ кең қауымдастықпен бөлісе алатынымызды бөлісіп отырамыз.

Біз Atlas-ты жүйе деңгейінде күшейтуді жалғастырып жатқанда, пайдаланушылар агенттерді қолдану кезінде тәуекелді азайту үшін жасай алатын қадамдар да бар. 

Мүмкін болғанда жүйеге кірген қолжетімділікті шектеңіз. Біз пайдаланушыларға тапсырма үшін жүйеге кірген вебсайттарға қолжетімділік қажет болмағанда немесе тапсырма кезінде кіретін нақты сайттарға қолжетімділікті шектеу үшін Atlas-тағы Агентті қолданғанда жүйеден шыққан режимді⁠(жаңа терезеде ашылады) пайдалануды ұсынамыз. 

Растау сұрауларын мұқият тексеріңіз. Сатып алуды аяқтау немесе хат жіберу сияқты кейбір салдары маңызды әрекеттер үшін агенттер жалғастырмас бұрын сізден растау сұрайтындай етіп жасалған. Агент әрекетті растауды сұрағанда, әрекеттің дұрыс екеніне және бөлісіліп жатқан кез келген ақпараттың сол контекстке сай келетініне көз жеткізу үшін бір сәт бөліңіз.

Мүмкін болғанда агенттерге нақты нұсқаулар беріңіз. «Хаттарымды қарап, қажет болғанның бәрін жаса» сияқты тым кең көмексөздерден аулақ болыңыз. Тым кең еркіндік жасырын немесе зиянды мазмұнның, тіпті сақтық тетіктері бар кезде де, агентке ықпал етуін жеңілдетеді. Агенттен нақты, ауқымы жақсы шектелген тапсырмаларды орындауды сұрау қауіпсіздеу. Бұл тәуекелді толық жоймаса да, шабуылдарды іске асыруды қиындатады.

Егер агенттер күнделікті тапсырмалар үшін сенімді серіктеске айналуы керек болса, олар ашық веб мүмкін ететін айла-шарғыларға төзімді болуы тиіс. Көмексөзге зиян келтіруден қорғану — ұзақ мерзімді міндеттеме және біздің басты басымдықтарымыздың бірі. Жақында бұл жұмыс туралы тағы бөлісеміз.