Континуирано зајакнување на ChatGPT Atlas против напади со промпт инјекција

Агентскиот режим во ChatGPT Atlas е една од најопштите агентски функции што сме ги објавиле досега. Во овој режим, агентот во прелистувач ги прегледува веб-страниците и презема дејства, врши кликови и внесувања на тастатурата во твојот прелистувач, исто како што би направил ти. Ова му овозможува на ChatGPT да работи директно на многу од твоите секојдневни работни процеси користејќи го истиот простор, контекст и податоци.

Како што агентот во прелистувачот ти помага да завршиш повеќе задачи, тој исто така станува повисока цел на напади од непријатели. Ова ја прави безбедноста на вештачката интелигенција особено важна. Долго пред да го лансираме ChatGPT Atlas, постојано градевме и зајакнувавме одбрани против новите закани кои специфично ја таргетираат оваа нова парадигма на „агент во прелистувачот“. Промпт инјекција⁠ е еден од најзначајните ризици против кои активно се браниме за да обезбедиме ChatGPT Atlas да може безбедно да функционира во твое име. 

Како дел од овој напор, неодамна испративме безбедносно ажурирање до агентот во прелистувачот на Atlas, вклучувајќи нов обучен модел за непријателски напади и зајакнати околни заштитни мерки. Ова ажурирање беше поттикнато од нова класа на напади со инјектирање на промпти откриени преку нашето внатрешно автоматизирано симулирано напаѓање.

Во оваа објава, објаснуваме како може да се појави ризик од промпт инјекција за веб-базирани агенти и споделуваме брз циклус на одговори што го градиме за континуирано откривање на нови напади и брзо испраќање на мерки за ублажување—илустрирано со ова неодамнешно безбедносно ажурирање.

Ние ја гледаме промпт инјекцијата како долгорочен предизвик за безбедноста на вештачката интелигенција, и ќе треба постојано да ги зајакнуваме нашите одбрани од неа (слично на онлајн измамите кои постојано се развиваат насочени кон луѓето). Нашиот најнов циклус на брз одговор покажува ветувања како критична алатка на тоа патување: откриваме нови стратегии за напади внатрешно пред да се појават во реалниот свет. Нашата долгорочна визија е целосно да го искористиме (1) нашиот white-box пристап до моделите, (2) длабокото разбирање на нашите одбрани и (3) пресметувачката скала за да бидеме чекор пред надворешните напаѓачи—да ги откриваме експлоатациите порано, да ги испорачуваме ублажувањата побрзо и континуирано да го затегнуваме циклусот. Во комбинација со најсовремени истражувања на нови техники за справување со промпт инјекција и зголемени инвестиции во други безбедносни контроли, овој сложен циклус може да ги направи нападите сè потешки и поскапи, значително намалувајќи го ризикот од промпт инјекција во реалниот свет. На крајот, нашата цел е да можеш да му веруваш на агентот на ChatGPT да го користи твојот прелистувач на ист начин како кога би му верувал на високо компетентен колега или пријател свесен за безбедноста.

Напад со промпт инјекција цели на агенти со вештачка интелигенција преку вметнување злонамерни инструкции во содржината што агентот ја обработува. Тие инструкции се создадени за да го надминат или пренасочат однесувањето на агентот—киднапирајќи го за да ја следи намерата на напаѓачот, наместо на корисникот.

За агент во прелистувач, како оној во ChatGPT Atlas, промпт инјекцијата додава нова закана покрај традиционалните ризици за веб-безбедност (како што се грешки на корисникот или софтверски ранливости). Наместо да врши фишинг на луѓе или да експлоатира системски ранливости на прелистувачот, напаѓачот го таргетира агентот што работи внатре во него.

Како хипотетички пример, напаѓач би можел да испрати злонамерна е-порака обидувајќи се да го измами агентот да го игнорира барањето на корисникот и наместо тоа да ги препрати чувствителните даночни документи на адреса на е-пошта контролирана од напаѓачот. Ако корисник побара од агентот да ги прегледа непрочитаните е-пораки и да ги сумира клучните точки, агентот може да ја прифати таквата малициозна е-порака за време на работниот тек. Ако ги следи инјектираните инструкции, може да залута од задачата — и погрешно да сподели чувствителни податоци.

Ова е само една специфична ситуација. Истата општост што ги прави агентите во прелистувачот корисни, исто така ги проширува ризиците: агентот може да наиде на недоверливи инструкции преку ефективно неограничена површина - е-пошта и прилози, покани за календар, споделени документи, форуми, објави на социјалните медиуми и произволни веб-страници. Бидејќи агентот може да преземе многу од истите дејства што корисникот може да ги преземе во прелистувачот, влијанието на успешен напад хипотетички може да биде исто толку широко: препраќање на чувствителна е-порака, испраќање пари, уредување или бришење датотеки во облакот и повеќе.

Направивме напредок во одбраната од промпт инјекција преку повеќе слоеви на заштита, како што наведовме во неодамнешна објава⁠. Сепак, промпт инјекцијата останува отворен предизвик за безбедноста на агентите, и очекуваме да продолжиме да работиме на тоа во годините што следат.

За да ги зајакнеме нашите одбрани, постојано бараме нови напади со промпт инјекции против системите на агенти во продукција. Наоѓањето на овие напади е неопходен предуслов за градење на цврсто мерки за ублажување: тоа ни помага да го разбереме ризикот во реалниот свет, да ги откриеме празнините во нашата одбрана и да поттикнеме конкретни закрпи.

За да го направиме ова на големо, изградивме автоматизиран напаѓач базиран на LLM и го обучивме да лови напади со промпт инјекции кои можат успешно да нападнат агент во прелистувач. Го обучивме овој напаѓач целосно со зајакнување на учењето за да учи од своите успеси и неуспеси и за да ги подобри своите вештини за симулирано напаѓање. Исто така, му дозволуваме да „проба пред да испрати“, а со тоа мислиме: за време на неговото расудување во текот на мислата, напаѓачот може да предложи кандидат за инјекција и да го испрати до надворешен симулатор. Симулаторот извршува контрафактуално сценарио за тоа како би се однесувал таргетираниот агент кој е жртва (бранителот) ако наиде на инјекцијата, и враќа целосно расудување и трага на дејствата на агентот-жртва. Напаѓачот го користи тој траг како повратни информации, врши итерација на нападот и ја извршува симулацијата повторно—повторувајќи го овој циклус повеќепати пред да се одлучи за конечен напад. Ова обезбедува побогати повратни информации во контекст за напаѓачот отколку единствен сигнал за успех/неуспех. Исто така, го скалира пресметувачкиот капацитет на напаѓачот за време на тестирањето. Понатаму, привилегираниот пристап до трагите на расудување на бранителот (кои не ги откриваме на надворешни корисници) му дава на нашиот внатрешен напаѓач асиметрична предност—зголемувајќи ги шансите дека може да ги надмине надворешните непријатели.

Зошто зајакнување на учењето (RL)? Избравме зајакнување на учењето за да го обучиме автоматизираниот напаѓач од повеќе причини:

1. Оптимизирање на долгорочни и неконтинуирани цели на напаѓачите. Нашата цел е да бараме напади со промпт инјекции кои можат да го измамат агентот да изврши софистицирани задачи (на пр., испраќање е-порака, банкарски трансакции) кои би можеле да се случат во реалниот свет. Овие непријателски задачи се по природа долгорочни, бараат многу чекори на расудување и интеракција со околината, со ретки и одложени сигнали за успех. Зајакнувањето на учење е добро прилагодено за оваа ретка, одложена структура на награди.
2. Искористување на способностите на напредните LLM. Ги обучивме напредните LLM директно како автоматизирани симулирани напаѓачи, така што напаѓачот директно има корист од подобрувањата во расудувањето и планирањето во напредните модели. Како што основните модели стануваат посилни, така и напаѓачот природно станува поспособен—а така ова станува скалабилен начин за одржување на притисокот врз нашите одбрани додека нашите модели се развиваат.
3. Скалирање на капацитетот за пресметување и имитирање на адаптивни напаѓачи. Зајакнувањето на учењето е добро прилагодено за скалирање на пресметувањето потрошено на пребарување на напади преку голем број на примероци и чекори на учење, и исто така добро одразува како се однесуваат адаптивните човечки напаѓачи: итеративно пробување на стратегии, учење од резултатите и зајакнување на успешните однесувања.
   

Нашиот автоматизиран напаѓач може да открие нови, реалистични напади со инјектирање на промпт од почеток до крај. За разлика од повеќето претходни автоматизирани работи на симулираното напаѓање, кои открија едноставни неуспеси, како добивање на специфични излезни низи или активирање на ненамерно повикување на алатка во еден чекор од агентот, нашиот RL-обучен напаѓач може да насочи агент да изврши софистицирани, долгорочни штетни работни процеси кои се развиваат преку десетици (или дури стотици) чекори. Исто така, забележавме нови стратегии за напади кои не се појавија во нашата кампања за човечко симулирано напаѓање или во надворешните извештаи.

Демото подолу претставува конкретен пример на промпт инјекција откриена од нашиот автоматизиран напаѓач, кој потоа го искористивме за понатамошно зајакнување на одбраната на ChatGPT Atlas. Напаѓачот го полни сандачето на корисникот со злонамерна е-порака што содржи промпт инјекција која го насочува агентот да испрати писмо за оставка до Главниот извршен директор на корисникот. Подоцна, кога корисникот ќе го замоли агентот да состави одговор за отсуство од канцеларија, агентот ја среќава таа е-порака за време на нормалното извршување на задачите, го третира вметнатиот промпт како авторитативен и го следи. Известувањето за отсуство никогаш не се пишува и агентот поднесува оставка во име на корисникот наместо тоа.

Природата на промпт инјекцијата го отежнува обезбедувањето на детерминистички гаранции за безбедност, но со зголемување на нашето автоматизирано истражување за безбедност, тестирање на противници и заострување на нашиот брз одговор, можеме да ја подобриме робусноста и одбраната на моделот - пред да чекаме напад да се случи во реалниот свет. 

Го споделуваме ова демо за да им помогнеме на корисниците и истражувачите подобро да ја разберат природата на овие напади—и како активно се браниме од нив. Веруваме дека ова претставува граница на она што автоматизираното симулирано напаѓање може да го постигне, и ние сме исклучително возбудени да продолжиме со нашето истражување.

Нашето автоматизирано симулирано напаѓање поттикнува проактивна брза реакција: кога автоматизираниот напаѓач ќе открие нова класа на успешни напади со промпт инјекција, веднаш креира конкретна цел за подобрување на нашите одбрани.

Обука за непријатели против новооткриени напади. Непрекинато ги обучуваме ажурираните модели на агенти против нашиот најдобар автоматизиран напаѓач—давајќи приоритет на нападите каде што таргетираните агенти моментално не успеваат. Целта е да ги научиме агентите да ги игнорираат непријателските инструкции и да останат усогласени со намерата на корисникот, подобрувајќи ја отпорноста на новооткриените стратегии за промпт инјекција. Ова „вградува“ робусност против нови, силни напади директно во контролната точка на моделот. На пример, неодамнешното автоматизирано симулирано напаѓање директно произведе нова непријателски обучена проверка на агентот во прелистувач која веќе е воведена за сите корисници на ChatGPT Atlas. Ова на крај ни помага подобро да ги заштитиме нашите корисници од нови видови напади.

Користење на траги од напади за подобрување на поширокиот одбранбен систем. Многу патишта на напад откриени од нашиот автоматизиран симулиран напаѓач исто така откриваат можности за подобрување надвор од самиот модел—како на пример во мониторингот, безбедносните инструкции што ги ставаме во контекстот на моделот, или системските заштитни мерки. Тие наоди ни помагаат да извршиме итерација на целиот одбранбен стек, а не само контролната точка на агентот.

Одговарање на активни напади. Овој циклус исто така може да помогне подобро да се одговори на активни напади во „дивината“. Додека го набљудуваме нашиот глобален отпечаток за потенцијални напади, можеме да ги земеме техниките и тактиките што ги користат надворешните непријатели, да ги внесеме во овој циклус, да ја имитираме нивната активност и да поттикнеме одбранбени промени низ нашата платформа.

Зајакнувањето на нашата способност да користиме агентите за симулирано напаѓање и користењето на нашите најспособни модели за автоматизирање на делови од таа работа—помага агентот во прелистувачот Atlas да стане поцврст преку зголемување на циклусот од откривање до поправка. Овој напор за зацврстување ја зајакнува познатата лекција од безбедноста: добро познат пат до посилна заштита е континуирано тестирање на реални системи, реагирање на неуспеси и испорака на конкретни поправки.

Очекуваме противниците да продолжат да се прилагодуваат. Промпт инјекциите, слично на измамите и социјалниот инженеринг на интернет, веројатно никогаш нема да бидат целосно „решени“. Но, ние сме оптимисти дека проактивен, високо одговорен брз циклус на одговор може да продолжи значително да го намалува ризикот во реалниот свет со текот на времето. Со комбинирање на автоматизирано откривање на напади со противничка обука и заштитни мерки на ниво на систем, можеме предвреме да идентификуваме нови шеми на напади, побрзо да ги затвориме дупките и континуирано да ја зголемуваме цената на експлоатација.

Режимот на агент во ChatGPT Atlas е моќен—и исто така ја проширува површината на безбедносните закани. Да се биде јасен за тој компромис е дел од одговорното градење. Нашата цел е да го направиме Atlas значително побезбеден со секоја итерација: подобрување на робусноста на моделот, зајакнување на околниот одбранбен слој и следење на новите шеми на злоупотреба во реалниот свет.

Ќе продолжиме да инвестираме во истражување и имплементација, развивајќи подобри автоматизирани методи за симулирани напаѓања воведувајќи слоевити мерки за ублажување и брзо итеративно работење додека учиме. Ќе споделиме и што можеме со пошироката заедница.

Додека продолжуваме да го зајакнуваме Atlas на системско ниво, постојат чекори што корисниците можат да ги преземат за да го намалат ризикот при користење агенти. 

Ограничен пристап за најавени корисници кога е можно. Продолжуваме да препорачуваме корисниците да го искористат режимот без најава⁠(се отвора во нов прозорец) кога го користат агентот во Atlas, секогаш кога пристапот до веб-страници на кои се имаш најавено не се неопходни за задачата, или за да го ограничиме пристапот до специфични страници на кои се најавуваш за време на задачата. 

Внимателно прегледај ги барањата за потврда. За одредени последични дејства, како што се завршување на купување или испраќање е-порака, агентите се дизајнирани да побараат твоја потврда пред да продолжат. Кога агентот ќе побара од тебе да потврдиш дејство, одвој момент за да потврдиш дека дејството е точно и дека секоја информација што се споделува е соодветна за тој контекст.

Дај им на агентите експлицитни инструкции кога е можно. Избегнувај премногу општи промпти, како „прегледај ми ги е-пораките и преземи какво било дејство што е потребно.“ Широката слобода го олеснува влијанието на скриена или злонамерна содржина врз агентот, дури и кога се поставени заштитни мерки. Побезбедно е да побараш од агентот да изврши специфични, добро дефинирани задачи. Иако ова не го елиминира ризикот, прави да е потешко спроведувањето на нападите.

Ако агентите треба да станат доверливи партнери за секојдневни задачи, тие мора да бидат отпорни на видовите манипулации што ги овозможува отворениот интернет. Заштитата од промпт инјекција е долгорочна обврска и еден од нашите главни приоритети. Наскоро ќе споделиме повеќе за ова.