Forcimi i vazhdueshëm i ChatGPT Atlas kundër sulmeve të injektimit të kërkesave

Modaliteti i agjentit në ChatGPT Atlas është një nga veçoritë më të përgjithshme agjentike që kemi qarkulluar deri më sot. Në këtë modalitet, agjent i shfletuesit shikon faqet e internetit dhe kryen veprime, klikime dhe shtypje të tasteve brenda shfletuesit tënd, ashtu siç do të bëje ti. Kjo lejon ChatGPT të punojë drejtpërdrejt në shumë nga flukset e tua të përditshme të punës duke përdorur të njëjtën hapësirë, kontekst dhe të dhëna.

Ndërsa agjenti i shfletuesit të ndihmon të bësh më shumë, ai gjithashtu bëhet një objektiv me vlerë më të lartë për sulmet kundërshtare. Kjo e bën sigurinë e AI veçanërisht të rëndësishme. Shumë kohë përpara se të qarkullonim ChatGPT Atlas, kemi qenë vazhdimisht duke ndërtuar dhe forcuar mbrojtjet kundër kërcënimeve të reja që synojnë posaçërisht këtë paradigmë të re të "agjentit në shfletues." Injektimi i kërkesave⁠ është një nga rreziqet më të rëndësishme kundër të cilave mbrohemi aktivisht për të siguruar që ChatGPT Atlas të funksionojë në mënyrë të sigurt për ju. 

Si pjesë e kësaj përpjekjeje, ne kohët e fundit kemi dërguar një përditësim sigurie për agjentin e shfletuesit të Atlas, duke përfshirë një model të ri të trajnuar në formë kundërshtari dhe masa mbrojtëse të forcuara përreth. Ky përditësim u nxit nga një kategori e re sulmesh injektimi kërkesash të zbuluara përmes ekipit tonë të brendshëm të automatizuar për simulim sulmesh.

Në këtë postim, ne shpjegojmë se si mund të lindë rreziku i injektimit të kërkesave për agjentët e bazuar në web dhe tregojmë një cikël të shpejtë reagimi që kemi ndërtuar për të zbuluar vazhdimisht sulme të reja dhe për të dërguar zbutje shpejt - siç ilustrohet nga ky përditësim i fundit i sigurisë.

Ne e konsiderojmë injeksionin e kërkesave si një sfidë afatgjatë për sigurinë e AI dhe do të duhet të forcojmë vazhdimisht masat tona mbrojtëse kundër tij (ashtu si mashtrimet online që evoluojnë vazhdimisht dhe synojnë njerëzit). Cikli ynë i fundit i reagimit të shpejtë po tregon premtim të hershëm si një mjet kritik në atë rrugëtim: po zbulojmë strategji të reja sulmi brenda përpara se të shfaqen në terren. Vizioni ynë afatgjatë është të shfrytëzojmë plotësisht (1) aksesin tonë të brendshëm në modelet tona, (2) kuptimin e thellë të masave tona mbrojtëse dhe (3) shkallën e llogaritjes për të qëndruar përpara sulmuesve të jashtëm — duke i evidentuar pikat e dobëta më herët, duke dorëzuar korrigjimet më shpejt dhe duke e ngushtuar vazhdimisht ciklin. E kombinuar me kërkime të avancuara mbi teknika të reja për të adresuar injektimin e kërkesave dhe investime të shtuara në kontrolle të tjera të sigurisë, ky cikël i përbërë mund t'i bëjë sulmet gjithnjë e më të vështira dhe të kushtueshme, duke reduktuar në mënyrë të konsiderueshme rrezikun real të injektimit të kërkesave. Në fund të fundit, qëllimi ynë është që ti të mund t'i besosh një agjenti ChatGPT për të përdorur shfletuesin tënd ashtu siç do t'i besoje një kolegu ose miku shumë të aftë dhe të vetëdijshëm për sigurinë.

Një sulm i injektimit të kërkesave synon agjentët e AI duke futur udhëzime me qëllim të keq në përmbajtjen që agjenti përpunon. Këto udhëzime janë krijuar për të anashkaluar ose ridrejtuar sjelljen e agjentit — duke e kapur atë për të ndjekur qëllimin e një sulmuesi, në vend të atij të përdoruesit.

Për një agjent shfletues si ai brenda ChatGPT Atlas, injektimi i kërkesës shton një vektor të ri kërcënimi përtej rreziqeve tradicionale të sigurisë në ueb (si gabimet e përdoruesve ose dobësitë e softuerit). Në vend që të kryejë phishing ndaj njerëzve ose të shfrytëzojë dobësitë e sistemit të shfletuesit, sulmuesi synon agjentin që operon brenda tij.

Si një shembull hipotetik, një sulmues mund të dërgojë një email me qëllim të keq duke u përpjekur të mashtrojë një agjent që të injorojë kërkesën e përdoruesit dhe në vend të kësaj të përcjellë dokumente të ndjeshme tatimore në një adresë emaili të kontrolluar nga sulmuesi. Nëse një përdorues i kërkon agjentit të rishikojë emailet e palexuara dhe të përmbledhë pikat kryesore, agjenti mund të përfshijë atë email me qëllim të keq gjatë fluksit të punës. Nëse i ndjek udhëzimet e injektuara, mund të devijojë nga detyra dhe të ndajë gabimisht informacion të ndjeshëm.

Ky është vetëm një skenar specifik. E njëjta përgjithësi që i bën agjentët e shfletuesit të dobishëm gjithashtu i bën rreziqet më të gjera: agjenti mund të hasë udhëzime të pasigurta në një sipërfaqe efektivisht të pakufizuar — emaile dhe bashkëngjitje, ftesa kalendari, dokumente të përbashkëta, forume, postime në rrjetet sociale dhe faqe uebi të ndryshme. Meqenëse agjenti mund të kryejë shumë nga të njëjtat veprime që mund të kryejë një përdorues në një shfletues, ndikimi i një sulmi të suksesshëm mund të jetë hipotetikisht po aq i gjerë: përcjellja e një emaili të ndjeshëm, dërgimi i parave, redaktimi ose fshijja e skedarëve në re, dhe më shumë.

Kemi bërë përparim në mbrojtjen kundër injektimit të kërkesave përmes disa shtresave mbrojtëse, siç e kemi ndarë në një postim të mëparshëm⁠. Megjithatë, injektimi i kërkesave mbetet një sfidë e hapur për sigurinë e agjentëve, dhe presim të vazhdojmë të punojmë për këtë për vitet që vijnë.

Për të forcuar mbrojtjet tona, kemi qenë vazhdimisht në kërkim të sulmeve të reja të injektimit të kërkesave kundër sistemeve të agjentëve në prodhim. Gjetja e këtyre sulmeve është një parakusht i domosdoshëm për ndërtimin e zbutjeve të forta: na ndihmon të kuptojmë rrezikun në botën reale, zbulon boshllëqet në mbrojtjet tona dhe nxit arna konkrete.

Për ta bërë këtë në shkallë të gjerë, ne ndërtuam një sulmues të automatizuar të bazuar në LLM dhe e trajnuam për të kërkuar sulme të injektimit të kërkesave që mund të sulmojnë me sukses një agjent shfletues. Ne e trajnuam këtë sulmues nga fillimi në fund me të mësuarit përforcues, kështu që ai mëson nga sukseset dhe dështimet e veta për të përmirësuar aftësitë e tij në red teaming. Ne gjithashtu i lejojmë të "provojë para se të dërgohet", me çka nënkuptojmë: gjatë arsyetimit të tij me zinxhir mendimesh, sulmuesi mund të propozojë një injeksion kandidat dhe ta dërgojë atë në një simulator të jashtëm. Simuluesi kryen një zhvillim kundërfaktual të mënyrës se si agjenti viktimë i synuar (mbrojtësi) do të vepronte nëse do të haste injektimin, dhe kthen një gjurmë të plotë të arsyetimit dhe veprimit të agjentit viktimë. Sulmuesi përdor atë gjurmë si përshtypje, përsërit sulmin dhe rishfaq simulimin — duke përsëritur këtë cikël disa herë para se të kryejë një sulm përfundimtar. Kjo ofron përshtypje më të pasura në kontekst për sulmuesin sesa një sinjal i vetëm kalim/dështim. Gjithashtu, rrit fuqinë llogaritëse të sulmuesit gjatë kohës së testimit. Për më tepër, aksesi i privilegjuar në gjurmët e arsyetimit (që nuk i zbulojmë për përdoruesit e jashtëm) të mbrojtësit i jep sulmuesit tonë të brendshëm një avantazh asimetrik — duke rritur shanset që ai të mund të tejkalojë kundërshtarët e jashtëm.

Pse trajnim përforcues (RL)? Ne zgjodhëm trajnimin përforcues për të trajnuar sulmuesin e automatizuar për disa arsye:

1. Optimizimi i objektivave të sulmuesve me horizonte të gjata dhe jo të vazhdueshme. Qëllimi ynë është të kërkojmë për sulme të injektimit të kërkesave që mund të mashtrojnë agjentin për të kryer detyra të sofistikuara me qëllim të keq (p.sh. dërgimi i emaileve, transaksione bankare) që mund të ndodhin në botën reale. Këto detyra kundërshtare janë në vetvete afatgjata, që kërkojnë shumë hapa arsyetimi dhe ndërveprimi me mjedisin, me sinjale suksesi të rralla dhe të vonuara. Trajnimi përforcues është i përshtatshëm për këtë strukturë shpërblimi të rrallë dhe të vonuar.
2. Shfrytëzimi i aftësive avangardë të LLM. Ne trajnuam modelet avangardë LLM drejtpërdrejt si auto-red-teamers, kështu që sulmuesi përfiton drejtpërdrejt nga përmirësimet në arsyetim dhe planifikim në modelet avangardë. Ndërsa modelet bazë forcohen, sulmuesi natyrisht bëhet më i aftë gjithashtu — duke e bërë këtë një mënyrë të shkallëzueshme për të mbajtur presion mbi mbrojtjet tona ndërsa modelet tona evoluojnë.
3. Shkallëzimi i kapacitetit të përpunimit dhe imitimi i sulmuesve adaptivë. Trajnimi përforcues është shumë i përshtatshëm për të shkallëzuar llogaritjet e shpenzuara në kërkimin e sulmeve mbi një numër të madh të mostrave dhe hapave të të mësuarit, dhe gjithashtu pasqyron saktësisht se si sillen sulmuesit njerëzorë adaptivë: duke provuar strategji në mënyrë të përsëritur, duke mësuar nga rezultatet dhe duke përforcuar sjelljet e suksesshme.
   

Sulmi ynë i automatizuar mund të zbulojë sulme të reja dhe realiste të injektimit të kërkesave nga fillimi në fund. Ndryshe nga shumica e punës së mëparshme të automatizuar të red teaming, e cila zbulonte dështime të thjeshta si nxjerrja e vargjeve specifike të daljes ose shkaktimi i një thirrjeje të papritur të një mjeti me një hap të vetëm nga agjenti, sulmuesi ynë i trajnuar me RL mund të drejtojë një agjent në ekzekutimin e flukseve të dëmshme të punës të sofistikuara dhe me horizonte të gjata që zhvillohen në dhjetëra (ose edhe qindra) hapa. Ne gjithashtu vëzhguam strategji të reja sulmesh që nuk u shfaqën në fushatën tonë të simulimit të sulmeve njerëzore ose në raportet e jashtme.

Demonstrimi më poshtë paraqet një shfrytëzim konkret të injektimit të kërkesave të gjetur nga sulmuesi ynë i automatizuar, të cilin më pas e përdorëm për të forcuar më tej mbrojtjet e ChatGPT Atlas. Sulmuesi mbush kutinë e postës elektronike të përdoruesit me një email me qëllim të keq që përmban një injektim kërkese që drejton agjentin të dërgojë një letër dorëheqjeje te drejtori i përgjithshëm i përdoruesit. Më vonë, kur përdoruesi i kërkon agjentit të hartojë një përgjigje jashtë zyrës, agjenti has atë email gjatë ekzekutimit normal të detyrave, e trajton kërkesën e injektuar si autoritative dhe e ndjek. Mesazhi jashtë zyrës nuk shkruhet kurrë dhe agjenti jep dorëheqjen në emër të përdoruesit në vend të kësaj.

Natyra e injektimit të kërkesave e bën të vështirë garantimin e sigurisë në mënyrë determinuese, por duke shkallëzuar kërkimet tona të automatizuara të sigurisë, testimet kundërshtare dhe duke shtrënguar ciklin tonë të reagimit të shpejtë, ne jemi në gjendje të përmirësojmë qëndrueshmërinë dhe mbrojtjet e modelit - para se të presim që një sulm të ndodhë në terren. 

Po ndajmë këtë demonstrim për t'i ndihmuar përdoruesit dhe studiuesit të kuptojnë më mirë natyrën e këtyre sulmeve — dhe si po mbrohemi aktivisht kundër tyre. Ne besojmë se kjo përfaqëson kufirin e asaj që mund të arrijë simulimi i automatizuar i sulmeve, dhe jemi jashtëzakonisht të emocionuar teksa vazhdojmë kërkimet tona.

Ekipi ynë i automatizuar i simulimit të sulmeve po drejton një cikël të shpejtë reagimi proaktiv: kur sulmuesi i automatizuar zbulon një klasë të re të sulmeve të suksesshme të injektimit të kërkesave, ai menjëherë krijon një objektiv konkret për përmirësimin e masave tona mbrojtëse.

Trajnim kundërshtues ndaj sulmeve të sapozbuluara. Ne trajnojmë vazhdimisht modelet e përditësuara të agjentëve kundër sulmuesit tonë më të mirë të automatizuar — duke u dhënë përparësi sulmeve ku agjentët e synuar aktualisht dështojnë. Qëllimi është të mësohen agjentët të shpërfillin udhëzimet kundërshtare dhe të qëndrojnë të përputhur me qëllimin e përdoruesit, duke përmirësuar rezistencën ndaj strategjive të reja të injektimit të kërkesave. Kjo “ngulit” qëndrueshmërinë kundër sulmeve të reja dhe të fuqishme drejtpërdrejt në pikën e kontrollit të modelit. Për shembull, sulmet e simuluara të automatizuara i fundit ka prodhuar drejtpërdrejt një pikë kontrolli të re të trajnuar kundërshtarë për agjentin e shfletuesit që tashmë është shpërndarë për të gjithë përdoruesit e ChatGPT Atlas. Kjo në fund ndihmon të mbrojmë më mirë përdoruesit tanë kundër llojeve të reja të sulmeve.

Përdorimi i gjurmëve të sulmeve për të përmirësuar grumbullin më të gjerë të mbrojtjes. Shumë rrugë sulmesh të zbuluara nga ekipi ynë i automatizuar i simulimit të sulmeve gjithashtu zbulojnë mundësi për përmirësim jashtë modelit vetë — si në monitorim, udhëzimet e sigurisë që vendosim në kontekstin e modelit, ose masat mbrojtëse në nivel sistemi. Këto gjetje na ndihmojnë të përsërisim në të gjithë zinxhirin e mbrojtjes, jo vetëm në pikën e kontrollit të agjentit.

Të përgjigjesh ndaj sulmeve aktive. Ky cikël mund të ndihmojë gjithashtu të përgjigjesh më mirë ndaj sulmeve aktive në terren. Ndërsa shikojmë në të gjithë gjurmën tonë globale për sulme të mundshme, mund të marrim teknikat dhe taktikat që vëzhgojmë se përdorin kundërshtarët e jashtëm, t'i fusim në këtë cikël, të imitojmë aktivitetin e tyre dhe të nxisim ndryshime mbrojtëse në të gjithë platformën tonë.

Forcimi i aftësisë sonë për ekipin e kuq të agjentëve dhe përdorimi i modeleve tona më të afta për të automatizuar pjesë të asaj pune — ndihmon në bërjen e agjentit të shfletuesit Atlas më të qëndrueshëm duke përshpejtuar ciklin nga zbulimi te rregullimi. Kjo përpjekje për forcim përforcon një mësim të njohur nga siguria: një rrugë e njohur drejt mbrojtjes më të fortë është testimi i vazhdueshëm i sistemeve reale, reagimi ndaj dështimeve dhe dërgimi i zgjidhjeve konkrete.

Ne presim që kundërshtarët të vazhdojnë të përshtaten. Injektimi i kërkesës, ashtu si mashtrimet dhe inxhinieria sociale në internet, ka pak gjasa të zgjidhet plotësisht ndonjëherë. Por jemi optimistë se një cikël proaktiv dhe shumë i shpejtë i përgjigjes mund të vazhdojë të reduktojë ndjeshëm rrezikun në botën reale me kalimin e kohës. Duke kombinuar zbulimin e automatizuar të sulmeve me trajnimin kundërshtar dhe masat mbrojtëse në nivel sistemi, mund të identifikojmë modelet e reja të sulmeve më herët, të mbyllim boshllëqet më shpejt dhe të rrisim vazhdimisht koston e shfrytëzimit.

Modaliteti i agjentit në ChatGPT Atlas është i fuqishëm — dhe gjithashtu zgjeron sipërfaqen e kërcënimit të sigurisë. Të jesh i qartë për atë kompromis është pjesë e ndërtimit me përgjegjësi. Qëllimi ynë është ta bëjmë Atlas më të sigurt në mënyrë domethënëse me çdo iteracion: duke përmirësuar qëndrueshmërinë e modelit, duke forcuar shtresën mbrojtëse përreth dhe duke monitoruar për modelet e reja të abuzimit që shfaqen në terren.

Do të vazhdojmë të investojmë në kërkime dhe implementim, duke zhvilluar metoda më të mira të automatizuara për simulime sulmesh, duke zbatuar masa mbrojtëse të shtresuara dhe duke iteruar shpejt ndërsa mësojmë. Do të ndajmë gjithashtu atë që mundemi me komunitetin më të gjerë.

Ndërkohë që vazhdojmë të forcojmë Atlas në nivel sistemi, ka hapa që përdoruesit mund të ndërmarrin për të ulur rrezikun kur përdorin agjentët. 

Kufizoni aksesin e hyrjes kur është e mundur. Ne vazhdojmë të rekomandojmë që përdoruesit të përfitojnë nga modaliteti i daljes⁠(hapet në një dritare të re) kur përdorin agjentin në Atlas, sa herë që qasja në faqet e internetit ku jeni të hyrë nuk është e nevojshme për detyrën në fjalë, ose për të kufizuar aksesin në faqet specifike ku hyni gjatë detyrës. 

Rishiko me kujdes kërkesat për konfirmim. Për veprime të caktuara me pasoja, si përfundimi i një blerjeje ose dërgimi i një emaili, agjentët janë të krijuar për të kërkuar konfirmimin tënd përpara se të vazhdojnë. Kur një agjent të kërkon të konfirmosh një veprim, merr një moment për të verifikuar që veprimi është i saktë dhe që çdo informacion që po ndahet është i përshtatshëm për atë kontekst.

Jepu agjentëve udhëzime të qarta kur është e mundur. Shmang kërkesat tepër të gjera si "shqyrto emailet e mia dhe ndërmerr çfarëdo veprim që të nevojshëm." Gjerësia e madhe e veprimit e bën më të lehtë që përmbajtja e fshehur ose me qëllim të keq të ndikojë te agjentit, edhe kur masat mbrojtëse janë të vendosura. Është më e sigurt të kërkosh nga agjenti që të kryejë detyra specifike dhe të mirëpërcaktuara. Ndërsa kjo nuk e eliminon rrezikun, e bën më të vështirë realizimin e sulmeve.

Nëse agjentët do të bëhen partnerë të besuar për detyrat e përditshme, ata duhet të jenë rezistentë ndaj llojeve të manipulimeve që aktivizon uebi i hapur. Fortifikimi kundër injektimit të kërkesave është një angazhim afatgjatë dhe një nga prioritetet tona kryesore. Së shpejti do të ndajmë më shumë për këtë punë.