Stöðugt að herða ChatGPT Atlas gegn árásum innleiðingar með kvaðningu

Fulltrúastillingin í ChatGPT Atlas er ein af alhliða fulltrúaeiginleikunum sem við höfum gefið út til þessa. Í þessari stillingu skoðar fulltrúi vafrans vefsíður og framkvæmir aðgerðir, smelli og lyklaborðsskráningar inni í vafranum þínum, alveg eins og þú myndir gera. Þetta gerir ChatGPT kleift að vinna beint í mörgum af daglegu vinnuflæðunum þínum með sama rými, samhengi og gögnum.

Þar sem vafrafulltrúinn hjálpar þér að afkasta meira, verður hann einnig verðmætara skotmark fyrir árásir. Þetta gerir öryggi gervigreindar sérstaklega mikilvægt. Löngu áður en við kynntum ChatGPT Atlas höfum við stöðugt verið að byggja upp og styrkja varnir gegn nýjum ógnum sem beinast sérstaklega að þessari nýju „fulltrúi í vafranum“ hugmyndafræði. Innleiðing með kvaðningu⁠ er ein af þeim verulegu áhættum sem við verjumst með virkum hætti til að tryggja að ChatGPT Atlas geti starfað á öruggan hátt fyrir þína hönd. 

Sem hluti af þessari viðleitni sendum við nýlega frá okkur öryggisuppfærslu fyrir vafrafulltrúa Atlas, þar á meðal nýtt líkan sem hefur verið þjálfað með andstæðinga í huga og styrktar varúðarráðstafanir. Þessi uppfærsla var knúin áfram af nýjum flokki kvaðningarskotaárása sem uppgötvuðust í gegnum innra sjálfvirkt öryggisprófunarteymi okkar.

Í þessari færslu útskýrum við hvernig áhætta vegna kvaðningar getur komið upp fyrir vefbundna fulltrúa, og við deilum hröðum viðbragðshring sem við höfum verið að þróa til að uppgötva stöðugt nýjar árásir og senda mótvægisaðgerðir hratt—sýnt með þessari nýlegu öryggisuppfærslu.

Við lítum á kvaðningarskekkju sem langtíma öryggisáskorun fyrir gervigreind, og við þurfum stöðugt að styrkja varnir okkar gegn henni (líkt og síbreytilega netglæpi sem beinast að fólki). Nýjasta hraðviðbragðslotan okkar lofar góðu sem mikilvægt verkfæri á þeirri vegferð: við erum að uppgötva nýjar árásaraðferðir innbyrðis áður en þær birtast í náttúrulegum kerfum. Langtímasýn okkar er að nýta til fulls (1) aðgang okkar að líkönum okkar, (2) djúpan skilning á vörnum okkar og (3) reiknistækkun til að vera á undan utanaðkomandi árásarmönnum — finna glæpi fyrr, koma hraðar í veg fyrir ógnir og herða stöðugt á vítahringnum. Í bland við rannsóknir á nýjum aðferðum til að takast á við innleiðingu með kvaðningu og aukna fjárfestingu í öðrum öryggisráðstöfunum, getur þessi samþætta hringrás gert árásir sífellt erfiðari og kostnaðarsamari, sem dregur verulega úr hættu á innleiðingu með kvaðningu í raunverulegri veröld. Að lokum er markmið okkar að þú getir treyst ChatGPT‑fulltrúa til að nota vafrann þinn eins og þú treystir mjög hæfum, öryggismeðvituðum samstarfsmanni eða vini.

Árás innleiðingar með kvaðningu beinist að gervigreindarfulltrúum með því að fella illgjarnar leiðbeiningar inn í efni sem fulltrúinn vinnur úr. Þessar leiðbeiningar eru hannaðar til að hnekkja eða senda áfram hegðun fulltrúans—ræna þeim til að fylgja ásetningi árásarmannsins, frekar en notandans.

Fyrir vafrafulltrúa eins og þann sem er í ChatGPT Atlas, bætir innleiðing með kvaðningu við nýjum ógnarvektor umfram hefðbundnar veföryggisáhættur (eins og notandamistök eða hugbúnaðargallar). Í stað þess að veiða fólk eða nýta veikleika í kerfum vafrans, miðar árásarmaðurinn á fulltrúann sem starfar innan hans.

Sem dæmi gæti árásaraðili sent illgjarnan tölvupóst til að reyna að blekkja fulltrúa til að hunsa beiðni notandans og í staðinn senda viðkvæm skattaskjöl á netfang sem árásaraðilinn stjórnar. Ef notandi biður um aðstoð við að fara yfir ólesna tölvupósta og draga saman lykilatriði gæti fulltrúinn tekið inn skaðlegan tölvupóst á meðan á verkflæðinu stendur. Ef það fylgir fyrirmælum innleiðingar getur það farið út af verkefni og deilt viðkvæmum upplýsingum ranglega.

Þetta er bara eitt sérstakt tilfelli. Sama alhæfingin sem gerir vafrafulltrúa gagnlega eykur einnig áhættuna: fulltrúinn gæti rekist á ótraustar leiðbeiningar á í raun ótakmörkuðu yfirborði — tölvupósta og viðhengi, boð í dagatal, sameiginleg skjöl, umræðuvettvangi, færslum á samfélagsmiðlum og handahófskenndum vefsíðum. Þar sem fulltrúinn getur gripið til margra af sömu aðgerðum og notandi getur gert í vafra, geta áhrifin af árangursríkri árás fræðilega verið jafn víðtæk: að framsenda viðkvæman tölvupóst, senda peninga, breyta eða eyða skrám í skýinu og fleira.

Við höfum náð árangri í að verjast innleiðingu með kvaðningu með mörgum öryggisráðstöfunum, eins og við deildum í fyrri færslu⁠. Hins vegar er innleiðing með kvaðningu áfram opin áskorun fyrir öryggi fulltrúa, og við búumst við að halda áfram að vinna að þessu um ókomin ár.

Til að styrkja varnir okkar höfum við stöðugt verið að leita að nýjum árásum innleiðingar með kvaðningu gegn fulltrúakerfum í framleiðslu. Að finna þessar árásir er nauðsynleg forsenda fyrir að byggja upp traustar mótvægisaðgerðir: það hjálpar okkur að skilja raunverulega áhættu, afhjúpar eyður í vörnum okkar og knýr fram áþreifanlegar lagfæringar.

Til að gera þetta í stórum stíl, byggðum við sjálfvirkan árásaraðila byggðan á LLM og þjálfuðum hann til að leita að árásum innleiðingar með kvaðningu sem geta árangursríkt ráðist á vafa fulltrúa. Við þjálfuðum þennan árásaraðila frá upphafi til enda með styrkingarnámi, svo hann lærir af eigin árangri og mistökum til að bæta hæfileika sína í rauðateymisvinnu. Við leyfum honum einnig að „prófa áður en það er sent“, en þá eigum við við eftirfarandi: á meðan á röksemdafærslu þess stendur getur árásaraðilinn lagt til tillögu um innleiðingu og sent hana til ytri hermis. Hermirinn framkvæmir mótvægisútbreiðslu á því hvernig skotmarkið, fórnarlambsfulltrúinn (varnarfulltrúinn), myndi hegða sér ef hann mætti innleiðingunni, og skilar fullri röksemdafærslu og aðgerðarskýrslu fórnarlambsfulltrúans. Árásaraðilinn notar þá slóð sem ábendingu, endurtekur árásina og keyrir hermunina aftur—endurtekur þessa lykkju nokkrum sinnum áður en hann ákveður sig fyrir lokaárás. Þetta veitir árásarmanninum ríkulegri ábendingu í samhengi en einfalt pass/fail merki. Það eykur einnig útreikninga árásaraðilans á prófunartíma. Ennfremur veitir forréttindaaðgangur að röksemdafærslum (sem við afhjúpum ekki fyrir utanaðkomandi notendum) varnaraðilanum innanhúss ósamhverft forskot—sem eykur líkurnar á að hann geti skotist fram úr utanaðkomandi andstæðingum.

Af hverju styrkingarnám (RL)? Við völdum styrkingarnám til að þjálfa sjálfvirka árásaraðilann af ýmsum ástæðum:

1. Bestun á langtíma og ósamfelldum markmiðum árásaraðila. Markmið okkar er að leita að árásum innleiðingar með kvaðningu sem geta blekkt fulltrúann til að framkvæma flókin fjandsamleg verkefni (t.d. senda tölvupósta, bankaviðskipti) sem gætu átt sér stað í raunveruleikanum. Þessi fjandsamlegu verkefni eru í eðli sínu langtímaverkefni, sem krefjast margra skrefa af röksemdafærslu og samskiptum við umhverfið, með dreifðum og seinkuðum árangursmerkjum. Styrkingarnám hentar vel fyrir þessa dreifðu, seinkaða umbunaruppbyggingu.
2. Nýta fremstu getu LLM. Við þjálfuðum frontier LLM-líkönin beint sem sjálfvirkt rauðateymi, þannig að árásaraðilinn nýtur beins ávinnings af framförum í röksemdafærslu og áætlanagerð í frontier-líkönum. Eftir því sem grunnlíkönin styrkjast, verður árásaraðilinn einnig hæfari—sem gerir þetta að stigstærðri leið til að viðhalda þrýstingi á varnir okkar þegar líkönin þróast.
3. Auka útreikningsgetu og líkja eftir aðlögunarhæfum árásaraðilum. Styrkingarnám hentar vel til að stækka útreikninga sem varið er í að leita að árásum yfir fjölda sýnatöku og námsþrepa, og það endurspeglar einnig hvernig aðlögunarhæfir mannlegir árásaraðilar hegða sér: ítrekað að prófa aðferðir, læra af niðurstöðum og styrkja árangursríka hegðun.
   

Sjálfvirkur árásaraðili okkar getur uppgötvað nýjar, raunhæfar árásir innleiðingar með kvaðningu frá upphafi til enda. Ólíkt flestum fyrri sjálfvirkum rauðateymisverkum, sem leiddu í ljós einföld mistök eins og að kalla fram sérstaka úttaksstrengja eða kalla óvart á einstaka verkfæri frá fulltrúanum, getur árásaraðilinn okkar, sem er þjálfaður með styrkingarnámi, stýrt fulltrúa til að framkvæma flókin, langvarandi skaðleg verkflæði sem þróast yfir tugi (eða jafnvel hundruð) skrefa. Við tókum einnig eftir nýjum árásaraðferðum sem komu ekki fram í mannlegu rauðteymisherferðinni okkar eða í utanaðkomandi skýrslum.

Kynningin hér að neðan sýnir áþreifanlegt dæmi um innleiðingu með kvaðningu sem sjálfvirkur árásaraðili okkar fann, og sem við notuðum síðan til að styrkja varnir ChatGPT Atlas enn frekar. Árásaraðilinn fyllir pósthólf notandans með illgjörnum tölvupósti sem inniheldur innleiðingu með kvaðningu sem leiðbeinir fulltrúanum að senda uppsagnarbréf til forstjóra notandans. Síðar, þegar notandinn biður fulltrúann um að semja svar utan skrifstofu, rekst fulltrúinn á þann tölvupóst á meðan á venjulegri verkefnisframkvæmd stendur, meðhöndlar innleiðingu með kvaðningu sem yfirvald og fylgir henni. Utan skrifstofu skilaboðin eru aldrei skrifuð og fulltrúinn segir upp fyrir hönd notandans í staðinn.

Eðli kvaðningar gerir það erfitt að tryggja ákveðnar öryggisábyrgðir, en með því að auka sjálfvirka öryggisrannsóknir okkar, andstæðingsprófanir og herða hraðviðbragðslykkjunni okkar, getum við bætt styrk og varnir líkansins - áður en við bíðum eftir að árás eigi sér stað í raunheimum. 

Við erum að deila þessari kynningu til að hjálpa notendum og rannsakendum að skilja betur eðli þessara árása—og hvernig við erum virk að verjast gegn þeim. Við teljum að þetta endurspegli fremstu víglínu þess sem sjálfvirk rauðateymi geta áorkað, og við erum mjög spennt að halda áfram með rannsóknir okkar.

Sjálfvirk rauðteymisvinna okkar knýr áfram fyrirbyggjandi og hraðvirka viðbragðslykkju: þegar sjálfvirki árásaraðilinn uppgötvar nýjan flokk árangursríkra innleiðinga með kvaðningu, býr hann strax til áþreifanlegt markmið til að bæta varnir okkar.

Fjandsamleg þjálfun gegn nýuppgötvuðum árásum. Við þjálfum stöðugt uppfærð fulltrúalíkön gegn okkar besta sjálfvirka árásaraðila—með áherslu á þær árásir þar sem markfulltrúunum mistekst nú. Markmiðið er að kenna fulltrúum að hunsa fjandsamlegar leiðbeiningar og vera í samræmi við ásetning notandans, til að bæta viðnámið gegn nýuppgötvuðum aðferðum við innleiðingu með kvaðningu. Þessi „brennir inn“ seiglu gegn nýjum, öflugum árásum beint inn á eftirlitsstað líkansins. Til dæmis hefur nýleg sjálfvirk rauð teymisvinna beint framleitt nýjan andstæðingaþjálfaðan vafra-fulltrúa viðmiðunarpunkt sem hefur þegar verið tekinn í notkun fyrir alla ChatGPT Atlas-notendur. Þetta hjálpar að vernda notendur okkar betur gegn nýjum tegundum árása.

Notkun árásarrakningar til að bæta víðtækari varnarstafla. Margir árásarleiðir sem sjálfvirkur rauðteymisfélagi okkar uppgötvar, leiða einnig í ljós tækifæri til úrbóta utan líkansins sjálfs—svo sem í vöktun, öryggisleiðbeiningum sem við setjum í samhengi líkansins, eða öryggisráðstöfunum á kerfisstigi. Þessar niðurstöður hjálpa okkur að endurbæta allan varnarstaflann, ekki bara fulltrúapunktinn.

Að bregðast við virkum árásum. Þessi lykkja getur einnig hjálpað til við að bregðast betur við virkum árásum í náttúrunni. Þegar við skoðum alþjóðlegt umfang okkar fyrir mögulegar árásir getum við tekið þær aðferðir og taktík sem við sjáum utanaðkomandi andstæðinga nota, fært þær inn í þennan hring, hermt eftir starfsemi þeirra og knúið fram varnarbreytingar á verkvangi okkar.

Að styrkja getu okkar til að framkvæma rauðteymi fulltrúa og nota öflugustu líkönin okkar til að gera hluta af þeirri vinnu sjálfvirka—hjálpar til við að gera Atlas-vafrafulltrúann öflugri með því að auka umfang uppgötvunar-til-lagfæringar lykkjunnar. Þessi herðingaraðgerð styrkir kunnuglega lexíu úr öryggismálum: vel þekkt leið til að auka vernd er að stöðugt prófa raunveruleg kerfi, bregðast við bilunum og koma á framfæri áþreifanlegum lagfæringum.

Við búumst við að andstæðingar haldi áfram að aðlagast. Innleiðing með kvaðningu, líkt og svik og blekkingar á vefnum, er ólíklegt að verði nokkurn tíma fullkomlega „leyst“. En við erum bjartsýn á að fyrirbyggjandi, mjög móttækileg, hraðvirk viðbragðslykkja geti haldið áfram að draga verulega úr raunverulegri áhættu með tímanum. Með því að sameina sjálfvirka uppgötvun árása við andstæðingsþjálfun og kerfisvarnir getum við greint ný árásarmynstur fyrr, lokað glufum hraðar og stöðugt aukið kostnað við misnotkun.

Fulltrúastilling í ChatGPT Atlas er öflug—og hún eykur einnig öryggisógnarflötinn. Að vera skýr um þá málamiðlun er hluti af því að byggja á ábyrgan hátt. Markmið okkar er að gera Atlas merkjanlega öruggari með hverri endurtekningu: bæta traustleika líkansins, styrkja varnarkerfið í kring og fylgjast með nýjum mynstrum misnotkunar í náttúrunni.

Við munum halda áfram að fjárfesta í rannsóknum og innleiðingu, þróa betri sjálfvirkar aðferðir fyrir rauð teymi, innleiða lagskiptar mótvægisaðgerðir og endurtaka hratt eftir því sem við lærum. Við munum einnig deila því sem við getum með víðara samfélaginu.

Á meðan við höldum áfram að styrkja Atlas á kerfisstigi eru skref sem notendur geta tekið til að draga úr áhættu þegar þeir nota fulltrúa. 

Takmarkaðu innskráðan aðgang þegar mögulegt er. Við mælum áfram með að notendur nýti sér útskráningarstillingu⁠(opnast í nýjum glugga) þegar þeir nota fulltrúa í Atlas, þegar aðgangur að vefsíðum sem þú ert skráður inn á er ekki nauðsynlegur fyrir verkefnið, eða til að takmarka aðgang að tilteknum síðum sem þú skráir þig inn á meðan á verkefninu stendur. 

Yfirfarðu vandlega staðfestingarbeiðnir. Fyrir ákveðnar afdrifaríkar aðgerðir, eins og að ljúka kaupum eða senda tölvupóst, eru fulltrúar hannaðir til að biðja um staðfestingu þína áður en haldið er áfram. Þegar fulltrúi biður þig um að staðfesta aðgerð, skaltu gefa þér tíma til að ganga úr skugga um að aðgerðin sé rétt og að allar upplýsingar sem deilt er séu viðeigandi fyrir það samhengi.

Gefðu fulltrúum skýrar leiðbeiningar þegar mögulegt er. Forðastu of víðtækar kvaðningar eins og „farðu yfir tölvupóstinn minn og gríptu til hvaða aðgerða sem nauðsynlegar eru.“ Víðtækt svigrúm auðveldar falið eða skaðlegt efni að hafa áhrif á fulltrúann, jafnvel þegar öryggisráðstafanir eru til staðar. Það er öruggara að biðja um að fulltrúinn framkvæmi sérstök, vel skilgreind verkefni. Þó að þetta útrými ekki áhættu, gerir það árásir erfiðari í framkvæmd.

Ef fulltrúar eiga að verða traustir samstarfsaðilar fyrir dagleg verkefni, verða þeir að vera ónæmir fyrir þeim tegundum af meðferð sem opni vefurinn gerir kleift. Að herða gegn innleiðingu með kvaðningu er langtíma skuldbinding og eitt af okkar helstu forgangsverkefnum. Við munum fljótlega deila meira um þessa vinnu.