Hönnun gervigreindarfulltrúa til að standast kvaðningarvörpun

Gervigreindarfulltrúar eru í auknum mæli færir um að vafra um vefinn, sækja upplýsingar og grípa til aðgerða fyrir notanda. Þessir eiginleikar eru gagnlegir en þeir skapa líka nýjar leiðir fyrir árásaraðila til að reyna að stjórna kerfinu.

Þessum árásum er oft lýst sem kvaðningarvörpun⁠: leiðbeiningum sem eru settar í ytra efni í tilraun til að fá líkanið til að gera eitthvað sem notandinn bað ekki um. Samkvæmt reynslu okkar líkjast áhrifaríkustu raunverulegu útgáfur þessara árása í auknum mæli bragðvísi frekar en einföldum hnekkjum á kvaðningu.

Þessi breyting skiptir máli. Ef vandamálið er ekki bara að bera kennsl á illgjarnan streng, heldur að standast villandi eða stjórnað efni í samhengi, þá geta varnir gegn því ekki eingöngu byggst á því að sía inntak. Þetta krefst einnig þess að hanna kerfið þannig að áhrif stjórnunaraðgerða séu haldið í skefjum, jafnvel þótt sumar árásir heppnist.

Snemmbúnar „kvaðningarvörpunar-“árásir gætu verið eins einfaldar og að breyta Wikipedia-grein til að láta hana innihalda beinar leiðbeiningar til gervigreindarfulltrúa sem heimsækja hana; án reynslu af slíku andstæðu umhverfi á þjálfunartíma myndu gervigreindarlíkön oft fylgja þessum leiðbeiningum án þess að efast¹. Eftir því sem líkön hafa orðið snjallari hafa þau einnig orðið síður viðkvæm fyrir svona tegund ábendinga og við höfum séð að árásir í stíl kvaðningarvörpunar hafa brugðist við með því að innihalda þætti bragðvísi:

Innan víðtækara öryggisvistkerfis gervigreindar hefur orðið algengt að mæla með aðferðum á borð við „AI firewalling“ þar sem milliliður á milli gervigreindarfulltrúans og umheimsins reynir að flokka inntök í illgjarnar kvaðningarvarpanir og venjuleg inntök—en þessar fullþróuðu árásir eru yfirleitt ekki greindar af slíkum kerfum. Fyrir slík kerfi verður það að greina illgjarnt inntak að sama mjög erfiða vandamáli og að greina lygi eða rangfærslur, og oft án nauðsynlegs samhengis.

Þegar raunverulegar árásir með kvaðningarvörpun urðu flóknari komumst við að því að áhrifaríkustu sóknaraðferðirnar nýttu sér aðferðir bragðvísi. Í stað þess að líta á þessar kvaðningarvörpunarárásir með bragðvísi sem sérstakan eða algerlega nýjan vandamálaflokk, fórum við að skoða þær í gegnum sama sjónarhorn og notað er til að stýra áhættu af bragðvísi gagnvart fólki á öðrum sviðum. Í þessum kerfum er markmiðið ekki takmarkað við að bera fullkomlega kennsl á illgjörn inntök, heldur að hanna fulltrúa og kerfi þannig að áhrifum af meðhöndlun sé haldið í skefjum, jafnvel þótt hún takist. Slík kerfi hafa reynst áhrifarík við að draga úr bæði kvaðningarvörpun og bragðvísi.

Á þennan hátt getum við ímyndað okkur gervigreindarfulltrúann sem hluta af svipuðu þriggja aðila kerfi og þjónustufulltrúa við viðskiptavini; fulltrúinn vill starfa fyrir hönd vinnuveitanda síns, en hann verður stöðugt fyrir ytra inntaki sem gæti reynt að villa um fyrir honum. Þjónustufulltrúinn, mannlegur eða gervigreind, verður að hafa takmarkanir settar á getu sína til að draga úr neikvæðri áhættu sem felst í því að vera til staðar í svo illgjörnu umhverfi.

Ímyndaðu þér aðstæður þar sem manneskja rekur þjónustukerfi viðskiptastuðnings og getur veitt gjafakort og endurgreiðslur vegna óþæginda sem viðskiptavinurinn hefur orðið fyrir, svo sem vegna hægs afhendingartíma, skemmda vegna bilunar o.s.frv. Þetta er vandamál sem snertir marga aðila þar sem fyrirtækið verður að treysta því að fulltrúinn veiti endurgreiðslur af réttum ástæðum, á meðan fulltrúinn á einnig í samskiptum við þriðja aðila sem kunna að reyna að villa um fyrir honum eða jafnvel setja hann undir þvingun.

Í raunheiminum fær fulltrúinn sett af reglum til að fylgja, en búist er við að í því fjandsamlega umhverfi sem hann er í verði hann blekktur. Hugsanlega sendir viðskiptavinur skilaboð og heldur því fram að endurgreiðslan hafi aldrei gengið í gegn, eða hótar skaða ef honum er ekki veitt endurgreiðsla. Ákvarðandi kerfi sem fulltrúinn hefur samskipti við takmarka hversu miklar endurgreiðslur er hægt að veita viðskiptavini, benda á mögulega vefveiðipósta og veita aðrar slíkar mótvægisaðgerðir til að takmarka áhrif þess að setja einstakan fulltrúa í hættu. 

Þetta hugarfar hefur mótað öflugt safn mótvægisaðgerða sem við höfum innleitt til að uppfylla öryggisvæntingar notenda okkar.

Í ChatGPT sameinum við þetta bragðvísislíkan við hefðbundnari öryggisverkfræðiaðferðir, svo sem greiningu á uppruna og niðurstöðum.

Í þeim ramma þarf árásaraðili bæði uppsprettu, eða leið til að hafa áhrif á kerfið, og sökk, eða getu sem verður hættuleg í röngu samhengi. Fyrir fulltrúakerfi þýðir það oft að sameina óáreiðanlegt ytra efni við aðgerð eins og að senda upplýsingar til þriðja aðila, fylgja tengli eða eiga samskipti við verkfæri.

Markmið okkar er að viðhalda grunnöryggisvæntingum notenda: hugsanlega hættulegar aðgerðir, eða sendingar hugsanlega viðkvæmra upplýsinga, ættu ekki að eiga sér stað í hljóði eða án viðeigandi varna.

Árásir sem við sjáum þróaðar gegn ChatGPT felast oftast í því að reyna að sannfæra aðstoðarmanninn um að hann eigi að taka einhverjar leynilegar upplýsingar úr samtali og senda þær til illgjarns þriðja aðila. Í flestum þeim tilvikum sem við vitum um mistakast þessar árásir vegna þess að öryggisþjálfun okkar fær fulltrúann til að hafna. Í þeim tilvikum þar sem fulltrúinn er sannfærður höfum við þróað mótvægisaðgerð sem kallast Safe Url og er hönnuð til að greina þegar upplýsingar sem aðstoðarmaðurinn lærði í samtalinu myndu verða sendar til þriðja aðila. Í þessum sjaldgæfu tilvikum sýnum við notandanum annaðhvort upplýsingarnar sem yrðu sendar og biðjum hann um að staðfesta, eða við lokum á það og segjum fulltrúanum að reyna aðra leið til að halda áfram með beiðni notandans.

Þessi sami verkháttur á við um yfirlit og bókamerki í Atlas⁠; og leitir og yfirlit í Djúprannsókn⁠. ChatGPT Canvas⁠ og ChatGPT öpp⁠ fara svipaða leið og gera fulltrúanum kleift að búa til og nota virk forrit—þau keyra í sandkassa sem getur greint óvænt samskipti og beðið notandann um samþykki sitt⁠(opnast í nýjum glugga).

Þú getur lesið frekari upplýsingar um Safe Url og fundið skýrslu um uppbyggingu þess í sérstöku bloggfærslunni Að tryggja öryggi gagna þinna þegar gervigreindarfulltrúi smellir á tengil⁠.

Örugg samskipti við fjandsamlegan umheim eru nauðsynleg fyrir fullkomlega sjálfstæða fulltrúa. Þegar gervigreindarlíkan er samþætt við forritakerfi mælum við með að spyrja hvaða stýringar mannlegur fulltrúi ætti að hafa í svipaðri aðstöðu og innleiða þær. Við búumst við að hámarksgreint gervigreindarlíkan muni geta staðist bragðvísi betur en mannlegur fulltrúi, en þetta er ekki alltaf framkvæmanlegt eða hagkvæmt eftir notkunartilvikinu.

Við höldum áfram að kanna afleiðingar félagslegrar verkfræði gegn gervigreindarlíkönum og varnir gegn henni og innleiðum niðurstöður okkar bæði í öryggishögun forrita okkar og í þá þjálfun sem við látum gervigreindarlíkönin okkar gangast undir.