Pagdidisenyo ng mga AI agent para labanan ang prompt injection

Mas nagiging may kakayahan ang mga AI agent na mag-browse sa web, kumuha ng impormasyon, at gumawa ng mga aksyon para sa user. Kapaki-pakinabang ang mga kakayahang iyon, ngunit lumilikha rin ang mga ito ng mga bagong paraan para subukang manipulahin ng mga umaatake ang system.

Kadalasang inilalarawan ang mga pag-atakeng ito bilang prompt injection⁠: mga tagubiling inilalagay sa panlabas na nilalaman para subukang pagawin ang modelo ng isang bagay na hindi hiniling ng user. Sa aming karanasan, ang pinakaepektibong mga bersyon ng mga pag-atakeng ito sa totoong mundo ay lalong mas kahawig ng social engineering kaysa sa mga simpleng prompt override.

Mahalaga ang pagbabagong iyon. Kung ang problema ay hindi lang ang pagtukoy ng malisyosong string, kundi pati na rin ang paglaban sa mapanlinlang o manipulatibong nilalaman sa konteksto, ang pagtatanggol laban dito ay hindi maaaring umasa lang sa pag-filter ng mga input. Nangangailangan din ito ng pagdidisenyo ng sistema para malimitahan ang epekto ng manipulasyon, kahit na magtagumpay ang ilang pag-atake.

Ang mga maagang pag-atakeng uri ng "prompt injection" ay maaaring kasing simple ng pag-edit ng artikulo sa Wikipedia para maisama ang mga direktang tagubilin sa mga agent ng AI na bumibisita dito; nang walang karanasan sa pagsasanay sa ganitong kapaligirang palaban, kadalasang susundin ng mga modelo ng AI ang mga tagubiling iyon nang walang pagtatanong¹. Habang mas nagiging matalino ang mga modelo, mas naging hindi rin sila madaling maapektuhan ng ganitong uri ng mungkahi, at napansin namin na tumugon ang mga pag-atakeng istilong “prompt injection” sa pamamagitan ng pagsasama ng mga element ng social engineering:

Sa mas malawak na ecosystem ng seguridad ng AI, naging karaniwan na ang magrekomenda ng mga teknik tulad ng “AI firewalling” kung saan sinusubukan ng intermediary sa pagitan ng AI agent at ng panlabas na mundo na i-classify ang mga input bilang malicious prompt injection at mga regular na input—pero ang mga ganap nang nadebelop na pag-atakeng ito ay karaniwang hindi nahuhuli ng mga ganitong system. Para sa mga ganitong sistema, nagiging parehong napakahirap na problema ang pagtukoy ng malisyosong input gaya ng pagtukoy ng kasinungalingan o maling impormasyon, at kadalasan walang kinakailangang konteksto.

Habang mas naging kumplikado ang mga prompt injection attack sa totoong mundo, natuklasan naming ang mga pinakaepektibong offensive technique ay gumagamit ng mga taktika ng social engineering. Sa halip na ituring ang mga prompt injection attack na ito na may social engineering bilang hiwalay o ganap na bagong uri ng problema, sinimulan naming tingnan ito sa parehong pananaw na ginagamit para pamahalaan ang panganib ng social engineering sa mga tao sa iba pang mga larangan. Sa mga system na ito, hindi lang ang perpektong pagtukoy sa mga mapaminsalang input ang goal, kundi ang magdisenyo ng mga agent at system para mahigpitan ang epekto ng manipulasyon, kahit pa magtagumpay ito. Ipinapakita ng ganitong mga system na epektibo ang mga ito sa paghadlang sa parehong prompt injection at social engineering.

Sa ganitong paraan, maiisip natin ang agent ng AI na umiiral sa katulad na sistemang may tatlong aktor gaya ng isang agent ng serbisyo sa customer; gusto ng agent na kumilos para sa kanilang employer, pero patuloy silang nalalantad sa mga panlabas na input na puwedeng magtangkang linlangin sila. Ang customer support agent, tao man o AI, ay dapat lagyan ng mga limitasyon sa kanilang mga kakayahan para mabawasan ang downside risk na likas sa pag-iral sa ganitong mapanirang kapaligiran.

Isipin ang sitwasyon kung saan ang isang tao ang nagpapatakbo ng customer support system at may kakayahang magbigay ng gift card at refund para sa mga abalang naranasan ng customer, tulad ng mabagal na delivery, pinsalang dulot ng malfunction, at iba pa. Isa itong problemang kinasasangkutan ng maraming partido kung saan kailangang magtiwala ang korporasyon na ibinibigay ng agent ang mga refund sa tamang mga dahilan, habang nakikipag-ugnayan din ang agent sa mga third party na puwedeng maghangad na iligaw sila o kahit ilagay sila sa ilalim ng pamimilit.

Sa totoong mundo, binibigyan ang agent ng set ng mga patakarang susundin, pero inaasahan na, sa mapandayang kapaligiran na kinalalagyan nila, malilinlang sila. Puwedeng magpadala ang customer ng mensahe na nagsasabing hindi kailanman natuloy ang kanilang refund, o magbanta ng pananakit kung hindi bibigyan ng refund. Nililimitahan ng mga deterministikong sistemang nakikipag-ugnayan sa ahente ang dami ng refund na puwedeng ibigay sa customer, nagfa-flag ng mga posibleng phishing email, at nagbibigay ng iba pang katulad na hakbang para mabawasan ang epekto kung makompromiso ang indibidwal na agent. 

Ang ganitong pag-iisip ang naging gabay sa pagbuo namin ng matibay na hanay ng mga panlaban na ipinatupad namin para mapanatili ang inaasahang seguridad ng aming mga user.

Sa ChatGPT, pinagsasama namin ang modelong social engineering na ito sa mas tradisyonal na mga pamamaraan sa security engineering tulad ng source-sink analysis.

Sa ganitong pananaw, kailangan ng attacker ang dalawang bagay: isang source, o paraan para maimpluwensiyahan ang sistema, at isang sink, o kakayahang puwedeng maging mapanganib kapag nasa maling konteksto. Para sa mga agentic system, kadalasang nangangahulugan ito ng pagsasama-sama ng hindi mapagkakatiwalaang panlabas na nilalaman sa aksyon tulad ng pagpapadala ng impormasyon sa third party, pagsunod sa link, o pakikipag-ugnayan sa tool.

Ang goal namin ay mapanatili ang pangunahing inaasahan sa seguridad para sa mga gumagamit: ang mga potensyal na mapanganib na aksyon, o pagpapadala ng potensyal na sensitibong impormasyon, ay hindi dapat mangyari nang tahimik o nang walang naaangkop na mga pananggalang.

Ang mga pag-atakeng madalas naming nakikitang ginagawa laban sa ChatGPT ay karaniwang binubuo ng pagtatangkang kumbinsihin ang assistant na kumuha ng lihim na impormasyon mula sa pag-uusap at ipadala ito sa mapaminsalang third party. Sa karamihan ng mga kasong alam namin, nabibigo ang mga pag-atakeng ito dahil ang aming pagsasanay sa kaligtasan ay nagiging dahilan para tumanggi ang agent. Para sa mga kasong iyon kung saan kumbinsido ang agent, bumuo kami ng isang estratehiya sa pagmitiga na tinatawag na Safe Url na idinisenyo upang matukoy kung kailan ang impormasyong natutunan ng assistant sa pag-uusap ay maipapadala sa isang ikatlong partido. Sa mga bihirang kasong ito, ipinapakita namin sa user ang impormasyong ipapadala at hinihiling naming kumpirmahin nila, o bina-block namin ito at sinasabi sa agent na subukan ang ibang paraan para magpatuloy sa kahilingan ng user.

Nalalapat ang parehong mekanismong ito sa mga nabigasyon at mga bookmark sa Atlas⁠; at sa mga paghahanap at mga nabigasyon sa Malalimang pananaliksik⁠. Ang ChatGPT Canvas⁠ at ChatGPT Apps⁠ ay gumagamit ng katulad na pamamaraan, na nagbibigay-daan sa agent na gumawa at gumamit ng mga functional na application—tumatakbo ang mga ito sa sandbox na kayang maka-detect ng mga hindi inaasahang komunikasyon at humingi ng pahintulot sa user⁠(magbubukas sa bagong window).

Puwede kang magbasa ng higit pang impormasyon tungkol sa Safe Url at makahanap ng papel tungkol sa istruktura nito sa nakalaang post sa blog nito Pagpapanatiling ligtas ng iyong data kapag nag-click ng link ang AI agent⁠.

Kinakailangan ang ligtas na pakikipag-ugnayan sa adversarial na panlabas na mundo para sa mga ganap na awtonomong agent. Kapag ini-integrate ang AI modelo sa application system, inirerekomenda naming itanong kung anong mga kontrol ang dapat mayroon ang human agent sa katulad na sitwasyon at ipatupad ang mga iyon. Inaasahan namin na ang AI model na may pinakamataas na antas ng katalinuhan ay mas makalalaban sa social engineering kaysa sa isang taong agent, pero hindi ito palaging praktikal o matipid depende sa aplikasyon.

Patuloy naming sinusuri ang mga implikasyon ng social engineering laban sa mga modelo ng AI at ang mga depensa laban dito, at isinasama namin ang aming mga natuklasan kapwa sa aming mga arkitektura ng seguridad ng application at sa pagsasanay na pinagdaraanan ng aming mga modelo ng AI.