ԱԲ ագենտների նախագծում՝ հարցումների ներարկմանը դիմակայելու համար

ԱԲ ագենտները գնալով ավելի են կարողանում զննել վեբը, ստանալ տեղեկատվություն և ձեր անունից գործողություններ կատարել։ Այդ հնարավորությունները օգտակար են, բայց դրանք նաև ստեղծում են նոր ուղիներ, որոնց միջոցով հարձակվողները կարող են փորձել շահարկել համակարգը։

Այս հարձակումները հաճախ նկարագրվում են որպես հարցումների ներարկում⁠․ արտաքին բովանդակության մեջ տեղադրված հրահանգներ՝ փորձելով ստիպել մոդելին անել մի բան, որը օգտատերը չի խնդրել։ Մեր փորձից ելնելով՝ այս հարձակումների ամենաարդյունավետ իրական աշխարհի տարբերակները գնալով ավելի շատ նմանվում են սոցիալական ճարտարագիտության, քան պարզ հարցումների վերագրանցումների։

Այդ փոփոխությունը կարևոր է։ Եթե խնդիրը ոչ միայն չարամիտ տողը նույնականացնելն է, այլ համատեքստում մոլորեցնող կամ մանիպուլյատիվ բովանդակությանը դիմակայելը, ապա դրանից պաշտպանվելը չի կարող հիմնվել միայն մուտքերի զտման վրա։ Սա նաև պահանջում է համակարգը նախագծել այնպես, որ շահարկման ազդեցությունը սահմանափակվի, նույնիսկ եթե որոշ հարձակումներ հաջողվեն։

Վաղ «հարցումների ներարկում» տեսակի հարձակումները կարող էին լինել այնքան պարզ, որքան Վիքիպեդիայի հոդվածի խմբագրումը՝ դրա մեջ ներառելով ԱԲ ագենտներին ուղղված ուղիղ հրահանգներ, որոնք այցելում են այն. առանց ուսուցման ընթացքում նման հակառակորդ միջավայրի փորձի՝ ԱԲ մոդելները հաճախ առանց հարցականի հետևում էին այդ հրահանգներին¹. Քանի որ մոդելները դարձել են ավելի խելացի, դրանք նաև դարձել են ավելի քիչ խոցելի այս տեսակի առաջարկությունների նկատմամբ, և մենք նկատել ենք, որ հարցումների ներարկում ոճի հարձակումները արձագանքել են՝ ներառելով սոցիալական ճարտարագիտության տարրեր:

ԱԲ անվտանգության ավելի լայն էկոհամակարգում սովորական է դարձել առաջարկել այնպիսի տեխնիկաներ, ինչպիսին է «ԱԲ firewalling»-ը, որի դեպքում ԱԲ ագենտի և արտաքին աշխարհի միջև գտնվող միջնորդը փորձում է մուտքային տվյալները դասակարգել որպես վնասակար հարցումների ներարկում և սովորական մուտքեր, սակայն այս լիովին մշակված հարձակումները սովորաբար չեն հայտնաբերվում նման համակարգերի կողմից։ Նման համակարգերի համար չարամիտ մուտքային տեղեկատվության հայտնաբերումը դառնում է նույնքան դժվար խնդիր, որքան ստի կամ սխալ տեղեկատվության հայտնաբերումը, և հաճախ առանց անհրաժեշտ համատեքստի։

Քանի որ իրական աշխարհում հարցումների ներարկման հարձակումները բարդանում էին, մենք պարզեցինք, որ ամենաարդյունավետ հարձակողական տեխնիկաները հիմնվում էին սոցիալական ճարտարագիտության մարտավարությունների վրա։ Այս հարցումների ներարկման հարձակումները սոցիալական ինժեներիայի հետ որպես առանձին կամ ամբողջովին նոր խնդրի դաս դիտարկելու փոխարեն՝ մենք սկսեցինք դրանք դիտարկել նույն դիտանկյունից, որն օգտագործվում է այլ ոլորտներում մարդկանց նկատմամբ սոցիալական ինժեներիայի ռիսկը կառավարելու համար։ Այս համակարգերում նպատակը չի սահմանափակվում վնասակար մուտքերի կատարյալ նույնականացմամբ, այլ՝ նախագծել ագենտներ և համակարգեր այնպես, որ մանիպուլյացիայի ազդեցությունը սահմանափակված լինի, նույնիսկ եթե այն հաջողվի։ Նման համակարգերը ցույց են տալիս, որ արդյունավետ են ինչպես հարցումների ներարկումը, այնպես էլ սոցիալական ճարտարագիտությունը մեղմացնելու գործում։

Այս կերպ մենք կարող ենք պատկերացնել ԱԲ ագենտին որպես հաճախորդների սպասարկման ագենտի նմանատիպ երեք դերակատարով համակարգում գոյություն ունեցող. ագենտը ցանկանում է գործել իր գործատուի անունից, բայց նա շարունակաբար ենթարկվում է արտաքին մուտքային տվյալների ազդեցությանը, որոնք կարող են փորձել մոլորեցնել նրան։ Հաճախորդների աջակցման ագենտը՝ մարդ թե ԱԲ, պետք է ունենա իր հնարավորությունների վրա դրված սահմանափակումներ՝ սահմանափակելու համար այնպիսի վնասակար միջավայրում գոյություն ունենալուն բնորոշ բացասական ռիսկը։

Պատկերացրեք մի իրավիճակ, որտեղ մարդը կառավարում է հաճախորդների աջակցման համակարգը և կարող է տրամադրել նվեր քարտեր և վերադարձումներ՝ հաճախորդի կողմից կրած անհարմարությունների համար, ինչպիսիք են առաքման դանդաղությունը, անսարքության հետևանքով առաջացած վնասները և այլն։ Սա բազմակողմանի խնդիր է, որի դեպքում կորպորացիան պետք է վստահի, որ ագենտը վերադարձներ է տրամադրում ճիշտ պատճառներով, մինչդեռ ագենտը նաև շփվում է երրորդ կողմերի հետ, որոնք կարող են նպատակ ունենալ մոլորեցնել նրան կամ նույնիսկ ճնշման տակ դնել։

Իրական աշխարհում ագենտին տրվում է հետևելու կանոնների մի շարք, սակայն ակնկալվում է, որ այն հակառակորդային միջավայրում, որտեղ նրանք գոյություն ունեն, նրանք կմոլորվեն։ Հնարավոր է՝ հաճախորդը հաղորդագրություն ուղարկի՝ պնդելով, որ իր վերադարձը երբեք չի կատարվել, կամ սպառնա վնաս հասցնել, եթե իրեն վերադարձ չտրամադրվի։ Ագենտի փոխազդեցության մեջ գտնվող դետերմինիստական համակարգերը սահմանափակում են հաճախորդին տրամադրվող վերադարձումների քանակը, նշում են հնարավոր ֆիշինգային էլ. նամակները և տրամադրում են այլ նման մեղմացումներ՝ սահմանափակելու առանձին ագենտի կոմպրոմետացման ազդեցությունը։ 

Այս մտածելակերպը հիմք է հանդիսացել մեր կողմից ներդրված հակազդման միջոցների ամուր փաթեթի համար, որոնք ապահովում են մեր օգտատերերի անվտանգության ակնկալիքները։

ChatGPT‑ում մենք համատեղում ենք այս սոցիալական ինժեներիայի մոդելը ավելի ավանդական անվտանգության ինժեներիայի մոտեցումների հետ, ինչպիսին է աղբյուր-ընդունիչ վերլուծությունը։

Այդ համատեքստում հարձակվողին անհրաժեշտ է և՛ աղբյուր կամ համակարգի վրա ազդելու միջոց, և՛ ընդունիչ կամ կարողություն, որը վտանգավոր կդառնա սխալ համատեքստում։ Գործակալային համակարգերի համար դա հաճախ նշանակում է անվստահելի արտաքին բովանդակությունը համադրել որևէ գործողության հետ, օրինակ՝ տեղեկատվություն փոխանցել երրորդ կողմին, հետևել հղման կամ փոխազդել գործիքի հետ։

Մեր նպատակն է պահպանել օգտատերերի համար անվտանգության հիմնական ակնկալիքը. հնարավոր վտանգավոր գործողությունները կամ հնարավոր զգայուն տեղեկատվության փոխանցումները չպետք է տեղի ունենան լուռ կամ առանց համապատասխան պաշտպանական միջոցների։

ChatGPT‑ի դեմ ամենահաճախ հանդիպող հարձակումները, որոնք մենք տեսնում ենք, հիմնականում բաղկացած են օգնականին համոզելու փորձերից, որ այն պետք է զրույցից վերցնի որոշ գաղտնի տեղեկատվություն և փոխանցի այն չարամիտ երրորդ կողմին։ Մեզ հայտնի դեպքերի մեծ մասում այս հարձակումները ձախողվում են, քանի որ մեր անվտանգության վերապատրաստումը ստիպում է ագենտին հրաժարվել։ Այն դեպքերի համար, երբ գործակալը համոզված է, մենք մշակել ենք «Անվտանգ URL» անվամբ մեղմացման ռազմավարություն, որը նախատեսված է հայտնաբերելու համար, թե երբ է օգնականի կողմից զրույցի ընթացքում ստացված տեղեկատվությունը փոխանցվելու երրորդ կողմին։ Այս հազվադեպ դեպքերում մենք կամ օգտատիրոջը ցույց ենք տալիս այն տեղեկատվությունը, որը կփոխանցվեր, և խնդրում ենք հաստատել, կամ արգելափակում ենք այն և ասում ենք ագենտին՝ փորձել օգտատիրոջ հարցումը առաջ տանելու մեկ այլ եղանակ։

Այս նույն մեխանիզմը կիրառվում է Atlas⁠-ում նավարկումների և էջանիշերի համար, ինչպես նաև խորքահին ուսումնասիրություն⁠ում որոնումների և նավարկումների համար։ ChatGPT Canvas-ը⁠ և ChatGPT հավելվածները⁠ կիրառում են նմանատիպ մոտեցում՝ թույլ տալով գործակալին ստեղծել և օգտագործել ֆունկցիոնալ հավելվածներ, որոնք աշխատում են «sandbox»-ում, որը կարող է հայտնաբերել անսպասելի հաղորդագրություններ և խնդրել օգտատիրոջ համաձայնությունը⁠(բացվում է նոր պատուհանում) ։

Safe Url-ի մասին կարող եք կարդալ ավելի շատ տեղեկություն և դրա կառուցվածքի մասին փաստաթուղթ գտնել դրա համար նախատեսված բլոգի գրառման մեջ Ձեր տվյալների անվտանգ պահպանումը, երբ ԱԲ ագենտը սեղմում է հղման վրա⁠։

Թշնամական արտաքին աշխարհի հետ անվտանգ փոխազդեցությունը անհրաժեշտ է լիովին ինքնավար ագենտների համար։ Երբ արհեստական բանականության մոդելը ինտեգրում եք հավելվածային համակարգի հետ, մենք խորհուրդ ենք տալիս հարցնել, թե նման իրավիճակում ինչ վերահսկողություններ պետք է ունենա մարդկային ագենտը, և դրանք ներդնել։ Մենք ակնկալում ենք, որ առավելագույնս խելացի ԱԲ մոդելը կկարողանա ավելի լավ դիմակայել սոցիալական ինժեներիային, քան մարդկային ագենտը, բայց դա միշտ չէ, որ իրագործելի կամ ծախսարդյունավետ է՝ կախված կիրառությունից։

Մենք շարունակում ենք ուսումնասիրել ԱԲ մոդելների դեմ սոցիալական ինժեներիայի հետևանքները և դրա դեմ պաշտպանությունները և մեր բացահայտումները ներառում ենք թե՛ մեր հավելվածների անվտանգության ճարտարապետություններում, թե՛ այն վարժեցման մեջ, որի միջով անցկացնում ենք մեր ԱԲ մոդելներին։