Շարունակաբար ամրապնդում ենք ChatGPT Atlas-ը հարցումների ներարկման հարձակումների դեմ

ChatGPT Atlas-ում Ագենտի ռեժիմը մեր ամենաընդհանուր նպատակային ագենտային հատկություններից մեկն է, որը մենք թողարկել ենք մինչ օրս։ Այս ռեժիմում դիտարկիչի ագենտը դիտում է վեբ էջերը և կատարում գործողություններ, սեղմումներ և ստեղնաշարի հարվածներ ձեր դիտարկիչում, ճիշտ այնպես, ինչպես դուք։ Սա թույլ է տալիս ChatGPT‑ին անմիջապես աշխատել ձեր ամենօրյա աշխատանքային հոսքերի վրա՝ օգտագործելով նույն տարածքը, համատեքստը և տվյալները։

Քանի որ դիտարկիչի ագենտը օգնում է ձեզ ավելի շատ գործեր կատարել, այն նաև դառնում է ավելի արժեքավոր թիրախ հակառակորդային հարձակումների համար։ Սա արհեստական բանականության անվտանգությունը դարձնում է հատկապես կարևոր։ ChatGPT Atlas-ը գործարկելուց շատ առաջ մենք անընդհատ կառուցել և ամրապնդել ենք պաշտպանություններ ի հայտ եկող սպառնալիքների դեմ, որոնք հատուկ ուղղված են այս նոր «դիտարկիչում ագենտ» մոդելին։ Հարցման ներարկումը⁠ այն ամենակարևոր ռիսկերից մեկն է, որի դեմ մենք ակտիվորեն պաշտպանում ենք՝ ապահովելու համար, որ ChatGPT Atlas-ը կարողանա անվտանգ գործել ձեր անունից: 

Այս ջանքերի շրջանակներում մենք վերջերս ուղարկել ենք անվտանգության թարմացում Atlas-ի դիտարկիչի ագենտի համար, ներառյալ նոր մրցակցային ուսուցված մոդել և ուժեղացված պաշտպանական միջոցներ։ Այս թարմացումը պայմանավորված էր մեր ներքին ավտոմատացված կարմիր թիմավորման միջոցով բացահայտված հարցումների ներարկման հարձակումների նոր դասի հայտնաբերմամբ։

Այս գրառման մեջ մենք բացատրում ենք, թե ինչպես կարող է առաջանալ հարցման ներարկման ռիսկը վեբային հիմք ունեցող ագենտների համար, և մենք կիսվում ենք արագ արձագանքման ցիկլով, որը մենք մշակում ենք՝ շարունակաբար հայտնաբերելու նոր հարձակումներ և արագորեն առաքելու մեղմացումներ՝ ցուցադրված այս վերջին անվտանգության թարմացմամբ։

Մենք դիտարկում ենք հարցումների ներարկումը որպես երկարաժամկետ ԱԲ անվտանգության մարտահրավեր, և մենք պետք է շարունակաբար ամրապնդենք մեր պաշտպանությունը դրա դեմ (ինչպես մշտապես զարգացող առցանց խարդախությունները, որոնք ուղղված են մարդկանց)։ Մեր վերջին արագ արձագանքման ցիկլը վաղ խոստումներ է ցույց տալիս որպես այդ ճանապարհի կարևոր գործիք. մենք հայտնաբերում ենք նոր հարձակման ռազմավարություններ ներքին մակարդակում, նախքան դրանք կհայտնվեն բաց աշխարհում։ Մեր երկարաժամկետ տեսլականն է լիովին օգտագործել (1) մեր մոդելների նկատմամբ սպիտակ տուփի հասանելիությունը, (2) մեր պաշտպանությունների խորը ըմբռնումը և (3) հաշվարկային մասշտաբը՝ արտաքին հարձակվողներից առաջ մնալու համար՝ ավելի վաղ հայտնաբերելով խոցելիությունները, ավելի արագ առաքելով մեղմացումները և շարունակաբար խստացնելով ցիկլը։ Նոր տեխնիկաների առաջնային հետազոտության հետ համատեղ՝ հարցման ներարկման և այլ անվտանգության վերահսկողությունների վրա ներդրումների ավելացման հետ, այս համակցված ցիկլը կարող է հարձակումները դարձնել ավելի դժվար և ծախսատար՝ նյութապես նվազեցնելով իրական աշխարհում հարցման ներարկման ռիսկը։ Ի վերջո, մեր նպատակն է, որ դուք կարողանաք վստահել ChatGPT ագենտին՝ օգտագործելու ձեր դիտարկիչը այնպես, ինչպես կվստահեիք բարձր որակավորում ունեցող, անվտանգության գիտակցությամբ գործընկերոջ կամ ընկերոջ։

Հարցումների ներդարկման հարձակումները թիրախավորում են ԱԲ ագենտներին՝ վնասակար հրահանգներ ներարկելով այն բովանդակության մեջ, որը ագենտը մշակում է։ Այդ հրահանգները մշակված են՝ ագենտի վարքագիծը վերացնելու կամ վերաուղղորդելու համար՝ այն առևանգելով հարձակվողի մտադրությանը հետևելու համար, այլ ոչ թե օգտատիրոջը։

Դիտարկիչի ագենտի համար, ինչպիսին է ChatGPT Atlas-ի ներսում գտնվողը, հարցումների ներարկումը ավելացնում է նոր սպառնալիքի վեկտոր՝ ավանդական վեբ անվտանգության ռիսկերից (ինչպիսիք են օգտատերի սխալները կամ ծրագրային ապահովման խոցելիությունները) դուրս։ Փոխարենը մարդկանց ֆիշինգի կամ դիտարկիչի համակարգի խոցելիությունները շահագործելու, հարձակվողը թիրախավորում է ներսում գործող ագենտին։

Որպես հիպոթետիկ օրինակ, հարձակվողը կարող է ուղարկել վնասակար էլ․ նամակ՝ փորձելով խաբել ագենտին անտեսել օգտատերի խնդրանքը և փոխարենը հարձակվողի վերահսկողության տակ գտնվող էլ․ հասցեին փոխանցել զգայուն հարկային փաստաթղթեր: Եթե օգտատերը խնդրի ագենտին վերանայել չկարդացված էլեկտրոնային նամակները և ամփոփել հիմնական կետերը, ապա ագենտը կարող է աշխատանքային հոսքի ընթացքում ներգրավել այդ չարամիտ նամակը։ Եթե այն հետևի ներարկված հրահանգներին, այն կարող է շեղվել առաջադրանքից և սխալմամբ կիսվել զգայուն տեղեկատվությամբ։

Սա ընդամենը մեկ հատուկ իրավիճակ է։ Այն նույն ընդհանրությունը, որը դիտարկիչի ագենտներին դարձնում է օգտակար, նաև ռիսկերը դարձնում է ավելի լայն՝ ագենտը կարող է հանդիպել անվստահելի հրահանգների՝ փաստացի անսահման մակերեսի վրա՝ էլեկտրոնային նամակներ և հավելվածներ, օրացույցի հրավերներ, փաստաթղթեր, ֆորումներ, սոցիալական ցանցերի գրառումներ և կամայական վեբ էջեր: Քանի որ ագենտը կարող է կատարել այն նույն գործողություններից շատերը, որոնք օգտատերը կարող է կատարել դիտարկիչում, հաջող հարձակման ազդեցությունը տեսականորեն կարող է լինել նույնքան լայն՝ փոխանցել զգայուն էլեկտրոնային նամակ, ուղարկել գումար, խմբագրել կամ ջնջել ֆայլեր ամպում և ավելին։

Մենք առաջընթաց ենք գրանցել հարցումների ներարկումից պաշտպանվելու ուղղությամբ՝ բազմաթիվ շերտերի պաշտպանությունների միջոցով, ինչպես կիսվել ենք ավելի վաղ գրառման մեջ⁠։ Այնուամենայնիվ, հարցումների ներարկումը մնում է բաց մարտահրավեր ագենտի անվտանգության համար, և մենք ակնկալում ենք շարունակել աշխատել այս ուղղությամբ առաջիկա տարիներին։

Մեր պաշտպանությունները ուժեղացնելու համար մենք շարունակաբար որոնում ենք նոր հարցումների ներարկման հարձակումներ արտադրական ագենտային համակարգերի դեմ։ Այս հարձակումները հայտնաբերելը անհրաժեշտ նախապայման է ամուր պաշտպանություններ կառուցելու համար. այն օգնում է մեզ հասկանալ իրական աշխարհի ռիսկերը, բացահայտել մեր պաշտպանությունների բացերը և մշակել կոնկրետ շտկումներ:

Դրա մասշտաբային իրականացման համար մենք ստեղծեցինք LLM-ի վրա հիմնված ավտոմատացված հարձակվող և այն մարզեցինք՝ որսալու հարցման ներարկման հարձակումներ, որոնք կարող են հաջողությամբ հարձակվել դիտարկիչի ագենտի վրա։ Մենք այս հարձակվողին վերջնականապես վերապատրաստել ենք ամրապնդումով ուսուցմամբ, որպեսզի այն սովորի իր հաջողություններից և ձախողումներից՝ բարելավելու իր կարմիր թիմավորման հմտությունները: Մենք նաև թույլ ենք տալիս, որ այն «փորձի նախքան ուղարկվելը», ինչը նշանակում է, որ մտքի շղթայի դատողության ընթացքում հարձակվողը կարող է առաջարկել թեկնածու ներարկում և ուղարկել այն արտաքին սիմուլյատորի։ Սիմուլյատորը կատարում է հակափաստարկային սցենար, թե ինչպես կվարվեր թիրախավորված զոհի ագենտը (պաշտպանը), եթե հանդիպեր ներարկմանը, և վերադարձնում է զոհի ագենտի ամբողջական հիմնավորումը և գործողությունների հետքը։ Հարձակվողը օգտագործում է այդ հետքը որպես կարծիք, կրկնում է հարձակումը և նորից անցկացնում սիմուլյացիան՝ այս ցիկլը բազմիցս կրկնելով մինչև վերջնական հարձակմանը անցնելը: Սա հարձակվողին ապահովում է ավելի հարուստ համատեքստային կարծիք, քան միայն հաջողության/անհաջողության ազդանշանը: Այն նաև մեծացնում է հարձակվողի թեստային ժամանակի հաշվարկի ծավալը։ Ավելին, պաշտպանողի տրամաբանության հետքերի (որոնք մենք չենք բացահայտում արտաքին օգտատերերին) արտոնյալ հասանելիությունը մեր ներքին հարձակվողին տալիս է ասիմետրիկ առավելություն՝ մեծացնելով հավանականությունը, որ այն կարող է գերազանցել արտաքին հակառակորդներին։

Ինչո՞ւ ամրապնդումով ուսուցում (RL): Մենք ընտրեցինք ամրապնդումով ուսուցում՝ ավտոմատացված հարձակվողին վարժեցնելու մի քանի պատճառներով:

1. Երկարաժամկետ և ոչ շարունակական հարձակվողի նպատակների օպտիմալացում։ Մեր նպատակը հարցման ներդրման հարձակումները որոնելն է, որոնք կարող են խաբել ագենտին՝ իրականացնելով բարդ հակառակորդային առաջադրանքներ (օրինակ՝ էլեկտրոնային նամակներ ուղարկելը, բանկային գործարքներ կատարելը), որոնք կարող են տեղի ունենալ իրական աշխարհում։ Այս հակամարտային առաջադրանքները բնույթով երկարաժամկետ են, պահանջում են բազմաթիվ քայլեր հիմնավորման և միջավայրի հետ փոխազդեցության, սակավ և ուշացած հաջողության ազդանշաններով։ Ամրապնդումով ուսուցումը լավ է համապատասխանում այս նոսր, ուշացած պարգևատրման կառուցվածքին:
2. Օգտագործելով սահմանային LLM հնարավորությունները։ Մենք ուղղակիորեն վերապատրաստել ենք առաջնային LLM-ները որպես ինքնակարմիր թիմեր, որպեսզի հարձակվողը անմիջականորեն օգտվի առաջնային մոդելների հիմնավորման և պլանավորման բարելավումներից։ Քանի որ հիմնական մոդելները դառնում են ավելի հզոր, հարձակվողը նույնպես բնականաբար դառնում է ավելի ունակ՝ դարձնելով սա մասշտաբային միջոց մեր պաշտպանությունների վրա ճնշում գործադրելու համար, երբ մեր մոդելները զարգանում են։
3. Հաշվարկի մասշտաբավորումը և հարմարվողական հարձակվողների նմանակումը։ Ամրապնդումով ուսուցումը հիանալի կերպով հարմարեցված է մեծ քանակությամբ նմուշների և ուսուցման քայլերի վրա հարձակումների որոնման համար ծախսվող հաշվարկի մասշտաբավորման համար, և այն նաև ճշգրիտ արտացոլում է, թե ինչպես են ադապտիվ մարդկային հարձակվողները գործում՝ հերթականությամբ փորձելով ռազմավարություններ՝ սովորելով արդյունքներից և ամրապնդելով հաջող վարքագծերը:
   

Մեր ավտոմատացված հարձակվողը կարող է հայտնաբերել նոր, իրատեսական հարցման ներդրման հարձակումներ՝ ամբողջությամբ։Ի տարբերություն նախորդ ավտոմատացված կարմիր թիմավորման աշխատանքների, որոնք բացահայտում էին պարզ ձախողումներ, ինչպիսիք են որոշակի ելքային տողերի առաջացումը կամ ագենտից չնախատեսված մեկ քայլով գործիքի կանչումը, մեր RL-վարժեցված հարձակվողը կարող է ուղղորդել ագենտին դեպի բարդ, երկարաժամկետ վնասակար աշխատանքային հոսքերի կատարում, որոնք զարգանում են տասնյակ (կամ նույնիսկ հարյուրավոր) քայլերի ընթացքում։ Մենք նաև նկատեցինք նոր հարձակման ռազմավարություններ, որոնք չկային մեր մարդկային կարմիր թիմավորման արշավում կամ արտաքին զեկույցներում։

Ստորև ներկայացված ցուցադրությունը ներկայացնում է կոնկրետ հարցումների ներարկման հարձակում, որը հայտնաբերվել է մեր ավտոմատացված հարձակվողի կողմից, և որը մենք օգտագործել ենք ChatGPT Atlas-ի պաշտպանությունը ավելի ամրապնդելու համար։ Հարձակվողը օգտատիրոջ մուտքի արկղը լցնում է վնասակար էլեկտրոնային նամակով, որը պարունակում է հարցման ներարկում, որը ուղղորդում է ագենտին ուղարկել հրաժարականի նամակ օգտատիրոջ գործադիր տնօրենին (CEO): Հետագայում, երբ օգտատերը խնդրում է ագենտին կազմել բացակայության պատասխան, ագենտը նորմալ առաջադրանքի կատարման ընթացքում հանդիպում է այդ էլփոստին, հարցումը համարում է հեղինակավոր և հետևում է դրան։ Անհասանելիության հաղորդագրությունը երբեք չի գրվում, և ագենտը օգտատերի անունից հրաժարական է տալիս։

Հարցումների ներարկման բնույթը դետերմինիստական անվտանգության երաշխիքներ տալը դարձնում է մարտահրավեր, բայց մեր ավտոմատացված անվտանգության հետազոտությունը, հակառակորդային թեստավորումը և արագ արձագանքման ցիկլի խստացումը մասշտաբավորելով՝ մենք կարողանում ենք բարելավել մոդելի կայունությունն ու պաշտպանությունները՝ նախքան հարձակման սպասելը: 

Մենք կիսվում ենք այս ցուցադրությամբ՝ օգնելու օգտատերերին և հետազոտողներին ավելի լավ հասկանալ այս հարձակումների բնույթը և ինչպես ենք մենք ակտիվորեն պաշտպանում դրանցից։ Մենք հավատում ենք, որ սա ներկայացնում է այն սահմանը, ինչ կարող է իրականացնել ավտոմատացված կարմիր թիմավորումը, և մենք չափազանց ոգևորված ենք շարունակելու մեր հետազոտությունը։

Մեր ավտոմատացված կարմիր թիմավորումը խթանում է կանխարգելիչ արագ արձագանքման ցիկլը. երբ ավտոմատացված հարձակվողը հայտնաբերում է նոր դասի հաջողված հարցումների ներարկման հարձակումներ, այն անմիջապես ստեղծում է կոնկրետ թիրախ՝ մեր պաշտպանությունները բարելավելու համար:

Հակառակորդական ուսուցում նոր հայտնաբերված հարձակումների դեմ: Մենք շարունակաբար վարժեցնում ենք թարմացված ագենտ մոդելները մեր լավագույն ավտոմատացված հարձակվողի դեմ՝ առաջնահերթություն տալով այն հարձակումներին, որոնցում թիրախային ագենտները ներկայումս ձախողվում են։ Նպատակը ագենտներին սովորեցնելն է անտեսել հակառակորդական հրահանգները և մնալ օգտատիրոջ մտադրությանը համապատասխան՝ բարելավելով դիմադրությունը նոր հայտնաբերված հարցումների ներարկման ռազմավարություններին: Սա «ամրացնում է» նոր, բարձր ուժգնության հարձակումների նկատմամբ ամրությունը ուղղակիորեն մոդելի ստուգման կետում: Օրինակ, վերջերս ավտոմատացված կարմիր թիմավորումը ուղղակիորեն ստեղծեց նոր հակառակորդային ուսուցված դիտարկիչ-ագենտի ստուգման կետ, որը արդեն հասանելի է բոլոր ChatGPT Atlas օգտատերերին։ Սա ի վերջո օգնում է ավելի լավ պաշտպանել մեր օգտատերերին նոր տեսակի հարձակումներից։

Հարձակման հետքերի օգտագործումը՝ ավելի լայն պաշտպանության համակարգը բարելավելու համար։Մեր ավտոմատացված կարմիր թիմի կողմից հայտնաբերված բազմաթիվ հարձակման ուղիներ նաև բացահայտում են բարելավման հնարավորություններ մոդելի սահմաններից դուրս՝ օրինակ մոնիտորինգի, մոդելի համատեքստում տեղադրված անվտանգության հրահանգների կամ համակարգի մակարդակի պաշտպանական միջոցառումների։ Այդ արդյունքները օգնում են մեզ կատարելագործել ամբողջական պաշտպանական համակարգը, ոչ միայն ագենտի ստուգման կետը։

Արձագանքում ակտիվ հարձակումներին: Այս ցիկլը կարող է նաև օգնել ավելի լավ արձագանքել վայրի ակտիվ հարձակումներին։ Քանի որ մենք դիտարկում ենք մեր գլոբալ ներկայությունը հնարավոր հարձակումների համար, մենք կարող ենք վերցնել արտաքին հակառակորդների կողմից օգտագործվող տեխնիկան և մարտավարությունը, ներմուծել դրանք այս ցիկլի մեջ, նմանակել նրանց գործունեությունը և մեր հարթակում իրականացնել պաշտպանական փոփոխություններ։

Մեր կարողությունը ուժեղացնել կարմիր թիմի ագենտներին և օգտագործել մեր ամենահզոր մոդելները՝ այդ աշխատանքի մասերը ավտոմատացնելու համար՝ օգնում է Atlas դիտարկիչի ագենտը դարձնել ավելի ամուր՝ մասշտաբավորելով հայտնաբերման-ուղղման ցիկլը: Այս կոփման ջանքերը ամրապնդում են անվտանգության վերաբերյալ ծանոթ դասը. ավելի ուժեղ պաշտպանության հասնելու լավ սովոր ուղին իրական համակարգերի անընդհատ ճնշման տակ փորձարկումն է, խափանումներին արձագանքելը և կոնկրետ շտկումներ կատարելը։

Մենք ակնկալում ենք, որ հակառակորդները շարունակեն հարմարվել։ Հարցումների ներարկումը, ինչպես խարդախությունները և սոցիալական ճարտարագիտությունը համացանցում, հավանաբար երբեք ամբողջությամբ «լուծված» չեն լինի։ Բայց մենք լավատես ենք, որ նախաձեռնողական, բարձր արձագանքող արագ արձագանքման ցիկլը կարող է շարունակել նյութականորեն նվազեցնել իրական աշխարհի ռիսկը ժամանակի ընթացքում։ Ավտոմատացված հարձակումների հայտնաբերումը համատեղելով հակառակորդային ուսուցման և համակարգի մակարդակի պաշտպանական միջոցների հետ, մենք կարող ենք ավելի վաղ հայտնաբերել նոր հարձակման նախշերը, ավելի արագ փակել բացերը և շարունակաբար բարձրացնել շահագործման արժեքը։

ChatGPT Atlas-ի Ագենտ ռեժիմը հզոր է, և այն նաև ընդլայնում է անվտանգության սպառնալիքների մակերեսը։ Այդ փոխզիջման մասին հստակ պատկերացում ունենալը պատասխանատու կառուցման մաս է կազմում։ Մեր նպատակն է յուրաքանչյուր կրկնությամբ Atlas-ը դարձնել էապես ավելի անվտանգ՝ բարելավելով մոդելի ամրությունը, ուժեղացնելով շրջապատող պաշտպանության շերտը և վերահսկելով նոր ի հայտ եկող չարաշահման օրինակները։

Մենք կշարունակենք ներդրումներ կատարել հետազոտության և տեղակայման ոլորտներում, զարգացնելով ավելի լավ ավտոմատացված կարմիր թիմավորման մեթոդներ, ներդնելով շերտավորված մեղմացումներ և արագ իտերացիա կատարել սովորելու ընթացքում։ Մենք նաև կկիսվենք մեր կարողություններով ավելի լայն հանրության հետ։

Մինչ մենք շարունակում ենք ամրապնդել Atlas-ը համակարգի մակարդակում, կան քայլեր, որոնք օգտատերերը կարող են ձեռնարկել՝ ագենտներ օգտագործելիս ռիսկը նվազեցնելու համար։ 

Սահմանափակել մուտքը, երբ հնարավոր է։Մենք շարունակում ենք խորհուրդ տալ օգտատերերին օգտվել դուրս եկած ռեժիմում⁠(բացվում է նոր պատուհանում) Atlas-ում Agent-ն օգտագործելիս, երբ մուտք գործած կայքեր մուտք գործելը անհրաժեշտ չէ տվյալ առաջադրանքի համար, կամ սահմանափակել մուտքը որոշակի կայքեր, որոնց մուտք եք գործում առաջադրանքի ընթացքում։

Խնդրում ենք ուշադիր վերանայել հաստատման հարցումները։ Որոշակի հետևանքային գործողությունների համար, ինչպիսիք են գնումն ավարտելը կամ էլեկտրոնային նամակ ուղարկելը, ագենտները նախատեսված են շարունակելուց առաջ ձեր հաստատումը խնդրելու համար։ Երբ ագենտը խնդրում է ձեզ հաստատել գործողությունը, մի պահ տրամադրեք՝ համոզվելու, որ գործողությունը ճիշտ է և որ ցանկացած տեղեկատվություն, որը կիսվում է, համատեքստին համապատասխան է։

Տվեք ագենտներին հստակ հրահանգներ, երբ հնարավոր է։ Խուսափեք չափազանց լայն հարցումներից, ինչպիսիք են՝ «վերանայիր իմ էլփոստերը և կատարիր անհրաժեշտ գործողությունները»։ Լայն ազատությունը հեշտացնում է թաքնված կամ չարամիտ բովանդակության ազդեցությունը ագենտի վրա, նույնիսկ երբ պաշտպանիչ միջոցներ են կիրառված։ Ավելի անվտանգ է խնդրել ագենտին կատարել կոնկրետ, լավ սահմանված առաջադրանքներ։ Թեև սա չի վերացնում ռիսկը, այն ավելի է դժվարացնում հարձակումների իրականացումը։

Եթե ագենտները պետք է դառնան վստահելի գործընկերներ առօրյա առաջադրանքների համար, նրանք պետք է դիմացկուն լինեն այնպիսի մանիպուլյացիաների նկատմամբ, որոնք հնարավոր են դարձնում բաց համացանցը միացնել։ Հարցումների ներարկումներից պաշտպանվելը երկարաժամկետ պարտավորություն է և մեր առաջնահերթություններից մեկն է։ Մենք շուտով ավելի մանրամասն կկիսվենք այս աշխատանքի մասին։