Kuendelea kuimarisha ChatGPT Atlas dhidi ya mashambulizi ya sindikizo la dokeza

Hali ya wakala katika ChatGPT Atlas ni mojawapo ya vipengele vya wakala vya matumizi ya jumla zaidi ambavyo tumetoa hadi sasa. Katika hali hii, wakala wa kivinjari huangalia kurasa za wavuti na kuchukua vitendo, kubofya na kuandika ndani ya kivinjari chako, kama vile unavyofanya. Hii huruhusu ChatGPT kufanya kazi moja kwa moja kwenye mtiririko wako wa kazi wa kila siku kwa kutumia nafasi, muktadha na data sawa.

Kadiri wakala wa kivinjari anavyokusaidia kufanyankazi zaidi, pia unakuwa lengo la thamani kubwa zaidi kwa mashambulizi ya wapinzani. Hii hufanya usalama wa AI kuwa muhimu sana. Muda mrefu kabla ya kuzindua ChatGPT Atlas, tumekuwa tukijenga na kuimarisha ulinzi dhidi ya vitisho vinavyoibuka ambavyo vinawalenga hasa wakala mpya katika dhana ya 'wakala katika kivinjari'. Uwekaji wa dokeza⁠ ni mojawapo ya hatari kubwa tunazozitetea kikamilifu ili kuhakikisha ChatGPT Atlas inaweza kufanya kazi kwa usalama kwa niaba yako. 

Kama sehemu ya juhudi hizi, hivi majuzi tulituma sasisho la usalama kwa wakala wa kivinjari wa Atlas, ikijumuisha muundo mpya uliofunzwa kwa njia ya upinzani na kuimarisha ulinzi unaozunguka. Sasisho hili lilichochewa na darasa jipya la mashambulizi ya sindikizo la dokeza yaliyogunduliwa kupitia timu yetu ya ndani ya majaribio ya kiotomatiki ya usalama.

Katika chapisho hili, tunaeleza jinsi hatari ya sindikizo la dokeza inaweza kutokea kwa mawakala wa mtandao na tunashiriki mzunguko wa majibu ya haraka ambao tumekuwa tukiunda ili kugundua mashambulizi mapya na kutuma upunguzaji wa hatari haraka—kama inavyoonyeshwa na sasisho hili la usalama la hivi karibuni.

Tunaona sindikizo la dokeza kama changamoto ya muda mrefu ya usalama wa AI na tutahitaji kuimarisha ulinzi wetu dhidi yake mara kwa mara (kama vile ulaghai wa mtandaoni unaoendelea kubadilika ambao unawalenga wanadamu). Mzunguko wetu wa hivi karibuni wa majibu ya haraka unaonyesha ahadi ya mapema kama chombo muhimu katika safari hiyo: tunagundua mikakati mipya ya mashambulizi ndani kabla haijajitokeza hadharani. Maono yetu ya muda mrefu ni kutumia kikamilifu (1) ufikiaji wetu wa kisanduku cheupe kwa miundo yetu, (2) uelewa wa kina wa ulinzi wetu, na (3) hesabu ya kiwango ili kubaki mbele ya washambuliaji wa nje—kupata unyonyaji mapema, kupunguza uhamishaji haraka na kuimarisha mzunguko kila mara. Pamoja na utafiti wa kisasa kuhusu mbinu mpya za kushughulikia usindikaji wa haraka na uwekezaji ulioongezeka katika vidhibiti vingine vya usalama, mzunguko huu wa kuchanganya unaweza kufanya mashambulizi kuwa magumu na ya gharama kubwa zaidi, na kupunguza hatari ya uingizwaji wa haraka wa ulimwengu halisi. Hatimaye, lengo letu ni kwamba uweze kuamini wakala wa ChatGPT kutumia kivinjari chako kama vile ungemwamini mfanyakazi mwenzako au rafiki mwenye ujuzi wa hali ya juu na anayejali usalama.

Shambulio la sindikizo la dokeza linawalenga mawakala wa AI kwa kuweka maagizo hatari ndani ya maudhui ambayo wakala anashughulikia. Maagizo hayo yameundwa ili kubadilisha au kuelekeza kwingine tabia ya wakala—kuiteka ili ifuate nia ya mshambuliaji, badala ya ile ya mtumiaji.

Kwa wakala wa kivinjari kama yule aliye ndani ya ChatGPT Atlas, sindikizo la dokezo huongeza vekta mpya ya tishio zaidi ya hatari za jadi za usalama wa wavuti (kama vile makosa ya mtumiaji au udhaifu wa programu). Badala ya kuwalenga watu kwa hadaa au kutumia udhaifu wa mfumo wa kivinjari, mshambuliaji analenga wakala anayefanya kazi ndani ya kivinjari hicho.

Kama mfano wa kinadharia, mshambuliaji anaweza kutuma baruapepe yenye nia mbaya akijaribu kumdanganya wakala kupuuza ombi la mtumiaji na badala yake kutuma hati nyeti za kodi kwa anwani ya baruapepe inayodhibitiwa na mshambuliaji. Ikiwa mtumiaji atamwomba wakala akague barua pepe ambazo hazijasomwa na kutoa muhtasari wa hoja kuu, wakala anaweza kuingiza barua pepe hasidi wakati wa mtiririko wa kazi. Ikiwa itafuata maagizo yaliyoingizwa, inaweza kutoka kwenye shughuli—na kushiriki kwa makosa taarifa nyeti.

Hili ni tukio moja tu maalum. Ujumla ule ule unaofanya mawakala wa kivinjari kuwa muhimu pia hufanya hatari kuwa pana zaidi: wakala anaweza kukutana na maagizo yasiyoaminika katika eneo lisilo na mipaka—barua pepe na viambatisho, mialiko ya kalenda, hati zilizoshirikiwa, majukwaa, machapisho ya mitandao ya kijamii, na kurasa za wavuti za kiholela. Kwa kuwa wakala anaweza kuchukua vitendo vingi sawa na vile ambavyo mtumiaji anaweza kuchukua katika kivinjari, athari ya shambulio lenye mafanikio inaweza kuwa pana vilevile: kupeleka barua pepe nyeti, kutuma pesa, kuhariri au kufuta faili kwenye wingu, na zaidi.

Tumepiga hatua katika kujilinda dhidi ya uwekaji wa dokezo kupitia tabaka nyingi za ulinzi, kama tulivyoshiriki katika chapisho la awali⁠. Hata hivyo, sindikizo la dokeza bado ni changamoto wazi kwa usalama wa wakala, na ni jambo tunalotarajia kuendelea kulifanyia kazi kwa miaka ijayo.

Ili kuimarisha ulinzi wetu, tumekuwa tukitafuta mashambulizi mapya ya haraka dhidi ya miundo ya mawakala inayotengenezwa. Kupata mashambulizi haya ni sharti muhimu kwa ajili ya kujenga mikakati thabiti ya kupunguza athari: inatusaidia kuelewa hatari za ulimwengu halisi, kufichua mapengo katika ulinzi wetu, na kuendesha viraka halisi.

Ili kufanya hivi kwa kiwango kikubwa, tuliunda kishambulizi otomatiki kinachotegemea LLM na kukifunza kuwinda mashambulizi ya haraka ya sindikizo ambayo yanaweza kushambulia wakala wa kivinjari kwa mafanikio. Tulifundisha kishambuliaji hiki kutoka mwanzo hadi mwisho kwa kutumia mafunzo ya uimarishaji, hivyo kinajifunza kutokana na mafanikio na kushindwa kwake ili kuboresha ujuzi wake wa majaribio. Pia tunaiacha "ijaribu kabla haijasafiri", ambapo tunamaanisha: wakati wa mlolongo wake wa uwazaji, mshambuliaji anaweza kupendekeza sindikizo linaloweza kutumika na kuituma kwenye kiigaji cha nje. Kisimulizi huendesha mchakato wa kinadharia wa jinsi wakala wa mwathirika anayelengwa (mlinzi) angefanya ikiwa angekutana na sindikizo na hurejesha maelezo kamili ya sababu na ufuatiliaji wa vitendo vya wakala wa mwathirika. Mshambuliaji hutumia alama hiyo kama majibu, anarudia shambulio hilo, na kuendesha tena simulizi—akirejelea mzunguko huu mara kadhaa kabla ya kujitolea kwa shambulio la mwisho. Hii inatoa majibu yenye utajiri zaidi katika muktadha kwa mshambuliaji kuliko ishara moja ya kupita/kufeli. Pia inapanua rasilimali za kompyuta za mshambuliaji wakati wa mtihani. Zaidi ya hayo, upatikanaji wa kipekee wa nyayo za uwazaji (ambazo hatufichui kwa watumiaji wa nje) wa mtetezi hupea kishambuliai chetu cha ndani faida isiyo ya usawa—ikiongeza uwezekano kwamba anaweza kuwashinda wapinzani wa nje.

Je, kwa nini mafunzo ya uimarishaji (RL)? Tulichagua mafunzo ya uimarishaji ili kufunza kishambuliaji cha kiotomatiki kwa sababu kadhaa:

1. Uboreshaji wa malengo ya muda mrefu na yasiyo ya kuendelea ya kishambuliaji. Lengo letu ni kutafuta mashambulizi ya haraka ya sindikizo ambayo yanaweza kumdanganya mwakilishi kutekeleza majukumu tata ya wapinzani (km, kutuma barua pepe, miamala ya benki) ambayo yanaweza kutokea katika ulimwengu halisi. Shughuli hizi za upinzani ni za muda mrefu kiasili, zinahitaji hatua nyingi za uwazaji na kuingiliana na mazingira, huku ishara za mafanikio zikiwa nadra na za kuchelewa. Mafunzo ya uimarishaji yanafaa kwa muundo huu wa tuzo adimu na uliocheleweshwa.
2. Kutumia uwezo wa mipaka wa LLM. Tulifundisha LLM za kisasa moja kwa moja kama timu za kiotomatiki za usalama, hivyo kishambuliaji hufaidika moja kwa moja kutokana na maboresho katika uwazaji na upangaji katika miundo ya mipaka. Kadri miundo ya msingi inavyopata nguvu zaidi, kishambuliaji pia huwa na uwezo zaidi—hii inafanya kuwa njia inayoweza kupanuka ya kuweka shinikizo kwenye ulinzi wetu kadri miundo yetu inavyoendelea kubadilika.
3. Kupanua uwezo wa kompyuta na kuiga vishambuliaji vinavyobadilika. Mafunzo ya uimarishaji yanafaa sana kwa kuongeza kiwango cha hesabu inayotumika kutafuta vishambulizi katika idadi kubwa ya sampuli na hatua za kujifunza, na pia inaakisi kwa karibu jinsi washambuliaji wa kibinadamu wanavyobadilika: kujaribu mikakati kwa kurudia, kujifunza kutokana na matokeo, na kuimarisha tabia zilizofanikiwa.
   

Kishambulizi chetu cha kiotomatiki kinaweza kugundua mashambulizi mapya na halisi ya sindikizo la dokezo kutoka mwanzo hadi mwisho. Tofauti na kazi nyingi za awali za timu ya kiotomatiki, ambazo zilionyesha kushindwa rahisi kama vile kutoa misemo maalum au kusababisha simu isiyokusudiwa ya zana ya hatua moja kutoka kwa wakala, mshambuliaji wetu aliyepewa mafunzo ya RL anaweza kuelekeza wakala katika kutekeleza michakato hatari na ya muda mrefu ambayo inajitokeza kwa hatua nyingi (au hata mamia). Pia tuliona mikakati mipya ya mashambulizi ambayo haikuonekana katika kampeni yetu ya timu nyekundu ya kibinadamu au ripoti za nje.

Maonyesho hapa chini yanawasilisha shambulio halisi la sindikizo la dokezo lililopatikana na mshambuliaji wetu wa kiotomatiki, ambalo kisha tulilitumia kuimarisha zaidi ulinzi wa ChatGPT Atlas. Mshambuliaji anapanda barua pepe hasidi kwenye kisanduku cha mtumiaji yenye sindikizo la dokezo ambalo linaelekeza wakala kutuma barua ya kujiuzulu kwa Afisa Mtendaji Mkuu wa mtumiaji. Baadaye, mtumiaji anapomwomba wakala aandike jibu la kutokuwepo ofisini, wakala anakutana na barua pepe hiyo wakati wa utekelezaji wa shughuli za kawaida, anachukulia dokeza lililowekwa kama mamlaka, na analifuata. Ujumbe wa kutokuwepo ofisini hauandikwi na badala yake wakala anajiuzulu kwa niaba ya mtumiaji.

Asili ya sindikizo la dokezo inafanya dhamana za usalama za kimaamuzi kuwa changamoto, lakini kwa kupanua utafiti wetu wa usalama wa kiotomatiki, majaribio ya kiadui, na kuimarisha mzunguko wetu wa majibu ya haraka, tunaweza kuboresha uimara na ulinzi wa muundo - kabla ya kusubiri shambulio kutokea katika mazingira ya kawaida. 

Tunashiriki demo hii ili kuwasaidia watumiaji na watafiti kuelewa vyema asili ya mashambulizi haya—na jinsi tunavyotetea dhidi yao kwa bidii. Tunaamini hii inawakilisha mpaka wa kile ambacho timu ya redi ya kiotomatiki inaweza kufanikisha, na tunafurahi sana endelea na utafiti wetu.

Timu yetu ya majaribio ya kiotomatiki inaendesha mzunguko wa majibu ya haraka na ya utangulizi: mshambuliaji wa kiotomatiki anapogundua aina mpya ya mashambulizi ya sindikizo la dokeza yenye mafanikio, mara moja huunda lengo thabiti la kuboresha ulinzi wetu.

Mafunzo ya upinzani dhidi ya mashambulizi mapya yaliyogunduliwa. Tunaendelea kujifunza miundo ya wakala iliyosasishwa dhidi ya mshambuliaji wetu bora wa kiotomatiki—tukipa kipaumbele mashambulizi ambapo mawakala lengwa wanashindwa kwa sasa. Lengo ni kufundisha mawakala kupuuza maagizo ya upinzani na kubaki sambamba na nia ya mtumiaji, kuboresha upinzani dhidi ya mikakati mipya ya sindikizo la dokeza. Hii "inaweka" uimara dhidi ya mashambulizi mapya yenye nguvu moja kwa moja kwenye kituo cha ukaguzi cha muundo. Kwa mfano, timu ya hivi karibuni ya kiotomatiki ya red teaming ilizalisha moja kwa moja kituo kipya cha wakala wa kivinjari kilichofunzwa kwa upinzani ambacho tayari kimepelekwa kwa watumiaji wote wa ChatGPT Atlas. Hii hatimaye inasaidia kuwalinda vyema watumiaji wetu dhidi ya aina mpya za mashambulizi.

Kutumia nyayo za mashambulizi kuboresha mfumo mpana wa ulinzi. Njia nyingi za mashambulizi zilizogunduliwa na timu yetu nyekundu ya kiotomatiki pia zinafichua fursa za kuboresha nje ya muundo wenyewe—kama vile katika ufuatiliaji, maagizo ya usalama tunayoweka katika muktadha wa muundo, au hatua za ulinzi za kiwango cha mfumo. Matokeo hayo yanatusaidia kurudia mchakato wa mfumo mzima wa ulinzi, si tu sehemu ya ukaguzi wa wakala.

Kujibu mashambulizi yanayoendelea. Mzunguko huu pia unaweza kusaidia kujibu vyema mashambulizi yanayoendelea katika mazingira ya mtandao. Tunapoangalia uwezekano wa mashambulizi katika maeneo yetu ya kimataifa, tunaweza kuchukua mbinu na mikakati tunayoona wapinzani wa nje wakitumia, kuziingiza katika mchakato huu, kuiga shughuli zao, na kuendesha mabadiliko ya ulinzi katika jukwaa letu.

Kuimarisha uwezo wetu wa kuendesha timu nyekundu kwa mawakala na kutumia miundo yetu yenye uwezo mkubwa zaidi kuendesha sehemu za kazi hiyo—husaidia kufanya wakala wa kivinjari cha Atlas kuwa thabiti zaidi kwa kupanua mchakato wa kugundua hadi kurekebisha. Juhudi hii ya kuimarisha inasisitiza somo la kawaida kutoka kwa usalama: njia iliyozoeleka ya kupata ulinzi bora ni kuendelea kujaribu mifumo halisi kwa shinikizo, kujibu kushindwa, na kutuma marekebisho thabiti.

Tunatarajia wapinzani waendelee kubadilika. Sindano ya dokezo, kama ulaghai na uhandisi wa kijamii kwenye wavuti, haiwezekani kabisa kutatuliwa kikamilifu. Lakini tuna matumaini kwamba mzunguko wa majibu ya haraka na yenye utayari mkubwa unaweza kuendelea kupunguza kwa kiasi kikubwa hatari halisi kwa muda. Kwa kuchanganya ugunduzi wa mashambulizi kiotomatiki na mafunzo ya wapinzani pamoja na hatua za ulinzi za kiwango cha mfumo, tunaweza kutambua mifumo mipya ya mashambulizi mapema, kuziba mapengo haraka, na kuendelea kuongeza gharama ya unyonyaji.

Hali ya wakala katika ChatGPT Atlas ni yenye nguvu—na pia inaongeza uso wa tishio la usalama. Kuwa na mtazamo wazi kuhusu mabadilishano hayo ni sehemu ya kujenga kwa uwajibikaji. Lengo letu ni kufanya Atlas kuwa salama zaidi kwa kila toleo: kuboresha uimara wa muundo, kuimarisha safu ya ulinzi inayozunguka, na kufuatilia mifumo mipya ya unyanyasaji inayoibuka katika mazingira.

Tutaendelea kuwekeza katika utafiti na utekelezaji, tukiboresha mbinu bora za kiotomatiki za timu nyekundu, kutekeleza mikakati ya kupunguza hatari kwa tabaka, na kufanya marekebisho haraka tunapojifunza. Tutashiriki pia kile tunachoweza na jamii pana.

Wakati tunaendelea kuimarisha Atlas katika ngazi ya mfumo, kuna hatua ambazo watumiaji wanaweza kuchukua ili kupunguza hatari wanapotumia mawakala. 

Punguza ufikiaji wa walioingia inapowezekana. Tunaendelea kupendekeza kwamba watumiaji watumie fursa ya hali ya kutoka⁠(fungua katika dirisha jipya) wanapotumia Agent katika Atlas wakati wowote ufikiaji wa tovuti ulizoingia si muhimu kwa kazi iliyopo, au kupunguza ufikiaji wa tovuti maalum unazoingia wakati wa kazi. 

Kagua kwa makini maombi ya uthibitisho. Kwa vitendo fulani vya muhimu, kama vile kukamilisha ununuzi au kutuma barua pepe, mawakala wameundwa kuuliza uthibitisho wako kabla ya kuendelea. Wakati wakala anapokuuliza uthibitishe kitendo, chukua muda kuthibitisha kwamba kitendo hicho ni sahihi na kwamba taarifa yoyote inayoshirikiwa inafaa kwa muktadha huo.

Wape mawakala maagizo wazi inapowezekana. Epuka dokeza pana sana kama "kagua barua pepe zangu na chukua kitendo chochote kinachohitajika." Uwazi mpana hufanya iwe rahisi kwa maudhui yaliyofichwa au yenye nia mbaya kuathiri wakala, hata wakati hatua za ulinzi zipo. Ni salama zaidi kumwomba wakala afanye shughuli maalum, zilizofafanuliwa vizuri. Ingawa hii haiwezi kuondoa hatari, inafanya mashambulizi kuwa magumu zaidi kutekelezwa.

Ili mawakala wawe washirika wanaoaminika kwa shughuli za kila siku, lazima wawe na uwezo wa kustahimili aina za udanganyifu ambazo wavuti wazi inawasha. Kujenga uimara dhidi ya sindikizo la dokezo ni ahadi ya muda mrefu na moja ya vipaumbele vyetu vya juu. Tutashiriki maelezo zaidi kuhusu kazi hii hivi karibuni.