Terus nguatake ChatGPT Atlas nglawan serangan injeksi prompt

Mode agen ing ChatGPT Atlas minangka salah siji fitur agen serbaguna sing paling umum sing wis tau dirilis nganti saiki. Ing mode iki, agen browser ndeleng kaca web lan nindakake tumindak, klik, lan ketikan ing njero browser sampeyan, kaya sing bakal sampeyan lakoni. Iki ndadekake ChatGPT bisa makarya langsung ing akeh alur kerja saben dina sampeyan nganggo ruang, konteks, lan data sing padha.

Nalika agen browser mbantu sampeyan ngrampungake luwih akeh perkara, agen iki uga dadi target serangan adversarial sing luwih berharga. Iki ndadekake keamanan AI dadi penting banget. Suwe sadurunge kita ngluncurake ChatGPT Atlas, kita wis terus mbangun lan nguatake pertahanan nglawan ancaman anyar sing kanthi khusus nyasar paradigma anyar “agen ing browser” iki. Injeksi prompt⁠ minangka salah siji risiko paling penting sing aktif kita pertahanke supaya ChatGPT Atlas bisa makarya kanthi aman kanggo sampeyan.

Minangka bagean saka upaya iki, bubar iki kita ngirim nganyari keamanan kanggo agen browser Atlas, kalebu model anyar sing dilatih sacara adversarial lan pengaman sekitar sing dikuatake. Nganyari iki dipicu dening kelas anyar serangan injeksi prompt sing ditemokake liwat red teaming otomatis internal kita.

Ing tulisan iki, kita nerangake kepiye risiko injeksi prompt bisa muncul kanggo agen berbasis web, lan kita nuduhake loop respons cepet sing wis kita bangun kanggo terus nemokake serangan anyar lan ngirim mitigasi kanthi cepet—digambarake liwat nganyari keamanan anyar iki.

Kita ndeleng injeksi prompt minangka tantangan keamanan AI jangka panjang, lan kita kudu terus nguatake pertahanan nglawan iki (meh padha karo penipuan online sing terus berkembang sing nyasar manungsa). Siklus respons cepet paling anyar kita nuduhake pratandha awal sing njanjeni minangka piranti penting ing perjalanan kasebut: kita nemokake strategi serangan anyar sacara internal sadurunge muncul ing lapangan. Visi jangka panjang kita yaiku nggunakke kanthi maksimal (1) akses white-box kita menyang model, (2) pangerten jero babagan pertahanan kita, lan (3) skala komputasi supaya tetep luwih maju tinimbang penyerang eksternal—nemokake eksploitasi luwih awal, ngirim mitigasi luwih cepet, lan terus ngencengi loop kasebut. Digabung karo riset tercanggih babagan teknik anyar kanggo ngatasi injeksi prompt lan tambahane investasi ing kontrol keamanan liyane, siklus akumulatif iki bisa nggawe serangan dadi saya angel lan larang, kanthi nyata nyuda risiko injeksi prompt ing donya nyata. Pungkasane, tujuan kita yaiku supaya sampeyan bisa percaya marang agen ChatGPT kanggo nggunakke browser sampeyan kaya sampeyan percaya marang kolega utawa kanca sing trampil lan sadar keamanan.

Serangan injeksi prompt nyasar agen AI kanthi nyisipake instruksi mbebayani menyang konten sing diproses agen. Instruksi kasebut dirancang kanggo ngesampingake utawa ngarahake maneh prilaku agen—mbajak agen supaya nuruti karep penyerang, dudu karepe pangguna.

Kanggo agen browser kaya sing ana ing njero ChatGPT Atlas, injeksi prompt nambah vektor ancaman anyar ngluwihi risiko keamanan web tradisional (kayata kesalahan pangguna utawa kerentanan piranti lunak). Tinimbang phishing manungsa utawa ngeksploitasi kerentanan sistem browser, penyerang nyasar agen sing makarya ing njero browser kasebut.

Minangka conto hipotetis, penyerang bisa ngirim email mbebayani sing nyoba ngapusi agen supaya nglirwakake panjaluke pangguna lan malah nerusake dokumen pajak sensitif menyang alamat email sing dikendhaleni penyerang. Yen pangguna njaluk agen mriksa email durung diwaca lan ngringkes poin penting, agen bisa ngolah email mbebayani kasebut sajrone alur kerja. Yen agen nuruti instruksi sing disisipake, agen bisa metu saka tugas—lan kanthi salah nuduhake informasi sensitif.

Iki mung siji skenario tartamtu. Umumé sing padha sing ndadekake agen browser migunani uga ndadekake risikone luwih amba: agen bisa nemoni instruksi sing ora dipercaya ing area permukaan sing praktis ora ana watese—email lan lampiran, undhangan kalender, dokumen sing dienggo bareng, forum, kiriman media sosial, lan kaca web sembarang. Amarga agen bisa nindakake akeh tumindak sing padha karo sing bisa ditindakake pangguna ing browser, dampak saka serangan sing sukses kanthi hipotetis uga bisa padha amba: nerusake email sensitif, ngirim dhuwit, nyunting utawa mbusak file ing cloud, lan liya-liyane.

Kita wis nggawe kemajuan kanggo mbela injeksi prompt liwat pirang-pirang lapisan pengaman, kaya sing wis kita bagikake ing tulisan sadurunge⁠. Nanging, injeksi prompt tetep dadi tantangan terbuka kanggo keamanan agen, lan kita ngarepake bakal terus nggarap iki nganti pirang-pirang taun ing ngarep.

Kanggo nguatake pertahanan kita, kita wis terus nggoleki serangan injeksi prompt anyar marang sistem agen ing produksi. Nemokake serangan iki minangka prasyarat penting kanggo mbangun mitigasi sing kuat: iki mbantu kita mangerteni risiko ing donya nyata, mbukak celah ing pertahanan kita, lan nyurung tambalan sing konkret.

Kanggo nindakake iki ing skala gedhe, kita mbangun penyerang otomatis berbasis LLM lan nglatih supaya mburu serangan injeksi prompt sing bisa kasil nyerang agen browser. Kita nglatih penyerang iki kanthi end-to-end nganggo sinau penguatan, supaya penyerang sinau saka sukses lan gagale dhewe kanggo ningkatake katrampilan red teaming. Kita uga ngidini penyerang iki “nyoba sadurunge ngirim”, tegesé: sajrone nalar chain of thought, penyerang bisa ngusulake injeksi kandidat lan ngirim menyang simulator eksternal. Simulator kasebut mlakokake rollout kontrafaktual babagan kepiye agen korban sing dadi target (pihak pembela) bakal tumindak yen nemoni injeksi kasebut, lan mbalekake jejak lengkap nalar lan tumindak saka agen korban. Penyerang nggunakke jejak kasebut minangka umpan balik, ngiterasi serangan, lan mbukak simulasi maneh—ngulang loop iki kaping pirang-pirang sadurunge mutusake serangan final. Iki menehi umpan balik in-context sing luwih sugih marang penyerang tinimbang mung sinyal lulus/gagal siji. Iki uga nambah skala komputasi wektu-uji penyerang. Kajaba iku, akses istimewa marang jejak nalar pihak pembela (sing ora kita ungkapake marang pangguna eksternal) menehi kauntungan asimetris marang penyerang internal kita—nambah kemungkinan supaya bisa luwih cepet tinimbang adversary eksternal.

Napa sinau penguatan (RL)? Kita milih sinau penguatan kanggo nglatih penyerang otomatis amarga sawetara alasan:

1. Ngoptimalake tujuan penyerang jangka panjang lan non-kontinu. Tujuan kita yaiku nggoleki serangan injeksi prompt sing bisa ngapusi agen supaya nindakake tugas adversarial sing canggih (contone, ngirim email, transaksi bank) sing bisa kedadeyan ing donya nyata. Tugas adversarial iki kanthi alami jangka panjang, mbutuhake akeh langkah nalar lan interaksi karo lingkungan, kanthi sinyal sukses sing langka lan telat. Sinau penguatan cocog banget kanggo struktur ganjaran sing langka lan telat iki.
2. Manfaatake kapabilitas LLM tercanggih. Kita nglatih LLM tercanggih langsung dadi auto-red-teamer, supaya penyerang entuk manfaat langsung saka paningkatan nalar lan perencanaan ing model tercanggih. Nalika model dhasar saya kuwat, penyerang kanthi alami uga dadi luwih mumpuni—ndadekake iki cara sing bisa diskalakake kanggo terus menehi tekanan marang pertahanan kita nalika model kita berkembang.
3. Menskalakan komputasi lan niru penyerang adaptif. Sinau penguatan cocog banget kanggo menskalakan komputasi sing digunakake kanggo nggoleki serangan liwat sampling lan langkah sinau sing akeh, lan uga cedhak nggambarake kepiye penyerang manungsa sing adaptif tumindak: nyoba strategi kanthi iteratif, sinau saka asil, lan nguatake prilaku sing sukses.
   

Penyerang otomatis kita bisa nemokake serangan injeksi prompt anyar lan realistis kanthi end-to-end. Beda karo akeh karya red teaming otomatis sadurunge, sing mung nemokake kegagalan sederhana kayata ngasilake string output tartamtu utawa micu panggilan alat siji-langkah sing ora disengaja saka agen, penyerang kita sing dilatih RL bisa ngarahake agen supaya nindakake alur kerja mbebayani sing canggih lan jangka panjang sing dumadi sajrone puluhan (utawa malah atusan) langkah. Kita uga ndeleng strategi serangan anyar sing ora katon ing kampanye red teaming manungsa utawa laporan eksternal.

Demo ing ngisor iki nampilake eksploitasi injeksi prompt konkret sing ditemokake penyerang otomatis kita, sing banjur digunakake kanggo luwih nguatake pertahanan ChatGPT Atlas. Penyerang nyemai kothak mlebu pangguna nganggo email mbebayani sing ngemot injeksi prompt sing ngarahake agen supaya ngirim surat pengunduran diri menyang CEO pangguna. Mengko, nalika pangguna njaluk agen nyusun balesan out-of-office, agen nemoni email kasebut sajrone eksekusi tugas normal, nganggep prompt sing disisipake minangka wewenang, banjur nuruti. Pesen out-of-office ora tau ditulis lan agen malah mundur atas jeneng pangguna.

Sifat injeksi prompt ndadekake jaminan keamanan deterministik dadi angel, nanging kanthi menskalakan riset keamanan otomatis, pengujian adversarial, lan ngencengi loop respons cepet, kita bisa ningkatake ketahanan lan pertahanan model - sadurunge ngenteni serangan kedadeyan ing lapangan.

Kita nuduhake demo iki kanggo mbantu pangguna lan peneliti luwih ngerti sipat serangan iki—lan kepiye kita aktif mbela marang iku. Kita yakin iki nggambarake batas tercanggih saka apa sing bisa digayuh red teaming otomatis, lan kita bungah banget kanggo nerusake riset iki.

Red teaming otomatis kita nyurung loop respons cepet sing proaktif: nalika penyerang otomatis nemokake kelas anyar serangan injeksi prompt sing sukses, iki langsung nggawe target konkret kanggo ningkatake pertahanan kita.

Latihan adversarial nglawan serangan sing mentas ditemokake. Kita terus nglatih model agen sing dianyari nglawan penyerang otomatis paling apik kita—kanthi mprioritase serangan nalika agen target saiki gagal. Tujuane yaiku mulang agen supaya nglirwakake instruksi adversarial lan tetep selaras karo karep pangguna, nambah ketahanan marang strategi injeksi prompt sing mentas ditemokake. Iki “nangkarake” ketahanan marang serangan anyar sing kuwat langsung menyang checkpoint model. Contone, red teaming otomatis anyar langsung ngasilake checkpoint agen browser sing dilatih adversarial anyar sing saiki wis digelar kanggo kabeh pangguna ChatGPT Atlas. Iki pungkasane mbantu luwih nglindhungi pangguna kita saka jinis serangan anyar.

Nggunakake jejak serangan kanggo ningkatake tumpukan pertahanan sing luwih jembar. Akeh jalur serangan sing ditemokake red teamer otomatis kita uga mbukak kesempatan perbaikan ing njaba model dhewe—kayata ing pemantauan, instruksi keamanan sing kita lebokake ing konteks model, utawa pengaman tingkat sistem. Temuan kasebut mbantu kita ngiterasi kabeh tumpukan pertahanan, ora mung checkpoint agen.

Merespons serangan aktif. Loop iki uga bisa mbantu luwih apik nanggapi serangan aktif ing lapangan. Nalika kita ndeleng jejak global kita kanggo serangan potensial, kita bisa njupuk teknik lan taktik sing kita amati digunakake adversary eksternal, nglebokake menyang loop iki, niru kegiatane, lan nyurung owah-owahan defensif ing saindenging platform kita.

Ngiyatake kemampuan kita kanggo nindakake red teaming marang agen lan nggunakke model kita sing paling mumpuni kanggo ngotomatisasi bagean saka karya kasebut—mbantu nggawe agen browser Atlas luwih tangguh kanthi menskalakan loop panemuan-nganti-perbaikan. Upaya penguatan iki negesake pelajaran sing wis akrab saka keamanan: dalan sing wis kabukten kanggo perlindungan sing luwih kuwat yaiku terus nguji sistem nyata kanthi tekanan, nanggapi kegagalan, lan ngirim perbaikan konkret.

Kita ngarepake adversary bakal terus adaptasi. Injeksi prompt, meh padha karo penipuan lan rekayasa sosial ing web, mesthine ora bakal tau rampung “dipecahake”. Nanging kita optimistis yen loop respons cepet sing proaktif lan responsif banget bisa terus nyuda risiko ing donya nyata kanthi nyata saka wektu ke wektu. Kanthi nggabungake panemuan serangan otomatis karo latihan adversarial lan pengaman tingkat sistem, kita bisa ngenali pola serangan anyar luwih awal, nutup celah luwih cepet, lan terus ningkatake biaya eksploitasi.

Mode agen ing ChatGPT Atlas iku kuat—lan uga ngembangake permukaan ancaman keamanan. Ndelok tradeoff kasebut kanthi cetha minangka bagean saka mbangun kanthi tanggung jawab. Tujuan kita yaiku nggawe Atlas luwih aman kanthi makna ing saben iterasi: ningkatake ketahanan model, nguatake tumpukan pertahanan ing sakupenge, lan ngawasi pola penyalahgunaan anyar ing lapangan.

Kita bakal terus nandur modal ing riset lan deployment, ngembangake metode red teaming otomatis sing luwih apik, nggelar mitigasi berlapis, lan ngiterasi kanthi cepet nalika kita sinau. Kita uga bakal nuduhake sing bisa kita bagikake marang komunitas sing luwih jembar.

Nalika kita terus nguatake Atlas ing tingkat sistem, ana langkah sing bisa ditindakake pangguna kanggo nyuda risiko nalika nggunakke agen.

Watesi akses sing login yen bisa. Kita terus nyaranake supaya pangguna nggunakke mode logged-out⁠(mbukak ing jendhela anyar) nalika nggunakke Agent ing Atlas yen akses menyang situs web sing sampeyan login ora perlu kanggo tugas sing ditindakake, utawa kanggo matesi akses menyang situs tartamtu sing sampeyan login sajrone tugas kasebut.

Tliti kanthi ati-ati panjaluk konfirmasi. Kanggo tumindak tartamtu sing konsekuensiale gedhe, kayata ngrampungake tuku utawa ngirim email, agen dirancang kanggo njaluk konfirmasi sampeyan sadurunge nerusake. Nalika agen njaluk sampeyan ngonfirmasi tumindak, sempatna kanggo mriksa manawa tumindak kasebut bener lan manawa informasi sing dienggo bareng cocog kanggo konteks kasebut.

Wenehana instruksi sing eksplisit marang agen yen bisa. Aja nggunakake prompt sing kakehan amba kaya “tinjau emailku lan tindakake tumindak apa wae sing dibutuhake.” Keluwesan sing amba ndadekake isi sing didhelikake utawa mbebayani luwih gampang mengaruhi agen, sanajan pengaman wis ana. Luwih aman yen njaluk agen nindakake tugas tartamtu lan cakupane cetha. Sanajan iki ora ngilangi risiko, iki ndadekake serangan luwih angel ditindakake.

Yen agen arep dadi mitra sing dipercaya kanggo tugas saben dina, agen kudu tangguh marang jinis manipulasi sing dimungkinkan web terbuka. Ngiyatake pertahanan marang injeksi prompt minangka komitmen jangka panjang lan salah siji prioritas utama kita. Kita bakal enggal nuduhake liyane babagan karya iki.