Mereka bentuk ejen AI untuk menentang suntikan prom

Ejen AI semakin mampu melayari web, mendapatkan maklumat dan mengambil tindakan bagi pihak pengguna. Keupayaan tersebut berguna, tetapi ia juga mewujudkan cara baharu untuk penyerang cuba memanipulasi sistem.

Serangan ini sering digambarkan sebagai suntikan prom⁠: arahan yang diletakkan dalam kandungan luaran dalam usaha untuk membuat model melakukan sesuatu yang tidak diminta oleh pengguna. Dalam pengalaman kami, versi serangan dunia sebenar yang paling berkesan ini semakin menyerupai kejuruteraan sosial berbanding sekadar cubaan mengatasi arahan melalui prom.

Peralihan itu penting. Jika masalahnya bukan sekadar mengenal pasti rentetan yang berniat jahat, tetapi menentang kandungan yang mengelirukan atau manipulatif dalam konteks, maka mempertahankan terhadapnya tidak boleh bergantung hanya pada menapis input. Ini juga memerlukan untuk mereka bentuk sistem supaya impak manipulasi dikekang, walaupun jika beberapa serangan berjaya.

Serangan awal jenis “suntikan prom” boleh semudah mengedit artikel Wikipedia untuk memasukkan arahan langsung kepada ejen AI yang melawatnya; tanpa pengalaman semasa latihan dalam persekitaran bermusuhan sedemikian, model AI selalunya akan mengikut arahan tersebut tanpa soal¹. Apabila model menjadi lebih pintar, model juga menjadi kurang terdedah kepada jenis cadangan ini dan kami telah memerhatikan bahawa serangan gaya suntikan prom telah bertindak balas dengan memasukkan elemen kejuruteraan sosial:

Dalam ekosistem keselamatan AI yang lebih luas, sudah menjadi perkara biasa untuk mengesyorkan teknik seperti “Menggunakan tembok api AI” di mana perantara antara ejen AI dan dunia luar cuba mengelaskan input kepada suntikan prom berniat jahat dan input biasa—namun serangan yang dibangunkan sepenuhnya ini biasanya tidak ditangkap oleh sistem tersebut. Bagi sistem sedemikian, mengesan input berniat jahat menjadi masalah yang sama sukar seperti mengesan penipuan atau maklumat yang mengelirukan dan selalunya tanpa konteks yang diperlukan.

Apabila serangan suntikan prom di dunia sebenar berkembang dalam kerumitan, kami mendapati bahawa teknik serangan yang paling berkesan memanfaatkan taktik kejuruteraan sosial. Daripada menganggap serangan suntikan prom ini dengan kejuruteraan sosial sebagai kelas masalah yang berasingan atau baharu sepenuhnya, kami mula melihatnya melalui kanta sama yang digunakan untuk mengurus risiko kejuruteraan sosial terhadap manusia dalam domain lain. Dalam sistem ini, matlamatnya bukan terhad kepada mengenal pasti input berniat jahat dengan sempurna, tetapi untuk mereka bentuk ejen dan sistem supaya kesan manipulasi dikekang, walaupun ia berjaya. Sistem sedemikian terbukti berkesan dalam mengurangkan kedua-dua suntikan prom dan kejuruteraan sosial.

Dengan cara ini, kita boleh membayangkan ejen AI sebagai wujud dalam sistem tiga pelaku yang serupa seperti ejen khidmat pelanggan; ejen mahu bertindak bagi pihak majikan mereka, tetapi mereka sentiasa terdedah kepada input luaran yang mungkin cuba mengelirukan mereka. Ejen sokongan pelanggan, sama ada manusia atau AI, mesti dihadkan pada keupayaan mereka untuk mengehadkan risiko keburukan yang diwarisi secara semula jadi apabila berada dalam persekitaran yang berniat jahat.

Bayangkan satu keadaan di mana seorang manusia mengendalikan sistem sokongan pelanggan dan mampu memberikan kad hadiah serta bayaran balik bagi kesulitan yang dialami oleh pelanggan seperti kelewatan penghantaran, kerosakan akibat malfungsi, etc. Ini ialah masalah berbilang pihak di mana syarikat mesti mempercayai bahawa ejen mengeluarkan bayaran balik atas sebab yang betul, sementara ejen juga berinteraksi dengan pihak ketiga yang mungkin bertujuan untuk mengelirukan mereka atau malah meletakkan mereka di bawah dures.

Dalam dunia sebenar, ejen diberikan satu set peraturan untuk diikuti, tetapi dijangkakan bahawa dalam persekitaran bermusuhan yang wujud dalam, mereka akan diperdayakan. Mungkin seorang pelanggan menghantar mesej yang mendakwa bahawa bayaran balik mereka tidak pernah diproses atau mengancam untuk mencederakan jika tidak diberikan bayaran balik. Sistem berketentuan yang berinteraksi dengan ejen mengehadkan jumlah bayaran balik yang boleh diberikan kepada pelanggan, menandakan e-mel memancing data yang berpotensi dan menyediakan pengurangan lain untuk mengehadkan kesan yang menjejaskan ejen individu. 

Pola fikiran ini telah mempengaruhi suite langkah balas mantap yang telah kami gunakan untuk memenuhi jangkaan keselamatan pengguna kami.

Dalam ChatGPT, kami menggabungkan model kejuruteraan sosial ini dengan pendekatan kejuruteraan keselamatan yang lebih tradisional seperti analisis sumber tenggelam.

Dalam kerangka itu, penyerang memerlukan kedua-dua sumber, atau cara untuk mempengaruhi sistem dan penenggelaman, atau keupayaan yang menjadi berbahaya dalam konteks yang salah. Untuk sistem agentic, itu selalunya bermaksud menggabungkan kandungan luaran yang tidak dipercayai dengan tindakan seperti menghantar maklumat kepada pihak ketiga, mengikuti pautan atau berinteraksi dengan alat.

Matlamat kami adalah untuk mengekalkan jangkaan keselamatan teras untuk pengguna: tindakan yang berpotensi berbahaya atau penghantaran maklumat yang berpotensi sensitif, tidak seharusnya berlaku secara senyap atau tanpa perlindungan yang sesuai.

Serangan yang kami lihat dibangunkan terhadap ChatGPT paling kerap terdiri daripada percubaan untuk meyakinkan pembantu bahawa ia perlu mengambil beberapa maklumat rahsia daripada perbualan dan menghantarnya kepada pihak ketiga yang berniat jahat. Dalam kebanyakan kes yang kami ketahui, serangan ini gagal kerana latihan keselamatan kami menyebabkan ejen menolak. Bagi kes-kes di mana ejen berasa yakin, kami telah membangunkan strategi pengurangan yang dipanggil Url Selamat yang direka untuk mengesan apabila maklumat yang dipelajari oleh pembantu dalam perbualan akan dihantar kepada pihak ketiga. Dalam kes-kes yang jarang berlaku ini, kami sama ada menunjukkan kepada pengguna maklumat yang akan dihantar dan meminta mereka mengesahkannya, atau kami menyekatnya dan memberitahu ejen untuk mencuba cara lain bagi meneruskan permintaan pengguna.

Mekanisme yang sama ini terpakai pada navigasi dan penanda buku dalam Atlas⁠; serta carian dan navigasi dalam Penyelidikan Mendalam⁠. Aplikasi ChatGPT Kanvas⁠ & ChatGPT⁠ mengambil pendekatan yang serupa, membolehkan ejen mencipta dan menggunakan aplikasi berfungsi—ini dijalankan dalam medan ujian yang mampu mengesan komunikasi yang tidak dijangka dan meminta persetujuan pengguna⁠(dibuka dalam tetingkap baru).

Anda boleh membaca maklumat lanjut tentang Url Selamat dan mencari kertas kerja tentang strukturnya di siaran blog khususnya Memastikan data anda selamat apabila ejen AI mengklik pautan⁠.

Interaksi yang selamat dengan dunia luar adversarial adalah perlu untuk ejen autonomi sepenuhnya. Apabila mengintegrasikan model AI dengan sistem aplikasi, kami mengesyorkan agar bertanya kawalan apa yang sepatutnya dimiliki oleh ejen manusia dalam situasi yang serupa dan melaksanakan kawalan tersebut. Kami menjangkakan bahawa model AI maksimum akan dapat menentang kejuruteraan sosial dengan lebih baik daripada ejen manusia, tetapi ini tidak selalu boleh dilaksanakan atau menjimatkan kos, bergantung pada aplikasi.

Kami terus meneroka implikasi kejuruteraan sosial terhadap model AI dan pertahanan terhadapnya serta menggabungkan penemuan kami ke dalam seni bina keselamatan aplikasi kami dan latihan yang kami jalankan ke atas model AI kami.