Memahami suntikan prom: cabaran keselamatan perbatasan

Alat AI mula melakukan lebih daripada sekadar menjawab soalan. Mereka kini boleh melayari web, membantu dengan penyelidikan, merancang perjalanan, dan membantu membeli produk. Apabila mereka menjadi lebih berkeupayaan, dengan keupayaan untuk mengakses data anda dalam aplikasi lain dan mengambil tindakan bagi pihak anda, cabaran keselamatan baharu timbul. Satu yang kami sangat tumpukan perhatian ialah suntikan prom.

Suntikan prom ialah sejenis serangan kejuruteraan sosial yang khusus untuk AI perbualan. Sistem AI awal adalah perbualan antara seorang pengguna dan satu ejen AI. Dalam produk AI hari ini, perbualan anda mungkin merangkumi kandungan dari pelbagai sumber, termasuk Internet. Idea bahawa pihak ketiga (iaitu bukan pengguna dan bukan AI) boleh mengelirukan model dengan menyuntik arahan berniat jahat ke dalam konteks perbualan membawa kepada istilah “suntikan prom”.

Dengan cara yang sama seperti e-mel pancingan data atau penipuan di web cuba memperdaya orang supaya mendedahkan maklumat sensitif, suntikan prom cuba memperdaya AI supaya melakukan sesuatu yang anda tidak minta.

Bayangkan anda telah meminta AI untuk membantu anda melakukan penyelidikan percutian dalam talian, dan semasa ia melakukannya, ia menemui kandungan yang mengelirukan atau arahan yang memudaratkan tersembunyi pada halaman web, seperti dalam komen pada senarai atau ulasan. Kandungan tersebut boleh direka dengan teliti untuk menipu AI agar mengesyorkan penyenaraian yang salah, atau lebih buruk lagi, untuk mencuri maklumat kad kredit anda.

Ini hanyalah beberapa contoh serangan “suntikan prom”—arahan berniat jahat yang direka untuk menipu AI supaya melakukan sesuatu yang anda tidak inginkan, sering kali tersembunyi dalam kandungan biasa seperti laman web, dokumen, atau e-mel.

Risiko ini meningkat apabila AI mempunyai akses kepada data yang lebih sensitif dan mengambil lebih banyak inisiatif serta melaksanakan tugas yang lebih panjang.

Mempertahankan diri daripada suntikan prom adalah satu cabaran di seluruh industri AI dan merupakan fokus utama di OpenAI. Walaupun kami menjangkakan musuh akan terus membangunkan serangan sedemikian, kami sedang membina pertahanan yang direka untuk melaksanakan tugas yang dimaksudkan oleh pengguna walaupun seseorang sedang secara aktif cuba mengelirukan mereka. Keupayaan itu adalah penting untuk merealisasikan manfaat AGI dengan selamat.

Untuk melindungi pengguna kami dan membantu meningkatkan model kami terhadap serangan ini, kami menggunakan pendekatan berlapis-lapis, termasuk yang berikut:

Kami mahu AI yang mengenal pasti suntikan prom dan tidak terpedaya olehnya. Walau bagaimanapun, ketahanan terhadap serangan musuh adalah cabaran lama dalam pembelajaran mesin dan AI, menjadikan ini masalah terbuka yang sukar. Kami telah membangunkan penyelidikan yang dipanggil Hierarki Arahan⁠ untuk berusaha ke arah model yang membezakan antara arahan yang dipercayai dan tidak dipercayai. Kami terus membangunkan pendekatan baharu untuk melatih model supaya lebih mengenal pasti corak suntikan prom agar ia boleh mengabaikannya atau menandanya kepada pengguna. Salah satu teknik yang kami gunakan ialah proses penyerang automatik, satu bidang yang telah kami kaji⁠(dibuka dalam tetingkap baru) selama bertahun-tahun, untuk membangunkan serangan suntikan prom yang baharu.

Kami telah membangunkan pelbagai pemantau⁠ automatik berkuasa AI untuk mengenal pasti dan menyekat serangan suntikan prom. Ini melengkapkan pendekatan latihan keselamatan kerana ia boleh dikemas kini dengan cepat untuk menyekat sebarang serangan baharu yang kami temui. Pemantau ini bukan sahaja membantu mengenal pasti potensi serangan suntikan prom terhadap pengguna kami, tetapi juga membolehkan kami mengesan penyelidikan dan ujian suntikan prom yang bersifat berseteru menggunakan platform kami, sebelum serangan tersebut dilancarkan di persekitaran sebenar.

Kami telah merekabentuk produk dan infrastruktur kami dengan pelbagai perlindungan keselamatan bertindih untuk membantu melindungi data pengguna. Semua ciri ini, yang akan kami terokai dengan lebih terperinci dari segi teknikal dalam siaran akan datang, disesuaikan mengikut setiap produk. Sebagai contoh, untuk membantu anda mengelakkan laman yang tidak dipercayai, kami akan meminta anda meluluskan pautan tertentu dalam ChatGPT, terutamanya pada laman web yang meminta kami untuk tidak mengkatalognya⁠(dibuka dalam tetingkap baru), sebelum ia boleh dilawati. Apabila AI kami menggunakan alat untuk menjalankan program atau kod lain (seperti dalam Canvas, atau alat pembangunan kami Codex), kami menggunakan teknik yang dipanggil medan ujian untuk menghalang model daripada membuat perubahan berbahaya yang mungkin merupakan hasil daripada suntikan prom.

Kami menyertakan kawalan terbina dalam di dalam produk kami untuk membantu pengguna melindungi diri mereka. Sebagai contoh, dalam ChatGPT Atlas, anda boleh memilih mod log keluar yang membolehkan ejen ChatGPT memulakan tugasan tanpa perlu log masuk ke laman web. Ejen ChatGPT juga berhenti sebentar dan meminta pengesahan sebelum mengambil langkah sensitif seperti menyelesaikan pembelian. Apabila ejen beroperasi di laman web sensitif, kami juga telah melaksanakan “Mod Tonton” yang memaklumkan anda tentang sifat sensitif laman web tersebut dan memerlukan anda memastikan tab itu aktif untuk memerhatikan ejen melakukan kerjanya. Ejen akan berhenti sebentar jika anda beralih dari tab yang mengandungi maklumat sensitif. Ini memastikan anda sentiasa sedar—dan mengawal—tindakan yang dilakukan oleh ejen.

Kami menjalankan proses penyerang yang meluas dengan pasukan dalaman dan luaran untuk menguji dan meningkatkan pertahanan kami, meniru tingkah laku penyerang, dan mencari cara baharu untuk meningkatkan keselamatan kami. Ini termasuk beribu-ribu jam yang difokuskan khusus pada suntikan prom. Apabila kami menemui teknik dan serangan baharu, pasukan kami secara proaktif menangani kelemahan keselamatan dan memperbaiki mitigasi model kami.

Untuk menggalakkan penyelidik keselamatan bebas yang bertindak dengan niat baik membantu kami menemui teknik dan serangan suntikan prom yang baharu, kami menawarkan ganjaran kewangan di bawah program ganjaran pepijat⁠(dibuka dalam tetingkap baru) kami apabila mereka menunjukkan laluan serangan yang realistik yang boleh mengakibatkan pendedahan data pengguna yang tidak disengajakan. Kami memberi insentif kepada penyumbang luar untuk segera mengetengahkan isu ini supaya kami dapat menyelesaikannya dan seterusnya memperkukuh pertahanan kami.

Kami mendidik pengguna tentang risiko menggunakan ciri tertentu dalam produk supaya mereka boleh membuat keputusan yang berinformasi. Sebagai contoh, apabila menyambungkan ChatGPT kepada aplikasi lain, kami menjelaskan data yang mungkin diakses, bagaimana ia boleh digunakan, dan risiko yang mungkin timbul seperti laman web yang cuba mencuri data anda, serta pautan untuk mengetahui cara kekal lebih selamat. Kami juga memberikan organisasi kawalan ke atas ciri yang boleh diaktifkan atau digunakan oleh pengguna dalam ruang kerja mereka.

Suntikan prom perbatasan adalah cabaran keselamatan yang kami jangkakan akan terus berkembang dari semasa ke semasa. Tahap kecerdasan dan keupayaan baharu memerlukan teknologi, masyarakat, dan strategi mitigasi risiko untuk berkembang bersama. Dan seperti virus komputer pada awal 2000-an, kami fikir adalah penting untuk semua orang memahami ancaman suntikan prom dan cara mengurus risiko tersebut, supaya kita semua dapat belajar untuk mendapat manfaat daripada teknologi ini dengan selamat. Kekal peka dan berhati-hati membantu memastikan data anda lebih selamat apabila menggunakan AI dan ciri ejen yang boleh bertindak bagi pihak anda.

Jika boleh, hadkan akses ejen kepada data sensitif atau kelayakan yang diperlukan sahaja untuk melengkapkan tugas. Sebagai contoh, apabila menggunakan mod ejen dalam ChatGPT Atlas untuk melakukan penyelidikan percutian, jika ejen hanya melakukan penyelidikan dan tidak memerlukan akses log masuk, gunakan mod “log keluar”.

Kami sering merancang ejen untuk mendapatkan pengesahan akhir daripada anda sebelum mengambil tindakan penting seperti melengkapkan pembelian atau menghantar e-mel. Apabila ejen meminta anda mengesahkan tindakan, pastikan tindakan itu kelihatan betul dan maklumat yang dikongsi adalah sesuai untuk dikongsi dalam konteks tersebut.

Apabila ejen beroperasi di tapak sensitif, seperti bank anda, perhatikan ejen melaksanakan tugasnya. Ini seumpama memantau kereta pandu sendiri dengan memastikan tangan anda sentiasa berada pada stereng.

Memberikan ejen arahan yang sangat luas seperti "semak e-mel saya dan ambil apa-apa tindakan yang diperlukan" boleh memudahkan kandungan berniat jahat tersembunyi untuk mengelirukan model, walaupun ia direka untuk menyemak dengan anda sebelum mengambil tindakan sensitif.

Lebih selamat untuk meminta ejen anda melakukan tugas tertentu dan tidak memberikannya kebebasan yang luas untuk berpotensi mengikuti arahan berbahaya dari sumber lain seperti e-mel. Walaupun ini tidak menjamin bahawa tiada serangan akan berlaku, ia menjadikan lebih sukar bagi penyerang untuk mencapai kejayaan.

Seiring dengan evolusi teknologi AI, risiko baharu dan langkah-langkah perlindungan akan muncul. Ikuti kemas kini daripada OpenAI dan sumber-sumber lain yang dipercayai untuk mempelajari amalan terbaik.

Suntikan prom kekal sebagai perbatasan dan masalah penyelidikan yang mencabar, dan seperti penipuan tradisional di web, kami menjangkakan kerja kami akan berterusan. Walaupun kami masih belum melihat penggunaan teknik ini secara meluas oleh penyerang, kami menjangkakan pihak lawan akan meluangkan masa dan sumber yang banyak untuk mencari cara agar AI terpedaya dengan serangan ini. Kami terus melabur dengan banyak untuk memastikan produk kami selamat dan dalam penyelidikan untuk meningkatkan ketahanan AI terhadap risiko ini. Kami akan berkongsi kemas kini apabila kami mengetahui lebih lanjut, termasuk kemajuan berterusan dalam kerja keselamatan kami dalam bidang ini. Sebagai contoh, kami sedang menyediakan laporan yang akan diterbitkan tidak lama lagi, berkongsi butiran lanjut tentang bagaimana kami mengesan jika komunikasi AI anda dengan Internet akan menghantar maklumat daripada perbualan anda.

Matlamat kami adalah untuk menjadikan sistem ini boleh dipercayai dan selamat seperti bekerja dengan rakan sekerja atau kawan anda yang paling dipercayai dan peka keselamatan. Kami akan terus belajar daripada penggunaan dunia sebenar, mengulangi dengan selamat, dan menerbitkan apa yang kami pelajari apabila teknologi ini semakin maju.