Rangkaian Proses Penyerang OpenAI

Kami mengumumkan pembukaan permohonan untuk Rangkaian Proses Penyerang OpenAI dan menjemput pakar bidang yang berminat untuk meningkatkan keselamatan model OpenAI agar menyertai usaha kami. Kami mencari pakar daripada pelbagai bidang untuk bekerjasama dengan kami dalam menilai dan menjalankan proses penyerang terhadap model AI kami secara menyeluruh.

Proses penyerang^A ialah bahagian penting dalam proses pelaksanaan berulang⁠ kami. Sejak beberapa tahun kebelakangan ini, usaha proses penyerang kami telah berkembang daripada tumpuan pada ujian adversarial dalaman di OpenAI kepada kerjasama dengan sekumpulan pakar luar^B untuk membantu membangunkan taksonomi risiko khusus mengikut bidang serta menilai keupayaan sistem baharu yang berpotensi mendatangkan mudarat. Anda boleh membaca lebih lanjut tentang usaha proses penyerang kami yang terdahulu, termasuk kerjasama kami dengan pakar luar, bagi model seperti DALL·E 2⁠(dibuka dalam tetingkap baru) dan GPT‑4⁠(dibuka dalam tetingkap baru).^C

Hari ini, kami melancarkan usaha yang lebih formal untuk meneruskan asas yang telah dibina ini, serta memperkukuh dan memperluas kerjasama kami dengan pakar luar bagi menjadikan model kami lebih selamat. Kerjasama dengan pakar individu, institusi penyelidikan dan organisasi masyarakat sivil merupakan bahagian penting dalam proses kami. Kami melihat usaha ini sebagai pelengkap kepada amalan tadbir urus yang ditetapkan oleh pihak luar, seperti audit pihak ketiga.

Rangkaian Proses Penyerang OpenAI ialah komuniti pakar yang dipercayai dan berpengalaman yang dapat memberikan input bagi usaha penilaian dan mitigasi risiko kami secara lebih menyeluruh, bukan sekadar melalui penglibatan sekali sahaja dan proses pemilihan menjelang pelancaran model utama. Ahli rangkaian akan dipanggil berdasarkan kepakaran mereka untuk membantu menjalankan proses penyerang pada pelbagai peringkat kitaran hayat pembangunan model dan produk. Bukan semua ahli akan terlibat dengan setiap model atau produk baharu. Sumbangan masa akan dipersetujui bersama setiap ahli, dan mungkin hanya 5–10 jam setahun.

Selain kempen proses penyerang yang ditugaskan oleh OpenAI, ahli akan berpeluang berinteraksi sesama sendiri tentang amalan dan dapatan umum proses penyerang. Matlamatnya adalah untuk membolehkan input yang lebih pelbagai dan berterusan, serta menjadikan proses penyerang lebih bersifat berulang. Rangkaian ini melengkapi peluang kerjasama lain dalam keselamatan AI, termasuk Program Akses Penyelidik⁠ dan penilaian sumber terbuka⁠(dibuka dalam tetingkap baru) kami.

Rangkaian ini menawarkan peluang unik untuk membentuk pembangunan teknologi dan dasar AI yang lebih selamat, serta impak AI terhadap cara kita hidup, bekerja dan berinteraksi. Dengan menyertai rangkaian ini, anda akan menjadi sebahagian daripada kumpulan pakar bidang kami yang boleh dipanggil untuk menilai model dan sistem kami pada pelbagai peringkat pelaksanaannya.

Penilaian sistem AI memerlukan pemahaman tentang pelbagai bidang, perspektif dan pengalaman hidup. Kami mengalu-alukan permohonan daripada pakar di seluruh dunia dan mengutamakan kepelbagaian geografi serta bidang dalam proses pemilihan kami. 

Antara bidang yang kami minati termasuk, tetapi tidak terhad kepada:

Pengalaman terdahulu dengan sistem AI atau model bahasa tidak diperlukan, tetapi mungkin membantu. Perkara yang paling kami hargai ialah kesediaan anda untuk terlibat dan menyumbangkan perspektif anda kepada cara kami menilai impak sistem AI.

Semua ahli Rangkaian Proses Penyerang OpenAI akan menerima imbuhan atas sumbangan mereka apabila menyertai projek proses penyerang. Walaupun keahlian dalam rangkaian ini tidak menghalang anda daripada menerbitkan penyelidikan atau meneroka peluang lain, anda perlu mengambil kira bahawa penglibatan dalam proses penyerang dan projek lain lazimnya tertakluk pada Perjanjian Kerahsiaan (NDA) atau perlu dirahsiakan untuk tempoh yang tidak ditentukan.

Permohonan kini ditutup.

S: Apakah yang terlibat apabila menyertai rangkaian ini?

J: Sebagai ahli rangkaian, anda mungkin dihubungi tentang peluang untuk menguji model baharu atau menguji bidang yang diminati pada model yang sudah digunakan. Kerja yang dijalankan dalam rangkaian ini tertakluk pada perjanjian kerahsiaan (NDA), walaupun sebelum ini kami telah menerbitkan banyak dapatan proses penyerang kami dalam Kad Sistem dan catatan blog. Anda akan menerima imbuhan untuk masa yang diluangkan bagi projek proses penyerang.

S: Berapakah komitmen masa yang dijangka untuk menjadi ahli rangkaian ini? 

J: Masa yang anda pilih untuk luangkan boleh disesuaikan mengikut jadual anda. Harap maklum bahawa bukan semua ahli rangkaian akan dihubungi untuk setiap peluang. OpenAI akan memilih ahli berdasarkan kesesuaian mereka untuk projek proses penyerang tertentu, serta mengutamakan perspektif baharu dalam kempen proses penyerang yang seterusnya. Sumbangan masa walaupun hanya 5 jam setahun tetap bernilai bagi kami, jadi jangan teragak-agak untuk memohon jika anda berminat tetapi mempunyai masa yang terhad.

S: Bilakah pemohon akan dimaklumkan tentang penerimaan mereka?

J: OpenAI akan memilih ahli rangkaian secara berterusan dan anda boleh memohon sehingga 1 Disember 2023. Selepas tempoh permohonan ini, kami akan menilai semula kemungkinan membuka permohonan pada masa hadapan.

S: Adakah keahlian dalam rangkaian ini bermakna saya akan diminta menjalankan proses penyerang terhadap setiap model baharu?

J: Tidak. OpenAI akan memilih ahli berdasarkan kesesuaian mereka untuk projek proses penyerang tertentu, dan anda tidak seharusnya menjangkakan untuk menguji setiap model baharu.

S: Apakah antara kriteria yang anda cari dalam ahli rangkaian?

J: Antara kriteria yang kami cari ialah:

• Kepakaran atau pengalaman yang terbukti dalam bidang tertentu yang berkaitan dengan proses penyerang

• Bersemangat untuk meningkatkan keselamatan AI

• Tiada konflik kepentingan

• Latar belakang yang pelbagai dan kumpulan yang lazimnya kurang diwakili

• Perwakilan geografi yang pelbagai 

• Fasih dalam lebih daripada satu bahasa

• Kemahiran teknikal (tidak diwajibkan)

S: Apakah peluang kerjasama lain dalam bidang keselamatan?

J: Selain menyertai rangkaian ini, terdapat peluang kerjasama lain untuk menyumbang kepada keselamatan AI. Sebagai contoh, salah satu pilihan ialah membangunkan atau menjalankan penilaian keselamatan terhadap sistem AI dan menganalisis hasilnya.

Repositori sumber terbuka Evals⁠(dibuka dalam tetingkap baru) oleh OpenAI (yang dikeluarkan sempena pelancaran GPT‑4⁠) menawarkan templat mesra pengguna dan contoh kaedah untuk memudahkan anda memulakan proses ini.

Penilaian boleh merangkumi ujian soal jawab yang mudah hingga simulasi yang lebih kompleks. Sebagai contoh yang konkrit, berikut ialah beberapa penilaian yang dibangunkan oleh OpenAI untuk menilai tingkah laku AI dari pelbagai sudut:

Pemujukan

• MakeMeSay⁠(dibuka dalam tetingkap baru): Sejauh manakah sistem AI mampu memperdaya sistem AI lain supaya menyebut perkataan rahsia?

• MakeMePay⁠(dibuka dalam tetingkap baru): Sejauh manakah sistem AI mampu memujuk sistem AI lain untuk menderma wang?

• Usul Undian⁠(dibuka dalam tetingkap baru): Sejauh manakah sistem AI mampu mempengaruhi sokongan sistem AI lain terhadap sesuatu usul politik?

Steganografi (pemesejan tersembunyi)

• Steganografi⁠(dibuka dalam tetingkap baru): Sejauh manakah sistem AI mampu menghantar mesej rahsia tanpa dikesan oleh sistem AI lain?

• Pemampatan Teks⁠(dibuka dalam tetingkap baru): Sejauh manakah sistem AI mampu memampatkan dan menyahmampatkan mesej untuk membolehkan mesej rahsia disembunyikan?

• Titik Schelling⁠(dibuka dalam tetingkap baru): Sejauh manakah sistem AI mampu menyelaraskan tindakan dengan sistem AI lain tanpa komunikasi langsung?

Kami menggalakkan kreativiti dan eksperimen dalam penilaian sistem AI. Setelah selesai, kami mengalu-alukan sumbangan penilaian anda kepada repositori sumber terbuka Evals⁠(dibuka dalam tetingkap baru) untuk kegunaan komuniti AI yang lebih luas.

Anda juga boleh memohon untuk menyertai Program Akses Penyelidik⁠ kami, yang menyediakan kredit untuk menyokong penyelidik yang menggunakan produk kami bagi mengkaji bidang berkaitan pelaksanaan AI secara bertanggungjawab dan pengurangan risiko yang berkaitan.