Jaringan Red Teaming OpenAI

Kami membuka pendaftaran untuk Jaringan Red Teaming OpenAI dan mengundang para pakar di berbagai bidang yang tertarik meningkatkan keamanan model OpenAI untuk bergabung dalam upaya kami. Kami mencari pakar dari berbagai bidang untuk berkolaborasi dengan kami dalam mengevaluasi dan melakukan red teaming pada model AI kami secara menyeluruh.

Red teaming^A merupakan bagian tak terpisahkan dari proses penerapan iteratif⁠ kami. Selama beberapa tahun terakhir, upaya red teaming kami telah berkembang dari pengujian adversarial internal di OpenAI menjadi kolaborasi dengan sekelompok pakar eksternal^B untuk membantu mengembangkan taksonomi risiko khusus tiap bidang dan mengevaluasi kemampuan yang berpotensi membahayakan dalam sistem baru. Anda dapat membaca lebih lanjut tentang upaya red teaming kami sebelumnya, termasuk kolaborasi dengan pakar eksternal, pada model seperti DALL·E 2⁠(terbuka di jendela baru) dan GPT‑4⁠(terbuka di jendela baru).^C

Hari ini, kami meluncurkan upaya yang lebih formal untuk melanjutkan fondasi yang telah dibangun serta memperdalam dan memperluas kolaborasi dengan pakar eksternal demi meningkatkan keamanan model kami. Kolaborasi dengan pakar individu, lembaga riset, dan organisasi masyarakat sipil merupakan bagian penting dari proses kami. Kami memandang upaya ini sebagai pelengkap praktik tata kelola yang ditetapkan pihak eksternal, seperti audit pihak ketiga.

Jaringan Red Teaming OpenAI adalah komunitas pakar tepercaya dan berpengalaman yang dapat memberikan masukan bagi upaya penilaian dan mitigasi risiko kami secara lebih luas, bukan sekadar melalui kerja sama satu kali dan proses seleksi menjelang penerapan model besar. Anggota jaringan akan dihubungi berdasarkan keahlian mereka untuk membantu melakukan red teaming pada berbagai tahap siklus pengembangan model dan produk. Tidak semua anggota akan terlibat dalam setiap model atau produk baru. Waktu kontribusi akan disepakati bersama masing-masing anggota dan bisa hanya 5–10 jam dalam setahun.

Di luar kegiatan red teaming yang ditugaskan oleh OpenAI, anggota akan memiliki kesempatan untuk saling berdiskusi tentang praktik dan temuan red teaming secara umum. Tujuannya adalah untuk mendapatkan masukan yang lebih beragam dan berkelanjutan, serta menjadikan red teaming sebagai proses yang lebih iteratif. Jaringan ini melengkapi peluang kolaborasi lain di bidang keamanan AI, termasuk Program Akses Peneliti⁠ dan evaluasi sumber terbuka⁠(terbuka di jendela baru) kami.

Jaringan ini menawarkan kesempatan unik untuk turut membentuk pengembangan teknologi dan kebijakan AI yang lebih aman, serta dampak AI terhadap cara kita hidup, bekerja, dan berinteraksi. Dengan bergabung dalam jaringan ini, Anda akan menjadi bagian dari kelompok pakar bidang khusus kami yang dapat dihubungi untuk menilai model dan sistem kami pada berbagai tahap penerapannya.

Penilaian sistem AI memerlukan pemahaman tentang berbagai bidang, beragam perspektif, dan pengalaman hidup. Kami mengundang para pakar dari seluruh dunia untuk mendaftar dan memprioritaskan keragaman wilayah serta bidang keahlian dalam proses seleksi. 

Beberapa bidang yang kami minati antara lain:

Pengalaman sebelumnya dengan sistem AI atau model bahasa tidak diwajibkan, tetapi dapat membantu. Yang paling kami hargai adalah kesediaan Anda untuk terlibat dan menyumbangkan perspektif tentang cara kami menilai dampak sistem AI.

Semua anggota Jaringan Red Teaming OpenAI akan menerima kompensasi atas kontribusi mereka saat berpartisipasi dalam proyek red teaming. Keanggotaan dalam jaringan ini tidak membatasi Anda untuk menerbitkan riset atau mengejar peluang lain. Namun, perlu diingat bahwa keterlibatan dalam red teaming dan proyek lainnya sering kali tunduk pada perjanjian kerahasiaan (NDA) atau harus dirahasiakan untuk waktu yang tidak ditentukan.

Pendaftaran kini ditutup.

T: Apa saja bentuk keterlibatan anggota jaringan ini?

J: Sebagai anggota jaringan, Anda mungkin akan dihubungi untuk mendapatkan kesempatan menguji model baru atau menguji aspek tertentu pada model yang sudah diterapkan. Pekerjaan yang dilakukan sebagai bagian dari jaringan tunduk pada perjanjian kerahasiaan (NDA), meskipun selama ini kami telah menerbitkan banyak temuan red teaming dalam Kartu Sistem dan artikel blog. Anda akan menerima kompensasi atas waktu yang diluangkan untuk proyek red teaming.

T: Berapa banyak waktu yang diharapkan dari anggota jaringan? 

J: Waktu yang Anda luangkan dapat disesuaikan dengan jadwal Anda. Perlu diperhatikan bahwa tidak semua anggota jaringan akan dihubungi untuk setiap kesempatan. OpenAI akan memilih anggota yang paling sesuai untuk proyek red teaming tertentu dan mengutamakan perspektif baru dalam kegiatan red teaming berikutnya. Bahkan 5 jam dalam setahun tetap berharga bagi kami. Jadi, jangan ragu untuk mendaftar jika Anda tertarik meskipun waktu Anda terbatas.

T: Kapan pendaftar akan diberi tahu bahwa mereka diterima?

J: OpenAI akan menyeleksi anggota jaringan secara bertahap, dan Anda dapat mendaftar hingga 1 Desember 2023. Setelah periode pendaftaran ini berakhir, kami akan meninjau kembali kemungkinan membuka pendaftaran di masa mendatang.

T: Apakah bergabung dalam jaringan berarti saya akan diminta melakukan red teaming pada setiap model baru?

J: Tidak. OpenAI akan memilih anggota yang paling sesuai untuk proyek red teaming tertentu, jadi Anda tidak perlu berharap akan menguji setiap model baru.

T: Apa saja kriteria anggota jaringan yang Anda cari?

J: Beberapa kriteria yang kami cari adalah:

• Keahlian atau pengalaman yang terbukti dalam bidang tertentu yang relevan dengan red teaming

• Antusias untuk meningkatkan keamanan AI

• Tidak memiliki konflik kepentingan

• Berasal dari beragam latar belakang dan kelompok yang selama ini kurang terwakili

• Mewakili beragam wilayah geografis 

• Fasih dalam lebih dari satu bahasa

• Memiliki kemampuan teknis (tidak diwajibkan)

T: Apa peluang kolaborasi lain di bidang keamanan?

J: Selain bergabung dalam jaringan, ada peluang kolaborasi lain untuk berkontribusi pada keamanan AI. Misalnya, Anda dapat merancang atau melakukan evaluasi keamanan sistem AI dan menganalisis hasilnya.

Repositori sumber terbuka Evals⁠(terbuka di jendela baru) milik OpenAI (dirilis sebagai bagian dari peluncuran GPT‑4⁠) menawarkan templat yang mudah digunakan dan contoh metode untuk membantu memulai proses ini.

Evaluasi dapat berupa tes tanya jawab sederhana hingga simulasi yang lebih kompleks. Sebagai contoh konkret, berikut beberapa evaluasi yang dikembangkan OpenAI untuk menilai perilaku AI dari berbagai sudut pandang:

Persuasi

• MakeMeSay⁠(terbuka di jendela baru): Seberapa baik sistem AI dapat mengelabui sistem AI lain agar mengucapkan kata rahasia?

• MakeMePay⁠(terbuka di jendela baru): Seberapa baik sistem AI dapat meyakinkan sistem AI lain untuk menyumbangkan uang?

• Usulan Pemungutan Suara⁠(terbuka di jendela baru): Seberapa baik sistem AI dapat memengaruhi dukungan sistem AI lain terhadap suatu usulan politik?

Steganografi (pesan tersembunyi)

• Steganografi⁠(terbuka di jendela baru): Seberapa baik sistem AI dapat menyampaikan pesan rahasia tanpa terdeteksi oleh sistem AI lain?

• Kompresi Teks⁠(terbuka di jendela baru): Seberapa baik sistem AI dapat mengompresi dan mendekompresi pesan agar dapat menyembunyikan pesan rahasia?

• Titik Schelling⁠(terbuka di jendela baru): Seberapa baik sistem AI dapat berkoordinasi dengan sistem AI lain tanpa komunikasi langsung?

Kami mendorong kreativitas dan eksperimen dalam mengevaluasi sistem AI. Setelah selesai, kami mengundang Anda untuk menyumbangkan evaluasi Anda ke repositori sumber terbuka Evals⁠(terbuka di jendela baru) agar dapat digunakan oleh komunitas AI yang lebih luas.

Anda juga dapat mendaftar ke Program Akses Peneliti⁠ kami, yang menyediakan kredit untuk mendukung peneliti yang menggunakan produk kami dalam mengkaji penerapan AI yang bertanggung jawab dan mitigasi risiko terkait.