Keutamaan dan prinsip bagi penilaian pihak ketiga yang berkesan
Makmal AI perbatasan memikul tanggungjawab besar untuk melatih, menilai dan menggunakan model dengan selamat. Penilaian pihak ketiga amat penting untuk mengimbangi tanggungjawab tersebut, memperluas peluang memberikan pandangan tentang keselamatan AI, memaklumkan perkembangan kepada dunia dan memastikan makmal bertanggungjawab terhadap dakwaan keselamatan yang jelas serta disokong secara bebas.
Sebagai sebahagian daripada usaha kami untuk mengimbangi kemajuan perbatasan, OpenAI komited untuk menyokong penilaian bebas dengan akses yang mendalam sepanjang proses latihan, penilaian dan penggunaan. Akses tersebut hendaklah membolehkan penilai mencabar andaian kami, mengenal pasti risiko yang mungkin kami terlepas pandang dan membuat kesimpulan sendiri tentang keberkesanan perlindungan kami.
Kami telah lama bekerjasama dengan penilai pihak ketiga pada pelbagai peringkat proses pembangunan dan penggunaan model. Kami juga telah menyepadukan penilaian pihak ketiga ke dalam amalan Rangka Kerja Kesediaan kami serta menyokong organisasi dan perundangan yang memperjuangkan proses yang lebih ketat dan bertanggungjawab. Sepanjang kerjasama ini, kami telah menyediakan akses yang mendalam, termasuk maklumat tentang perlindungan teknikal kami, akses kepada rentetan fikiran yang dapat dilihat, serta tahap akses yang belum pernah diberikan sebelum ini kepada data sulit dan penggunaan dalaman untuk tindak balas insiden dan proses penyerang terhadap sistem pemantauan. Keutamaan dan prinsip yang dikongsikan di sini tertumpu pada kerjasama kami dengan organisasi penilaian bebas dalam sektor swasta dan bukan untung bagi penilaian keselamatan teknikal. Prinsip ini melengkapi kerja kami dengan kerajaan dalam pengujian dan penilaian, yang mungkin memerlukan pendekatan berbeza disebabkan peranan dan tanggungjawab yang tersendiri.
Penilaian yang berkesan memerlukan mekanisme kebebasan yang kukuh, ketelitian saintifik, amalan keselamatan yang teguh dan tanggungjawab yang jelas. Makmal bertanggungjawab membolehkan penelitian yang bermakna sambil melindungi maklumat sensitif. Makmal dan penilai bebas berkongsi tanggungjawab untuk memastikan perkara ini dilakukan dengan betul, dan hendaklah beroperasi berdasarkan piawaian antarabangsa bersama bagi amalan keselamatan dan sekuriti. Di bawah, kami mencadangkan empat bidang keutamaan untuk penilaian yang lebih mendalam, berserta prinsip bagi kerja yang teliti, selamat dan bebas.
Penilaian pihak ketiga paling berguna apabila menangani persoalan khusus yang membawa kesan besar: Adakah bukti menyokong hujah dan dakwaan keselamatan sesebuah makmal? Adakah penilaian menguji risiko yang hendak diukur dengan secukupnya? Adakah perlindungan berfungsi dalam keadaan yang realistik?
Penilaian yang diterangkan di sini bertujuan mengambil bentuk yang berbeza mengikut persoalan keselamatan yang diteliti. Kami menjangka akan menyokong beberapa penilaian secara selari dan dalam tempoh yang berbeza, dengan sesetengahnya berlangsung selama beberapa minggu dan yang lain selama beberapa bulan. Walaupun penilaian pihak ketiga juga boleh menjadi sebahagian daripada kerja prapenggunaan dan memaklumkan keputusan penggunaan, kerja yang diterangkan di sini umumnya bersifat jangka panjang dan tidak terikat pada pelancaran—sebaliknya tertumpu pada penelitian mendalam terhadap dakwaan keselamatan tertentu dari semasa ke semasa.
Dalam semua bidang keutamaan dan prinsip kami, kami merujuk kepada dakwaan keselamatan dan hujah keselamatan. Istilah ini kami maksudkan seperti berikut:
Dakwaan keselamatan: Pernyataan khusus tentang keupayaan, tingkah laku atau perlindungan sesebuah model atau sistem yang berkaitan dengan keselamatannya dan boleh dinilai berdasarkan bukti. Sesuatu dakwaan hendaklah mengenal pasti risiko dan keadaan yang ditanganinya, berserta andaian dan batasan yang berkaitan.
Hujah keselamatan: Hujah berstruktur yang disokong oleh bukti dan menjelaskan sebab risiko sesebuah model atau sistem diurus dengan sewajarnya bagi aktiviti tertentu, seperti latihan, penilaian atau penggunaan. Hujah keselamatan mengaitkan setiap dakwaan keselamatan dengan bukti yang menyokongnya serta menyatakan dengan jelas andaian, ketidakpastian dan risiko yang masih ada yang boleh mempengaruhi kesimpulannya.
Kami mencadangkan empat bidang keutamaan untuk penilaian yang lebih mendalam, berserta prinsip bagi kerja yang teliti, selamat dan bebas.
Penilaian bebas terhadap hujah keselamatan, meliputi latihan, penilaian, penggunaan dalaman dan penggunaan luaran.
Penilaian hujah keselamatan memerlukan kepakaran dalam penjajaran, kaedah kawalan seperti pemantauan, keselamatan siber, penyalahgunaan biologi dan kimia serta proses penyerang. Hujah keselamatan terdiri daripada dakwaan yang merangkumi latihan, penilaian keupayaan dan perlindungan, yang boleh dinilai secara keseluruhan atau berasingan (lihat keutamaan 2 dan 3 di bawah). Beberapa penilai mungkin perlu meneliti bahagian hujah yang berbeza berdasarkan kepakaran masing-masing. Secara bersama, penilaian mereka hendaklah menjawab persoalan seperti:
Adakah bukti bagi hujah keselamatan untuk latihan, penilaian dan penggunaan telah disahkan? Adakah syarat hujah keselamatan dipatuhi semasa latihan, penilaian dan penggunaan?
Adakah hujah keselamatan kami meliputi risiko paling mendesak yang dikenal pasti sepanjang penilaian? Adakah dakwaan keselamatan menyokong hujah keselamatan secara keseluruhan? Adakah terdapat jurang atau aspek yang boleh ditambah baik?
Adakah kaedah yang berkesan digunakan untuk mengenal pasti dan mengurangkan insentif dalam latihan yang boleh memberi ganjaran kepada penipuan, penggodaman ganjaran, tindakan merosakkan atau pemintasan sekatan?
Penilaian perlindungan kritikal dalam penggunaan dalaman dan luaran
Rangkaian perlindungan kami sentiasa berkembang untuk menangani perubahan keupayaan dan landskap. Perlindungan kami meliputi latihan, penggunaan dalaman dan penggunaan luaran. Pada masa ini, perlindungan tersebut merangkumi perlindungan pada peringkat model, perlindungan penguatkuasaan dan perlindungan keselamatan, serta pemantau salah jajaran—yang menangani pelbagai risiko (seperti kehilangan kawalan serta penyalahgunaan dalam risiko siber, biologi dan kimia). Kerjasama teknikal boleh mengenal pasti kelemahan perlindungan semasa, di samping menambah baik kaedah penilaian dan mempercepat pembangunan piawaian, sekali gus menyediakan asas teknikal yang lebih kukuh bagi dasar awam masa hadapan untuk mengimbangi kemajuan perbatasan—khususnya bagi penggunaan dalaman, yang piawaian keselamatan dan sekuritinya masih di peringkat awal.
Penilaian bebas hendaklah meneliti keberkesanan perlindungan ini dan aspek yang mungkin kurang memadai, seperti:
Dengan akses “kotak kelabu”, adakah perlindungan cukup teguh menghadapi ujian adversarial (jailbreak) dan melindungi secukupnya daripada peningkatan keupayaan dalam bidang berisiko tinggi (contohnya, siber dan biologi)? Adakah ujian adversarial dan proses penyerang kami meliputi risiko yang paling penting?
Dalam ujian yang dibenarkan di bawah keadaan operasi realistik, bagaimanakah ejen berinteraksi dengan pertahanan siber seperti kawalan akses, pengkotakpasiran serta sistem pengesanan dan tindak balas? Pertahanan yang manakah mencegah, mengesan atau membendung tindakan berbahaya, dan di manakah pertahanan tersebut gagal?
Adakah pemantau salah jajaran kami mempunyai jurang kritikal yang boleh menyebabkan kehilangan kawalan atau salah jajaran teruk dalam penggunaan dalaman mahupun luaran? Sejauh manakah pemantauan rentetan fikiran boleh dipercayai sebagai sumber bukti keselamatan atau penjajaran apabila keupayaan model meningkat?
Adakah pemantauan yang sesuai dilaksanakan untuk semua latihan, penilaian dan penggunaan yang berkaitan, dengan cara yang tidak mudah dinyahdayakan?
Adakah perlindungan dilaksanakan setimpal dengan keupayaan?
Penilaian keupayaan yang meliputi kategori risiko Kesediaan (Risiko Kimia dan Biologi, Keselamatan Siber, Pembaikan Kendiri AI) serta penilaian penjajaran bagi risiko salah jajaran
Rangka Kerja Kesediaan kami mewajibkan penilaian terhadap bidang utama risiko perbatasan. Apabila ambang dilepasi dan penilaian mencapai tahap tepu, liputan dan kualiti penilaian keupayaan dalam bidang risiko Kesediaan serta penilaian penjajaran bagi risiko salah jajaran teruk perlu sentiasa dikemas kini dan dipastikan.
Persoalan yang berkaitan termasuk:
Adakah penilaian risiko Kesediaan meliputi takrif ambang risiko Kesediaan dengan secukupnya? Adakah ambang bagi penilaian ini ditetapkan dengan betul?
Adakah penilaian dikemas kini apabila model secara konsisten mencapai skor tertinggi, dan adakah ujian baharu benar-benar mengukur keupayaan yang lebih maju?
Adakah penilaian penjajaran kami meliputi risiko salah jajaran teruk dengan secukupnya, dan apakah tingkah laku atau keadaan penting yang mungkin terlepas?
Siasatan bebas terhadap insiden salah jajaran kritikal
Siasatan bebas boleh memberikan manfaat dalam pelbagai insiden kritikal berkaitan keselamatan AI. Di sini, kami menumpukan pada salah jajaran model, termasuk model yang bertindak tanpa kebenaran atau mengelak pengawasan, yang boleh mendedahkan kelemahan kaedah penjajaran dan perlindungan walaupun tanpa penyalahgunaan disengajakan.
Dalam keadaan tertentu, seperti insiden OpenAI Hugging Face, pelibatan pihak ketiga yang bebas untuk menjalankan siasatan bebas terhadap insiden salah jajaran boleh memberikan manfaat. Pihak ketiga yang terlibat dalam siasatan insiden mesti mempunyai kepakaran penyiasatan yang diperlukan, termasuk, jika berkenaan, kepakaran forensik siber, kepakaran penjajaran, analisis rentetan fikiran berskala besar, serta kakitangan dan sumber untuk menjalankan siasatan tepat pada masanya. Tindak balas insiden mungkin melibatkan akses kepada data dalaman dan data pihak ketiga yang sensitif. Oleh itu, sesetengah butiran mungkin sensitif untuk diterbitkan atau diakses. Penemuan daripada siasatan bebas juga boleh memaklumkan hujah keselamatan sesebuah model dengan menyediakan bukti untuk menilai dakwaan tentang penjajarannya dan keberkesanan langkah yang diambil bagi memulihkan salah jajaran yang diperhatikan sebelum ini.
Dalam konteks insiden salah jajaran, kami mengutamakan penilaian bebas terhadap perkara berikut:
Apakah tingkah laku model atau isu salah jajaran yang berlaku sepanjang insiden tersebut, dan apakah faktor utama yang menyumbang kepadanya?
Adakah perlindungan dan langkah pemulihan dapat mengurangkan insiden serupa pada masa hadapan dengan berkesan?
Skop dan dakwaan penilaian yang jelas serta dipersetujui bersama: Penilaian hendaklah dimulakan dengan skop yang dipersetujui bersama, diikuti dakwaan keselamatan yang ditakrifkan dengan jelas dan didaftarkan terlebih dahulu sebelum aktiviti penilaian bermula. Pihak ketiga dan makmal hendaklah menjelaskan sama ada dakwaan tersebut ingin dikemukakan untuk penilaian oleh syarikat yang dinilai, atau ingin dinilai secara bebas oleh penilai pihak ketiga dan dipersetujui oleh makmal sebagai asas penilaian. Sesetengah dakwaan mungkin di luar skop atas pelbagai sebab, termasuk ketidakupayaan pihak ketiga mengakses data, kekurangan kepakaran penilai atau kekangan masa yang munasabah apabila penilaian perlu dilakukan segera. Makmal dan penilai hendaklah menetapkan proses untuk mempertimbangkan risiko besar yang dikenal pasti di luar skop asal, termasuk menentukan sama ada siasatan lanjut diperlukan. Kesimpulan hendaklah menjelaskan perkara yang dinilai dan tidak dinilai berhubung dengan skop yang dipersetujui bersama.
Akses yang setimpal: Sekiranya boleh, penilai hendaklah diberi akses yang setimpal untuk menilai dakwaan yang dipersetujui, tertakluk pada kekangan undang-undang, keselamatan dan harta intelek. Apabila akses langsung tidak praktikal atau mustahil, penilai boleh bekerjasama dengan wakil yang dilantik oleh syarikat atau meneroka mekanisme akses tidak langsung atau yang memelihara privasi bagi melindungi maklumat asas.
Kaedah dan piawaian yang telus: Penilai hendaklah menerangkan kaedah, kriteria penilaian dan ketidakpastian mereka dengan merujuk piawaian yang telah ditetapkan, jika ada. Jika piawaian belum wujud, mereka hendaklah memberikan justifikasi yang jelas bagi kriteria yang digunakan. Laporan hendaklah membezakan penemuan langsung daripada tafsiran, menerangkan ketidakpastian dan menjelaskan kesimpulan yang disokong oleh bukti.
Kepakaran dan kebebasan: Penilai hendaklah menunjukkan kepakaran teknikal yang berkaitan serta mengenal pasti, mendedahkan dan menangani konflik kepentingan organisasi dan individu, termasuk insentif kewangan, hubungan dengan pembangun dan penglibatan terdahulu dalam kerja yang dinilai. Perlindungan hendaklah direka untuk memastikan tekanan komersial dan aturan pampasan tidak mempengaruhi penemuan, dan boleh merangkumi penarikan diri atau tempoh pengecualian yang sewajarnya.
Keselamatan dan kerahsiaan: Penilai hendaklah menunjukkan amalan keselamatan maklumat dan perlindungan kerahsiaan yang boleh dikuatkuasakan terhadap kakitangan mereka, setimpal dengan tahap sensitiviti sistem dan maklumat yang diakses. Perlindungan ini hendaklah meliputi harta intelek, maklumat sensitif dan rekod penilaian. Apabila penilai tidak dapat memenuhi keperluan keselamatan dalam persekitaran mereka sendiri, atau data yang diakses amat sensitif, akses melalui peranti atau premis yang diuruskan syarikat mungkin sesuai.
Penemuan yang boleh diambil tindakan dan masa untuk pemulihan: Penilaian hendaklah mengenal pasti jurang tertentu dan memberikan butiran yang mencukupi untuk membolehkan makmal menanganinya. Jika sesuai, makmal hendaklah diberi tempoh yang munasabah untuk memulihkan isu sebelum penerbitan. Jika berkaitan, laporan juga hendaklah menjelaskan pengajaran untuk pembangun, pelaksana dan pembela ejen, berserta saranan pelaksanaan yang praktikal.
Amalan penerbitan yang bertanggungjawab: Laporan penilaian hendaklah berasaskan bukti dan dikongsi seterbuka yang mungkin sambil melindungi maklumat sensitif dan sulit. Apabila pendedahan awam sepenuhnya tidak boleh dilakukan, pelaporan sulit kepada badan pengawasan yang sesuai (seperti badan tadbir urus atau lembaga syarikat) dapat menyokong kebertanggungjawaban. Perlindungan dan dasar penyuntingan berasaskan prinsip, serta jangkaan yang jelas tentang maklum balas dan pembetulan ketidaktepatan, hendaklah diwujudkan untuk mengekalkan keseimbangan antara kebebasan dengan kerahsiaan. Penilai hendaklah mengekalkan kebebasan editorial sambil memastikan perlindungan kerahsiaan dan harta intelek terus terpelihara. Penilai hendaklah menerima pakai dasar penyuntingan yang jelas, yang membolehkan makmal meminta maklumat sensitif disunting, manakala penilai boleh menyatakan bahagian yang telah disunting secara ketara serta kesannya terhadap laporan penilaian mereka.
Kami komited untuk menyokong penilai bebas dan mewujudkan piawaian antarabangsa bersama yang lebih jelas—melalui undang-undang masa hadapan dan institusi tadbir urus swasta—bagi penilaian pihak ketiga yang berkesan. Walaupun ekosistem penilaian bebas masih berkembang, kami akan membantu perkembangannya dengan menyokong dan bekerjasama dengan komuniti penilai bebas yang pelbagai dan amat berpengalaman dalam pelbagai persoalan keselamatan perbatasan. Tiada satu pihak ketiga pun yang mampu atau wajar menangani semua persoalan mendesak tentang keselamatan perbatasan secara menyeluruh. Kami akan bertindak dengan teliti dan terarah untuk meningkatkan keupayaan kami serta membolehkan ekosistem pihak ketiga yang semakin berkembang menyelaraskan amalan dan prinsip terbaik. Kami sedang berbincang dengan beberapa pihak ketiga tentang cadangan yang sejajar dengan bidang keutamaan di atas.
