Prioritas lan prinsip kanggo asesmen pihak katelu sing efektif

Laboratorium AI tercanggih nduweni tanggung jawab gedhe kanggo nglatih, ngevaluasi, lan nyebarake model kanthi aman. Asesmen pihak katelu penting banget kanggo ngimbangi tanggung jawab kasebut, nggedhekake kesempatan kanggo menehi pamrayoga babagan keamanan AI, menehi informasi marang donya, lan mesthekake laboratorium tanggung jawab marang klaim keamanan sing cetha lan didhukung kanthi mandiri.

Minangka bagean saka upaya kanggo ngimbangi perkembangan AI tercanggih, OpenAI setya nyengkuyung asesmen mandiri kanthi akses jero ing kabeh proses pelatihan, evaluasi, lan panyebaran. Akses kasebut kudu ngidini penilai nantang asumsi kita, ngenali risiko sing bisa uga durung kita temokake, lan nggawe kasimpulan dhewe babagan efektivitase langkah pengamanan kita.

Kita wis suwe makarya karo penilai pihak katelu ing manéka tahap pangembangan lan panyebaran model. Kita uga wis nglebokake asesmen pihak katelu menyang praktik Kerangka Kesiapan lan nyengkuyung organisasi lan undang-undang sing ngupayakake proses luwih ketat lan akuntabel. Sajrone kerja sama kasebut, kita wis menehi akses jero, kalebu informasi babagan langkah pengamanan teknis, akses menyang ranté pikiran sing bisa dideleng, uga akses menyang data rahasia lan panyebaran internal kanthi tingkat sing durung tau ana kanggo nangani insiden lan ngawasi red teaming. Prioritas lan prinsip ing kene mligi ngrembug kerja sama kita karo organisasi asesmen mandiri ing sektor swasta lan nirlaba kanggo asesmen keamanan teknis. Iki njangkepi kerja kita karo pamaréntah babagan pengujian lan evaluasi, amarga peran lan tanggung jawab sing béda bisa mbutuhake pendekatan sing béda.

Supaya asesmen kasebut efektif, dibutuhake mekanisme kamardikan sing kuwat, katelitian ilmiah, praktik keamanan sing tangguh, lan tanggung jawab sing cetha. Laboratorium nduweni tanggung jawab kanggo ndadekake panaliten sing migunani bisa ditindakake sinambi nglindhungi informasi sensitif. Laboratorium lan penilai mandiri padha-padha tanggung jawab supaya iki ditindakake kanthi bener, lan kudu makarya adhedhasar standar internasional bebarengan kanggo praktik keamanan lan kaslametan. Ing ngisor iki, kita ngusulake patang wilayah prioritas kanggo asesmen luwih jero, kanthi prinsip supaya karya ditindakake kanthi ketat, aman, lan mandiri.

Asesmen pihak katelu paling migunani yen ngrembug pitakon tartamtu sing nduweni akibat penting: Apa bukti kasebut nyengkuyung kasus keamanan lan klaim keamanan laboratorium? Apa evaluasi wis nguji risiko sing arep diukur kanthi cukup? Apa langkah pengamanan bisa digunakake ing kahanan nyata?

Asesmen sing diterangake ing kene dirancang kanthi wujud sing béda-béda, gumantung marang pitakon keamanan sing ditliti. Kita ngarepake bisa nyengkuyung pirang-pirang asesmen kanthi bebarengan lan sajrone wektu sing béda-béda, ana sing suwene sawetara minggu lan ana sing pirang-pirang sasi. Sanadyan asesmen pihak katelu uga bisa dadi bagean saka karya sadurunge panyebaran lan dadi bahan pertimbangan kanggo keputusan panyebaran, karya sing diterangake ing kene umume luwih dawa lan ora gumantung marang peluncuran—fokuse nliti klaim keamanan tartamtu kanthi jero saka wektu ke wektu.

Ing kabeh wilayah prioritas lan prinsip, kita nyebut klaim keamanan lan kasus keamanan. Tegese istilah kasebut yaiku:

Kita ngusulake patang wilayah prioritas kanggo asesmen luwih jero, kanthi prinsip supaya karya ditindakake kanthi ketat, aman, lan mandiri.

1. Asesmen mandiri tumrap kasus keamanan, wiwit pelatihan, evaluasi, panyebaran internal, nganti panyebaran eksternal.

   Asesmen kasus keamanan mbutuhake keahlian babagan keselarasan, metode kontrol kayata pemantauan, keamanan siber, panyalahgunaan biologis lan kimia, uga red teaming. Kasus keamanan dumadi saka klaim sing nyakup pelatihan, evaluasi kapabilitas, lan langkah pengamanan, sing bisa ditaksir kanthi wutuh utawa per bagean (delengen prioritas 2 lan 3 ing ngisor iki). Sawetara penilai bisa uga perlu mriksa bagean kasus sing béda-béda miturut keahliane dhewe-dhewe. Yen digabungake, asesmen kasebut kudu mangsuli pitakon kayata:

   1. Apa bukti kanggo kasus keamanan ing pelatihan, evaluasi, lan panyebaran wis cukup kuwat? Apa syarat ing kasus keamanan wis dituruti sajrone pelatihan, evaluasi, lan panyebaran?

   2. Apa kasus keamanan kita nyakup risiko paling wigati sing ditemokake sajrone asesmen? Apa klaim keamanan nyengkuyung kasus keamanan sacara sakabehe? Apa ana kekurangan utawa bagean sing perlu didandani?

   3. Apa metode efektif digunakake kanggo ngenali lan nyuda insentif ing pelatihan sing bisa menehi ganjaran marang tumindak ngapusi, ngakali sistem ganjaran, tumindak ngrusak, utawa ngliwati watesan?

2. Asesmen langkah pengamanan kritis ing panyebaran internal lan eksternal

   Rangkaian langkah pengamanan kita tansah dikembangake kanggo ngimbangi owah-owahan kapabilitas lan kahanan. Langkah pengamanan kita nyakup pelatihan, panyebaran internal, lan panyebaran eksternal. Saiki, iki kalebu langkah pengamanan ing tingkat model, penegakan aturan, lan keamanan, uga pemantau ketidakselarasan—sing nyakup manéka risiko, kayata kelangan kontrol lan panyalahgunaan sing nuwuhake risiko siber, biologis, lan kimia. Kemitraan teknis bisa ngenali kelemahane langkah pengamanan saiki, sinambi ningkatake metode asesmen lan nyepetake pangembangan standar. Iki menehi landhesan teknis sing luwih kuwat kanggo kabijakan publik ing mangsa ngarep supaya bisa ngimbangi perkembangan AI tercanggih—mligine kanggo panyebaran internal, amarga standar keamanan lan kaslametan isih durung mateng.

   Asesmen mandiri kudu mriksa sepira apike langkah pengamanan kasebut bisa digunakake lan ing endi kekurangane, kayata:

   1. Kanthi akses “kothak abu-abu”, apa langkah pengamanan tahan marang pengujian adversarial (jailbreak) lan cukup nglindhungi saka mundhake kapabilitas ing ranah risiko dhuwur (umpamane siber lan biologi)? Apa pengujian adversarial lan red teaming kita wis nyakup risiko sing paling penting?

   2. Ing pengujian resmi kanthi kahanan operasi nyata, kepiye agen sesambungan karo pertahanan siber kayata kontrol akses, sandboxing, lan sistem deteksi lan respons? Pertahanan endi sing bisa nyegah, ndeteksi, utawa mbatesi tumindak mbebayani, lan ing endi pertahanan kasebut gagal?

   3. Apa pemantau ketidakselarasan kita nduweni kekurangan kritis sing bisa nyebabake kelangan kontrol utawa ketidakselarasan abot, ing panyebaran internal lan eksternal? Sepira andele pemantauan ranté pikiran minangka sumber bukti kanggo keamanan utawa keselarasan nalika kapabilitas model saya maju?

   4. Apa pemantauan sing cocog wis ditrapake ing kabeh pelatihan, evaluasi, lan panyebaran sing relevan kanthi cara sing ora gampang dipateni?

   5. Apa langkah pengamanan wis ditrapake kanthi tingkat sing sebandhing karo kapabilitas?

3. Asesmen evaluasi kapabilitas sing nyakup kategori risiko Kesiapan (Risiko Kimia lan Biologis, Keamanan Siber, Peningkatan Mandiri AI) lan evaluasi keselarasan kanggo risiko ketidakselarasan

   Kerangka Kesiapan kita mbutuhake evaluasi kanggo mriksa wilayah utama risiko wates. Nalika ambang wis diliwati lan evaluasi wis jenuh, cakupan lan mutu evaluasi kapabilitas ing wilayah risiko Kesiapan kudu terus dianyari lan dipesthekake, semono uga evaluasi keselarasan sing dirancang kanggo mriksa risiko ketidakselarasan abot.

   Pitakon sing relevan kalebu:

   1. Apa evaluasi risiko Kesiapan wis nyakup definisi ambang risiko Kesiapan kanthi cukup? Apa ambang kanggo evaluasi kasebut wis ditetepake kanthi bener?

   2. Apa evaluasi dianyari nalika model terus-terusan nggayuh skor paling dhuwur, lan apa tes anyar kasebut kanthi nyata ngukur kapabilitas sing luwih maju?

   3. Apa evaluasi keselarasan kita wis cukup nyakup risiko ketidakselarasan abot, lan tumindak utawa kahanan penting apa sing bisa uga ora kadeteksi?

4. Penyelidikan mandiri tumrap insiden ketidakselarasan kritis

   Penyelidikan mandiri bisa migunani kanggo manéka insiden keamanan AI sing kritis. Ing kene, kita fokus marang ketidakselarasan model, kalebu model sing tumindak tanpa wewenang utawa ngindhari pengawasan. Iki bisa mbukak kelemahane metode keselarasan lan langkah pengamanan, sanajan ora ana panyalahgunaan sing disengaja.

   Ing kahanan tartamtu, kaya ing insiden OpenAI Hugging Face, pihak katelu mandiri bisa dilibatake kanggo nindakake penyelidikan insiden ketidakselarasan kanthi mandiri. Pihak katelu sing melu penyelidikan insiden kudu nduweni keahlian sing dibutuhake, kalebu yen relevan: keahlian forensik siber, keahlian keselarasan, analisis ranté pikiran skala gedhe, lan staf sarta sumber daya kanggo ngrampungake penyelidikan ing wektu sing cocog. Penanganan insiden bisa mbutuhake akses menyang data internal lan data pihak katelu sing sensitif, mula sawetara katrangan bisa uga sensitif kanggo diterbitake utawa diakses. Temuan saka penyelidikan mandiri uga bisa dadi bahan kanggo kasus keamanan sawijining model, kanthi menehi bukti kanggo mriksa klaim babagan keselarasan lan efektivitase langkah sing ditindakake kanggo ndandani ketidakselarasan sing wis diamati sadurunge.

   Ing konteks insiden ketidakselarasan, kita ngutamakake asesmen mandiri babagan:

   1. Tumindak model utawa masalah ketidakselarasan apa sing dumadi sajrone insiden, lan apa faktor utama sing nyebabake?

   2. Apa langkah pengamanan lan upaya ndandani bisa nyuda risiko insiden sing padha ing mangsa ngarep kanthi efektif?

• Klaim kanggo asesmen kanthi cakupan cetha lan disepakati bebarengan: Asesmen kudu diwiwiti kanthi cakupan sing disepakati bebarengan, banjur klaim keamanan sing ditetepake kanthi cetha lan didaftar sadurunge kagiyatan asesmen diwiwiti. Pihak katelu lan laboratorium kudu njlentrehake apa klaim kasebut arep diajokake perusahaan sing ditaksir, utawa arep ditaksir kanthi mandiri dening penilai pihak katelu lan laboratorium sarujuk ditaksir adhedhasar klaim kasebut. Ana akeh sebab sawetara klaim bisa ora kalebu ing cakupan, kayata pihak katelu ora bisa ngakses data, penilai ora duwe keahlian sing cukup, utawa wektu winates sing lumrah nalika asesmen kudu enggal ditindakake. Laboratorium lan penilai kudu netepake proses kanggo nimbang risiko gedhe sing ditemokake ing njaba cakupan awal, kalebu nemtokake apa perlu diselidiki luwih lanjut. Kasimpulan kudu njlentrehake apa wae sing ditaksir lan ora ditaksir miturut cakupan sing disepakati bebarengan.

• Akses sing proporsional: Yen bisa, penilai kudu oleh akses sing proporsional kanggo mriksa klaim sing disepakati sajrone watesan hukum, keamanan, lan kekayaan intelektual. Yen akses langsung ora praktis utawa ora bisa diwenehake, penilai bisa makarya karo wakil perusahaan sing ditunjuk utawa nggoleki mekanisme akses ora langsung utawa sing njaga privasi kanggo nglindhungi informasi dhasar.

• Metodologi lan standar sing transparan: Penilai kudu njlentrehake metode, kritéria asesmen, lan kahanan sing durung mesthi, kanthi migunakaké standar sing wis mapan yen ana. Yen standare durung ana, penilai kudu menehi alesan sing cetha kanggo kritéria sing digunakake. Laporan kudu mbedakake temuan langsung saka interpretasi, njlentrehake kahanan sing durung mesthi, lan nerangake kanthi cetha kasimpulan endi sing didhukung bukti.

• Keahlian lan kamardikan: Penilai kudu nuduhake keahlian teknis sing relevan, uga ngenali, ngumumake, lan ngatasi konflik kapentingan organisasi lan pribadi, kalebu insentif finansial, sesambungan karo pangembang, lan keterlibatan sadurunge ing karya sing ditaksir. Langkah pengamanan kudu dirancang supaya tekanan komersial lan aturan kompensasi ora mengaruhi temuan, lan bisa kalebu mundur saka penilaian utawa wektu pangecualian sing cocog.

• Keamanan lan kerahasiaan: Penilai kudu nuduhake praktik keamanan informasi lan pangayoman kerahasiaan sing bisa dileksanakake tumrap personelé, kanthi tingkat sing cocog karo sensitivitas sistem lan informasi sing diakses. Pangayoman iki kudu nyakup kekayaan intelektual, informasi sensitif, lan cathetan asesmen. Yen penilai ora bisa nyukupi syarat keamanan ing lingkungane dhewe, utawa data sing diakses sensitif banget, akses liwat piranti utawa ing lokasi sing dikelola perusahaan bisa dadi pilihan sing cocog.

• Temuan sing bisa ditindaklanjuti lan wektu kanggo ndandani: Asesmen kudu ngenali kekurangan tartamtu lan menehi katrangan sing cukup supaya laboratorium bisa ngatasine. Yen cocog, laboratorium kudu diwenehi wektu sing lumrah kanggo ndandani masalah sadurunge diterbitake. Yen relevan, laporan uga kudu njlentrehake piwulang kanggo pangembang agen, pihak sing nyebarake, lan pihak pertahanan, kanthi rekomendasi praktis kanggo dileksanakake.

• Praktik penerbitan sing tanggung jawab: Laporan asesmen kudu adhedhasar bukti lan dibagekake kanthi sabuka-bukane, sinambi tetep nglindhungi informasi sensitif lan rahasia. Yen pambocoran lengkap marang publik ora bisa ditindakake, laporan rahasia marang badan pengawas sing cocog, kayata badan tata kelola utawa dewan perusahaan, bisa nyengkuyung akuntabilitas. Kudu ana pangayoman lan kabijakan panyamaran informasi sing adhedhasar prinsip, uga pangarepan sing cetha babagan tanggapan lan koreksi informasi sing ora akurat, supaya kamardikan lan kerahasiaan tetep imbang. Penilai kudu njaga kamardikan editorial, sinambi mesthekake pangayoman kerahasiaan lan kekayaan intelektual tetep dijaga. Penilai kudu ngetrapake kabijakan panyamaran informasi sing cetha, supaya laboratorium bisa njaluk informasi sensitif disamarke, lan penilai bisa nyathet bagean penting sing disamarke sarta pengaruhe marang laporan asesmen.

Kita setya nyengkuyung penilai mandiri lan netepake standar internasional bebarengan sing luwih cetha—liwat hukum ing mangsa ngarep lan lembaga tata kelola swasta—kanggo asesmen pihak katelu sing efektif. Sanadyan ekosistem evaluasi mandiri isih tuwuh, kita bakal mbantu pangembangane kanthi nyengkuyung lan makarya bareng komunitas penilai mandiri sing manéka warna lan nduweni keahlian jero babagan pitakon keamanan AI tercanggih. Ora ana siji pihak katelu sing bisa utawa kudu nyakup kabeh pitakon keamanan AI tercanggih sing wigati kanthi jangkep. Kita bakal tumindak kanthi ngati-ati lan tumata kanggo nggedhekake kapasitas, uga mbantu ekosistem pihak katelu sing saya tuwuh supaya selaras karo praktik lan prinsip paling apik. Kita lagi rembugan karo pirang-pirang pihak katelu babagan usulan sing selaras karo wilayah prioritas ing ndhuwur.