Komentar babagan Kebijakan Akuntabilitas AI NTIA

OpenAI seneng menehi tanggapan marang panjaluk komentar (RFC) tanggal 13 April 2023 saka National Telecommunications and Information Administration (NTIA) babagan Kebijakan Akuntabilitas AI.

Ing komentar iki, kami nerangake pamikiran kami babagan akuntabilitas AI adhedhasar praktik keamanan sing kami terapkan ing layanan sing saiki kami sediakan, lan praktik sing direncanakake bakal kami terapkan ing layanan sing kami antisipasi bakal ditawakake ing mangsa ngarep. Kami nampani keputusan NTIA kanggo mbingkai diskusi iki minangka “ekosistem” akuntabilitas AI. Kaya sing diamati ing RFC, para pemangku kepentingan kebijakan lagi njajaki “macem-macem tujuan sistem AI sing bisa dipercaya lan konteks deployment.”¹ Kabijakan lan praktik sing dirancang kanggo nggayuh akuntabilitas bakal beda-beda manut konteks kasebut. Ing wektu sing padha, ukuran akuntabilitas sing spesifik kudu bisa urip bebarengan, lan sing paling penting yaiku dampak sing diasilake nalika kabeh iku digarap bebarengan.

Kami percaya yen ekosistem akuntabilitas AI sing wis matang bakal nyakup unsur horisontal lan vertikal. Tegese, kami ngarepake ana sawetara unsur sing berlaku kanggo sistem AI tartamtu ing macem-macem domain aplikasi, uga sawetara unsur sing disesuaikan kanggo domain tartamtu. Kami melu ing pangembangan lan deployment model fondasi sing sangat mumpuni—model sing sinau saka data akeh supaya bisa nindakake macem-macem tugas hilir. Miturut pandangan kami, pangembang AI kaya kami kudu tumindak kanthi tanggung jawab lan njupuk pendekatan sing ati-ati lan fokus marang keamanan kanggo pangembangan lan deployment kapabilitas sing paling maju. Iki bener tanpa preduli domain tartamtu panggunaan model kasebut.

Macem-macem hukum sing wis ana saiki wis berlaku kanggo AI—kalebu produk kami—lan lanskap hukum berkembang kanthi cepet, kanthi inisiatif legislatif ing Kongres, AI Act sing lagi dikembangake ing Eropa, lan inisiatif legislatif lan kebijakan ing saindenging jagad. Ing wektu sing padha, badan hukum, regulasi, lan pangarepan liyane sing wis suwe ana ing area kaya kedokteran, pendidikan, lan ketenagakerjaan wis diinterpretasi lan diadaptasi kanthi cara sing bakal mbentuk peran AI ing domain-domain kasebut. Kami ndeleng upaya-upaya spesifik sektor iki, sing dipandu dening keahlian domain sing jero, minangka bagéan kritis saka lanskap akuntabilitas AI.

Kami banget ndhukung upaya kanggo nyelarasake pangarepan akuntabilitas AI sing lagi muncul, kalebu upaya saka NIST AI Risk Management Framework, U.S.-E.U. Trade and Technology Council, lan macem-macem inisiatif global liyane. Nalika upaya-upaya iki terus maju, lan malah sadurunge hukum anyar diimplementasikake kanthi lengkap, kami ndeleng ana peran kanggo kami lan perusahaan liyane kanggo nggawe komitmen sukarela babagan isu kaya pengujian pra-deployment, provenance konten, lan trust and safety.

Pendekatan rekayasa kami saiki mbutuhake skala sumber daya komputasi sing unik, lan kami nganggep iki minangka dhasar sing njanjeni kanggo nemtokake pangarepan akuntabilitas tambahan lan khas sing bakal berlaku kanggo aktor kaya kami. Kami ndhukung supaya saben regulasi anyar kanggo model fondasi sing sangat mumpuni diwatesi kanthi ati-ati supaya kemampuan kabeh aktor kanggo bersaing kanthi adil lan berinovasi tetep terjaga.

Akuntabilitas nduweni peran sajrone sakabèhé siklus urip teknologi. Upaya kami kanggo nggawe model kami aman lan andal diwiwiti sadurunge pangembangan dimulai, terus nalika deployment lan operasi model kami, lan nyasar marang para kreator lan pangguna model fondasi sing sangat mumpuni. Kami nyedhiyakake kapabilitas kelas dunia marang para pangembang kanggo aplikasi dheweke, lan nyedhiyakake kapabilitas sing kuat langsung marang jutaan wong sing nggunakake ChatGPT lan layanan kami liyane saben dina. Kabijakan panggunaan kami berlaku kanggo kabeh pangguna model, alat, lan layanan kami.² Kami netepi hukum sing wis ana, lan nuntut para pangembang lan pangguna kami uga netepi nalika nggunakake layanan kami.

Kanggo sisa komentar iki, kami fokus marang pendekatan kami saiki tumrap akuntabilitas AI, lan nerangake area penting sing ing kono kami lan pihak liya lagi makarya kanggo nguwatake ekosistem kasebut. Kami nyatet yen para pembuat kebijakan ing Amerika Serikat lan saindenging jagad lagi nimbang macem-macem kebijakan lan ukuran sing dimaksudake kanggo nggayuh akuntabilitas AI, kalebu undang-undang, regulasi, perjanjian internasional, program swaregulator, lan standar teknis lan standar liyane sing bisa ditegakké. Kami ngurmati upaya-upaya kasebut lan siap bermitra karo pemangku kepentingan liyane kanggo ngembangake lan nerapake pendekatan sing efektif tumrap akuntabilitas AI.

Kami lagi nyempurnakake praktik kami bebarengan karo obrolan publik sing luwih jembar sing terus berkembang. Ing kene kami nyedhiyakake rincian babagan sawetara aspek pendekatan kami.

Transparansi minangka unsur penting kanggo mbangun sistem AI sing akuntabel. Bagéan kunci saka pendekatan kami marang akuntabilitas yaiku nerbitake dokumen sing saiki kami sebut Kertu Sistem, kanggo sistem AI anyar sing kami luncurake. Pendekatan kami njupuk inspirasi saka karya riset sadurunge babagan kertu model lan kertu sistem.³ Nganti saiki, OpenAI wis nerbitake rong kertu sistem: Kertu Sistem GPT‑4 lan Kertu Sistem DALL-E 2.⁴

Kami percaya yen ing akèh kasus, penting supaya dokumen iki nganalisis lan nerangake dampak sawijining sistem – tinimbang mung fokus marang model kasebut dhewe – amarga dampak sistem uga gumantung marang faktor liya saliyane model, kalebu use case, konteks, lan interaksi ing donya nyata. Mangkono uga, dampak sistem AI gumantung marang mitigasi risiko kayata kabijakan panggunaan, kontrol akses, lan pemantauan penyalahgunaan. Kami percaya lumrah yen para pemangku kepentingan eksternal ngarepake informasi babagan topik-topik iki, lan nduweni kesempatan kanggo mangerteni pendekatan kami.

Kertu Sistem kami dimaksudake kanggo menehi informasi marang para pamaca babagan faktor-faktor utama sing mengaruhi prilaku sistem, utamane ing area sing relevan kanggo panggunaan sing tanggung jawab. Kami nemokake yen nilai Kertu Sistem lan dokumen sing padha ora mung asal saka ringkesan masalah kinerja model sing diwenehake, nanging uga saka conto ilustratif sing ditawakake. Conto kaya mangkono bisa menehi pangguna lan pangembang pangerten sing luwih landhesan babagan kinerja lan risiko sistem sing diterangake, uga babagan langkah-langkah sing kami tindakake kanggo nyuda risiko kasebut. Nyiyapake dokumen iki uga mbantu mbentuk praktik internal kami, lan nuduhake praktik kasebut marang pihak liya sing nggoleki cara kanggo ngoperasionalake pendekatan AI sing tanggung jawab.

Red teaming yaiku proses nguji model lan sistem kami kanthi kualitatif ing macem-macem domain kanggo nggawe gambaran sing luwih holistik babagan profil keamanan model kami. Kami nindakake red teaming sacara internal karo staf kami dhewe minangka bagéan saka pangembangan model, uga karo wong-wong sing makarya kanthi mandiri saka tim sing mbangun sistem sing diuji. Saliyane nguji kapabilitas lan ketahanan organisasi kami marang serangan, tim red teaming uga nggunakake metode stress testing lan boundary testing, sing fokus kanggo nemokake edge case lan mode kegagalan potensial liyane sing bisa nyebabake cilaka.

Red teaming nglengkapi evaluasi otomatis lan kuantitatif babagan kapabilitas lan risiko model sing uga kami lakoni, sing diterangake ing bagean sabanjure. Iki bisa menehi pencerahan babagan risiko sing durung bisa diukur, utawa risiko sing evaluasi sing luwih bakune durung dikembangake. Karya kami sadurunge babagan red teaming diterangake ing Kertu Sistem DALL-E 2 lan Kertu Sistem GPT‑4.

Red teaming lan pengujian kami umume ditindakake sajrone fase pangembangan model utawa sistem anyar. Kapisah saka pengujian internal kami dhewe, kami ngrekrut penguji saka njaba OpenAI lan menehi akses awal marang sistem sing lagi dikembangake. Penguji dipilih dening OpenAI adhedhasar karya sadurunge ing domain sing dadi perhatian (riset utawa keahlian praktis), lan biasane gabungan peneliti akademik lan profesional industri (umpamane, wong sing duwe pengalaman kerja ing setelan Trust & Safety). Kami ngevaluasi lan mvalidasi asil tes iki, lan njupuk langkah kanggo nggawe pangaturan lan nerapake mitigasi yen cocog.

OpenAI terus njupuk langkah kanggo ningkatake kualitas, keragaman, lan pengalaman para penguji eksternal kanggo penilaian sing saiki lan sing bakal teka.

Saliyane red teaming kualitatif sing diterangake ing ndhuwur, kami nggawe evaluasi otomatis lan kuantitatif kanggo macem-macem kapabilitas lan risiko sing berorientasi keamanan, kalebu risiko sing kami temokake liwat metode kaya red teaming. Evaluasi iki ngidini kami mbandhingake versi-versi model kami siji karo sijine, ngiterasi metodologi riset sing ningkatake keamanan, lan pungkasane dadi masukan ing pengambilan keputusan babagan versi model endi sing dipilih kanggo dideploy. Evaluasi sing wis ana nyakup topik kayata konten erotis, konten kebencian, lan konten sing ana gandhengane karo nyakiti awak dhewe lan liya-liyane, lan ngukur kecenderungan model kanggo ngasilake konten kaya mangkono.

OpenAI nglarang panggunaan model lan alat kami kanggo kegiatan lan konten tartamtu, kaya diatur ing kabijakan panggunaan kami.⁵ Kabijakan iki dirancang kanggo nglarang panggunaan model lan alat kami kanthi cara sing nyebabake cilaka individu utawa masyarakat. Kami nganyari kabijakan iki kanggo nanggapi risiko anyar lan informasi sing dianyari babagan cara model kami digunakake. Akses lan panggunaan model kami uga tundhuk marang Syarat Penggunaan OpenAI sing, antara liya, nglarang panggunaan layanan kami kanggo ngrusak hak-hak wong, lan nglarang nyajekake output saka layanan kami kaya-kaya digawe manungsa padahal dudu.⁶

Kami njupuk langkah kanggo matesi panggunaan model kami kanggo kegiatan sing mbebayani kanthi ngajari model supaya nolak nanggapi jinis panjaluk tartamtu sing bisa nyebabake tanggapan sing potensial mbebayani. Saliyane kuwi, kami nggunakake campuran reviewer lan sistem otomatis kanggo ngenali lan njupuk tindakan marang penyalahgunaan model kami. Sistem otomatis kami kalebu seperangkat deteksi classifier berbasis machine learning lan aturan sing dirancang kanggo ngenali konten sing bisa nglanggar kabijakan kami. Nalika pangguna bola-bali menehi prompt marang model kami kanthi konten sing nglanggar kabijakan, kami njupuk tindakan kayata menehi peringatan, nundha pangguna sauntara, utawa ing kasus abot, mblokir pangguna kasebut.

Kaya dibahas ing RFC, ana akeh pitakon penting sing ana gandhengane karo Akuntabilitas AI sing durung rampung dijawab. Ing bagean-bagean sabanjure, kami menehi perspektif tambahan babagan sawetara pitakon kasebut.

Model fondasi sing sangat mumpuni nduweni kapabilitas sing migunani, uga potensi kanggo nyebabake cilaka. Nalika kapabilitas model-model iki dadi luwih maju, skala lan keruwetan risiko sing bisa ditimbulake uga mundhak, utamane yen ana ing arahan aktor jahat utawa yen model kasebut ora selaras kanthi bener karo nilai-nilai manungsa.

Ngukur kanthi ketat kemajuan ing kapabilitas sing potensial mbebayani iku penting kanggo menilai lan ngelola risiko kanthi efektif. Kami ngatasi iki kanthi njajaki lan mbangun evaluasi kanggo kapabilitas sing potensial mbebayani, wiwit saka alat sing sederhana, bisa diskalakake, lan otomatis nganti evaluasi khusus sing intensif sing ditindakake dening ahli manungsa. Kami kolaborasi karo ahli akademik lan industri, lan pungkasane ngarah kanggo nyumbang marang pangembangan seperangkat evaluasi sing beragam sing bisa nyumbang marang pambentukan praktik terbaik kanggo menilai risiko sing muncul ing model fondasi sing sangat mumpuni. Kami percaya evaluasi kapabilitas mbebayani dadi blok bangunan sing saya penting kanggo akuntabilitas lan tata kelola ing pangembangan AI tercanggih.

Penilaian independen marang model lan sistem, kalebu dening pihak katelu, bisa dadi saya migunani nalika kapabilitas model terus mundhak. Penilaian kaya mangkono bisa nguwatake akuntabilitas lan transparansi babagan prilaku lan risiko sistem AI.

Sawetara bentuk penilaian bisa kedadeyan ing njero siji organisasi, kayata nalika sawijining tim menilai karya dhewe utawa nalika sawijining tim utawa bagéan organisasi ngasilake model lan tim utawa bagéan liyane, sing tumindak kanthi mandiri, nguji model kasebut. Pendekatan liyane yaiku pihak katelu eksternal nindakake penilaian. Kaya diterangake ing ndhuwur, saiki kami ngandelake campuran evaluasi internal lan eksternal marang model kami.

Penilaian pihak katelu bisa fokus marang deployment tartamtu, model utawa sistem ing wektu tartamtu, praktik tata kelola organisasi lan manajemen risiko, aplikasi tartamtu saka model utawa sistem, utawa kombinasi saka kabeh mau. Pamikiran lan kerangka potensial sing bakal digunakake ing penilaian kaya mangkono terus berkembang kanthi cepet, lan kami ngawasi lan nimbang pendekatan kami dhewe marang penilaian.

Kanggo saben penilaian pihak katelu, proses milih auditor/asesor kanthi keahlian lan struktur insentif sing cocog bakal entuk manfaat saka kajelasan sing luwih lanjut. Saliyane kuwi, milih pangarepan sing tepat kanggo dadi dhasar penilaian organisasi utawa model isih dadi area eksplorasi terbuka sing mbutuhake masukan saka macem-macem pemangku kepentingan. Pungkasan, penting supaya penilaian uga nimbang kepiye sistem bisa berkembang saka wektu ke wektu lan mbangun unsur kasebut ing proses penilaian / audit.

Kami ndhukung pangembangan syarat registrasi lan lisensi kanggo generasi mangsa ngarep saka model fondasi sing paling mumpuni. Model kaya mangkono bisa nduweni kapabilitas sing cukup mbebayani nganti nimbulake risiko signifikan marang keamanan publik; yen mangkono, kami percaya model kasebut kudu tundhuk marang syarat akuntabilitas sing sepadan.

Bisa uga cocog kanggo nimbang pangarepan pengungkapan lan registrasi kanggo proses pelatihan sing diprakirakake bakal ngasilake model fondasi sing sangat mumpuni. Pengungkapan kaya mangkono bisa mbantu para pembuat kebijakan nduweni visibilitas sing dibutuhake kanggo ngrancang solusi regulasi sing efektif, lan luwih dhisik nanggapi tren ing pucuk kemajuan AI. Penting banget supaya rezim kaya mangkono ngutamakake keamanan informasi sing diungkapake.

Pangembang AI bisa diwajibake nampa lisensi kanggo nggawe model fondasi sing sangat mumpuni sing kemungkinan bakal kabukten luwih mumpuni tinimbang model sing sadurunge wis dituduhake aman. Lisensi iku lumrah ing konteks kritis marang keamanan lan konteks risiko tinggi liyane, kayata penerbangan, pembangkit tenaga, manufaktur obat, lan perbankan. Sing nduweni lisensi bisa diwajibake nindakake penilaian risiko pra-deployment lan nerapake pengamanan keamanan lan deployment paling mutakhir; satemene, akeh praktik akuntabilitas sing bakal dipertimbangkan NTIA bisa cocog dadi syarat lisensi. Ngenalake syarat lisensi ing tingkat panyedhiya komputasi uga bisa dadi alat pelengkap sing kuat kanggo penegakan.

Isih ana akeh pitakon terbuka ing rancangan mekanisme registrasi lan lisensi kanggo nggayuh akuntabilitas ing pangembangan AI tercanggih. Kami ngarepake bisa kolaborasi karo para pembuat kebijakan kanggo nangani pitakon-pitakon iki.