Mga prayoridad at prinsipyo sa mabisang mga assessment ng third party
Napakalaki ng pananagutan ng mga frontier AI lab sa ligtas na pagsasanay, pagsusuri, at pag-deploy ng mga modelo. Mahalaga ang mga assessment ng third party sa pagbabalanse sa pananagutang iyon, pagpapalawak ng mga pagkakataong makapag-ambag sa kaligtasan ng AI, pagbibigay ng impormasyon sa buong mundo, at pagpapanagot sa mga lab sa malinaw at independently supported na mga safety claim.
Bilang bahagi ng aming mga pagsisikap na umagapay sa pag-usad ng frontier, nakatuon ang OpenAI sa pagsuporta sa mga independent assessment sa pamamagitan ng malalim na access sa pagsasanay, pagsusuri, at deployment. Dapat bigyang-daan ng access na iyon ang mga assessor na kuwestiyunin ang aming mga palagay, tukuyin ang mga panganib na maaaring hindi namin napansin, at bumuo ng sarili nilang mga konklusyon tungkol sa pagiging epektibo ng aming mga pananggalang.
Matagal na kaming nakikipagtulungan sa mga third-party na assessor sa iba't ibang yugto ng pag-develop at pag-deploy ng modelo. Isinama rin namin ang mga assessment ng third party sa aming mga gawain sa Preparedness Framework at sinuportahan ang mga organisasyon at batas na nagsusulong ng mas masusi at may pananagutang proseso. Sa lahat ng pakikipagtulungang ito, nagbigay kami ng malalim na uri ng access, kabilang ang impormasyon tungkol sa aming mga teknikal na pananggalang, access sa nakikitang chain-of-thought, at walang kapantay na access sa kumpidensyal na data at internal deployment para sa pagtugon sa insidente at pagsubaybay sa red teaming. Nakatuon ang mga prayoridad at prinsipyong ibinahagi rito sa pakikipagtulungan namin sa mga organisasyong nagsasagawa ng independent assessment sa pribado at nonprofit na sektor para sa mga teknikal na safety assessment. Dinadagdagan ng mga ito ang pakikipagtulungan namin sa mga pamahalaan sa pagsubok at pagsusuri, kung saan maaaring mangailangan ng ibang pamamaraan ang magkakaibang tungkulin at pananagutan.
Para maging mabisa ang mga assessment, kinakailangan ng matatag na mekanismo para sa kalayaan, mahigpit na pamamaraang siyentipiko, matatag na kasanayan sa seguridad, at malinaw na pananagutan. Pananagutan ng mga lab na bigyang-daan ang makabuluhang pagsusuri habang pinoprotektahan ang sensitibong impormasyon. Kapwa responsable ang mga lab at independent assessor sa maayos na pagsasagawa nito, at dapat silang gumamit ng magkakaparehong internasyonal na pamantayan para sa mga kasanayan sa kaligtasan at seguridad. Sa ibaba, nagmumungkahi kami ng apat na prayoridad para sa mas malalim na assessment, kasama ang mga prinsipyo para sa masusi, ligtas, at independent na gawain.
Pinakakapaki-pakinabang ang mga assessment ng third party kapag sinasagot ng mga ito ang mga partikular at mahalagang tanong: Sinusuportahan ba ng ebidensya ang safety case at mga safety claim ng lab? Nasusuri ba nang sapat ng mga evaluation ang mga panganib na dapat sukatin ng mga ito? Gumagana ba ang mga pananggalang sa makatotohanang mga kondisyon?
Ang mga assessment na inilalarawan dito ay nilalayong magkaroon ng iba't ibang anyo depende sa mga usaping pangkaligtasan na sinusuri. Inaasahan naming susuportahan ang maraming assessment nang sabay-sabay at sa magkakaibang haba ng panahon, kung saan ang ilan ay tatagal nang ilang linggo at ang iba naman ay ilang buwan. Bagama't maaari ding maging bahagi ng paghahanda bago ang deployment ang mga assessment ng third party at makatulong sa mga pasya sa deployment, kadalasang mas pangmatagalan at hindi nakatali sa paglulunsad ang gawaing inilalarawan dito—nakatuon ito sa masusing pagsusuri sa mga partikular na safety claim sa paglipas ng panahon.
Sa kabuuan ng aming mga prayoridad at prinsipyo, tinutukoy namin ang mga safety claim at safety kase. Ganito ang ibig naming sabihin sa mga terminong ito:
Safety claim: Isang partikular na pahayag tungkol sa mga kakayahan, gawi, o pananggalang ng isang modelo o system na may kaugnayan sa kaligtasan nito at maaaring i-assess batay sa ebidensya. Dapat tukuyin ng isang pahayag ang mga panganib at kondisyong tinutugunan nito, kasama ang mga nauugnay na palagay at limitasyon.
Safety case: Isang sistematikong argumento na sinusuportahan ng ebidensya na nagpapaliwanag kung bakit sapat na napamamahalaan ang mga panganib ng isang modelo o system para sa isang tinukoy na gawain, gaya ng pagsasanay, pagsusuri, o deployment. Iniuugnay ng isang safety case ang bawat safety claim sa ebidensyang sumusuporta rito at malinaw nitong inilalahad ang mga palagay, kawalang-katiyakan, at natitirang panganib na maaaring makaapekto sa mga konklusyon nito.
Nagmumungkahi kami ng apat na prayoridad para sa mas malalim na assessment, kasama ang mga prinsipyo para sa masusi, ligtas, at independent na gawain.
Independent assessment ng mga safety case, mula sa pagsasanay at pagsusuri hanggang sa internal at external na deployment.
Ang assessment ng mga safety case ay nangangailangan ng kadalubhasaan sa alignment, mga paraan ng pagkontrol gaya ng monitoring, cybersecurity, maling paggamit sa larangan ng biyolohikal at kemikal, at red teaming. Binubuo ang mga safety case ng mga claim kabilang ang tungkol sa pagsasanay, mga pagsusuri sa kakayahan, at mga pananggalang, na puwedeng i-assess nang buo o kada bahagi (tingnan ang mga prayoridad 2 at 3 sa ibaba). Malamang na kailangang suriin ng maraming assessor ang iba't ibang bahagi ng mga case, gamit ang kani-kanilang kadalubhasaan. Kapag pinagsama, dapat masagot ng kanilang mga assessment ang mga tanong na gaya ng:
May sapat bang batayan ang ebidensya para sa mga safety case para sa pagsasanay, pagsusuri, at mga deployment? Sinunod ba ang mga kondisyon ng safety case sa panahon ng pagsasanay, pagsusuri, at deployment?
Sinasaklaw ba ng aming mga safety case ang pinakamahahalagang panganib na natukoy habang isinasagawa ang assessment? Sinusuportahan ba ng mga safety claim ang pangkalahatang safety case? Mayroon bang mga kakulangan o bahaging dapat pagbutihin?
Gumagamit ba ng mabisang mga pamamaraan upang tukuyin at bawasan ang mga insentibo sa pagsasanay na maaaring magbigay ng gantimpala sa panlilinlang, reward hacking, mapaminsalang pagkilos, o pag-iwas sa mga paghihigpit?
Assessment ng mahahalagang pananggalang sa mga internal at external na deployment
Patuloy na umuunlad ang aming hanay ng mga pananggalang upang makasabay sa nagbabagong mga kakayahan at kalagayan. Sinasaklaw ng aming mga pananggalang ang pagsasanay, internal na deployment, at external na deployment. Kasalukuyang kabilang dito ang mga pananggalang sa antas ng modelo, pagpapatupad, at seguridad, pati na ang mga pang-monitor ng misalignment—na sumasaklaw sa maraming iba't ibang uri ng panganib (gaya ng pagkawala ng kontrol at maling paggamit na nauugnay sa mga panganib sa sa larangan ng cyber, biyolohikal, at kemikal). Matutukoy ng mga teknikal na pakikipagtulungan ang mga kasalukuyang kahinaan sa mga pananggalang habang pinahuhusay ang mga pamamaraan ng assessment at pinabibilis ang pagbuo ng mga pamantayan, na nagbibigay ng mas matibay na teknikal na batayan para sa mga pampublikong patakaran sa hinaharap upang umagapay sa frontier—lalo na sa mga internal na deployment, kung saan nagsisimula pa lang mabuo ang mga pamantayan sa kaligtasan at seguridad.
Dapat suriin ng mga independiyenteng pagtatasa kung gaano kabisa ang mga pananggalang na ito at kung saan maaaring magkulang ang mga ito, gaya ng:
Gamit ang “grey box” access, matatag ba ang mga pananggalang laban sa adversarial testing (mga jailbreak), at sapat ba ang proteksyon ng mga ito laban sa pagtaas ng kakayahan sa mga domain na mataas ang panganib (hal. cyber at bio)? Saklaw ba ng aming adversarial testing at red teaming ang pinakamahahalagang panganib?
Sa awtorisadong pagsubok sa ilalim ng makatotohanang mga kondisyon ng pagpapatakbo, paano nakikipag-ugnayan ang mga agent sa mga cyber defense gaya ng mga access control, sandboxing, at mga system sa pag-detect at pagtugon? Aling mga depensa ang pumipigil, tumutukoy, o kumokontrol sa mapaminsalang mga pagkilos, at saan nabibigo ang mga ito?
Mayroon bang malalaking kakulangan ang aming mga pang-monitor ng misalignment na maaaring humantong sa pagkawala ng kontrol o malubhang misalignment sa internal at external na deployment? Gaano maaasahan ang monitoring ng chain-of-thought bilang pinagmumulan ng ebidensya para sa kaligtasan o alignment habang humuhusay ang mga kakayahan ng modelo?
Naipatutupad ba ang angkop na monitoring sa lahat ng nauugnay na pagsasanay, pagsusuri, at deployment sa paraang hindi madaling ma-disable?
Naipatutupad ba ang mga pananggalang na naaayon sa mga kakayahan?
Assessment ng mga pagsusuri sa kakayahang sumasaklaw sa mga kategorya ng panganib na saklaw ng Preparedness (Mga Panganib sa Kemikal at Biyolohikal, Cybersecurity, at Pagpapahusay ng AI sa Sarili Nito) at mga pagsusuri sa alignment para sa mga panganib ng misalignment
Kinakailangan sa Preparedness Framework ang mga evaluation para i-assess ang mahahalagang bahagi ng frontier risk. Habang nalalampasan ang mga threshold at saturated na ang mga evaluation, mahalagang regular na i-refresh at tiyakin ang coverage at kalidad ng mga evaluation na nag-a-assess ng mga kakayahan sa mga kategorya ng panganib na saklaw ng Preparedness, at ng mga evaluation ng alignment na sumusukat sa mga panganib ng malubhang misalignment.
Kabilang sa mahahalagang tanong ang:
Sapat bang sinasaklaw ng mga evaluation na nag-a-assess ng mga panganib sa Preparedness ang kahulugan ng threshold para sa mga panganib na iyon? Tama ba ang pagkakatakda ng mga threshold para sa mga evaluation na ito?
Ina-update ba ang mga evaluation kapag palaging nakakamit ng mga modelo ang pinakamatataas na marka, at makabuluhan bang nasusukat ng mga bagong pagsubok ang mas advanced na mga kakayahan?
Sapat bang sinasaklaw ng aming mga evaluation sa alignment ang mga panganib ng malubhang misalignment, at anong mahahalagang gawi o kondisyon ang maaaring hindi nito makita?
Independent investigation ng mahahalagang insidente ng misalignment
Maaaring maging mahalaga ang independent investigation sa iba't ibang kritikal na insidente sa kaligtasan ng AI. Dito, nakatuon kami sa misalignment ng modelo, kabilang ang pagkilos ng mga modelo nang walang pahintulot o pag-iwas sa pangangasiwa na maaaring magsiwalat ng mga kahinaan sa mga pamamaraan sa alignment at mga pananggalang kahit walang sinasadyang maling paggamit.
Sa ilang piling sitwasyon, gaya ng insidente ng OpenAI sa Hugging Face, maaaring makatulong ang pagkuha ng independent third party para sa independent na pagsisiyasat sa insidente ng misalignment. Napakahalagang taglay ng mga third party na sangkot sa pagsisiyasat ng insidente ang kinakailangang kadalubhasaan, kabilang, kung naaangkop, ang kadalubhasaan sa cyber forensics at alignment, malawakang pagsusuri ng chain-of-thought, at sapat na tauhan at mapagkukunan upang maisagawa agad ang pagsisiyasat. Maaaring kailanganin sa pagtugon sa insidente ang access sa sensitibong internal na data at data ng third party, kaya maaaring sensitibo ang ilang detalye para i-publish o i-access. Makakatulong din ang mga natuklasan mula sa mga independent investigation sa safety case ng isang modelo sa pamamagitan ng pagbibigay ng ebidensya para i-assess ang mga claim tungkol sa alignment nito at sa pagiging epektibo ng mga hakbang upang maitama ang naunang natukoy na misalignment.
Sa konteksto ng mga insidente ng misalignment, inuuna namin ang mga independent assessment sa mga sumusunod:
Anong gawi ng modelo o mga problema sa misalignment ang naganap sa insidente, at ano ang mga pangunahing salik na nag-ambag dito?
Mabisa bang mababawasan ng mga pananggalang at hakbang sa pagwawasto ang mga katulad na insidente sa hinaharap?
Mga claim para sa assessment na may malinaw na saklaw at napagkasunduan ng lahat: Dapat magsimula ang mga assessment sa saklaw na napagkasunduan ng lahat, na susundan ng malinaw na tinukoy na mga safety claim na paunang irerehistro bago magsimula ang mga gawain sa pag-assess. Dapat linawin ng mga third party at lab kung ang mga ito ba ay mga claim na gustong iharap ng kumpanyang sinusuri para sa assessment, o mga claim na nilalayong hiwalay na i-assess ng third-party na assessor at sinang-ayunan ng lab na gamiting batayan ng assessment. Maraming dahilan kung bakit maaaring wala sa saklaw ang ilang claim, kabilang ang kawalan ng praktikal na paraan para ma-access ng mga third party ang data, hindi sapat na kadalubhasaan ng assessor, o makatuwirang limitasyon sa oras kapag apurahan ang isang assessment. Dapat magtakda ang mga lab at assessor ng proseso para isaalang-alang ang malalaking panganib na natukoy sa labas ng orihinal na saklaw, kabilang ang pagpapasya kung kailangan ng higit pang pagsisiyasat. Dapat linawin sa mga konklusyon kung ano ang na-assess at hindi na-assess kaugnay ng saklaw na napagkasunduan.
Angkop na antas ng access: Dapat magkaroon ang mga assessor ng sapat at naaangkop na access para ma-assess ang mga napagkasunduang claim hangga't maaari at nang hindi lumalampas sa mga limitasyong itinatakda ng batas, seguridad, at IP. Kapag hindi praktikal o hindi posible ang direktang access, maaaring makipagtulungan ang mga assessor sa itinalagang kinatawan ng kumpanya o gumamit ng di-tuwiran o privacy-preserving na mga mekanismo ng access upang maprotektahan ang batayang impormasyon.
Transparent na pamamaraan at mga pamantayan: Dapat ipaliwanag ng mga assessor ang kanilang mga pamamaraan, mga pamantayan sa pag-assess, at mga kawalang-katiyakan, gamit ang mga naitatag nang pamantayan kung mayroon. Kung wala pang mga pamantayan, dapat nilang malinaw na ipaliwanag ang batayan ng mga pamantayang ginagamit nila. Dapat ihiwalay sa mga ulat ang mga direktang natuklasan sa interpretasyon, ipaliwanag ang kawalang-katiyakan, at linawin kung aling mga konklusyon ang sinusuportahan ng ebidensya.
Kadalubhasaan at kalayaan: Dapat ipakita ng mga assessor ang nauugnay na teknikal na kadalubhasaan at tukuyin, ihayag, at tugunan ang mga salungatan ng interes sa organisasyon at indibidwal, kabilang ang mga insentibong pinansyal, ugnayan sa mga developer, at dating pagkakasangkot sa gawaing ina-assess. Dapat idisenyo ang mga pananggalang upang matiyak na hindi maiimpluwensyahan ng komersyal na panggigipit at mga kasunduan sa bayad ang mga natuklasan, at maaaring kabilang dito ang pag-atras sa pakikilahok o pagtatakda ng naangkop na panahon ng hindi paglahok.
Seguridad at pagiging kumpidensyal: Dapat maipakita ng mga assessor na mayroon silang mga kasanayan sa seguridad ng impormasyon at maipatutupad na proteksyon sa pagiging kumpidensyal na nalalapat para sa kanilang mga tauhan, na naaayon sa pagiging sensitibo ng mga system at impormasyong ina-access nila. Dapat saklawin ng mga proteksyong ito ang intellectual property, sensitibong impormasyon, at mga rekord ng assessment. Kung hindi natutugunan ng mga assessor ang mga kinakailangan sa seguridad sa sarili nilang environment, o kung masyadong sensitibo ang data na ina-access, maaaring naaangkop ang pag-access gamit ang mga device o pasilidad na pinamamahalaan ng kumpanya.
Mga natuklasang maaaring aksyunan at panahon para ayusin ang mga problema: Dapat tukuyin ng mga assessment ang mga partikular na kakulangan at magbigay ng sapat na detalye upang matugunan ng mga lab ang mga ito. Kung naaangkop, dapat bigyan ang mga lab ng makatuwirang panahon upang ayusin ang mga problema bago i-publish ang ulat. Kung may kaugnayan, dapat ding ipaliwanag sa mga ulat ang mga aral para sa mga developer, deployer, at defender ng agent, kasama ang mga praktikal na rekomendasyon sa pagpapatupad.
Responsableng paraan ng pag-publish: Dapat nakabatay sa ebidensya ang mga ulat sa assessment at ibahagi nang bukas hangga't maaari, habang pinoprotektahan ang sensitibo at kumpidensyal na impormasyon. Kapag hindi posible ang ganap na pagsisiwalat sa publiko, makatutulong sa pananagutan ang kumpidensyal na pag-uulat sa mga naaangkop na lupon ng pangangasiwa, (gaya ng mga lupong namamahala o board ng mga kumpanya). Dapat magkaroon ng proteksyon at patakaran sa pag-redact na batay sa prinsipyo, pati na ng malinaw na inaasahan tungkol sa feedback at pagwawasto ng mga kamalian, upang mapanatili ang balanse sa pagitan ng kalayaan at pagiging kumpidensyal. Dapat panatilihin ng mga assessor ang kalayaan sa pag-edit habang tinitiyak na napapanatili ang pagiging kumpidensyal at mga proteksyon sa IP. Dapat magpatupad ang mga assessor ng malinaw na mga patakaran sa pag-redact na nagbibigay-daan sa mga lab na humiling ng mga pag-redact ng sensitibong impormasyon, habang maaaring isaad ng mga assessor kung saan naglapat ng malaki-laking pag-redact at kung paano ito nakakaapekto sa kanilang ulat sa assessment.
Nakatuon kami sa pagsuporta sa mga independent na assessor at pagtatatag ng mas malinaw at magkakaparehong internasyonal na pamantayan—sa pamamagitan ng mga batas sa hinaharap at mga pribadong institusyon ng pamamahala—para sa mabisang assessment ng third party. Habang patuloy pang lumalago ang ecosystem ng independent na pagsusuri, tutulungan namin itong umunlad sa pamamagitan ng pagsuporta at pakikipagtulungan sa iba;t ibang komunidad ng mga independent na assessor na may malalim na kadalubhasaan sa mga usapin ng kaligtasan ng frontier. Walang iisang third party na kaya o dapat sumaklaw nang lubusan sa mga agarang usapin ng kaligtasan ng frontier. Kikilos kami nang maingat at may malinaw na layunin upang palawakin ang aming kakayahan at tulungan ang lumalagong ecosystem ng mga third party na magkaisa sa pinakamahuhusay na kasanayan at prinsipyo. Nakikipag-usap kami sa maraming third party tungkol sa mga panukalang naaayon sa mga prayoridad na nabanggit sa itaas.
