Үшінші тараптың тиімді бағалауларына арналған басымдықтар мен қағидаттар
Озық ЖИ зертханаларына модельдерді қауіпсіз оқыту, бағалау және енгізу бойынша орасан зор жауапкершілік жүктеледі. Үшінші тарап бағалаулары осы жауапкершілікті теңгерудің, ЖИ қауіпсіздігіне қатысты пікір білдіру мүмкіндігін кеңейтудің, әлемді хабардар етудің және зертханалардың айқын әрі тәуелсіз расталған қауіпсіздік тұжырымдары үшін есеп беруін қамтамасыз етудің маңызды бөлігі.
OpenAI озық технологиялардың қарқынын реттеу жөніндегі жұмысымыз аясында оқыту, бағалау және енгізудің барлық кезеңдеріне терең қолжетімділік берілетін тәуелсіз бағалауларды қолдауға ниетті. Мұндай қолжетімділік бағалаушыларға біздің жорамалдарымызға күмән келтіруге, біз байқамаған тәуекелдерді анықтауға және қорғаныс шараларымыздың тиімділігі туралы өз қорытындыларын жасауға мүмкіндік беруі керек.
Біз модельді әзірлеу және енгізу үдерісінің әртүрлі кезеңдерінде үшінші тарап бағалаушыларымен көптен бері жұмыс істеп келеміз. Сондай-ақ біз үшінші тарап бағалауларын Дайындық шеңбері тәжірибелерімізге енгізіп, неғұрлым қатаң әрі есепті үдерісті жақтайтын ұйымдар мен заңнаманы қолдадық. Осы жұмыстар барысында біз техникалық қорғаныс шараларымыз туралы ақпаратқа, көрінетін ойлау тізбегіне, сондай-ақ оқиғаларға ден қою және мониторларды редтимингтен өткізу үшін бұрын-соңды болмаған көлемдегі құпия деректер мен ішкі енгізу ортасына терең қолжетімділік бердік. Мұнда берілген басымдықтар мен қағидаттар техникалық қауіпсіздікті бағалау бойынша жеке және коммерциялық емес сектордағы тәуелсіз бағалау ұйымдарымен жұмысымызға арналған. Олар рөлдер мен міндеттер ерекшеленіп, басқа тәсілдерді қажет етуі мүмкін сынақтар мен бағалаулар бойынша үкіметтермен жұмысымызды толықтырады.
Бұл бағалаулар тиімді болуы үшін тәуелсіздіктің берік тетіктері, ғылыми қатаңдық, сенімді қауіпсіздік тәжірибелері және міндеттердің айқындығы қажет. Зертханалар сезімтал ақпаратты қорғай отырып, мәнді тексеруге мүмкіндік беруге жауапты. Зертханалар мен тәуелсіз бағалаушылар бұл жұмыстың дұрыс орындалуына ортақ жауапты және қауіпсіздік тәжірибелеріне арналған ортақ халықаралық стандарттар негізінде жұмыс істеуі керек. Төменде біз қатаң, қауіпсіз әрі тәуелсіз жұмыс қағидаттарымен бірге тереңірек бағалауға арналған төрт басым бағытты ұсынамыз.
Үшінші тарап бағалаулары нақты әрі маңызды сұрақтарды қарастырғанда барынша пайдалы: дәлелдер зертхананың қауіпсіздік негіздемесі мен қауіпсіздік тұжырымдарын растай ма? Бағалаулар өлшеуге арналған тәуекелдерді жеткілікті деңгейде тексере ме? Қорғаныс шаралары шынайы жағдайларда жұмыс істей ме?
Мұнда сипатталған бағалаулар қарастырылатын қауіпсіздік мәселелеріне қарай әртүрлі нысанда жүргізіледі. Біз бірнеше бағалауды қатар және әртүрлі мерзімде қолдаймыз деп күтеміз: кейбірі бірнеше аптаға, ал басқалары бірнеше айға созылады. Үшінші тарап бағалаулары енгізуге дейінгі жұмыстың бір бөлігі болып, енгізу шешімдеріне әсер ете алса да, мұнда сипатталған жұмыс әдетте ұзақ мерзімді әрі іске қосуға тәуелсіз болады және уақыт өте келе нақты қауіпсіздік тұжырымдарын терең зерттеуге бағытталады.
Басым бағыттарымыз бен қағидаттарымызда қауіпсіздік тұжырымдары мен қауіпсіздік негіздемелері ұғымдарын қолданамыз. Бұл ұғымдарды біз былай түсінеміз:
Қауіпсіздік тұжырымы: Модельдің немесе жүйенің мүмкіндіктері, мінез-құлқы не қорғаныс шаралары туралы, оның қауіпсіздігіне қатысты және дәлелдер негізінде бағалауға болатын нақты пайым. Тұжырымда қарастырылатын тәуекелдер мен жағдайлар, сондай-ақ тиісті жорамалдар мен шектеулер көрсетілуі керек.
Қауіпсіздік негіздемесі: Дәлелдермен расталған және модельдің не жүйенің тәуекелдері оқыту, бағалау немесе енгізу сияқты белгілі бір әрекет үшін неліктен тиісті деңгейде басқарылатынын түсіндіретін құрылымдалған дәйек. Қауіпсіздік негіздемесі жекелеген қауіпсіздік тұжырымдарын оларды растайтын дәлелдермен байланыстырып, қорытындыларға ықпал етуі мүмкін жорамалдарды, белгісіздіктерді және қалған тәуекелдерді анық көрсетеді.
Біз қатаң, қауіпсіз әрі тәуелсіз жұмыс қағидаттарымен бірге тереңірек бағалауға арналған төрт басым бағытты ұсынамыз.
Оқытуды, бағалауды, ішкі және сыртқы енгізуді қамтитын қауіпсіздік негіздемелерін тәуелсіз бағалау.
Қауіпсіздік негіздемелерін бағалау сәйкестендіру, мониторинг сияқты бақылау әдістері, киберқауіпсіздік, биологиялық және химиялық теріс пайдалану мен редтиминг салаларындағы біліктілікті қажет етеді. Қауіпсіздік негіздемелері оқытуға, мүмкіндіктерді бағалауға және қорғаныс шараларына қатысты тұжырымдардан тұрады; оларды тұтас немесе бөліктерге бөліп бағалауға болады (төмендегі 2 және 3-басымдықтарды қараңыз). Бірнеше бағалаушы өз біліктілігіне сүйеніп, негіздемелердің әртүрлі бөліктерін қарастыруы қажет болуы ықтимал. Олардың бағалаулары жиынтық түрде мынадай сұрақтарға жауап беруі керек:
Оқыту, бағалау және енгізу бойынша қауіпсіздік негіздемелерінің дәлелдері жеткілікті ме? Оқыту, бағалау және енгізу барысында қауіпсіздік негіздемесінің шарттары сақталды ма?
Қауіпсіздік негіздемелеріміз бағалау барысында анықталған ең шұғыл тәуекелдерді қамти ма? Қауіпсіздік тұжырымдары жалпы қауіпсіздік негіздемесін растай ма? Олқылықтар немесе жетілдіруді қажет ететін тұстар бар ма?
Оқытуда алдауды, марапат жүйесін бұрмалауды, жойқын әрекеттерді немесе шектеулерді айналып өтуді ынталандыруы мүмкін факторларды анықтау және азайту үшін тиімді әдістер қолданыла ма?
Ішкі және сыртқы енгізулердегі аса маңызды қорғаныс шараларын бағалау
Біздің қорғаныс шараларының кешені өзгеріп жатқан мүмкіндіктер мен жағдайларға бейімделу үшін үнемі жетілдіріледі. Қорғаныс шараларымыз оқытуды, ішкі және сыртқы енгізуді қамтиды. Қазір оларға модель деңгейіндегі, талаптарды орындатуға арналған және қауіпсіздік қорғаныстары, сондай-ақ сәйкессіздікті бақылау құралдары кіреді. Олар бақылауды жоғалту, кибер, биологиялық және химиялық тәуекелдер үшін теріс пайдалану сияқты көптеген тәуекелді қамтиды. Техникалық серіктестіктер қазірдің өзінде қорғаныс шараларындағы әлсіздіктерді анықтап, бағалау әдістерін жетілдіруге және стандарттарды әзірлеуді жеделдетуге көмектесе алады. Бұл озық технологиялардың қарқынын реттейтін болашақ мемлекеттік саясатқа, әсіресе қауіпсіздік стандарттары әлі қалыптасып жатқан ішкі енгізулерге берік техникалық негіз қалайды.
Тәуелсіз бағалаулар бұл қорғаныс шараларының қаншалықты жақсы жұмыс істейтінін және қай тұста осал болуы мүмкін екенін зерттеуі керек. Мысалы:
«Сұр жәшік» қолжетімділігі кезінде қорғаныс шаралары қарсыластық сынақтарға (қорғанысты айналып өту үлгілеріне) төтеп бере ме және тәуекелі жоғары салаларда (мысалы, кибер және биология) мүмкіндіктердің артуынан жеткілікті қорғай ма? Қарсыластық сынақтарымыз бен редтиминг ең маңызды тәуекелдерді қамти ма?
Нақты жұмыс жағдайларындағы рұқсат етілген сынақтарда агенттер қолжетімділікті басқару, оқшауланған орта, анықтау және ден қою жүйелері сияқты киберқорғаныс құралдарымен қалай әрекеттеседі? Қандай қорғаныс құралдары зиянды әрекеттердің алдын алады, оларды анықтайды немесе шектейді және қай тұста істен шығады?
Ішкі және сыртқы енгізулерде сәйкессіздікті бақылау құралдарында бақылауды жоғалтуға немесе елеулі сәйкессіздікке әкелуі мүмкін маңызды олқылықтар бар ма? Модель мүмкіндіктері артқан сайын ойлау тізбегін бақылау қауіпсіздік немесе сәйкестік дәлелінің көзі ретінде қаншалықты сенімді?
Барлық тиісті оқыту, бағалау және енгізу үдерістерінде оңай өшірілмейтін тиісті мониторинг іске асырылған ба?
Қорғаныс шаралары мүмкіндіктерге сай деңгейде іске асырылған ба?
Дайындық тәуекел санаттарын (химиялық және биологиялық тәуекелдер, киберқауіпсіздік, ЖИ-дің өзін-өзі жетілдіруі) қамтитын мүмкіндіктер бағалаулары және сәйкессіздік тәуекелдеріне арналған сәйкестік бағалаулары
Дайындық шеңбері негізгі шекаралық тәуекел салаларын бағалауды талап етеді. Шектерден асып, бағалаулар ең жоғары нәтижеге жеткен сайын Дайындық тәуекелдері салаларындағы мүмкіндіктерді өлшейтін бағалаулар мен елеулі сәйкессіздік тәуекелдерін анықтауға бағытталған сәйкестік бағалауларын ұдайы жаңартып, олардың қамту ауқымы мен сапасын қамтамасыз ету маңызды.
Тиісті сұрақтар мыналарды қамтиды:
Дайындық тәуекелдерін өлшейтін бағалаулар Дайындық тәуекелі шегінің анықтамасын жеткілікті қамти ма? Бұл бағалаулардың шектері дұрыс белгіленген бе?
Модельдер ең жоғары ұпайларға тұрақты түрде жеткенде бағалаулар жаңартыла ма және жаңа сынақтар неғұрлым жетілдірілген мүмкіндіктерді мәнді түрде өлшей ме?
Сәйкестік бағалауларымыз елеулі сәйкессіздік тәуекелдерін жеткілікті қамти ма және қандай маңызды мінез-құлықты немесе жағдайларды байқамай қалуы мүмкін?
Сәйкессіздікке қатысты аса маңызды оқиғаларды тәуелсіз тергеу
Тәуелсіз тергеу ЖИ қауіпсіздігіне қатысты аса маңызды оқиғалардың кең ауқымында пайдалы болуы мүмкін. Мұнда модельдердің рұқсатсыз әрекет етуін немесе қадағалаудан жалтаруын қоса алғанда, модель сәйкессіздігіне назар аударамыз. Мұндай жайттар қасақана теріс пайдалану болмаса да, сәйкестендіру әдістері мен қорғаныс шараларының әлсіз тұстарын көрсете алады.
Кей жағдайларда, OpenAI Hugging Face оқиғасындағыдай, сәйкессіздік оқиғаларын тергеуге тәуелсіз үшінші тарапты тарту пайдалы болуы мүмкін. Оқиғаны тергеуге қатысатын үшінші тараптардың тиісті біліктілігі болуы аса маңызды. Қажетіне қарай бұған киберкриминалистикалық және сәйкестендіру саласындағы білім, ойлау тізбегін ауқымды талдау тәжірибесі, сондай-ақ тергеуді уақтылы жүргізетін қызметкерлер мен ресурстар кіреді. Оқиғаға ден қою кезінде сезімтал ішкі деректер мен үшінші тарап деректеріне қол жеткізу қажет болуы мүмкін, сондықтан кейбір мәліметтерді жариялау немесе оларға қол жеткізу шектелуі ықтимал. Тәуелсіз тергеу нәтижелері модельдің сәйкестігі және бұрын байқалған сәйкессіздікті түзету шараларының тиімділігі туралы тұжырымдарды бағалайтын дәлелдер беріп, модельдің қауіпсіздік негіздемесіне ықпал ете алады.
Сәйкессіздік оқиғалары аясында біз мына мәселелер бойынша тәуелсіз бағалауларға басымдық береміз:
Оқиға барысында модельдің қандай мінез-құлқы немесе сәйкессіздік мәселелері байқалды және оған әсер еткен негізгі факторлар қандай?
Қорғаныс және түзету шаралары болашақта ұқсас оқиғаларды тиімді азайта ала ма?
Бағалау аясының және өзара келісілген тұжырымдардың айқындығы: Бағалау өзара келісілген ауқымды белгілеуден басталып, бағалау жұмыстары басталғанға дейін алдын ала тіркелген нақты қауіпсіздік тұжырымдарымен жалғасуы керек. Үшінші тараптар мен зертханалар бұл тұжырымдарды бағаланатын компанияның өзі ұсынғысы келе ме, әлде үшінші тарап бағалаушысы оларды тәуелсіз бағалап, зертхана солар бойынша бағалануға келісті ме — соны нақтылауы керек. Кейбір тұжырымдардың бағалау аясына кірмеуіне түрлі себеп болуы мүмкін: үшінші тараптардың деректерге қол жеткізе алмауы, бағалаушы тәжірибесінің жеткіліксіздігі немесе шұғыл бағалау кезіндегі орынды уақыт шектеулері. Зертханалар мен бағалаушылар бастапқы ауқымнан тыс анықталған елеулі тәуекелдерді, соның ішінде оларды қосымша зерттеу қажеттігін қарау рәсімін белгілеуі керек. Қорытындылар өзара келісілген ауқымға қатысты ненің бағаланғанын және ненің бағаланбағанын анық көрсетуі керек.
Мөлшерлес қолжетімділік: Заң, қауіпсіздік және зияткерлік меншік шектеулері аясында бағалаушыларға келісілген тұжырымдарды бағалау үшін мүмкіндігінше мөлшерлес қолжетімділік берілуі керек. Тікелей қолжетімділік қолайсыз немесе мүмкін болмаған кезде, бағалаушылар компанияның тағайындалған өкілімен жұмыс істей алады немесе негізгі ақпаратты қорғау үшін жанама не құпиялықты сақтайтын қол жеткізу тетіктерін қарастыра алады.
Әдістеме мен стандарттардың ашықтығы: Бағалаушылар өз әдістерін, бағалау өлшемдерін және белгісіздіктерді түсіндіріп, бар болса, қалыптасқан стандарттарға сүйенуі керек. Стандарттар әлі жоқ болса, қолданылатын өлшемдер нақты негізделуі керек. Есептер тікелей анықталған жайттарды түсіндірмелерден ажыратып, белгісіздікті түсіндіруі және дәлелдер қандай қорытындыларды растайтынын анық көрсетуі керек.
Біліктілік пен тәуелсіздік: Бағалаушылар тиісті техникалық біліктілігін көрсетіп, қаржылық ынталандыруды, әзірлеушілермен қатынастарды және бағаланатын жұмысқа бұрын қатысуын қоса алғанда, ұйымдық және жеке мүдделер қақтығысын анықтап, жариялап, реттеуі керек. Қорғаныс шаралары коммерциялық қысым мен сыйақы шарттарының нәтижелерге ықпал етпеуін қамтамасыз етуі керек; оларға істен өз еркімен шеттетілу немесе тиісті шектеу мерзімдері кіруі мүмкін.
Қауіпсіздік пен құпиялық: Бағалаушылар қол жеткізілетін жүйелер мен ақпараттың сезімталдығына сай, өз қызметкерлерін қамтитын ақпараттық қауіпсіздік тәжірибелері мен орындалуы міндетті құпиялық шараларын көрсетуі керек. Бұл шаралар зияткерлік меншікті, сезімтал ақпаратты және бағалау жазбаларын қамтуы керек. Бағалаушылар өз ортасында қауіпсіздік талаптарын орындай алмаса немесе қол жеткізілетін деректер аса сезімтал болса, компания басқаратын құрылғыларда не үй-жайларда қол жеткізу орынды болуы мүмкін.
Іске жарамды нәтижелер және түзетуге берілетін уақыт: Бағалаулар нақты олқылықтарды анықтап, зертханаларға оларды жоюға жеткілікті мәлімет беруі керек. Орынды болған жағдайда, зертханаларға жарияланымға дейін мәселелерді түзету үшін жеткілікті мерзім берілуі керек. Қажет болса, есептерде агент әзірлеушілеріне, енгізушілеріне және қорғаушыларына арналған сабақтар мен іске асыру жөніндегі практикалық ұсынымдар да түсіндірілуі керек.
Жауапты жариялау тәжірибелері: Бағалау есептері дәлелдерге негізделіп, сезімтал әрі құпия ақпаратты қорғай отырып, мүмкіндігінше ашық таратылуы керек. Ақпаратты толық жариялау мүмкін болмаса, тиісті қадағалау органдарына, мысалы басқару органдарына немесе компания кеңестеріне құпия есеп беру есептілікті қолдай алады. Тәуелсіздік пен құпиялық теңгерімін сақтау үшін ақпаратты қағидатты түрде бүркемелеу шаралары мен саясаты, сондай-ақ кері байланыс пен дәлсіздіктерді түзетуге қатысты айқын талаптар болуы керек. Бағалаушылар құпиялық пен зияткерлік меншіктің қорғалуын қамтамасыз ете отырып, редакциялық тәуелсіздігін сақтауы керек. Бағалаушылар зертханаларға сезімтал ақпаратты бүркемелеуді сұрауға мүмкіндік беретін нақты саясат қабылдауы керек, ал бағалаушылар елеулі бүркемелеу жасалған тұстарды және оның бағалау есебіне әсерін көрсете алады.
Біз тәуелсіз бағалаушыларды қолдауға және үшінші тараптардың тиімді бағалаулары үшін болашақ заңдар мен жеке басқару институттары арқылы неғұрлым айқын, ортақ халықаралық стандарттар орнатуға ниеттіміз. Тәуелсіз бағалау экожүйесі әлі дамып келеді. Біз озық ЖИ қауіпсіздігі мәселелерінің әрқайсысы бойынша терең білімі бар тәуелсіз бағалаушылардың сан алуан қауымдастығын қолдап, онымен жұмыс істеу арқылы осы дамуға көмектесеміз. Бірде-бір үшінші тарап озық ЖИ қауіпсіздігінің шұғыл мәселелерін түгел қамти алмайды әрі қамтуға тиіс емес. Біз өз әлеуетімізді арттыру және өсіп келе жатқан үшінші тараптар экожүйесінің озық тәжірибелер мен қағидаттар бойынша келісуіне мүмкіндік беру үшін байыппен әрі мақсатты әрекет етеміз. Біз жоғарыдағы басым бағыттарға сай ұсыныстар жөнінде бірнеше үшінші тараппен келіссөз жүргізіп жатырмыз.
