OpenAI модельдері қатысқан бөгде тараптардың кибербағалаулары
Тәуелсіз сынақтар модельдерді қолданысқа енгізер алдында тәуекелдерді бағалап, оларды тереңірек түсінуге көмектесуде маңызды рөл атқарады. Кейбір кибербағалаулар модельдердің жалпыға қолжетімді өнімдерде әдетте қалай әрекет ететінін емес, олардың негізгі мүмкіндіктерін өлшеу үшін қорғаныс шаралары әлсіретілген арнайы конфигурацияларды әдейі пайдаланады.
Жуырдағы бағалаулар кезінде екі сыртқы сынақ серіктесі сынақ конфигурациялары мен басқару тетіктері жаңа модельдердің жетілген мүмкіндіктерімен ұштасып, модель әрекетінің белгіленген сынақ шекарасынан шығуына жол берген оқиғаларды анықтады. Модельдердің мүмкіндіктері артқан сайын сынақ орталары мен тәжірибелерінің стандарттарын жетілдіру үшін бүкіл сала және бөгде тарап бағалаушыларымен бірлесіп жұмыс істеудің маңызын бұл оқиғалар айқын көрсетті. Редактор ескертпесі: Бұл оқиғалар Hugging Face қауіпсіздік оқиғасына қатысы жоқ. Hugging Face оқиғасы туралы жаңартуларды осында жариялап отырамыз.
Жаңа оқиғаларда OpenAI модельдері әдеттегі қолданыс жағдайларын көрсетпейтін арнайы шарттар мен қорғаныс шаралары әлсіретілген конфигурациялар аясында бөгде тараптар жүргізген кибербағалаулар кезінде жалпыға ашық интернетке кірген. Бұл оқиғаларға мыналар кірді:
- Ұлыбритания үкіметінің ЖИ қауіпсіздігі институты (UK AISI) агенттер өз құралдарын тауып, нақты шабуылдаушыға жақын жағдайларда әрекет ете алуы үшін интернетке кіру әдейі қосылған және негізгі мүмкіндіктерді өлшеу үшін киберсыныптауыштар өшірілген киберсынақ аймақтарында бағалау жүргізді. Олардың блогын осы жерден(жаңа терезеде ашылады) оқи аласыз.
- Киберқауіпсіздік бойынша сыртқы сынақ серіктестеріміздің бірі — Irregular — интернеттен оқшаулануға тиіс Capture-the-Flag форматындағы бағалаулар жүргізді, алайда сынақ ортасындағы қате конфигурация модельдерге жалпыға ашық интернетке кіруге мүмкіндік берді.
Төменде не болғанын, бұл әрекетке мүмкіндік берген сынақ жағдайларын, оны шектеу үшін жасалған қадамдарды және тәуелсіз зертханалардың мүмкіндігі артып келе жатқан модельдерді әрі қарай да қатаң әрі қауіпсіз бағалауын қамтамасыз ету үшін атқарып жатқан жұмысымызды қорытындылаймыз.
Бұл оқиғалар Hugging Face оқиғасы туралы жуырдағы жазбамызда сипаттаған сол ауқымды мәселені көрсетеді: модельдердің мүмкіндіктері артқан сайын модельдерді қорғау және олардың қауіпсіздігін қамтамасыз ету жүйелері де жетілуі керек. Бұған модельдерді әзірлеу орталары да, зертханалар мен тәуелсіз серіктестер оларды бағалау үшін пайдаланатын орталар да кіреді.
Алдағы апталарда тәуекелі жоғары бағалауларды анықтау, олардың ауқымын келісу, интернетке кіруді қосу немесе қорғаныс шараларын әлсірету туралы өтініштерді бағалау, оқшаулау, тіркелгі деректерін басқару, мониторинг және тоқтату шарттарына қатысты талаптарды белгілеу, сондай-ақ оқиғалар туралы хабарлау және оларды тиісті тараптарға жедел жеткізу үдерістерін нақтылау мәселелерін қоса алғанда, бөгде тараптар жүргізетін сынақтарға деген тәсілімізді қайта қараймыз.
Тәуекелі жоғары бағалауларды қауіпсіз жүргізудің ортақ тәжірибелерін нығайту үшін бүкіл саламен жұмыс істеуге міндеттіміз. Соның ішінде алдағы апталарда ұлттық ЖИ институттары, тәуелсіз бағалаушылар, басқа ЖИ зертханалары мен өзге топтар сияқты мүдделі тараптарды біріктіреміз. Мақсатымыз — сынақ тәжірибелерінің мүмкіндігі артып келе жатқан модельдерге сай дамуын қамтамасыз ете отырып, қатаң тәуелсіз бағалаудың құндылығын сақтау.
3 тамызда UK AISI бізге 25 шілдеде басталған жоспарлы кибербағалау кезінде OpenAI мен басқа зертхананың модельдері кей жағдайларда сынақ ауқымынан шығып кеткенін хабарлады. Бағалау нақты желілерге ұқсатып жасалған, басқарылатын киберсынақ аймақтарында өтті. Анықталған 19 оқиғаның екеуіне OpenAI моделі GPT‑5.6 Sol қатысты. Қалған жағдайларда басқа зертхананың модельдері қатысты.
Бұл бағалауда агенттерге Capture-the-Flag (CTF) жаттығуында киберқауіпсіздік мамандары ретінде әрекет ету тапсырылды: өзара байланысқан үш симуляцияланған ортаны бұзып, соңғы жалауды алу. Тапсырма көмексөзінде сынақ ауқымына кіретін желілер көрсетіліп, бірнеше жүйе ауқымнан тыс деп белгіленді. UK AISI агенттер құралдарды жүктеп алып, адам шабуылдаушысына жақын жағдайларда әрекет ете алуы үшін интернетке тікелей кіруді қосты, сондай-ақ негізгі мүмкіндіктерді өлшеу үшін модельдің киберсыныптауыштарын өшірді.
UK AISI белгілеген рұқсат шекарасы симуляцияланған киберсынақ аймағы болды: агенттерге көрсетілген симуляцияланған желілерге шабуыл жасап, жалауды алуға рұқсат берілді, бірақ аймақ желісінің шекарасынан тыс жүйелермен әрекеттесуге рұқсат берілмеді. Алайда агенттерге ашық интернетке кіруді қалай пайдалануға болатыны және болмайтыны нақты айтылмаған. UK AISI мұны оқиғаға ықпал етуі мүмкін себептердің бірі деп санайды.
Осы сынақтар барысында UK AISI GPT‑5.6 Sol симуляцияланған аймаққа кіру жолын тауып, жалауды алуға тырысқанда екі рұқсатсыз әрекет жасағанын анықтады:
- GPT‑5.6 Sol басқа зертхананың агенті жалпыға ашық күйде қалдырған GitHub токенін қайта пайдаланып, сынақ аймағындағы жүйенің GitHub-қа немесе басқа жаңарту қызметіне мерзімді түрде сұраныс жіберіп жатқан-жатпағанын тексерді, тіркелгіні қалпына келтіру және сұраныс шектеулерін айналып өту жолдарын қолдануға әрекет жасады, сондай-ақ сыртқы DNS және туннельдеу провайдерлерінде тіркелгілер ашты.
- GPT‑5.6 Sol бағалау ортасында жергілікті түрде жұмыс істейтін DNS серверін жалпыға ашық интернеттен қолжетімді ету үшін ашық туннельдеу қызметін пайдаланды. Серверде сынақ аймағында жұмыс істейтін бағдарламалық жасақтаманың белгілі осалдығын пайдалануға арналған зиянды кодтар болды. Бұл конфигурация жұмыс істемеді, оған қандай да бір нақты резолвер сұрау жібергеніне дәлел жоқ, ал бағалау аяқталған соң инфрақұрылым жойылды.
Модель киберсынақ аймағындағы тапсырманы орындауға тырысқанымен, UK AISI бұл әрекеттерді рұқсатсыз деп санады, өйткені олар аймақ шекарасынан тыс нақты сыртқы тіркелгілер мен қызметтерді қамтыды және тапсырманы орындау үшін қажет болмады. DNS сервері жалпыға ашық интернетте осалдықты пайдаланатын зиянды кодтарды да орналастырды, алайда конфигурация жұмыс істемеді және оған қандай да бір нақты резолвер сұрау жібергеніне дәлел жоқ.
Қауіпсіздік мониторингі әдеттен тыс дерек тасымалын тіркегеннен кейін, UK AISI бұл әрекетті 28 шілдеде анықтады. Ол тиісті бағалауларды тоқтатып, оқиғаға қатысты машиналарды оқшаулады және әрекет анықталғаннан кейін шамамен бір сағат ішінде оны шектеді.
UK AISI-дің осы үдеріс барысындағы серіктестігін, соның ішінде әрекетті анықтау, тергеу және ол туралы мәліметтермен бөлісу жөніндегі жұмысын жоғары бағалаймыз. Ынтымақтастығымызды әрі қарай жалғастыруға ниеттіміз.
29 шілдеде бөгде тараптар жүргізетін бағалаулар бойынша серіктестеріміздің бірі — Irregular — Capture-the-Flag (CTF) форматындағы киберқауіпсіздік бағалаулары кезінде OpenAI модельдеріне қатысты оқиға туралы бізге хабарлады. Модельдерге симуляцияланған ортадағы осалдықтарды пайдалану арқылы жасырын ақпаратты табу тапсырылды және оларға интернетке қол жеткізу мүмкіндігі жоқ екені айтылды. Алайда сынақ ортасындағы қате конфигурация модельдерге жалпыға ашық интернетке кіруге мүмкіндік берді.
Сынақтардың бірінде CTF тапсырмасындағы ойдан шығарылған нысанның атауы байқаусызда нақты доменмен сәйкес келді. Сынақ ортасы қателікпен интернетке қосылғандықтан, модель нақты веб-сайтты симуляцияланған ортаның бөлігі деп ойлап, оның осалдығын пайдаланды. Бұл күрделі оқшауланған ортадан шығу немесе нөлдік күн осалдығын пайдалану оқиғасы емес: интернетке қолжетімділік қате конфигурациядан туындады, ал модель қарапайым қауіпсіздік осалдығын пайдаланғанға ұқсайды.
Irregular жүргізген тергеуге сәйкес, модель сол сайтты басқаруға мүмкіндік беретін тіркелгі деректерін де тауып, пайдаланған. Irregular зардап шеккен сайттың өз деректерінен тыс қандай да бір әсерді анықтаған жоқ, ал аудит әлі жалғасып жатыр. Компания бағалауларды уақытша тоқтатып, ақауларды түзетуге кірісті және зардап шеккен бөгде тараптарға хабарлады. Irregular оқиғаға қатысты анықталған барлық мәселе жойылғанын және сынақ ортасына тиісті қорғаныс шаралары енгізілгенін бізге хабарлады. Сондай-ақ Irregular сол сынақ ортасында басқа зертханаларға қатысты болған ұқсас оқиғалар туралы ақпарат берді.
Irregular серіктестігін бағалаймыз және олардың тексеруіне қолдау көрсету үшін тығыз жұмыс істей береміз. Irregular кибербағалауларды қауіпсіз өткізу және олардың ауқымын шектеу жөніндегі озық тәжірибелермен бөлісу үшін ақ кітап әзірлеп жатыр. Нәтижелерді қауымдастыққа қолжетімді ету үшін ақ кітапты әзірлеуге қатысып, серіктестігімізді жалғастыруға ниеттіміз. Мұндай ынтымақтастықты қазіргі және болашақ модельдерді қауіпсіз әрі жан-жақты бағалаудың маңызды шарты деп санаймыз.
