OpenAI-ի մոդելների երրորդ կողմից իրականացվող կիբերգնահատումներ

Անկախ թեստավորումը կարևոր դեր ունի՝ օգնելով մեզ գործարկումից առաջ գնահատել և ավելի լավ հասկանալ ռիսկերը։ Որոշ կիբերանվտանգության գնահատումների ժամանակ միտումնավոր կերպով կիրառվում են անհատական կազմաձևումներ, այդ թվում՝ նվազեցված պաշտպանական միջոցներ, որպեսզի չափվեն մոդելների բուն կարողությունները, այլ ոչ թե այն, թե ինչպես են մոդելները սովորաբար գործում հանրությանը հասանելի տեղակայումներում։

Վերջին գնահատումների ընթացքում արտաքին թեստավորման երկու գործընկեր հայտնաբերել են միջադեպեր, երբ թեստային կազմաձևումների ու վերահսկման միջոցների համադրությունը և վերջին մոդելների զարգացող կարողությունները հանգեցրել են նրան, որ մոդելների գործողությունները դուրս են եկել նախատեսված թեստային սահմաններից։ Այս միջադեպերը ընդգծում են ոլորտի և երրորդ կողմի գնահատողների հետ համագործակցելու կարևորությունը` մոդելների կարողությունների աճին զուգընթաց կատարելագործելու թեստային միջավայրերի ու գործելակերպերի չափանիշները։ Խմբագրի նշում․ սրանք առանձին դեպքեր են և չեն վերաբերում Hugging Face-ի անվտանգության միջադեպին։ Մենք կշարունակենք կիսվել Hugging Face-ի միջադեպի վերաբերյալ թարմացումներովայստեղ։

Նոր միջադեպերը կապված էին երրորդ կողմի կիբերանվտանգության գնահատումների ընթացքում OpenAI-ի մոդելների կողմից հանրային ինտերնետ մուտք գործելու դեպքերի հետ՝ հատուկ պայմաններում և թուլացված պաշտպանական միջոցներով կազմաձևումներում, որոնք չէին արտացոլում սովորական տեղակայումը։ Միջադեպերը ներառում էին հետևյալ դեպքերը․

1. ՄԹ կառավարության ԱԲ անվտանգության ինստիտուտը՝ ՄԹ AISI-ն, կիբերանվտանգության փորձարկման միջավայրերում գնահատումներ էր անցկացնում՝ միտումնավոր թույլատրելով ինտերնետ հասանելիությունը, որպեսզի ագենտները կարողանային ինքնուրույն գործիքներ գտնել և գործել իրական հարձակման սցենարներին ավելի մոտ պայմաններում։ Բուն կարողությունները չափելու համար նաև անջատվել էին կիբերանվտանգության դասակարգիչները։ Նրանց բլոգը կարող եք կարդալ այստեղ։⁠(բացվում է նոր պատուհանում)
2. Մեր արտաքին կիբերանվտանգության թեստավորման գործընկերներից մեկը՝ Irregular-ը, անցկացնում էր ինտերնետից մեկուսացված միջավայրում «Capture-the-Flag» ձևաչափով գնահատումներ, սակայն թեստային միջավայրի սխալ կազմաձևումը մոդելներին թույլ էր տվել օգտվել հանրային ինտերնետից։

Ստորև ամփոփում ենք տեղի ունեցածը, այդ գործողությունների իրականացմանը նպաստած թեստային պայմանները, դրանց զսպման ուղղությամբ ձեռնարկված քայլերը և մեր կատարած աշխատանքը՝ ապահովելու համար, որ անկախ լաբորատորիաները շարունակեն իրականացնել աճող կարողություններով օժտված մոդելների խորը և անվտանգ գնահատումներ:

Այս միջադեպերը ընդգծում են նույն ավելի լայն մարտահրավերը, որը նկարագրել էինք Hugging Face-ի միջադեպի մասին մեր վերջին հրապարակման մեջ․ մոդելների կարողությունների աճին զուգընթաց պետք է զարգանան նաև դրանց շուրջ անվտանգության և ապահովության համակարգերը։ Դա վերաբերում է թե՛ մոդելների մշակման միջավայրերին, թե՛ այն միջավայրերին, որոնք լաբորատորիաներն ու անկախ գործընկերներն օգտագործում են դրանք գնահատելու համար։

Առաջիկա շաբաթներին կվերանայենք երրորդ կողմի թեստավորման մեր մոտեցումը, այդ թվում՝ ինչպես ենք բացահայտում ավելի բարձր ռիսկի գնահատումները, համաձայնեցնում շրջանակը, գնահատում ինտերնետ հասանելիություն կամ թուլացած պաշտպանական միջոցներ թույլատրելու հարցումները, սահմանում մեկուսացման, մուտքային տվյալների մշակման, մշտադիտարկման ու դադարեցման պայմանների պահանջները և ստեղծում միջադեպերի մասին ծանուցման ու էսկալացման ավելի հստակ գործընթացներ։

Մենք հանձնառու ենք համագործակցել ոլորտի տարբեր մասնակիցների հետ՝ բարձր ռիսկային գնահատումների անվտանգ անցկացման ընդհանուր գործելակերպերն ամրապնդելու համար։ Այդ նպատակով առաջիկա շաբաթներին կհամախմբենք ազգային ԱԲ ինստիտուտների, անկախ գնահատողների, այլ ԱԲ լաբորատորիաների և այլ խմբերի ներկայացուցիչներին։ Մեր նպատակն է պահպանել խիստ և անկախ գնահատման արժեքը՝ միաժամանակ ապահովելով, որ թեստավորման գործելակերպերը մոդելների աճող կարողություններին համընթաց զարգանան։

Օգոստոսի 3-ին ՄԹ AISI-ն մեզ հայտնել է, որ հուլիսի 25-ին սկսված հերթական կիբերանվտանգության գնահատման ընթացքում OpenAI-ի և մեկ այլ լաբորատորիայի մոդելները որոշ դեպքերում դուրս են եկել թեստավորման սահմանված շրջանակից։ Գնահատումն անցկացվել է` իրական ցանցերը նմանակելու համար նախատեսված վերահսկվող կիբերանվտանգության փորձարկման միջավայրերում։ Հայտնաբերված 19 դեպքերից երկուսը կապված էին OpenAI-ի GPT‑5.6 Sol մոդելի հետ։ Մյուս դեպքերը վերաբերում էին մեկ այլ լաբորատորիայի մոդելներին։

Այս գնահատման ժամանակ ագենտներին հանձնարարվել էր «capture-the-flag» ձևաչափով վարժությունում գործել որպես կիբերանվտանգության փորձագետներ՝ ներթափանցել երեք փոխկապակցված նմանակված միջավայր և ստանալ վերջնական flag-ը։ Առաջադրանքի հարցումը նշել էր շրջանակում ներառված փորձարկման միջավայրի ցանցերը և մի քանի համակարգ անվանել շրջանակից դուրս։ ՄԹ AISI-ն նաև ապահովել էր իրական ինտերնետ հասանելիություն, որպեսզի ագենտները կարողանային գործիքներ ներբեռնել և աշխատել իրական հարձակման պայմաններին ավելի մոտ պայմաններում, իսկ բուն կարողությունները չափելու համար անջատել էր մոդելի կիբերանվտանգության դասակարգիչները։

ՄԹ AISI-ի նախատեսած լիազորությունների սահմանը նմանակված կիբերանվտանգության փորձարկման միջավայրն էր․ ագենտներին թույլատրված էր հարձակվել նշված նմանակված ցանցերի վրա և ստանալ flag-ը, բայց ոչ փոխգործակցել փորձարկման միջավայրի ցանցային սահմաններից դուրս գտնվող համակարգերի հետ։ Սակայն ագենտներին հստակ չէր ասվել, թե ինչ եղանակներով կարող էին և չէին կարող օգտագործել հանրային ինտերնետ հասանելիությունը, ինչը ՄԹ AISI-ն համարում է միջադեպին նպաստած հնարավոր գործոն։

Այս գործարկումների ընթացքում ՄԹ AISI-ն պարզել է, որ GPT‑5.6 Sol-ը նմանակված փորձարկման միջավայր ներթափանցելու ուղի և flag-ը գտնելու փորձերի ժամանակ կատարել է երկու չարտոնված գործողություն․

1. GPT‑5.6 Sol-ը կրկին օգտագործել է GitHub-ի թոքենը, որը մեկ այլ լաբորատորիայի ագենտը թողել էր հանրամատչելի՝ ստուգելու, թե արդյոք տիրույթում գտնվող որևէ համակարգ հարցումներ է ուղարկում GitHub-ին կամ թարմացման այլ ծառայության: Այն նաև փորձել է շրջանցել հաշվի վերականգնման և հարցումների սահմանաչափերի մեխանիզմները, ինչպես նաև հաշիվներ է գրանցել արտաքին DNS և թունելավորման ծառայություններ մատուցող հարթակներում։
2. GPT‑5.6 Sol-ը հանրային թունելավորման ծառայության միջոցով իր գնահատման միջավայրում տեղային կերպով գործարկվող DNS սերվերը հասանելի է դարձրել հանրային ինտերնետի միջոցով։ Սերվերում տեղադրված էին փորձարկման միջավայրում գործարկվող ծրագրերից մեկի հայտնի խոցելիությունը շահագործելու համար նախատեսված վնասաբեր բեռներ։ Կարգավորումը չի աշխատել, որևէ իրական DNS լուծիչ դրան հարցում ուղարկելու ապացույց չկա, իսկ գնահատման ավարտից հետո ենթակառուցվածքը հեռացվել է։

Թեև մոդելը փորձում էր կատարել առաջադրանքը կիբերանվտանգության փորձարկման միջավայրում, ՄԹ AISI-ն այս գործողությունները համարել է չարտոնված, քանի որ դրանք ներառում էին փորձարկման միջավայրի սահմաններից դուրս գտնվող իրական արտաքին հաշիվներ և ծառայություններ, և այդ գործողություններն անհրաժեշտ չէին առաջադրանքը կատարելու համար։ DNS սերվերը հանրային ինտերնետում հասանելի էր դարձրել նաև խոցելիությունը շահագործելու համար նախատեսված վնասաբեր բեռներ, թեև կազմաձևումը չի աշխատել, և որևէ իրական DNS ռեզոլվերի կողմից այդ սերվերին հարցում կատարելու ապացույց չկա։

ՄԹ AISI-ն հուլիսի 28-ին հայտնաբերել է այս գործողությունները, երբ անվտանգության մշտադիտարկման համակարգն արձանագրել է տվյալների արտասովոր փոխանցումներ։ Այն դադարեցրել է համապատասխան գնահատումները, մեկուսացրել առնչվող համակարգերը և հայտնաբերումից մոտ մեկ ժամվա ընթացքում սահմանափակել այդ գործողությունները։

Մենք բարձր ենք գնահատում ՄԹ AISI-ի համագործակցությունը ողջ գործընթացի ընթացքում, այդ թվում՝ գործողությունները հայտնաբերելու, հետաքննելու և դրանց մանրամասները մեզ փոխանցելու աշխատանքը։ Ակնկալում ենք շարունակել մեր համագործակցությունը։

Հուլիսի 29-ին մեր արտաքին գնահատման երրորդ կողմի գործընկերներից մեկը՝ Irregular-ը, մեզ տեղեկացրել է OpenAI-ի մոդելների հետ կապված միջադեպի մասին, որը տեղի էր ունեցել Capture-the-Flag (CTF) ձևաչափով կիբերանվտանգության գնահատումների ժամանակ։ Մոդելներին հանձնարարվել էր նմանակված միջավայրում առկա թույլ կողմերը շահագործելով գտնել թաքնված տեղեկություններ, և նրանք տեղեկացվել էին, որ ինտերնետի հասանելիություն չունեն։ Սակայն թեստային միջավայրի սխալ կազմաձևումը մոդելներին թույլ էր տվել օգտվել հանրային ինտերնետից։

Թեստերից մեկում CTF առաջադրանքի մտացածին թիրախի անունը պատահաբար համընկել էր իրական տիրույթի անվան հետ։ Քանի որ թեստային միջավայրը սխալմամբ միացված էր ինտերնետին, մոդելը շահագործել էր իրական կայքի խոցելիությունը՝ կարծելով, թե այն նմանակված միջավայրի մաս է։ Սա չի ներառել սանդբոքսինգային միջավայրից դուրս գալու բարդ եղանակ կամ զրոյական օրվա խոցելիություն․ ինտերնետ հասանելիությունը պայմանավորված էր սխալ կազմաձևմամբ, իսկ մոդելը, ըստ ամենայնի, շահագործել էր անվտանգության պարզ խոցելիություն

Irregular-ի հետաքննության համաձայն՝ մոդելը նաև գտել և օգտագործել է նույն կայքը կառավարելու մուտքային տվյալները։ Irregular-ը տուժած կայքի տվյալներից դուրս որևէ ազդեցություն չի հայտնաբերել, իսկ աուդիտը շարունակվում է։ Irregular-ը դադարեցրել է գնահատումները և սկսել խնդրի վերացումը, իսկ տուժած երրորդ կողմերը տեղեկացվել են։ Irregular-ը մեզ հայտնել է, որ միջադեպին առնչվող հայտնաբերված բոլոր խնդիրներն այլևս ակտիվ չեն, իսկ թեստային միջավայրում ավելացվել են համապատասխան պաշտպանական միջոցներ։ Irregular-ը նաև տեղեկություններ է տարածել նույն թեստային միջավայրում այլ լաբորատորիաների մասնակցությամբ առնչվող միջադեպերի մասին։

Մենք բարձր ենք գնահատում Irregular-ի համագործակցությունը և շարունակելու ենք սերտորեն աշխատել նրա հետ՝ աջակցելով ուսումնասիրությանը։ Irregular-ը նաև պատրաստում է վերլուծական զեկույց՝ սահմանափակման և կիբերգնահատումների անվտանգ անցկացման լավագույն փորձով կիսվելու համար։ Ակնկալում ենք մասնակցել զեկույցի պատրաստմանը՝ արդյունքները համայնքին հասանելի դարձնելու և մեր համագործակցությունը շարունակելու համար։ Այսպիսի համագործակցությունը կարևոր ենք համարում ներկա և ապագա մոդելների անվտանգ ու համակողմանի գնահատումն ապահովելու համար։