Block OpenAI көмегімен ЖИ негізіндегі қауіпсіздікті қалай құрады

Square, Cash App және Afterpay сервистерін ұсынатын Block компаниясының қауіпсіздік тобы OpenAI Defense Factory жүйесін пайдаланады. Бұл жүйеде жасанды интеллект осалдықтарды іздеу, анықтау және оларға ден қою міндеттерін адамдардан құралған ешбір топ үлгере алмайтын ауқымда орындайды. OpenAI Daybreak жүйесін қоса алғанда, жасанды интеллект жүйелерінің көмегімен Block бұрын бірнеше аптаға созылатын жұмыстарды енді бірнеше сағатта атқарады.

Block компаниясының қауіпсіздік тобы код генерациясынан бастап қауіпсіздік операцияларына дейінгі түрлі жұмыс процестеріне жасанды интеллектіні жауапкершілікпен енгізуге баса назар аударып келеді. «Мұндағы негізгі идея — жұмыс ауқымын бірге кеңейте алатын жаңа команда мүшесінің болуы», — дейді ақпараттық қауіпсіздік жөніндегі директор Джеймс Неттесхайм. «Бұл әр қадамды жеке-жеке орындауды талап ететін дәстүрлі автоматтандыруға ұқсамайды. Оған нақты бір жағдайға тән, толық айқындалмаған мәселені көмексөз арқылы ұсынып, оны бірге талдап, шешуге болады».

Бағдарламалық жасақтамадағы қатені тексеру немесе журнал жазбаларын талдау сияқты жұмыстарды орындауға бірнеше күн, тіпті бірнеше апта кететін. Енді команда бұл жұмыстарды бұрынғыдан әлдеқайда аз уақытта аяқтай алады, әрі әрбір нәтижені адам әлі де тексереді.

Мысалы, қауіп-қатерлерді анықтау тетіктерін баптау кезінде әрбір зерттеу барысында сұраулардан алынған бастапқы дәлелдік деректер сақталады. Соның арқасында команда анықтау тетігіне ұсынылған өзгерісті нақты жұмыс істеп тұрған жүйеден жиналған жеті айлық телеметриялық деректер негізінде бір сағатқа жетпейтін уақытта қайта тексере алады. Бұрын бұл үшін жүздеген бұрынғы оқиға бойынша сұрауларды қолмен қайта орындау қажет болатын. Алайда бұл жұмыс көп уақыт алатындықтан, іс жүзінде мұндай тексерулер сирек жүргізілетін.

Команда әр тапсырма үшін қандай модельді қолдану керегін де мұқият таңдай бастады. «Бұрын біз әрдайым ең жаңа модельді қолданатынбыз, бірақ қазір мұның қажеті жоқ», — дейді ол. «Әртүрлі тапсырма орталарға сәйкес модельдерді таңдауды тәжірибе барысында үйрендік». Block компаниясының қауіпсіздікке арналған жүйесі Daybreak негізінде құрылған және тапсырмаларды ең қолайлы модельге бағыттауға көмектеседі. Сондай-ақ жүйеде адамдарға тапсырмаларды өз қолына алуға немесе ЖИ агенттеріне бір-бірінің жұмысын тексеруге мүмкіндік беретін арнайы тетіктер қарастырылған. Команда бұл жүйелерді ішкі бағалау көрсеткіштері мен нақты жұмыс жағдайындағы нәтижелер негізінде үнемі бағалап отырады және қажет болған жағдайда жұмыс тәсілін өзгертеді. Бұған жауапты шешім қабылдау үшін қажет болғанда тапсырмаларды адамның тексеруіне жіберу де кіреді.

Автоматтандырылған бастапқы талдау жүйесінің арқасында жұмыстар жылдамырақ орындалып, олардың көлемі де артты. Block компаниясының қауіпсіздік тобында бастапқы талдаудың өткізу қабілеті 50%-ға, ал қауіп-қатерлер туралы ақпарат жинау және оларды зерттеу жұмыстарының көлемі 50%-ға өсті. Сонымен қатар қауіп-қатерлерді автономды түрде іздеудің мүлде жаңа мүмкіндігі пайда болды. Неттесхайм былай дейді: «Бұл жүйе әр тоқсан сайын талдаушының шамамен 1 100 сағаттық зерттеу жұмысына тең көлемдегі жұмысты атқарады. Өйткені қазір әрбір қауіп туралы ескертуге қатысты барлық аспектілер толық әрі терең зерттеледі. Жүйеміз әрбір ескертуді сол күні келіп түскен жалғыз ескерту сияқты мұқият тексереді».

Дәстүрлі сканерлеу құралдары осалдықтарды бір-бірінен бөлек анықтап, белгілейді, ал Block компаниясының қауіпсіздік тобы Daybreak көмегімен әлдеқайда терең талдау жүргізе алады. Модель шабуылдардың ықтимал үлгілері туралы болжам жасауға және бірнеше шабуылды жүйенің қауіпсіздігін толық бұзуға апаратын біртұтас тізбекке біріктіруге көмектеседі. Осылайша жылдар бойы сақталып келген болуы мүмкін осалдықтар анықталады.

Бір жағдайда бір ноутбуктен түскен ескерту жеке қарастырғанда қауіпсіздік саясатына қатысты болмашы мәселе болып көрінді. Алайда өзара тексеру барысында модель дәлелдік деректерде жанама түрде ғана байқалған индикаторды зерттеп, оны Block компаниясының пайдаланушыларды сәйкестендіру журналдарындағы деректермен байланыстырып, әлдеқайда ауқымды мәселелерді анықтады. «Соңғы құрылғыдан түскен бір әдеттегі ескерту тұтас шабуыл науқанын тоқтатуға әкелді. Мұндай байланысты бірде-бір құрал жеке өзі анықтай алмайды. Бұл белгіні екі өнімнің журналдарындағы деректерді біріктіргенде ғана байқауға болады», — дейді Джеймс.

Daybreak көмектескен тағы бір жағдай жуырда өткізілген «қызыл команда» жаттығуы кезінде болды. Модельге ішкі жүйе туралы бірнеше бастапқы мәлімет берілді. Соның негізінде ол шамамен екі сағат ішінде SQL-инъекцияны, қол жеткізу құқықтарын арттыруды, жүйеге бастапқы қол жеткізуді, тіркелгі деректерін анықтап, тізімдеуді және басқа жүйелерге өтуді қамтитын толық шабуыл тізбегін құрды. Әдетте мұндай жұмысты орындауға «қызыл команда» маманының бірнеше күні кететін еді. Жуырдағы «қызыл команда» жаттығуларында осалдықтың жалпы сипаттамасын жіберген сәттен бастап автоматты түрде түзету ұсынылғанға дейін небәрі 18 минут өтті.

Осалдықтарды анықтаудың тиімділігі оларды жою мүмкіндігіне тікелей байланысты. Неттесхайм командасының әрбір анықталған осалдық бойынша қолданатын жұмыс процесін түсіндіреді: алдымен мәселенің кодтағы орнын және оған жауапты маманды анықтап, содан кейін оны жоюға кіріседі. «Алдымен түзету нұсқасын ұсынасыз, осалдықты шабуыл жасау үшін пайдалануға болатынын растайсыз, содан кейін оның шынымен жойылғанын тексересіз. Осы процесте адам жұмысты бағыттап, кодқа енгізілген өзгерістерді қолданысқа енгізеді».

ЖИ агенттері техникалық тұрғыдан қабілетті болғанымен, олар ұйымның жұмыс контексін және бұрын қабылданған шешімдердің негізінде жатқан ой қорыту процесін өздігінен түсіне алмайды. Бұл контекст пен стратегиялық бағытты адам қамтамасыз етеді, ал Неттесхаймның командасы нәтижелерді адам тарапынан қосымша тексеруден өткізеді. Жасанды интеллектінің шешім қабылдау қабілеті іс жүзінде өзінің сенімділігін дәлелдеген сайын, Неттесхайм: «Біз оны біртіндеп тәуекел деңгейі жоғарырақ, анағұрлым сезімтал жүйелерде қолдана бастаймыз», — дейді.

• Жеті айлық телеметрия деректері негізінде анықтау тетігіне ұсынылған өзгерісті қайта тексеруге бір сағаттан аз уақыт кетеді.

• Жуырдағы «қызыл команда» жаттығулары кезінде осалдықтың жалпы сипаттамасын жіберген сәттен бастап автоматты түрде түзету нұсқасы ұсынылғанға дейін небәрі 18 минут өтті.

• Жалған дабылдарды бастапқы талдауға жұмсалатын уақыттан тоқсан сайын шамамен 600 талдаушы-сағат үнемделеді.

• Тоқсан сайын шамамен 1 100 талдаушы-сағатқа тең зерттеу жұмысы орындалады.

• Бастапқы талдаудың өткізу қабілеті 50%-ға артты.

• Қауіп-қатерлер туралы ақпарат жинау және зерттеу жұмыстарының көлемі 50%-ға артты.

Қауіп-қатерлерді анықтау және оларға ден қою жұмыстарының нәтижесінде бұрын жалған дабылдарды бастапқы талдауға жұмсалатын уақыттан әр тоқсан сайын шамамен 600 талдаушы-сағат босап отыр. Осы уақыттың арқасында команда енді қауіп-қатерлерді тереңірек зерттеуге және жаңа автоматтандыру шешімдерін жауапкершілікпен әзірлеуге көбірек көңіл бөледі.

Кибершабуылдардың қарқыны артып, жасанды интеллект модельдері жетіле түскен сайын, Неттесхайм осалдықтардың әуел бастан пайда болу санын азайтуға мүмкіндік бар деп есептейді. Бұл қауіпсіздік топтарына осалдықтарды түзетуге азырақ уақыт жұмсап, олардың алдын алу шаралары мен стратегиялық міндеттерге көбірек көңіл бөлуге мүмкіндік берер еді.

«OpenAI осы озық мүмкіндіктерді баршаға қолжетімді ету арқылы басымдықты қорғаушылар жағына ауыстырып жатыр», — дейді ол. «Бұрын мұндай мүмкіндіктер негізінен аса танымал технологиялық компаниялар мен мемлекеттік органдардың ғана қолында болатын. Ал енді маңызды инфрақұрылымды басқаратын ұйымдар, мектептер мен шағын кәсіпорындарды қоса алғанда, барлығы өз желілерін қорғау үшін осы технологияны пайдалана бастай алады».