SweetSpecter: сајбер активности повезане са Кином
OpenAI је блокирао налоге вероватно повезане са нападачем SweetSpecter, за кога се сумња да делује из Кине и који је користио ВИ за истраживање рањивости, писање кода и подршку циљаним фишинг нападима.
Ова студија случаја првобитно је објављена у извештају компаније OpenAI из октобра 2024.(отвара се у новом прозору) године.
Актер
Идентификовали смо и блокирали налоге који су, према процени поузданог извора, вероватно припадали нападачу за кога се сумња да делује из Кине. Преко тих налога покушавао је да користи наше моделе за подршку својим офанзивним сајбер операцијама, док је истовремено спроводио циљане фишинг нападе на наше запослене и владе широм света. Овај нападач, чије се активности јавно прате под називом SweetSpecter, појавио се 2023. године. Према нашим сазнањима, ово је први пут да је јавно утврђено да је међу његовим метама и компанија из САД која се бави вештачком интелигенцијом. Ранији извештаји наводили су да су његове активности биле усмерене на политичке субјекте на Блиском истоку, у Африци и Азији.
Понашање
У мају 2024. добили смо дојаву од поузданог извора чији је безбедносни тим уочио да SweetSpecter шаље циљане фишинг имејлове са злонамерним прилозима на службене и личне имејл адресе неких наших запослених.
Верзија имејла са прикривеним осетљивим подацима, који је SweetSpecter послао малом броју наших запослених. Наши безбедносни системи блокирали су ове имејлове. Слику је уступила компанија Proofpoint.
У тим имејловима SweetSpecter се представљао као корисник услуге ChatGPT који тражи помоћ од запослених на мети напада. Имејлови су садржали злонамерни прилог под називом „some problems.zip“, у коме се налазила LNK датотека. Та датотека је садржала код који би, по њеном отварању, кориснику приказао DOCX датотеку са списком наводних порука о грешкама и сервисних обавештења из услуге ChatGPT. Међутим, у позадини би се дешифровао и извршио злонамерни софтвер за Windows познат као SugarGh0st RAT. Овај злонамерни софтвер осмишљен је да нападачу SweetSpecter омогући контролу над компромитованим рачунаром, укључујући извршавање произвољних команди, прављење снимака екрана и крађу података.
Безбедносни тим компаније OpenAI контактирао је запослене за које се веровало да су били мете ове циљане фишинг кампање и утврдио да су постојеће безбедносне мере спречиле да имејлови уопште стигну у њихове службене сандучиће.
Садржај мамца из једне од анализираних злонамерних LNK датотека, који би се приказао при њеном извршавању.
Током целог процеса, сарадња са партнерима из сектора имала је кључну улогу у откривању ових неуспелих покушаја компромитовања налога запослених. То показује колико су размена обавештајних података о претњама и сарадња важне да бисмо у доба вештачке интелигенције били корак испред софистицираних нападача. Користећи размењена сазнања и заједничко стручно знање, можемо боље да заштитимо своје ресурсе и онемогућимо рад налога на платформи повезаних са таквим активностима.
Одговори модела
Током анализе шире инфраструктуре која је подржавала ову кампању, пронашли смо и онемогућили групу ChatGPT налога који су користили исту инфраструктуру у покушају да добију одговоре на питања и обаве задатке писања скрипти и истраживања рањивости. Ове интеракције повезали смо са тактикама, техникама и процедурама (TTP) које укључују велике језичке моделе (LLM), а које је Microsoft раније ове године предложио за укључивање у оквир MITRE ATT&CK®. Оквир MITRE бележи тактике и технике које сајбер нападачи користе у пракси. Навођењем ових веза желимо да ширу заједницу стручњака за сајбер безбедност обавестимо о уоченим тактикама, техникама и процедурама и помогнемо у побољшању ефикасности сајбер одбране.
У наставку су примери активности нападача SweetSpecter које одговарају овим тактикама, техникама и процедурама:
Активност | Категорија оквира ATT&CK за велике језичке моделе (LLM) |
|---|---|
Постављање питања о рањивостима у различитим апликацијама | Извиђање на основу информација великог језичког модела (LLM) |
Постављање питања о томе како пронаћи одређене верзије библиотеке Log4j погођене критичном рањивошћу Log4Shell која омогућава даљинско извршавање кода (RCE) | Извиђање на основу информација великог језичког модела (LLM) |
Постављање питања о популарним системима за управљање садржајем који се користе у иностранству | Извиђање на основу информација великог језичког модела (LLM) |
Тражење информација о одређеним CVE бројевима | Извиђање на основу информација великог језичког модела (LLM) |
Постављање питања о томе како се праве алати за скенирање целог интернета. | Извиђање на основу информација великог језичког модела (LLM) |
Постављање питања о томе како би се sqlmap користио за отпремање потенцијалне веб командне љуске на циљни сервер. | Истраживање рањивости уз помоћ великог језичког модела (LLM) |
Тражење помоћи у проналажењу начина за искоришћавање слабости инфраструктуре познатог произвођача аутомобила. | Истраживање рањивости уз помоћ великог језичког модела (LLM) |
Достављање кода и тражење додатне помоћи за коришћење комуникационих услуга за програмско слање текстуалних порука. | Технике писања скрипти унапређене великим језичким моделом (LLM) |
Тражење помоћи у отклањању грешака током развоја проширења за алат за сајбер безбедност. | Технике писања скрипти унапређене великим језичким моделом (LLM) |
Тражење помоћи у отклањању грешака у коду који је део ширег програмског оквира за слање текстуалних порука на бројеве које одреди нападач. | Развој уз помоћ великог језичког модела (LLM) |
Тражење тема које би биле занимљиве запосленима у државним службама и предлога назива прилога који би помогли да се избегне блокирање. | Социјални инжењеринг уз подршку великог језичког модела (LLM) |
Тражење варијанти поруке за регрутовање кандидата за посао коју је доставио нападач. | Социјални инжењеринг уз подршку великог језичког модела (LLM) |
Током целе истраге, наши безбедносни тимови користили су ChatGPT за анализу, категоризацију, превођење и сажимање интеракција са налога нападача. То нам је омогућило да брзо дођемо до увида из великих скупова података, уз минималне ресурсе потребне за тај рад. Како наши модели буду напредовали, очекујемо да ћемо ChatGPT моћи да користимо и за обрнути инжењеринг и анализу злонамерних прилога послатих запосленима.
Утицај
У складу са запажањима из нашег првог извештаја о претњама, није деловало да је коришћење наших модела нападачима пружило нове могућности или смернице до којих иначе не би могли да дођу из бројних јавно доступних извора. Наши безбедносни механизми блокирали су злонамерне имејлове нападача пре него што су стигли у сандучиће запослених.