SweetSpecter: Mga aktibidad sa cyberspace na may kaugnayan sa China
Ipinagbawal ng OpenAI ang mga account na malamang na pag-aari ng SweetSpecter, grupong pinaghihinalaang nasa China na gumagamit ng AI para magsaliksik ng mga kahinaan sa seguridad, magsulat ng code, at sumuporta sa spear phishing.
Unang inilathala ang pag-aaral na ito ng kaso sa ulat ng OpenAI noong Oktubre 2024(magbubukas sa bagong window).
Sangkot na grupo
Natukoy at ipinagbawal namin ang mga account na, batay sa pagsusuri ng isang mapagkakatiwalaang pinagmulan, ay malamang na pag-aari ng isang grupong pinaghihinalaang nasa China. Sinusubukan nilang gamitin ang aming mga modelo upang suportahan ang kanilang mga operasyong pang-atake sa cyberspace habang nagsasagawa rin ng mga spear phishing attack laban sa aming mga empleyado at mga pamahalaan sa iba't ibang panig ng mundo. Lumitaw noong 2023 ang grupong ito, na sinusubaybayan sa publiko sa pangalang SweetSpecter. Sa aming pagkakaalam, ito ang unang pagkakataong natukoy sa publiko na kabilang sa kanilang mga target ang isang kumpanya ng AI na nakabase sa U.S. Ayon sa mga ulat, dati silang nakatuon sa mga pulitikal na entidad sa Gitnang Silangan, Africa, at Asia.
Mga pagkilos
Noong Mayo 2024, nakatanggap kami ng impormasyon mula sa isang mapagkakatiwalaang pinagmulan. Napansin ng kanilang security team na nagpapadala ang SweetSpecter ng mga spear phishing email na may mapaminsalang attachment sa mga pangkumpanya at personal na email account ng ilan sa aming mga empleyado.
Bersyon ng email na ipinadala ng SweetSpecter sa iilan sa aming mga empleyado, na may ilang impormasyong tinakpan. Na-block ng aming mga sistema ng seguridad ang mga email na ito. Larawan sa kagandahang-loob ng Proofpoint.
Sa mga email na ito, nagpanggap ang SweetSpecter bilang isang gumagamit ng ChatGPT na humihingi ng tulong sa mga empleyadong tinatarget. May kasamang mapaminsalang attachment ang mga email na pinangalanang “some problems.zip”, na naglalaman ng isang LNK file. May code sa file na ito na, kapag binuksan, ay magpapakita sa gumagamit ng isang DOCX file na may listahan ng iba't ibang tila mensahe ng error at serbisyo mula sa ChatGPT. Pero sa background, ide-decrypt at patatakbuhin ang isang Windows malware na kilala bilang SugarGh0st RAT. Dinisenyo ang malware upang bigyan ang SweetSpecter ng kontrol sa nakompromisong computer at pahintulutan silang gumawa ng mga bagay tulad ng pagpapatakbo ng anumang command, pagkuha ng mga screenshot, at paglabas ng data nang walang pahintulot.
Nakipag-ugnayan ang security team ng OpenAI sa mga empleyadong pinaniniwalaang tinarget ng kampanyang ito ng spear phishing. Napag-alaman nilang napigilan ng mga umiiral na kontrol sa seguridad ang mga email bago pa makarating ang mga ito sa mga pangkumpanyang email account ng mga empleyado.
Pain na nilalaman mula sa isa sa mga sinuring mapaminsalang LNK file, na ipapakita kapag pinatakbo ang file.
Sa buong prosesong ito, mahalaga ang naging papel ng pakikipagtulungan namin sa mga partner sa industriya sa pagtukoy sa mga nabigong pagtatangkang ito na makompromiso ang mga account ng empleyado. Ipinapakita nito ang kahalagahan ng pagbabahagi ng impormasyon tungkol sa mga banta at ng pakikipagtulungan upang manatiling isang hakbang sa unahan ng mga umaatakeng gumagamit ng masalimuot na pamamaraan sa panahon ng AI. Sa paggamit ng ibinahaging kaalaman at pinagsama-samang kadalubhasaan, mas mapoprotektahan namin ang aming mga asset at mapipigilan ang paggamit ng mga account sa platform na nauugnay sa mga ganitong aktibidad.
Mga nabuong tugon
Habang sinusuri ang mas malawak na imprastrakturang sumusuporta sa kampanyang ito, natuklasan at pinigilan namin ang isang kumpol ng mga ChatGPT account na gumagamit ng parehong imprastraktura upang subukang sagutin ang mga tanong at tapusin ang mga gawain sa pagsulat ng script at pagsasaliksik ng mga kahinaan sa seguridad. Itinugma namin ang mga pakikipag-ugnayang ito sa mga taktika, pamamaraan, at proseso (TTP) na nauugnay sa LLM na iminungkahi ng Microsoft na isama sa MITRE ATT&CK® Framework sa unang bahagi ng taong ito. Itinatala ng MITRE Framework ang mga taktika at pamamaraang aktuwal na ginagamit ng mga umaatake sa cyberspace. Sa paglilista ng mga pagtutugmang ito, layunin naming ipaalam sa mas malawak na komunidad ng cybersecurity ang mga naobserbahang TTP at tumulong na gawing mas epektibo ang depensa laban sa mga cyberattack.
Narito ang ilang halimbawa ng mga aktibidad ng SweetSpecter na tumutugma sa mga TTP na ito:
Aktibidad | Kategorya sa LLM ATT&CK Framework |
|---|---|
Pagtatanong tungkol sa mga kahinaan sa seguridad ng iba't ibang application | Pangangalap ng impormasyon tungkol sa mga target gamit ang kaalaman mula sa LLM |
Pagtatanong kung paano maghanap ng mga partikular na bersyon ng Log4j na bulnerable sa kritikal na RCE na Log4Shell | Pangangalap ng impormasyon tungkol sa mga target gamit ang kaalaman mula sa LLM |
Pagtatanong tungkol sa mga sikat na sistema ng pamamahala ng content na ginagamit sa ibang bansa | Pangangalap ng impormasyon tungkol sa mga target gamit ang kaalaman mula sa LLM |
Paghingi ng impormasyon tungkol sa mga partikular na numero ng CVE | Pangangalap ng impormasyon tungkol sa mga target gamit ang kaalaman mula sa LLM |
Pagtatanong kung paano ginagawa ang mga scanner na sumasaklaw sa buong internet. | Pangangalap ng impormasyon tungkol sa mga target gamit ang kaalaman mula sa LLM |
Pagtatanong kung paano gagamitin ang sqlmap upang mag-upload ng posibleng web shell sa isang target na server. | Pagsasaliksik ng mga kahinaan sa seguridad sa tulong ng LLM |
Paghingi ng tulong sa paghahanap ng mga paraan upang pagsamantalahan ang mga kahinaan sa imprastraktura ng isang kilalang tagagawa ng sasakyan. | Pagsasaliksik ng mga kahinaan sa seguridad sa tulong ng LLM |
Pagbibigay ng code at paghingi ng karagdagang tulong sa paggamit ng mga serbisyo ng komunikasyon upang magpadala ng mga text message sa pamamagitan ng program. | Mga pamamaraan sa pagsulat ng script na pinahusay gamit ang LLM |
Paghingi ng tulong sa pag-debug habang gumagawa ng extension para sa isang tool sa cybersecurity. | Mga pamamaraan sa pagsulat ng script na pinahusay gamit ang LLM |
Paghingi ng tulong sa pag-debug ng code na bahagi ng mas malaking framework para sa pagpapadala ng mga text message sa pamamagitan ng program sa mga numerong tinukoy ng umaatake. | Pagbuo ng software sa tulong ng LLM |
Paghingi ng mga paksang magiging kawili-wili para sa mga empleyado ng mga kagawaran ng pamahalaan at ng mga angkop na pangalan para sa mga attachment upang hindi ma-block ang mga ito. | Social engineering na sinusuportahan ng LLM |
Paghingi ng iba't ibang bersyon ng isang mensahe sa pagre-recruit na ibinigay ng umaatake. | Social engineering na sinusuportahan ng LLM |
Sa buong imbestigasyong ito, ginamit ng aming mga security team ang ChatGPT upang suriin, ikategorya, isalin, at ibuod ang mga pakikipag-ugnayan mula sa mga account ng umaatakeng grupo. Dahil dito, mabilis kaming nakakuha ng mahahalagang kaalaman mula sa malalaking dataset habang binabawasan ang mga mapagkukunang kailangan para sa gawaing ito. Habang umuunlad ang aming mga modelo, inaasahan naming magagamit din ang ChatGPT upang magsagawa ng reverse engineering at pagsusuri sa mga mapaminsalang attachment na ipinadala sa mga empleyado.
Epekto
Tulad ng naobserbahan namin sa aming unang ulat tungkol sa mga banta, hindi lumilitaw na ang paggamit ng aming mga modelo ay nagbigay sa mga operator ng mga bagong kakayahan o gabay na hindi rin nila makukuha mula sa maraming pampublikong mapagkukunan. Na-block ng aming mga mekanismo sa seguridad ang mga mapaminsalang email mula sa umaatakeng grupo bago pa makarating ang mga ito sa mga inbox ng empleyado.