SweetSpecter: kibernetičke aktivnosti povezane s Kinom
OpenAI je blokirao račune koji vjerojatno pripadaju napadaču SweetSpecter, za kojeg se sumnja da djeluje iz Kine, a koji je AI koristio za istraživanje ranjivosti, pisanje koda i podršku ciljanim phishing napadima.
Ova studija slučaja izvorno je objavljena u izvješću tvrtke OpenAI za listopad 2024.(otvara se u novom prozoru) godine.
Akter
Identificirali smo i blokirali račune koji su, prema procjeni vjerodostojnog izvora, vjerojatno pripadali napadaču za kojeg se sumnja da djeluje iz Kine. Ti su računi pokušavali koristiti naše modele za podršku ofenzivnim kibernetičkim operacijama, dok je napadač istodobno provodio ciljane phishing napade na naše zaposlenike i vlade diljem svijeta. Ovaj napadač, javno poznat pod nazivom SweetSpecter, pojavio se 2023. godine. Prema našim saznanjima, ovo je prvi put da je javno utvrđeno da se među njegovim metama nalazi američka tvrtka koja se bavi umjetnom inteligencijom. Prema ranijim izvješćima, njegove su aktivnosti bile usmjerene na političke subjekte na Bliskom istoku, u Africi i Aziji.
Ponašanje
U svibnju 2024. primili smo dojavu vjerodostojnog izvora čiji je sigurnosni tim uočio da SweetSpecter šalje ciljane phishing poruke sa zlonamjernim privicima na službene i privatne adrese e-pošte nekih naših zaposlenika.
Verzija poruke e-pošte s prikrivenim osjetljivim podacima koju je SweetSpecter poslao malom broju naših zaposlenika. Naši su sigurnosni sustavi blokirali te poruke. Sliku je ustupila tvrtka Proofpoint.
U tim se porukama SweetSpecter predstavljao kao korisnik usluge ChatGPT koji od ciljanih zaposlenika traži podršku. Poruke su sadržavale zlonamjerni privitak pod nazivom „some problems.zip”, u kojem se nalazila LNK datoteka. Ta je datoteka sadržavala kod koji bi, nakon otvaranja, korisniku prikazao DOCX datoteku s popisom različitih navodnih poruka o pogreškama i obavijesti usluge ChatGPT. No u pozadini bi se dešifrirao i izvršio zlonamjerni softver za Windows poznat kao SugarGh0st RAT. Taj je zlonamjerni softver osmišljen kako bi napadaču SweetSpecter omogućio kontrolu nad kompromitiranim računalom te radnje poput izvršavanja proizvoljnih naredbi, snimanja zaslona i krađe podataka.
Sigurnosni tim tvrtke OpenAI kontaktirao je zaposlenike za koje se vjerovalo da su bili mete ove ciljane phishing kampanje i utvrdio da su postojeće sigurnosne mjere spriječile da poruke uopće stignu u njihove službene pretince e-pošte.
Sadržaj mamca iz jedne od analiziranih zlonamjernih LNK datoteka, koji bi se prikazao nakon pokretanja.
Tijekom cijelog procesa naša je suradnja s partnerima iz industrije imala ključnu ulogu u otkrivanju tih neuspjelih pokušaja kompromitiranja računa zaposlenika. To naglašava važnost razmjene obavještajnih podataka o prijetnjama i suradnje kako bismo u doba umjetne inteligencije ostali korak ispred sofisticiranih napadača. Zahvaljujući razmjeni saznanja i zajedničkom stručnom znanju možemo bolje zaštititi svoje resurse i onemogućiti rad računa na našoj platformi povezanih s takvim aktivnostima.
Odgovori modela
Analizirajući širu infrastrukturu koja je podržavala ovu kampanju, pronašli smo i onemogućili skupinu računa usluge ChatGPT koji su putem iste infrastrukture pokušavali dobiti odgovore na pitanja te obaviti zadatke pisanja skripti i istraživanja ranjivosti. Te smo interakcije povezali s taktikama, tehnikama i postupcima (TTP-ovima) koji uključuju LLM-ove, a koje je Microsoft ranije ove godine predložio za uvrštavanje u okvir MITRE ATT&CK®. Okvir MITRE obuhvaća taktike i tehnike koje kibernetički napadači koriste u stvarnim napadima. Navođenjem tih poveznica želimo informirati širu zajednicu stručnjaka za kibernetičku sigurnost o uočenim TTP-ovima i pridonijeti učinkovitijoj kibernetičkoj obrani.
U nastavku su primjeri aktivnosti napadača SweetSpecter koje odgovaraju tim TTP-ovima:
Aktivnost | Kategorija okvira ATT&CK za LLM-ove |
|---|---|
Postavljanje pitanja o ranjivostima u različitim aplikacijama | Izviđanje uz informacije dobivene od LLM-a |
Postavljanje pitanja o tome kako pronaći određene verzije biblioteke Log4j podložne kritičnoj ranjivosti Log4Shell koja omogućuje udaljeno izvršavanje koda (RCE) | Izviđanje uz informacije dobivene od LLM-a |
Postavljanje pitanja o popularnim sustavima za upravljanje sadržajem koji se koriste u inozemstvu | Izviđanje uz informacije dobivene od LLM-a |
Traženje informacija o određenim CVE oznakama | Izviđanje uz informacije dobivene od LLM-a |
Postavljanje pitanja o tome kako se izrađuju alati za skeniranje cijelog interneta. | Izviđanje uz informacije dobivene od LLM-a |
Postavljanje pitanja o tome kako pomoću alata sqlmap prenijeti potencijalnu web-ljusku na ciljani poslužitelj. | Istraživanje ranjivosti uz pomoć LLM-a |
Traženje pomoći u pronalaženju načina iskorištavanja ranjivosti infrastrukture poznatog proizvođača automobila. | Istraživanje ranjivosti uz pomoć LLM-a |
Dostavljanje koda i traženje dodatne pomoći pri korištenju komunikacijskih usluga za programsko slanje tekstnih poruka. | Tehnike pisanja skripti poboljšane LLM-om |
Traženje pomoći pri otklanjanju pogrešaka tijekom razvoja proširenja za alat za kibernetičku sigurnost. | Tehnike pisanja skripti poboljšane LLM-om |
Traženje pomoći pri otklanjanju pogrešaka u kodu koji je dio šireg okvira za programsko slanje tekstnih poruka na brojeve koje odredi napadač. | Razvoj uz pomoć LLM-a |
Traženje tema koje bi bile zanimljive zaposlenicima državnih tijela te prikladnih naziva privitaka kojima bi se izbjeglo blokiranje. | Socijalni inženjering uz podršku LLM-a |
Traženje varijanti poruke za regrutiranje kandidata za posao koju je dostavio napadač. | Socijalni inženjering uz podršku LLM-a |
Tijekom ove istrage naši su sigurnosni timovi koristili ChatGPT za analizu, kategorizaciju, prevođenje i sažimanje interakcija s napadačevih računa. To nam je omogućilo da brzo dođemo do saznanja iz velikih skupova podataka uz minimalan utrošak resursa. Kako naši modeli budu napredovali, očekujemo da ćemo ChatGPT moći koristiti i za obrnuti inženjering i analizu zlonamjernih privitaka poslanih zaposlenicima.
Učinak
U skladu s opažanjima iz našeg prvog izvješća o prijetnjama, čini se da napadači korištenjem naših modela nisu stekli nove sposobnosti ni smjernice koje ne bi mogli dobiti iz više javno dostupnih izvora. Naši su sigurnosni mehanizmi blokirali napadačeve zlonamjerne poruke e-pošte prije nego što su stigle u pretince zaposlenika.