SweetSpecter: Kybernetické aktivity s väzbami na Čínu
OpenAI zablokovala účty pravdepodobne patriace útočníkovi SweetSpecter s predpokladaným pôsobiskom v Číne, ktorý využíval AI na výskum zraniteľností, písanie kódu a podporu cieleného phishingu.
Táto prípadová štúdia bola pôvodne uverejnená v správe OpenAI z októbra 2024(otvorí sa v novom okne).
Aktér
Identifikovali sme a zablokovali účty, ktoré podľa hodnotenia dôveryhodného zdroja pravdepodobne patrili útočníkovi s predpokladaným pôsobiskom v Číne. Pokúšal sa využívať naše modely na podporu svojich útočných kybernetických operácií a zároveň viedol cielené phishingové útoky proti našim zamestnancom a vládam po celom svete. Tento útočník, verejne sledovaný pod označením SweetSpecter, sa objavil v roku 2023. Podľa našich informácií je to prvýkrát, čo sa verejne potvrdilo, že medzi jeho ciele patrí aj spoločnosť pôsobiaca v oblasti AI so sídlom v USA. Jeho predchádzajúce aktivity sa podľa správ zameriavali na politické subjekty na Blízkom východe, v Afrike a Ázii.
Správanie
V máji 2024 sme od dôveryhodného zdroja dostali upozornenie, že jeho bezpečnostný tím zaznamenal cielené phishingové e-maily so škodlivými prílohami, ktoré SweetSpecter posielal na pracovné aj osobné e-mailové adresy niektorých našich zamestnancov.
Verzia e-mailu so zakrytými citlivými údajmi, ktorý SweetSpecter zaslal malej skupine našich zamestnancov. Tieto e-maily zablokovali naše bezpečnostné systémy. Obrázok poskytla spoločnosť Proofpoint.
V týchto e-mailoch sa SweetSpecter vydával za používateľa ChatGPT, ktorý žiada oslovených zamestnancov o pomoc. E-maily obsahovali škodlivú prílohu s názvom „some problems.zip“, v ktorej bol súbor LNK. Tento súbor obsahoval kód, ktorý by po otvorení zobrazil používateľovi súbor DOCX s rôznymi zdanlivými chybovými a servisnými hláseniami z ChatGPT. Na pozadí by sa však dešifroval a spustil malvér pre Windows známy ako SugarGh0st RAT. Tento malvér je navrhnutý tak, aby útočníkovi SweetSpecter poskytol kontrolu nad napadnutým zariadením a umožnil mu napríklad vykonávať ľubovoľné príkazy, vytvárať snímky obrazovky a odcudzovať údaje.
Bezpečnostný tím OpenAI kontaktoval zamestnancov, ktorí boli pravdepodobnými cieľmi tejto cielenej phishingovej kampane, a zistil, že existujúce bezpečnostné opatrenia zabránili tomu, aby sa e-maily vôbec dostali do ich pracovných schránok.
Návnadový obsah z jedného z analyzovaných škodlivých súborov LNK, ktorý by sa zobrazil po jeho spustení.
Pri odhaľovaní týchto neúspešných pokusov o napadnutie zamestnaneckých účtov zohrávala počas celého procesu kľúčovú úlohu spolupráca s partnermi z odvetvia. To poukazuje na význam zdieľania spravodajských informácií o hrozbách a spolupráce, vďaka ktorým si v ére AI môžeme udržať náskok pred sofistikovanými útočníkmi. Vďaka zdieľaným poznatkom a spoločným odborným znalostiam môžeme lepšie chrániť naše aktíva a zasahovať proti účtom na našej platforme, ktoré sú spojené s takýmito aktivitami.
Výstupy modelov
Pri analýze širšej infraštruktúry podporujúcej túto kampaň sme odhalili a zablokovali skupinu účtov ChatGPT, ktoré využívali rovnakú infraštruktúru na získavanie odpovedí na otázky a plnenie úloh súvisiacich s tvorbou skriptov a výskumom zraniteľností. Tieto interakcie sme priradili k taktikám, technikám a postupom (TTP) súvisiacim s LLM, ktoré Microsoft začiatkom tohto roka navrhol začleniť do rámca MITRE ATT&CK®. Rámec MITRE zachytáva taktiky a techniky, ktoré kybernetickí útočníci používajú v praxi. Uvedením týchto priradení chceme širšiu komunitu kybernetickej bezpečnosti informovať o pozorovaných taktikách, technikách a postupoch a pomôcť zvýšiť účinnosť kybernetickej obrany.
Nižšie uvádzame niekoľko príkladov aktivít útočníka SweetSpecter, ktoré zodpovedajú týmto taktikám, technikám a postupom:
Aktivita | Kategória rámca ATT&CK pre LLM |
|---|---|
Otázky o zraniteľnostiach v rôznych aplikáciách | Prieskum s využitím informácií z LLM |
Otázky o tom, ako vyhľadať konkrétne verzie Log4j s kritickou zraniteľnosťou Log4Shell umožňujúcou vzdialené spustenie kódu (RCE) | Prieskum s využitím informácií z LLM |
Otázky o obľúbených systémoch na správu obsahu používaných v zahraničí | Prieskum s využitím informácií z LLM |
Žiadosti o informácie ku konkrétnym číslam CVE | Prieskum s využitím informácií z LLM |
Otázky o tom, ako sa vytvárajú nástroje na skenovanie celého internetu. | Prieskum s využitím informácií z LLM |
Otázky o tom, ako by sa dal nástroj sqlmap použiť na nahratie potenciálneho webového shellu na cieľový server. | Výskum zraniteľností s pomocou LLM |
Žiadosti o pomoc pri hľadaní spôsobov, ako zneužiť zraniteľnosti infraštruktúry významnej automobilky. | Výskum zraniteľností s pomocou LLM |
Poskytnutie kódu a žiadosti o ďalšiu pomoc s využívaním komunikačných služieb na programové odosielanie textových správ. | Techniky tvorby skriptov zdokonalené pomocou LLM |
Žiadosti o pomoc s ladením pri vývoji rozšírenia nástroja kybernetickej bezpečnosti. | Techniky tvorby skriptov zdokonalené pomocou LLM |
Žiadosti o pomoc s ladením kódu, ktorý je súčasťou väčšieho softvérového rámca na programové odosielanie textových správ na čísla určené útočníkom. | Vývoj s pomocou LLM |
Otázky o témach, ktoré by zaujali zamestnancov štátnych úradov, a o vhodných názvoch príloh, ktoré by pomohli predísť ich zablokovaniu. | Sociálne inžinierstvo s podporou LLM |
Žiadosti o varianty náborovej správy poskytnutej útočníkom. | Sociálne inžinierstvo s podporou LLM |
Naše bezpečnostné tímy počas celého vyšetrovania využívali ChatGPT na analýzu, kategorizáciu, preklad a sumarizáciu interakcií z účtov útočníka. Vďaka tomu sme mohli rýchlo získavať poznatky z rozsiahlych súborov údajov a zároveň minimalizovať zdroje potrebné na túto prácu. Očakávame, že s ďalším zdokonaľovaním našich modelov budeme môcť ChatGPT využívať aj na reverzné inžinierstvo a analýzu škodlivých príloh zaslaných zamestnancom.
Vplyv
V súlade so zisteniami z našej prvej správy o hrozbách sa nezdalo, že by útočníci vďaka využívaniu našich modelov získali nové schopnosti či návody, ktoré by inak nemohli získať z viacerých verejne dostupných zdrojov. Naše bezpečnostné mechanizmy zablokovali škodlivé e-maily útočníka skôr, než sa dostali do schránok zamestnancov.