SweetSpecter: Kybernetické aktivity spojené s Čínou
OpenAI zablokovala účty pravděpodobně patřící útočné skupině SweetSpecter s předpokládaným působištěm v Číně, která využívala AI k výzkumu zranitelností, psaní kódu a podpoře cíleného phishingu.
Tato případová studie byla původně zveřejněna ve zprávě OpenAI z října 2024(otevře se v novém okně).
Aktér
Identifikovali jsme a zablokovali účty, které podle hodnocení důvěryhodného zdroje pravděpodobně patřily útočné skupině s předpokládaným působištěm v Číně. Skupina se pokoušela využívat naše modely k podpoře svých útočných kybernetických operací a současně vedla cílené phishingové útoky proti našim zaměstnancům a vládám po celém světě. Tato útočná skupina, veřejně sledovaná pod názvem SweetSpecter, se objevila v roce 2023. Podle našich informací jde o první veřejně doložený případ, kdy se mezi jejími cíli objevila americká společnost zabývající se AI. Dřívější zprávy uváděly, že se zaměřovala na politické subjekty na Blízkém východě, v Africe a v Asii.
Chování
V květnu 2024 jsme od důvěryhodného zdroje obdrželi upozornění, že jeho bezpečnostní tým zaznamenal cílené phishingové e-maily se škodlivými přílohami, které skupina SweetSpecter zasílala na firemní i osobní e-mailové účty některých našich zaměstnanců.
Verze e-mailu se skrytými citlivými údaji, který skupina SweetSpecter zaslala malému počtu našich zaměstnanců. Tyto e-maily zablokovaly naše bezpečnostní systémy. Obrázek poskytla společnost Proofpoint.
V těchto e-mailech se skupina SweetSpecter vydávala za uživatele ChatGPT, který od oslovených zaměstnanců žádá pomoc. E-maily obsahovaly škodlivou přílohu s názvem „some problems.zip“, která obsahovala soubor LNK. Tento soubor obsahoval kód, který by po otevření zobrazil uživateli soubor DOCX se seznamem různých údajných chybových a servisních hlášení ChatGPT. Na pozadí by se však dešifroval a spustil malware pro Windows známý jako SugarGh0st RAT. Tento malware má skupině SweetSpecter poskytnout kontrolu nad napadeným počítačem a umožnit jí například spouštět libovolné příkazy, pořizovat snímky obrazovky a odcizovat data.
Bezpečnostní tým OpenAI kontaktoval zaměstnance, kteří se podle dostupných informací stali terčem této cílené phishingové kampaně, a zjistil, že stávající bezpečnostní opatření zabránila tomu, aby e-maily vůbec dorazily do jejich firemních schránek.
Návnadový obsah z jednoho z analyzovaných škodlivých souborů LNK, který by se zobrazil po spuštění.
Při odhalování těchto neúspěšných pokusů o napadení zaměstnaneckých účtů hrála po celou dobu klíčovou roli spolupráce s partnery z oboru. To ukazuje, jak důležité je sdílet informace o hrozbách a spolupracovat, abychom si v éře AI udrželi náskok před sofistikovanými útočníky. Díky sdíleným poznatkům a společným odborným znalostem můžeme lépe chránit naše prostředky a zasahovat proti účtům na naší platformě spojeným s takovými aktivitami.
Výstupy modelů
Při analýze širší infrastruktury využívané v této kampani jsme objevili a zablokovali skupinu účtů ChatGPT, které tutéž infrastrukturu využívaly k pokusům získat odpovědi na otázky a plnit úkoly související s tvorbou skriptů a výzkumem zranitelností. Tyto interakce jsme přiřadili k taktikám, technikám a postupům (TTP) souvisejícím s LLM, které Microsoft na začátku tohoto roku navrhl začlenit do rámce MITRE ATT&CK®. Rámec MITRE zachycuje taktiky a techniky, které kybernetičtí útočníci skutečně používají. Zveřejněním tohoto přiřazení chceme širší komunitu odborníků na kybernetickou bezpečnost informovat o pozorovaných taktikách, technikách a postupech a pomoci zefektivnit kybernetickou obranu.
Níže uvádíme několik příkladů aktivit skupiny SweetSpecter, které těmto taktikám, technikám a postupům odpovídají:
Aktivita | Kategorie rámce ATT&CK pro LLM |
|---|---|
Dotazy na zranitelnosti různých aplikací | Průzkum s využitím informací z LLM |
Dotazy na vyhledávání konkrétních verzí Log4j zasažených kritickou zranitelností Log4Shell umožňující vzdálené spuštění kódu (RCE) | Průzkum s využitím informací z LLM |
Dotazy na oblíbené systémy pro správu obsahu používané v zahraničí | Průzkum s využitím informací z LLM |
Žádosti o informace ke konkrétním identifikátorům CVE | Průzkum s využitím informací z LLM |
Dotazy na tvorbu nástrojů pro skenování celého internetu. | Průzkum s využitím informací z LLM |
Dotazy na to, jak pomocí nástroje sqlmap nahrát na cílový server potenciální webový shell. | Výzkum zranitelností s pomocí LLM |
Žádosti o pomoc s hledáním způsobů, jak zneužít infrastrukturu významné automobilky. | Výzkum zranitelností s pomocí LLM |
Předkládání kódu a žádosti o další pomoc s využitím komunikačních služeb k programovému odesílání textových zpráv. | Techniky tvorby skriptů zdokonalené pomocí LLM |
Žádosti o pomoc s laděním při vývoji rozšíření pro nástroj kybernetické bezpečnosti. | Techniky tvorby skriptů zdokonalené pomocí LLM |
Žádosti o pomoc s laděním kódu, který je součástí rozsáhlejšího frameworku pro programové odesílání textových zpráv na čísla určená útočníkem. | Vývoj s pomocí LLM |
Dotazy na témata, která by zaujala zaměstnance vládních úřadů, a na vhodné názvy příloh, jež by pomohly předejít jejich blokování. | Sociální inženýrství s podporou LLM |
Žádosti o varianty náborové zprávy dodané útočníkem. | Sociální inženýrství s podporou LLM |
Naše bezpečnostní týmy během celého vyšetřování využívaly ChatGPT k analýze, kategorizaci, překladu a shrnování interakcí z účtů útočníků. Díky tomu jsme mohli rychle získávat poznatky z rozsáhlých datových souborů a zároveň minimalizovat zdroje potřebné pro tuto práci. Očekáváme, že s dalším zdokonalováním našich modelů budeme moci ChatGPT využívat také ke zpětnému inženýrství a analýze škodlivých příloh zasílaných zaměstnancům.
Dopad
Stejně jako při zjištěních popsaných v naší první zprávě o hrozbách se nezdálo, že by využívání našich modelů útočníkům poskytlo nové schopnosti či návody, které by jinak nemohli získat z řady veřejně dostupných zdrojů. Naše bezpečnostní mechanismy zablokovaly škodlivé e-maily útočníků dříve, než se dostaly do schránek zaměstnanců.