SweetSpecter: cyberaktivitet med koppling till Kina
OpenAI stängde av konton som sannolikt tillhörde SweetSpecter, en hotaktör med misstänkt bas i Kina som använde AI för att undersöka sårbarheter, skriva kod och stödja riktat nätfiske.
Den här fallstudien publicerades ursprungligen i OpenAI:s rapport från oktober 2024(öppnas i ett nytt fönster).
Aktör
Vi identifierade och stängde av konton som enligt en bedömning från en trovärdig källa sannolikt tillhörde en hotaktör med misstänkt bas i Kina. Aktören försökte använda våra modeller för att stödja sina offensiva cyberoperationer och genomförde samtidigt riktade nätfiskeattacker mot våra medarbetare och regeringar runt om i världen. Den här hotaktören, som är offentligt känd under namnet SweetSpecter, dök upp 2023. Såvitt vi känner till är det första gången det offentligt har konstaterats att ett USA-baserat AI-företag finns bland aktörens mål. Tidigare har aktörens verksamhet rapporterats vara inriktad på politiska aktörer i Mellanöstern, Afrika och Asien.
Beteende
I maj 2024 fick vi ett tips från en trovärdig källa vars säkerhetsteam hade observerat att SweetSpecter skickade riktade nätfiskemejl med skadliga bilagor till några av våra medarbetares e-postkonton, både på jobbet och privat.
En delvis maskerad version av det mejl som SweetSpecter skickade till ett fåtal av våra medarbetare. Dessa mejl blockerades av våra säkerhetssystem. Bilden har tillhandahållits av Proofpoint.
I mejlen utgav sig SweetSpecter för att vara en ChatGPT‑användare som bad de utsatta medarbetarna om hjälp. Mejlen innehöll en skadlig bilaga med namnet ”some problems.zip”, som innehöll en LNK-fil. Filen innehöll kod som, om filen öppnades, skulle visa användaren en DOCX-fil med en lista över olika fel- och servicemeddelanden som såg ut att komma från ChatGPT. I bakgrunden skulle däremot ett skadligt Windows-program kallat SugarGh0st RAT dekrypteras och köras. Programmet är utformat för att ge SweetSpecter kontroll över den angripna datorn och göra det möjligt att exempelvis köra godtyckliga kommandon, ta skärmbilder och föra ut data.
OpenAI:s säkerhetsteam kontaktade medarbetare som bedömdes ha utsatts för den riktade nätfiskekampanjen och konstaterade att befintliga säkerhetskontroller hade hindrat mejlen från att över huvud taget nå deras e-postkonton på jobbet.
Vilseledande innehåll från en av de analyserade skadliga LNK-filerna, som skulle visas när filen kördes.
Under hela processen spelade vårt samarbete med branschpartner en avgörande roll för att identifiera dessa misslyckade försök att göra intrång i medarbetarnas konton. Detta visar hur viktigt det är att dela hotinformation och samarbeta för att ligga steget före avancerade hotaktörer i AI-eran. Genom att dra nytta av gemensamma insikter och samlad expertis kan vi bättre skydda våra tillgångar och ingripa mot konton på plattformen som är kopplade till sådan verksamhet.
Modellsvar
När vi analyserade den bredare infrastruktur som användes för kampanjen hittade vi en grupp ChatGPT‑konton som använde samma infrastruktur för att försöka få svar på frågor och utföra uppgifter inom skriptutveckling och sårbarhetsanalys. Vi ingrep mot dessa konton. Vi kopplade dessa interaktioner till de LLM-relaterade taktiker, tekniker och procedurer (TTP:er) som Microsoft tidigare i år föreslog skulle integreras i ramverket MITRE ATT&CK®. MITRE-ramverket beskriver taktiker och tekniker som cyberhotaktörer använder i praktiken. Genom att redovisa dessa kopplingar vill vi informera cybersäkerhetsbranschen i stort om observerade TTP:er och bidra till ett effektivare cyberförsvar.
Nedan följer några exempel på aktiviteter från SweetSpecter som motsvarar dessa TTP:er:
Aktivitet | LLM-kategori i ATT&CK-ramverket |
|---|---|
Frågor om sårbarheter i olika applikationer | Rekognosering med information från LLM |
Frågor om hur man söker efter specifika versioner av Log4j som är sårbara för Log4Shell, en kritisk sårbarhet som möjliggör fjärrkörning av kod (RCE) | Rekognosering med information från LLM |
Frågor om populära innehållshanteringssystem som används utomlands | Rekognosering med information från LLM |
Begäran om information om specifika CVE-nummer | Rekognosering med information från LLM |
Frågor om hur man bygger verktyg som skannar hela internet. | Rekognosering med information från LLM |
Frågor om hur sqlmap kan användas för att ladda upp ett potentiellt webbskal till en målserver. | Sårbarhetsanalys med stöd av LLM |
Begäran om hjälp att hitta sätt att utnyttja sårbarheter i en framstående biltillverkares infrastruktur. | Sårbarhetsanalys med stöd av LLM |
Tillhandahållande av kod och begäran om ytterligare hjälp att använda kommunikationstjänster för att skicka sms programmatiskt. | Skripttekniker förstärkta med LLM |
Begäran om hjälp med felsökning vid utveckling av ett tillägg till ett cybersäkerhetsverktyg. | Skripttekniker förstärkta med LLM |
Begäran om hjälp att felsöka kod som ingår i ett större ramverk för att programmatiskt skicka sms till nummer som angriparen anger. | Utveckling med stöd av LLM |
Frågor om ämnen som anställda vid myndigheter skulle tycka var intressanta och vilka namn på bilagor som skulle vara lämpliga för att undvika blockering. | Social manipulation med stöd av LLM |
Begäran om varianter av ett rekryteringsmeddelande som angriparen tillhandahöll. | Social manipulation med stöd av LLM |
Under hela utredningen använde våra säkerhetsteam ChatGPT för att analysera, kategorisera, översätta och sammanfatta interaktioner från hotaktörernas konton. Det gjorde det möjligt för oss att snabbt få fram insikter ur stora datamängder och samtidigt minimera de resurser som krävdes för arbetet. I takt med att våra modeller blir mer avancerade räknar vi med att även kunna använda ChatGPT för att bakåtkompilera och analysera de skadliga bilagor som skickats till medarbetare.
Effekt
I linje med vad vi observerade i vår första hotrapport verkade aktörernas användning av våra modeller inte ge dem några nya förmågor eller anvisningar som de inte annars hade kunnat få från flera offentligt tillgängliga källor. Våra säkerhetsmekanismer blockerade hotaktörens skadliga mejl innan de nådde medarbetarnas inkorgar.