SweetSpecter: cyberactiviteiten met banden met China
OpenAI blokkeerde accounts die waarschijnlijk van de vermoedelijk in China gevestigde aanvaller SweetSpecter waren. Deze gebruikte AI voor onderzoek naar kwetsbaarheden, het schrijven van code en ondersteuning bij spearphishing.
Deze casestudy verscheen oorspronkelijk in het rapport van OpenAI van oktober 2024(opent in een nieuw venster).
Actor
We identificeerden en blokkeerden accounts die op basis van een beoordeling van een betrouwbare bron waarschijnlijk toebehoorden aan een vermoedelijk in China gevestigde aanvaller. Via deze accounts probeerde de aanvaller onze modellen te gebruiken ter ondersteuning van offensieve cyberoperaties, terwijl deze tegelijkertijd spearphishingaanvallen uitvoerde op onze medewerkers en overheden wereldwijd. Deze aanvaller, die publiekelijk wordt gevolgd onder de naam SweetSpecter, dook op in 2023. Voor zover wij weten is dit de eerste keer dat publiekelijk is vastgesteld dat de aanvaller ook een in de VS gevestigd AI-bedrijf als doelwit had. Volgens eerdere berichten waren de activiteiten gericht op politieke entiteiten in het Midden-Oosten, Afrika en Azië.
Gedrag
In mei 2024 kregen we een tip van een betrouwbare bron. Het beveiligingsteam van deze bron had waargenomen dat SweetSpecter spearphishingmails met kwaadaardige bijlagen verstuurde naar zowel zakelijke als persoonlijke e-mailaccounts van enkele van onze medewerkers.
Een versie van de e-mail die SweetSpecter naar een klein aantal van onze medewerkers stuurde, waarbij gevoelige informatie is weggelakt. Deze e-mails werden geblokkeerd door onze beveiligingssystemen. Afbeelding ter beschikking gesteld door Proofpoint.
In deze e-mails deed SweetSpecter zich voor als een ChatGPT‑gebruiker die de beoogde medewerkers om hulp vroeg. De e-mails bevatten een kwaadaardige bijlage met de naam "some problems.zip", met daarin een LNK-bestand. Dit bestand bevatte code die bij het openen een DOCX-bestand aan de gebruiker zou tonen met diverse ogenschijnlijke fout- en servicemeldingen van ChatGPT. Op de achtergrond zou echter Windows-malware met de naam SugarGh0st RAT worden ontsleuteld en uitgevoerd. De malware is ontworpen om SweetSpecter controle te geven over de geïnfecteerde computer, zodat de aanvaller bijvoorbeeld willekeurige opdrachten kan uitvoeren, schermafbeeldingen kan maken en gegevens kan wegsluizen.
Het beveiligingsteam van OpenAI nam contact op met medewerkers die vermoedelijk doelwit waren van deze spearphishingcampagne en stelde vast dat bestaande beveiligingsmaatregelen hadden voorkomen dat de e-mails hun zakelijke inboxen bereikten.
Misleidende inhoud uit een van de geanalyseerde kwaadaardige LNK-bestanden, die bij uitvoering zou worden getoond.
Tijdens dit hele proces speelde onze samenwerking met partners uit de sector een sleutelrol bij het identificeren van deze mislukte pogingen om in te breken op accounts van medewerkers. Dit onderstreept hoe belangrijk samenwerking en het delen van dreigingsinformatie zijn om geavanceerde aanvallers in het AI-tijdperk voor te blijven. Door gebruik te maken van gedeelde inzichten en gezamenlijke expertise kunnen we onze bedrijfsmiddelen beter beschermen en accounts op ons platform aanpakken die bij zulke activiteiten betrokken zijn.
Modelantwoorden
Tijdens onze analyse van de bredere infrastructuur achter deze campagne ontdekten we een cluster ChatGPT‑accounts en grepen we in. Deze accounts gebruikten dezelfde infrastructuur om te proberen vragen te beantwoorden, scripts te schrijven en onderzoek naar kwetsbaarheden uit te voeren. We koppelden deze interacties aan de LLM-gerelateerde tactieken, technieken en procedures (TTP's) die Microsoft eerder dit jaar voorstelde om op te nemen in het MITRE ATT&CK®-framework. Het MITRE-framework beschrijft tactieken en technieken die cyberaanvallers in de praktijk gebruiken. Door deze koppelingen te vermelden, willen we de bredere cybersecuritygemeenschap informeren over waargenomen TTP's en bijdragen aan een effectievere cyberverdediging.
Hieronder staan enkele voorbeelden van activiteiten van SweetSpecter die bij deze TTP's passen:
Activiteit | Categorie in het LLM ATT&CK-framework |
|---|---|
Vragen naar kwetsbaarheden in verschillende applicaties | Verkenning met informatie van LLM's |
Vragen hoe je zoekt naar specifieke versies van Log4j die kwetsbaar zijn voor Log4Shell, een kritieke kwetsbaarheid waarmee op afstand code kan worden uitgevoerd (RCE) | Verkenning met informatie van LLM's |
Vragen naar populaire contentmanagementsystemen die in het buitenland worden gebruikt | Verkenning met informatie van LLM's |
Vragen om informatie over specifieke CVE-nummers | Verkenning met informatie van LLM's |
Vragen hoe scanners worden gemaakt die het hele internet doorzoeken. | Verkenning met informatie van LLM's |
Vragen hoe sqlmap kan worden gebruikt om een mogelijke webshell naar een doelserver te uploaden. | Onderzoek naar kwetsbaarheden met hulp van LLM's |
Vragen om hulp bij het vinden van manieren om kwetsbaarheden in de infrastructuur van een vooraanstaande autofabrikant uit te buiten. | Onderzoek naar kwetsbaarheden met hulp van LLM's |
Code aanleveren en vragen om extra hulp bij het gebruik van communicatiediensten om tekstberichten programmatisch te versturen. | Scriptingtechnieken verbeterd met LLM's |
Vragen om hulp bij het opsporen en verhelpen van fouten tijdens de ontwikkeling van een extensie voor een cybersecuritytool. | Scriptingtechnieken verbeterd met LLM's |
Vragen om hulp bij het opsporen en verhelpen van fouten in code die deel uitmaakt van een groter framework om tekstberichten programmatisch te versturen naar door de aanvaller opgegeven nummers. | Ontwikkeling met hulp van LLM's |
Vragen naar onderwerpen die medewerkers van overheidsdiensten interessant zouden vinden en naar geschikte namen voor bijlagen om te voorkomen dat ze worden geblokkeerd. | Social engineering ondersteund door LLM's |
Vragen om varianten van een door de aanvaller aangeleverd wervingsbericht. | Social engineering ondersteund door LLM's |
Tijdens dit onderzoek gebruikten onze beveiligingsteams ChatGPT om interacties vanuit accounts van aanvallers te analyseren, categoriseren, vertalen en samenvatten. Zo konden we snel inzichten uit grote datasets halen en tegelijk de benodigde middelen voor dit werk tot een minimum beperken. Naarmate onze modellen geavanceerder worden, verwachten we ChatGPT ook te kunnen gebruiken om de kwaadaardige bijlagen die naar medewerkers worden gestuurd te reverse-engineeren en te analyseren.
Impact
Net als bij onze bevindingen in het eerste dreigingsrapport leek het gebruik van onze modellen de aanvallers geen nieuwe mogelijkheden of aanwijzingen te bieden die ze niet ook uit diverse openbaar beschikbare bronnen hadden kunnen halen. Onze beveiligingsmechanismen blokkeerden de kwaadaardige e-mails van de aanvaller voordat ze de inboxen van medewerkers bereikten.