SweetSpecter: Cyberaktivitäten mit Verbindungen nach China
OpenAI sperrte Konten, die wohl SweetSpecter gehörten, einer mutmaßlich in China ansässigen Angriffsgruppe. Diese nutzte KI zur Schwachstellenanalyse, zum Schreiben von Code und zur Unterstützung von Spear-Phishing.
Diese Fallstudie erschien erstmals im OpenAI-Bericht vom Oktober 2024(wird in einem neuen Fenster geöffnet).
Verantwortliche Gruppe
Wir identifizierten und sperrten Konten, die nach Einschätzung einer glaubwürdigen Quelle wahrscheinlich einer mutmaßlich in China ansässigen Angriffsgruppe gehörten. Diese versuchte, unsere Modelle zur Unterstützung ihrer offensiven Cyberoperationen einzusetzen, und führte gleichzeitig Spear-Phishing-Angriffe gegen unsere Beschäftigten und Regierungen weltweit durch. Die öffentlich unter dem Namen SweetSpecter beobachtete Angriffsgruppe trat 2023 erstmals in Erscheinung. Nach unserem Kenntnisstand wurde nun erstmals öffentlich bekannt, dass sie auch ein US-amerikanisches KI-Unternehmen ins Visier genommen hat. Berichten zufolge hatten sich ihre bisherigen Aktivitäten auf politische Organisationen und Einrichtungen im Nahen Osten, in Afrika und Asien konzentriert.
Vorgehensweise
Im Mai 2024 erhielten wir einen Hinweis von einer glaubwürdigen Quelle: Ihr Sicherheitsteam hatte beobachtet, wie SweetSpecter Spear-Phishing-E-Mails mit schädlichen Anhängen sowohl an geschäftliche als auch an private E-Mail-Konten einiger unserer Beschäftigten versandte.
Eine teilweise geschwärzte Fassung der E-Mail, die SweetSpecter an einige wenige unserer Beschäftigten versandte. Diese E-Mails wurden von unseren Sicherheitssystemen blockiert. Bild mit freundlicher Genehmigung von Proofpoint.
In diesen E-Mails gab sich SweetSpecter als eine Person aus, die ChatGPT nutzt und die angeschriebenen Beschäftigten um Unterstützung bittet. Die E-Mails enthielten einen schädlichen Anhang namens „some problems.zip“, in dem sich eine LNK-Datei befand. Diese Datei enthielt Code, der beim Öffnen eine DOCX-Datei mit verschiedenen vermeintlichen Fehler- und Servicemeldungen von ChatGPT anzeigen würde. Im Hintergrund würde jedoch die Windows-Schadsoftware SugarGh0st RAT entschlüsselt und ausgeführt. Die Schadsoftware soll SweetSpecter die Kontrolle über den kompromittierten Rechner verschaffen und es der Gruppe ermöglichen, unter anderem beliebige Befehle auszuführen, Screenshots zu erstellen und Daten abzugreifen.
Das Sicherheitsteam von OpenAI kontaktierte Beschäftigte, die vermutlich Ziel dieser Spear-Phishing-Kampagne waren. Dabei stellte sich heraus, dass bestehende Sicherheitsmaßnahmen verhindert hatten, dass die E-Mails überhaupt in deren geschäftlichen Postfächern ankamen.
Täuschungsinhalt aus einer der analysierten schädlichen LNK-Dateien, der beim Ausführen angezeigt würde.
Während des gesamten Prozesses spielte die Zusammenarbeit mit Partnerunternehmen aus der Branche eine entscheidende Rolle dabei, diese gescheiterten Versuche zur Kompromittierung von Beschäftigtenkonten zu erkennen. Das zeigt, wie wichtig der Austausch von Bedrohungsinformationen und die Zusammenarbeit sind, um im Zeitalter der KI versierten Angriffsgruppen einen Schritt voraus zu bleiben. Wenn wir Erkenntnisse teilen und unser Fachwissen bündeln, können wir unsere Ressourcen besser schützen und gegen Konten auf unserer Plattform vorgehen, die mit solchen Aktivitäten in Verbindung stehen.
Modellantworten
Bei der Analyse der umfassenderen Infrastruktur hinter dieser Kampagne entdeckten wir eine Gruppe von ChatGPT‑Konten und unterbanden deren Aktivitäten. Über dieselbe Infrastruktur versuchten diese Konten, Fragen beantworten zu lassen sowie Aufgaben zur Skripterstellung und Schwachstellenforschung zu erledigen. Wir ordneten diese Interaktionen den LLM-bezogenen Taktiken, Techniken und Vorgehensweisen (TTPs) zu, die Microsoft Anfang dieses Jahres zur Aufnahme in das MITRE ATT&CK® Framework vorgeschlagen hatte. Das MITRE Framework erfasst Taktiken und Techniken, die bei realen Cyberangriffen zum Einsatz kommen. Mit der Auflistung dieser Zuordnungen möchten wir Cybersicherheitsfachleute über die beobachteten TTPs informieren und dazu beitragen, die Cyberabwehr wirksamer zu machen.
Im Folgenden sind einige Aktivitäten von SweetSpecter aufgeführt, die diesen TTPs entsprechen:
Aktivität | LLM-Kategorie im ATT&CK Framework |
|---|---|
Fragen zu Schwachstellen in verschiedenen Anwendungen | Aufklärung mithilfe von LLM-Informationen |
Fragen dazu, wie sich bestimmte Log4j-Versionen finden lassen, die von der kritischen RCE-Schwachstelle Log4Shell betroffen sind | Aufklärung mithilfe von LLM-Informationen |
Fragen zu verbreiteten Content-Management-Systemen im Ausland | Aufklärung mithilfe von LLM-Informationen |
Anfragen nach Informationen zu bestimmten CVE-Nummern | Aufklärung mithilfe von LLM-Informationen |
Fragen dazu, wie Scanner entwickelt werden, die das gesamte Internet durchsuchen. | Aufklärung mithilfe von LLM-Informationen |
Fragen dazu, wie sich mit sqlmap eine potenzielle Webshell auf einen Zielserver hochladen ließe. | LLM-gestützte Schwachstellenforschung |
Bitten um Hilfe bei der Suche nach Möglichkeiten, Schwachstellen in der Infrastruktur eines bekannten Autoherstellers auszunutzen. | LLM-gestützte Schwachstellenforschung |
Bereitstellung von Code und Bitten um weitere Hilfe beim programmgesteuerten Versand von Textnachrichten über Kommunikationsdienste. | Durch LLM verbesserte Skripttechniken |
Bitten um Hilfe bei der Fehlerbehebung während der Entwicklung einer Erweiterung für ein Cybersicherheitswerkzeug. | Durch LLM verbesserte Skripttechniken |
Bitten um Hilfe bei der Fehlerbehebung in Code, der Teil eines größeren Frameworks zum programmgesteuerten Versand von Textnachrichten an von der Angriffsgruppe festgelegte Nummern ist. | LLM-gestützte Entwicklung |
Fragen nach Themen, die für Beschäftigte von Regierungsbehörden interessant wären, und nach geeigneten Dateinamen für Anhänge, damit diese nicht blockiert werden. | LLM-gestütztes Social Engineering |
Bitten um Varianten einer von der Angriffsgruppe bereitgestellten Nachricht zur Personalgewinnung. | LLM-gestütztes Social Engineering |
Während der gesamten Untersuchung nutzten unsere Sicherheitsteams ChatGPT, um Interaktionen über Konten der Angriffsgruppe zu analysieren, zu kategorisieren, zu übersetzen und zusammenzufassen. So konnten wir schnell Erkenntnisse aus großen Datenbeständen gewinnen und zugleich den dafür erforderlichen Ressourcenaufwand minimieren. Mit der Weiterentwicklung unserer Modelle erwarten wir, ChatGPT künftig auch nutzen zu können, um die an Beschäftigte versandten schädlichen Anhänge mittels Reverse Engineering zu untersuchen und zu analysieren.
Auswirkungen
Wie bereits in unserem ersten Bedrohungsbericht beobachtet, schien die Nutzung unserer Modelle den Verantwortlichen keine neuartigen Fähigkeiten oder Anleitungen zu verschaffen, die sie nicht auch aus mehreren öffentlich zugänglichen Quellen hätten beziehen können. Unsere Sicherheitsmechanismen blockierten die schädlichen E-Mails der Angriffsgruppe, bevor sie die Postfächer unserer Beschäftigten erreichten.