SweetSpecter: attività informatiche ostili legate alla Cina
OpenAI ha bloccato account probabilmente riconducibili a SweetSpecter, un attore ostile con presunta sede in Cina, che usava l’IA per cercare vulnerabilità, scrivere codice e supportare attività di spear phishing.
Questo caso di studio è stato pubblicato originariamente nel rapporto di OpenAI di ottobre 2024(si apre in una nuova finestra).
Attore
Abbiamo identificato e bloccato account che, secondo la valutazione di una fonte attendibile, appartenevano probabilmente a un attore ostile con presunta sede in Cina. Questi account tentavano di usare i nostri modelli a supporto di operazioni informatiche offensive, mentre lo stesso attore conduceva attacchi di spear phishing contro i nostri dipendenti e governi di tutto il mondo. Questo attore ostile, noto pubblicamente come SweetSpecter, è emerso nel 2023. A quanto ci risulta, è la prima volta che tra i suoi bersagli viene identificata pubblicamente un’azienda di IA con sede negli Stati Uniti: le attività precedentemente segnalate si erano concentrate su entità politiche in Medio Oriente, Africa e Asia.
Comportamento
Nel maggio 2024, una fonte attendibile ci ha segnalato che il suo team di sicurezza aveva osservato l’invio, da parte di SweetSpecter, di email di spear phishing con allegati dannosi agli indirizzi sia aziendali sia personali di alcuni nostri dipendenti.
Una versione parzialmente oscurata dell’email inviata da SweetSpecter a un numero ristretto di nostri dipendenti. Queste email sono state bloccate dai nostri sistemi di sicurezza. Immagine per gentile concessione di Proofpoint.
In queste email, SweetSpecter si spacciava per un utente di ChatGPT che chiedeva assistenza ai dipendenti presi di mira. Le email includevano un allegato dannoso chiamato “some problems.zip”, contenente un file LNK. Questo file conteneva codice che, all’apertura, avrebbe mostrato all’utente un file DOCX con un elenco di apparenti messaggi di errore e di servizio di ChatGPT. In background, però, sarebbe stato decrittografato ed eseguito un malware per Windows noto come SugarGh0st RAT. Il malware è progettato per dare a SweetSpecter il controllo del computer compromesso e consentire operazioni quali l’esecuzione di comandi arbitrari, l’acquisizione di screenshot e l’esfiltrazione di dati.
Il team di sicurezza di OpenAI ha contattato i dipendenti ritenuti bersagli di questa campagna di spear phishing e ha verificato che i controlli di sicurezza esistenti avevano impedito alle email di raggiungere le loro caselle di posta aziendali.
Contenuto usato come esca in uno dei file LNK dannosi analizzati, che sarebbe stato visualizzato all’esecuzione.
Durante l’intero processo, la collaborazione con i partner del settore ha svolto un ruolo chiave nell’individuare questi tentativi falliti di compromettere gli account dei dipendenti. Questo evidenzia l’importanza della condivisione di informazioni sulle minacce e della collaborazione per restare un passo avanti ad avversari sofisticati nell’era dell’IA. Grazie alle informazioni condivise e alle competenze collettive, possiamo proteggere meglio le nostre risorse e bloccare sulla piattaforma gli account associati a queste attività.
Risposte generate
Analizzando l’infrastruttura più ampia a supporto di questa campagna, abbiamo individuato e bloccato un gruppo di account ChatGPT che usavano la stessa infrastruttura per cercare risposte a domande e svolgere attività di scripting e ricerca di vulnerabilità. Abbiamo ricondotto queste interazioni alle tattiche, tecniche e procedure (TTP) basate sugli LLM che Microsoft ha proposto di integrare nel framework MITRE ATT&CK® all’inizio di quest’anno. Il framework MITRE documenta le tattiche e le tecniche effettivamente usate dagli attori delle minacce informatiche. Elencando queste corrispondenze, intendiamo informare l’intera comunità della sicurezza informatica sulle TTP osservate e contribuire a migliorare l’efficacia delle difese informatiche.
Di seguito sono riportati alcuni esempi di attività di SweetSpecter riconducibili a queste TTP:
Attività | Categoria LLM del framework ATT&CK |
|---|---|
Richiesta di informazioni sulle vulnerabilità di varie applicazioni | Ricognizione basata su informazioni fornite dagli LLM |
Richiesta di indicazioni su come cercare versioni specifiche di Log4j esposte alla vulnerabilità critica di esecuzione di codice da remoto (RCE) Log4Shell | Ricognizione basata su informazioni fornite dagli LLM |
Richiesta di informazioni sui sistemi di gestione dei contenuti più diffusi all’estero | Ricognizione basata su informazioni fornite dagli LLM |
Richiesta di informazioni su specifici identificativi CVE | Ricognizione basata su informazioni fornite dagli LLM |
Richiesta di informazioni su come realizzare strumenti di scansione dell’intera rete Internet. | Ricognizione basata su informazioni fornite dagli LLM |
Richiesta di indicazioni su come usare sqlmap per caricare una potenziale web shell su un server bersaglio. | Ricerca di vulnerabilità assistita dagli LLM |
Richiesta di aiuto per trovare modi di sfruttare le vulnerabilità dell’infrastruttura di un’importante casa automobilistica. | Ricerca di vulnerabilità assistita dagli LLM |
Invio di codice e richiesta di ulteriore aiuto per usare servizi di comunicazione per l’invio di messaggi di testo tramite codice. | Tecniche di scripting potenziate dagli LLM |
Richiesta di aiuto per il debug durante lo sviluppo di un’estensione per uno strumento di sicurezza informatica. | Tecniche di scripting potenziate dagli LLM |
Richiesta di aiuto per il debug di codice appartenente a un framework più ampio per l’invio di messaggi di testo tramite codice a numeri specificati dall’attaccante. | Sviluppo assistito dagli LLM |
Richiesta di argomenti che potessero interessare ai dipendenti di enti governativi e di nomi da assegnare agli allegati per evitare che venissero bloccati. | Ingegneria sociale supportata dagli LLM |
Richiesta di varianti di un messaggio di reclutamento fornito dall’attaccante. | Ingegneria sociale supportata dagli LLM |
Durante l’intera indagine, i nostri team di sicurezza hanno utilizzato ChatGPT per analizzare, classificare, tradurre e riassumere le interazioni degli account dell’attore ostile. Questo ci ha consentito di ricavare rapidamente informazioni utili da grandi insiemi di dati, riducendo al minimo le risorse necessarie per il lavoro. Man mano che i nostri modelli diventano più avanzati, prevediamo di poter usare ChatGPT anche per effettuare il reverse engineering e l’analisi degli allegati dannosi inviati ai dipendenti.
Impatto
In linea con quanto osservato nel nostro primo rapporto sulle minacce, l’uso dei nostri modelli da parte degli operatori non sembra aver fornito loro nuove capacità o indicazioni che non avrebbero potuto ottenere anche da molteplici risorse disponibili pubblicamente. I nostri meccanismi di sicurezza hanno bloccato le email dannose dell’attore ostile prima che raggiungessero le caselle di posta dei dipendenti.