SweetSpecter: activitat cibernètica vinculada a la Xina
OpenAI va bloquejar comptes probablement vinculats a SweetSpecter, un adversari presumptament establert a la Xina, que feia servir IA per investigar vulnerabilitats, escriure codi i donar suport a atacs de pesca de credencials dirigida.
Aquest estudi de cas es va publicar originalment a l'informe d'octubre de 2024(s'obre en una finestra nova) d'OpenAI.
Actor
Vam identificar i bloquejar comptes que, segons l'avaluació d'una font fiable, probablement pertanyien a un adversari presumptament establert a la Xina. Aquests comptes intentaven utilitzar els nostres models per donar suport a les seves operacions cibernètiques ofensives, alhora que duien a terme atacs de pesca de credencials dirigida contra els nostres empleats i governs d'arreu del món. Aquest adversari, conegut públicament com a SweetSpecter, va aparèixer el 2023. Segons la informació de què disposem, és el primer cop que s'ha identificat públicament una empresa d'IA amb seu als Estats Units entre els seus objectius. Les informacions anteriors indicaven que la seva activitat s'havia centrat en entitats polítiques de l'Orient Mitjà, l'Àfrica i l'Àsia.
Comportament
El maig de 2024, una font fiable ens va alertar que el seu equip de seguretat havia observat que SweetSpecter enviava correus de pesca de credencials dirigida amb fitxers adjunts maliciosos tant als comptes de correu corporatius com als personals d'alguns dels nostres empleats.
Versió amb dades ocultades del correu que SweetSpecter va enviar a un grup reduït dels nostres empleats. Els nostres sistemes de seguretat van bloquejar aquests correus. Imatge cedida per Proofpoint.
En aquests correus, SweetSpecter es feia passar per un usuari de ChatGPT que demanava ajuda als empleats seleccionats com a objectiu. Els correus incloïen un fitxer adjunt maliciós anomenat "some problems.zip", que contenia un fitxer LNK. Aquest fitxer contenia codi que, si s'obria, mostrava a l'usuari un fitxer DOCX amb una llista de diversos missatges d'error i de servei aparentment procedents de ChatGPT. En segon pla, però, es desxifrava i s'executava un programari maliciós per a Windows conegut com a SugarGh0st RAT. Aquest programari maliciós està dissenyat per donar a SweetSpecter el control de l'equip compromès i permetre-li executar ordres arbitràries, fer captures de pantalla i exfiltrar dades, entre altres accions.
L'equip de seguretat d'OpenAI va contactar amb els empleats que es creia que havien estat l'objectiu d'aquesta campanya de pesca de credencials dirigida i va comprovar que els controls de seguretat existents havien impedit que els missatges arribessin als seus comptes de correu corporatius.
Contingut utilitzat com a esquer que es mostrava en executar un dels fitxers LNK maliciosos analitzats.
Al llarg d'aquest procés, la col·laboració amb socis del sector va ser clau per identificar aquests intents fallits de comprometre els comptes dels empleats. Això posa de manifest la importància de compartir informació sobre amenaces i de col·laborar per anar un pas endavant dels adversaris sofisticats en l'era de la IA. Aprofitant la informació compartida i l'experiència col·lectiva, podem protegir millor els nostres actius i interrompre l'activitat dels comptes de la plataforma associats a aquestes accions.
Respostes generades
En analitzar el conjunt de la infraestructura que donava suport a aquesta campanya, vam trobar un grup de comptes de ChatGPT que utilitzaven la mateixa infraestructura per intentar obtenir respostes a preguntes i dur a terme tasques de creació de scripts i d'investigació de vulnerabilitats, i en vam interrompre l'activitat. Vam relacionar aquestes interaccions amb les tàctiques, tècniques i procediments (TTP) vinculats als LLM que Microsoft havia proposat integrar al marc MITRE ATT&CK® a principis d'aquest any. El marc MITRE recull tàctiques i tècniques que els adversaris cibernètics utilitzen en casos reals. En detallar aquestes correspondències, volem informar el conjunt de la comunitat de ciberseguretat sobre les TTP observades i ajudar a millorar l'eficàcia de la ciberdefensa.
A continuació es mostren alguns exemples d'activitats de SweetSpecter que encaixen amb aquestes TTP:
Activitat | Categoria del marc ATT&CK per als LLM |
|---|---|
Preguntar sobre vulnerabilitats en diverses aplicacions | Reconeixement amb informació aportada per LLM |
Preguntar com cercar versions específiques de Log4j afectades per Log4Shell, una vulnerabilitat crítica d'execució remota de codi (RCE) | Reconeixement amb informació aportada per LLM |
Preguntar sobre sistemes de gestió de continguts populars a l'estranger | Reconeixement amb informació aportada per LLM |
Demanar informació sobre números CVE específics | Reconeixement amb informació aportada per LLM |
Preguntar com es creen eines de rastreig que abasten tot internet. | Reconeixement amb informació aportada per LLM |
Preguntar com es podria utilitzar sqlmap per carregar un possible intèrpret d'ordres web en un servidor objectiu. | Investigació de vulnerabilitats assistida per LLM |
Demanar ajuda per trobar maneres d'explotar la infraestructura d'un fabricant d'automòbils destacat. | Investigació de vulnerabilitats assistida per LLM |
Proporcionar codi i demanar ajuda addicional per utilitzar serveis de comunicació per enviar missatges de text mitjançant programació. | Tècniques de creació de scripts millorades amb LLM |
Demanar ajuda per depurar una extensió en desenvolupament per a una eina de ciberseguretat. | Tècniques de creació de scripts millorades amb LLM |
Demanar ajuda per depurar codi que forma part d'un entorn de treball més ampli per enviar missatges de text mitjançant programació a números especificats per l'atacant. | Desenvolupament assistit per LLM |
Demanar temes que puguin interessar als empleats de departaments governamentals i noms adequats per als fitxers adjunts que n'evitin el bloqueig. | Enginyeria social amb suport de LLM |
Demanar variants d'un missatge de captació de personal proporcionat per l'atacant. | Enginyeria social amb suport de LLM |
Al llarg d'aquesta investigació, els nostres equips de seguretat van utilitzar ChatGPT per analitzar, classificar, traduir i resumir interaccions dels comptes de l'adversari. Això ens va permetre extreure ràpidament informació rellevant de grans conjunts de dades, alhora que reduíem al mínim els recursos necessaris per a aquesta feina. A mesura que els nostres models esdevinguin més avançats, preveiem que també podrem utilitzar ChatGPT per aplicar enginyeria inversa als fitxers adjunts maliciosos enviats als empleats i analitzar-los.
Impacte
En línia amb el que vam observar al nostre primer informe sobre amenaces, l'ús dels nostres models no semblava proporcionar als operadors capacitats ni orientacions noves que no haguessin pogut obtenir de múltiples recursos disponibles públicament. Els nostres mecanismes de seguretat van bloquejar els correus maliciosos de l'adversari abans que arribessin a les safates d'entrada dels empleats.