SweetSpecter: actividad cibernética vinculada a China
OpenAI bloqueó cuentas que probablemente pertenecían a SweetSpecter, un presunto adversario con sede en China que usaba IA para investigar vulnerabilidades, escribir código y apoyar ataques de phishing dirigido.
Este caso de estudio se publicó originalmente en el informe de octubre de 2024(se abre en una nueva ventana) de OpenAI.
Actor
Identificamos y bloqueamos cuentas que, según la evaluación de una fuente confiable, probablemente pertenecían a un presunto adversario con sede en China. Estas cuentas intentaban usar nuestros modelos para apoyar sus operaciones cibernéticas ofensivas, mientras el adversario realizaba ataques de phishing dirigido contra nuestros empleados y gobiernos de todo el mundo. Este adversario, conocido públicamente como SweetSpecter, surgió en 2023. Hasta donde sabemos, esta es la primera vez que se identifica públicamente a una empresa de IA con sede en Estados Unidos entre sus objetivos. Según los informes sobre su actividad previa, se había centrado en entidades políticas de Medio Oriente, África y Asia.
Comportamiento
En mayo de 2024, recibimos un aviso de una fuente confiable cuyo equipo de seguridad había observado que SweetSpecter enviaba correos de phishing dirigido con archivos adjuntos maliciosos tanto a las cuentas de correo corporativas como a las personales de algunos de nuestros empleados.
Versión con información ocultada del correo que SweetSpecter envió a un pequeño grupo de nuestros empleados. Nuestros sistemas de seguridad bloquearon estos correos. Imagen cortesía de Proofpoint.
En estos correos, SweetSpecter se hacía pasar por un usuario de ChatGPT que solicitaba asistencia a los empleados seleccionados como objetivos. Los correos incluían un archivo adjunto malicioso llamado “some problems.zip”, que contenía un archivo LNK. Este archivo contenía código que, al abrirlo, mostraría al usuario un archivo DOCX con una lista de supuestos mensajes de error y de servicio de ChatGPT. Sin embargo, en segundo plano se descifraría y ejecutaría un malware para Windows conocido como SugarGh0st RAT. El malware está diseñado para dar a SweetSpecter el control del equipo comprometido y permitirle realizar acciones como ejecutar comandos arbitrarios, tomar capturas de pantalla y extraer datos.
El equipo de seguridad de OpenAI se puso en contacto con los empleados que se creía que habían sido blanco de esta campaña de phishing dirigido y comprobó que los controles de seguridad existentes habían impedido que los mensajes llegaran a sus cuentas de correo corporativas.
Contenido de señuelo de uno de los archivos LNK maliciosos analizados, que se mostraría al ejecutarlo.
A lo largo de este proceso, nuestra colaboración con socios del sector fue clave para identificar estos intentos fallidos de comprometer las cuentas de los empleados. Esto destaca la importancia de compartir información de inteligencia sobre amenazas y de colaborar para anticiparse a adversarios sofisticados en la era de la IA. Al aprovechar la información compartida y los conocimientos colectivos, podemos proteger mejor nuestros activos e inhabilitar las cuentas de la plataforma asociadas con estas actividades.
Respuestas generadas
Al analizar el conjunto de la infraestructura que sustentaba esta campaña, encontramos e inhabilitamos un grupo de cuentas de ChatGPT que usaban esa misma infraestructura para intentar resolver preguntas y realizar tareas de creación de scripts e investigación de vulnerabilidades. Clasificamos estas interacciones según las tácticas, técnicas y procedimientos (TTP) relacionados con los LLM que Microsoft propuso integrar en el marco MITRE ATT&CK® a principios de este año. El marco MITRE recopila tácticas y técnicas que los adversarios cibernéticos utilizan en la práctica. Al presentar esta clasificación, buscamos informar a la comunidad de ciberseguridad sobre las TTP observadas y ayudar a mejorar la eficacia de la ciberdefensa.
A continuación, se presentan algunos ejemplos de actividades de SweetSpecter que corresponden a estas TTP:
Actividad | Categoría del marco ATT&CK para LLM |
|---|---|
Consultar sobre vulnerabilidades en diversas aplicaciones | Reconocimiento basado en información de LLM |
Consultar cómo buscar versiones específicas de Log4j vulnerables a Log4Shell, una vulnerabilidad crítica de ejecución remota de código (RCE) | Reconocimiento basado en información de LLM |
Consultar sobre sistemas de gestión de contenidos populares en el extranjero | Reconocimiento basado en información de LLM |
Solicitar información sobre números CVE específicos | Reconocimiento basado en información de LLM |
Consultar cómo se crean escáneres que abarcan todo internet. | Reconocimiento basado en información de LLM |
Consultar cómo se usaría sqlmap para cargar un posible web shell en un servidor objetivo. | Investigación de vulnerabilidades asistida por LLM |
Pedir ayuda para encontrar formas de explotar la infraestructura de un importante fabricante de automóviles. | Investigación de vulnerabilidades asistida por LLM |
Proporcionar código y pedir ayuda adicional para usar servicios de comunicación que permitan enviar mensajes de texto mediante programación. | Técnicas de creación de scripts mejoradas con LLM |
Pedir ayuda para depurar una extensión de una herramienta de ciberseguridad durante su desarrollo. | Técnicas de creación de scripts mejoradas con LLM |
Pedir ayuda para depurar código que forma parte de un marco más amplio para enviar mensajes de texto mediante programación a números especificados por el atacante. | Desarrollo asistido por LLM |
Consultar qué temas resultarían interesantes para empleados de dependencias gubernamentales y qué nombres convendría dar a los archivos adjuntos para evitar que se bloqueen. | Ingeniería social con apoyo de LLM |
Solicitar variantes de un mensaje de reclutamiento laboral proporcionado por el atacante. | Ingeniería social con apoyo de LLM |
Durante esta investigación, nuestros equipos de seguridad utilizaron ChatGPT para analizar, categorizar, traducir y resumir las interacciones de las cuentas del adversario. Esto nos permitió obtener rápidamente información útil de grandes conjuntos de datos y, a la vez, minimizar los recursos necesarios para este trabajo. A medida que nuestros modelos se vuelvan más avanzados, esperamos poder usar ChatGPT también para aplicar ingeniería inversa a los archivos adjuntos maliciosos enviados a los empleados y analizarlos.
Impacto
En línea con lo que observamos en nuestro primer informe sobre amenazas, el uso de nuestros modelos no pareció brindar a los operadores capacidades ni orientaciones nuevas que no hubieran podido obtener de múltiples recursos de acceso público. Nuestros mecanismos de seguridad bloquearon los correos maliciosos del adversario antes de que llegaran a las bandejas de entrada de los empleados.