SweetSpecter : cyberactivité liée à la Chine
OpenAI a banni des comptes probablement liés à SweetSpecter, un acteur malveillant présumé basé en Chine, qui utilisait l’IA pour rechercher des vulnérabilités, écrire du code et soutenir des activités d’hameçonnage ciblé.
Cette étude de cas a initialement été publiée dans le rapport d’OpenAI d’octobre 2024(ouverture dans une nouvelle fenêtre).
Acteur
Nous avons identifié et banni des comptes qui, selon l’évaluation d’une source crédible, appartenaient probablement à un acteur malveillant présumé basé en Chine. Ces comptes tentaient d’utiliser nos modèles pour soutenir leurs cyberopérations offensives, tout en menant des attaques par hameçonnage ciblé contre nos employés et des gouvernements du monde entier. Cet acteur malveillant, connu publiquement sous le nom de SweetSpecter, est apparu en 2023. À notre connaissance, c’est la première fois qu’une entreprise d’IA basée aux États-Unis est publiquement identifiée parmi ses cibles. Ses activités précédentes auraient visé des entités politiques au Moyen-Orient, en Afrique et en Asie.
Comportement
En mai 2024, une source crédible nous a informés que son équipe de sécurité avait observé SweetSpecter envoyer des e-mails d’hameçonnage ciblé contenant des pièces jointes malveillantes aux adresses professionnelles et personnelles de certains de nos employés.
Une version expurgée de l’e-mail envoyé par SweetSpecter à un petit nombre de nos employés. Ces e-mails ont été bloqués par nos systèmes de sécurité. Image reproduite avec l’aimable autorisation de Proofpoint.
Dans ces e-mails, SweetSpecter se faisait passer pour un utilisateur de ChatGPT demandant de l’aide aux employés ciblés. Les e-mails comportaient une pièce jointe malveillante nommée « some problems.zip », contenant un fichier LNK. Ce fichier contenait du code qui, à l’ouverture, affichait à l’utilisateur un fichier DOCX répertoriant divers messages d’erreur et de service apparemment émis par ChatGPT. En arrière-plan, toutefois, un logiciel malveillant Windows connu sous le nom de SugarGh0st RAT était déchiffré et exécuté. Ce logiciel malveillant est conçu pour donner à SweetSpecter le contrôle de la machine compromise et lui permettre notamment d’exécuter des commandes arbitraires, de prendre des captures d’écran et d’exfiltrer des données.
L’équipe de sécurité d’OpenAI a contacté les employés présumés ciblés par cette campagne d’hameçonnage et a constaté que les mesures de sécurité en place avaient empêché les e-mails d’atteindre leurs messageries professionnelles.
Contenu servant de leurre dans l’un des fichiers LNK malveillants analysés, affiché lors de son exécution.
Tout au long de ce processus, notre collaboration avec des partenaires du secteur a joué un rôle clé dans l’identification de ces tentatives infructueuses de compromission des comptes de nos employés. Cela souligne l’importance du partage de renseignements sur les menaces et de la collaboration pour garder une longueur d’avance sur des adversaires sophistiqués à l’ère de l’IA. En nous appuyant sur les informations partagées et l’expertise collective, nous pouvons mieux protéger nos ressources et neutraliser les comptes associés à de telles activités sur notre plateforme.
Réponses générées
En analysant l’ensemble de l’infrastructure soutenant cette campagne, nous avons découvert et neutralisé un groupe de comptes ChatGPT qui utilisaient la même infrastructure pour tenter d’obtenir des réponses à des questions et d’effectuer des tâches d’écriture de scripts et de recherche de vulnérabilités. Nous avons mis ces interactions en correspondance avec les tactiques, techniques et procédures (TTP) liées aux LLM que Microsoft a proposé d’intégrer au référentiel MITRE ATT&CK® plus tôt cette année. Le référentiel MITRE recense les tactiques et techniques réellement utilisées par les cyberadversaires. En présentant ces correspondances, nous souhaitons informer l’ensemble de la communauté de la cybersécurité des TTP observées et contribuer à améliorer l’efficacité de la cyberdéfense.
Voici quelques exemples d’activités de SweetSpecter correspondant à ces TTP :
Activité | Catégorie LLM du référentiel ATT&CK |
|---|---|
Poser des questions sur les vulnérabilités de diverses applications | Reconnaissance éclairée par les LLM |
Demander comment rechercher des versions spécifiques de Log4j vulnérables à Log4Shell, une faille critique d’exécution de code à distance (RCE) | Reconnaissance éclairée par les LLM |
Poser des questions sur les systèmes de gestion de contenu populaires utilisés à l’étranger | Reconnaissance éclairée par les LLM |
Demander des informations sur des numéros CVE spécifiques | Reconnaissance éclairée par les LLM |
Demander comment sont conçus les scanners opérant à l’échelle d’Internet. | Reconnaissance éclairée par les LLM |
Demander comment utiliser sqlmap pour téléverser un éventuel web shell sur un serveur cible. | Recherche de vulnérabilités assistée par les LLM |
Demander de l’aide pour trouver des moyens d’exploiter l’infrastructure d’un grand constructeur automobile. | Recherche de vulnérabilités assistée par les LLM |
Fournir du code et demander une aide supplémentaire pour utiliser des services de communication afin d’envoyer des SMS par programmation. | Techniques d’écriture de scripts améliorées par les LLM |
Demander de l’aide pour déboguer une extension en cours de développement pour un outil de cybersécurité. | Techniques d’écriture de scripts améliorées par les LLM |
Demander de l’aide pour déboguer du code faisant partie d’un framework plus vaste destiné à envoyer des SMS par programmation à des numéros spécifiés par l’attaquant. | Développement assisté par les LLM |
Demander quels sujets pourraient intéresser les employés de services gouvernementaux et quels noms donner aux pièces jointes pour éviter leur blocage. | Ingénierie sociale appuyée par les LLM |
Demander des variantes d’un message de recrutement fourni par l’attaquant. | Ingénierie sociale appuyée par les LLM |
Tout au long de cette enquête, nos équipes de sécurité ont utilisé ChatGPT pour analyser, classer, traduire et résumer les interactions provenant de comptes malveillants. Cela nous a permis de tirer rapidement des enseignements de grands ensembles de données tout en réduisant au minimum les ressources nécessaires à ce travail. À mesure que nos modèles progressent, nous pensons également pouvoir utiliser ChatGPT pour effectuer la rétro-ingénierie et l’analyse des pièces jointes malveillantes envoyées aux employés.
Impact
Conformément à nos observations dans notre premier rapport sur les menaces, l’utilisation de nos modèles par ces opérateurs ne semblait pas leur apporter de capacités ou de pistes inédites qu’ils n’auraient pas pu obtenir par ailleurs auprès de multiples ressources publiques. Nos mécanismes de sécurité ont bloqué les e-mails malveillants de cet acteur avant qu’ils n’atteignent les boîtes de réception des employés.