SweetSpecter : cyberactivité liée à la Chine
OpenAI a banni des comptes probablement liés à SweetSpecter, un adversaire présumé basé en Chine qui utilisait l’IA pour rechercher des vulnérabilités, écrire du code et soutenir des activités de harponnage.
Cette étude de cas a été publiée initialement dans le rapport d’octobre 2024(s'ouvre dans une nouvelle fenêtre) d’OpenAI.
Acteur
Nous avons repéré et banni des comptes qui, selon l’évaluation d’une source crédible, appartenaient probablement à un adversaire présumé basé en Chine. Ces comptes tentaient d’utiliser nos modèles pour soutenir ses cyberopérations offensives, tandis que cet adversaire menait des attaques de harponnage contre nos employés et des gouvernements du monde entier. Cet adversaire, connu publiquement sous le nom de SweetSpecter, a fait son apparition en 2023. À notre connaissance, c’est la première fois qu’une entreprise d’IA basée aux États-Unis est publiquement désignée parmi ses cibles; ses activités précédentes auraient visé principalement des entités politiques au Moyen-Orient, en Afrique et en Asie.
Comportement
En mai 2024, une source crédible nous a signalé que son équipe de sécurité avait observé l’envoi par SweetSpecter de courriels de harponnage contenant des pièces jointes malveillantes aux adresses professionnelles et personnelles de certains de nos employés.
Version caviardée du courriel envoyé par SweetSpecter à un petit nombre de nos employés. Ces courriels ont été bloqués par nos systèmes de sécurité. Image fournie gracieusement par Proofpoint.
Dans ces courriels, SweetSpecter se faisait passer pour un utilisateur de ChatGPT demandant de l’aide aux employés ciblés. Les courriels comprenaient une pièce jointe malveillante nommée « some problems.zip », qui contenait un fichier LNK. Ce fichier contenait du code qui, à son ouverture, présentait à l’utilisateur un fichier DOCX répertoriant divers messages d’erreur et de service provenant apparemment de ChatGPT. En arrière-plan, toutefois, un maliciel Windows nommé SugarGh0st RAT était déchiffré et exécuté. Ce maliciel est conçu pour donner à SweetSpecter le contrôle de la machine compromise et lui permettre notamment d’exécuter des commandes arbitraires, de prendre des captures d’écran et d’exfiltrer des données.
L’équipe de sécurité d’OpenAI a communiqué avec les employés que l’on croyait visés par cette campagne de harponnage et a constaté que les mesures de sécurité en place avaient empêché les courriels d’atteindre leurs boîtes de réception professionnelles.
Contenu leurre de l’un des fichiers LNK malveillants analysés, qui s’afficherait lors de son exécution.
Tout au long de ce processus, notre collaboration avec des partenaires du secteur a joué un rôle clé dans la détection de ces tentatives infructueuses de compromission des comptes d’employés. Cela souligne l’importance du partage de renseignements sur les menaces et de la collaboration pour garder une longueur d’avance sur des adversaires sophistiqués à l’ère de l’IA. En tirant parti des renseignements partagés et de l’expertise collective, nous pouvons mieux protéger nos actifs et perturber les comptes associés à ces activités sur notre plateforme.
Réponses générées
En analysant l’ensemble de l’infrastructure qui soutenait cette campagne, nous avons repéré et neutralisé un groupe de comptes ChatGPT qui utilisaient la même infrastructure pour tenter d’obtenir des réponses à des questions, de créer des scripts et de rechercher des vulnérabilités. Nous avons associé ces interactions aux tactiques, techniques et procédures (TTP) liées aux LLM que Microsoft avait proposé d’intégrer au cadre MITRE ATT&CK® plus tôt cette année. Le cadre MITRE recense les tactiques et techniques réellement utilisées par les cyberadversaires. En présentant ces correspondances, nous souhaitons informer l’ensemble de la communauté de la cybersécurité des TTP observées et contribuer à améliorer l’efficacité de la cyberdéfense.
Voici quelques exemples d’activités de SweetSpecter qui correspondent à ces TTP :
Activité | Catégorie liée aux LLM du cadre ATT&CK |
|---|---|
Poser des questions sur les vulnérabilités de diverses applications | Reconnaissance éclairée par les LLM |
Demander comment rechercher des versions précises de Log4j touchées par Log4Shell, une vulnérabilité critique d’exécution de code à distance (RCE) | Reconnaissance éclairée par les LLM |
Poser des questions sur les systèmes de gestion de contenu populaires à l’étranger | Reconnaissance éclairée par les LLM |
Demander des renseignements sur des numéros CVE précis | Reconnaissance éclairée par les LLM |
Demander comment sont conçus les outils de balayage à l’échelle d’Internet. | Reconnaissance éclairée par les LLM |
Demander comment utiliser sqlmap pour téléverser un éventuel shell Web sur un serveur cible. | Recherche de vulnérabilités assistée par les LLM |
Demander de l’aide pour trouver des moyens d’exploiter l’infrastructure d’un grand constructeur automobile. | Recherche de vulnérabilités assistée par les LLM |
Fournir du code et demander de l’aide supplémentaire pour utiliser des services de communication afin d’envoyer des textos par programmation. | Techniques de création de scripts améliorées par les LLM |
Demander de l’aide pour déboguer une extension en développement pour un outil de cybersécurité. | Techniques de création de scripts améliorées par les LLM |
Demander de l’aide pour déboguer du code faisant partie d’un cadre logiciel plus vaste destiné à envoyer des textos par programmation à des numéros précisés par l’attaquant. | Développement assisté par les LLM |
Demander quels thèmes intéresseraient les employés de ministères et quels noms donner aux pièces jointes pour éviter leur blocage. | Ingénierie sociale soutenue par les LLM |
Demander des variantes d’un message de recrutement fourni par l’attaquant. | Ingénierie sociale soutenue par les LLM |
Tout au long de cette enquête, nos équipes de sécurité ont utilisé ChatGPT pour analyser, catégoriser, traduire et résumer les interactions provenant des comptes de l’adversaire. Cela nous a permis de tirer rapidement des enseignements de vastes ensembles de données tout en réduisant au minimum les ressources nécessaires à ce travail. À mesure que nos modèles deviennent plus avancés, nous prévoyons pouvoir également utiliser ChatGPT pour effectuer la rétro-ingénierie et l’analyse des pièces jointes malveillantes envoyées aux employés.
Incidence
Comme nous l’avions observé dans notre premier rapport sur les menaces, l’utilisation de nos modèles par ces opérateurs ne semblait pas leur fournir de nouvelles capacités ou directives qu’ils n’auraient pas pu obtenir autrement à partir de plusieurs ressources accessibles au public. Nos mécanismes de sécurité ont bloqué les courriels malveillants de l’adversaire avant qu’ils n’atteignent les boîtes de réception des employés.