Arnaque par appât sentimental : processus d’abattage du cochon assistés par IA
OpenAI a banni des comptes apparemment basés au Cambodge qui utilisaient l’IA pour traduire et générer des conversations d’arnaques sentimentales et à l’investissement.
Cette étude de cas a été initialement publiée dans le rapport d’OpenAI de février 2025(ouverture dans une nouvelle fenêtre).
Acteur
Nous avons banni un groupe de comptes ChatGPT qui traduisaient et généraient de courts commentaires en japonais, en chinois et en anglais. Cette activité semble avoir été menée depuis le Cambodge et correspondait à une arnaque sentimentale et à l’investissement, également appelée « abattage du cochon ». Meta a récemment identifié une activité connexe(ouverture dans une nouvelle fenêtre) sur sa plateforme, apparemment menée depuis un centre d’arnaque nouvellement créé au Cambodge.
Comportement
Ce réseau utilisait nos modèles pour traduire et générer de courts commentaires. La langue principale des acteurs semble avoir été le chinois. Les résultats étaient produits dans diverses langues, notamment en japonais et en chinois, mais aussi en anglais.
Les acteurs utilisaient principalement nos modèles pour deux activités. Premièrement, ils généraient des commentaires qui étaient publiés publiquement sur des réseaux sociaux comme Facebook, X et Instagram. Chaque compte de réseau social présentait généralement une ou plusieurs photos de profil d’une jeune femme. Nous estimons qu’au moins certaines de ces photos ont été copiées sur celles de véritables mannequins ou influenceuses plutôt que générées par l’IA.
La plupart des commentaires générés étaient publiés en réponse aux publications de personnes réelles sur les réseaux sociaux. Certaines des publications auxquelles les opérateurs répondaient dataient de plusieurs mois, voire de plusieurs années. Cette opération ciblait généralement des hommes dont le profil public laissait penser qu’ils avaient plus de 40 ans, souvent des professionnels de santé. L’opération répondait fréquemment à des publications sur le golf, ce qui laisse supposer une stratégie de ciblage délibérée. Il arrivait que les escrocs publient des messages sur des questions politiques ou des sujets d’actualité.
Commentaire Facebook généré par cet acteur à l’aide de nos modèles, en réponse au commentaire sur le golf d’une personne qui ne semblait pas liée à cette opération. La photo de profil du compte frauduleux a été copiée sur celle d’une influenceuse américaine spécialisée dans la mode et la beauté. La publication d’origine datait de plus d’un mois lorsque le compte frauduleux y a répondu.
Commentaire généré par nos modèles et publié par un compte vérifié sur X en réponse au tweet d’un compte qui ne semblait pas lié à cette arnaque. La photo de profil du compte a été copiée sur celle de la même influenceuse américaine spécialisée dans la mode et la beauté. Le tweet d’origine datait de près de six mois.
Deuxièmement, et plus fréquemment, les opérateurs généraient de courts commentaires ressemblant à des extraits de conversation en ligne. Il s’agissait généralement de traduire des commentaires du chinois vers une langue cible, le japonais ou l’anglais, ou de la langue cible vers le chinois. Cela correspond à une utilisation du modèle principalement destinée à traduire des conversations en cours.
Les comptes demandaient parfois au modèle de générer une réponse sur un certain ton, par exemple celui d’une jeune femme séductrice. Des renseignements biographiques détaillés étaient parfois fournis pour guider les réponses du modèle, notamment le nom, la formation, le métier, le lieu de résidence et les loisirs du faux personnage. Ces biographies précisaient généralement que le faux personnage s’essayait à l’investissement en ligne.
Les escrocs semblent avoir utilisé un grand nombre d’outils et de plateformes différents pour interagir avec leurs cibles. Notre enquête a révélé qu’ils utilisaient notamment LINE, WhatsApp, X, Facebook, Instagram, divers autres services de messagerie, la fonction « Masquer mon adresse e-mail » d’Apple(ouverture dans une nouvelle fenêtre), ainsi que des plateformes de cryptomonnaies et de change.
Réponses générées
D’après la visibilité limitée dont nous disposons sur cette activité, les escrocs semblent avoir suivi un processus courant pour faire passer leurs cibles de la prise de contact à l’investissement frauduleux :
Interaction publique : les escrocs commentaient les publications de leur cible sur les réseaux sociaux. Ces commentaires se terminaient souvent par une question telle que « Que pensez-vous de [sujet] ? », probablement pour augmenter les chances d’obtenir une réponse. Dans quelques cas, ils commentaient des sujets politiques, mais ils parlaient plus souvent de golf.
Probables messages directs : les escrocs généraient ensuite de courts commentaires au ton conversationnel. Bien que nous n’ayons pas une visibilité complète sur la manière et le lieu où ils étaient utilisés, ces commentaires correspondaient à une situation dans laquelle l’escroc et sa cible commençaient à échanger des messages directs.
Messagerie sécurisée : très rapidement, souvent en quelques jours, les escrocs généraient des messages suggérant de passer à une application de messagerie plus sécurisée. Ils justifiaient parfois cette demande en affirmant ne pas faire confiance aux réseaux sociaux. Dans d’autres cas, ils invoquaient une contrainte logistique, par exemple un déplacement imminent vers un lieu sans accès aux réseaux sociaux.
Relation sentimentale : les escrocs rédigeaient et traduisaient des messages de plus en plus affectueux et intimes. Si les cibles demandaient des photos de la « femme » avec laquelle elles échangeaient, les escrocs trouvaient des excuses.
Incitation financière : les escrocs rédigeaient et traduisaient des messages dans lesquels ils se vantaient d’avoir gagné beaucoup d’argent en investissant en ligne dans le change, les cryptomonnaies ou l’or. Ces gains étaient souvent présentés comme le résultat des conseils d’un proche travaillant dans la finance. L’escroc incitait sa cible à investir de la même manière et proposait de la guider tout au long du processus.
Fraude : les escrocs rédigeaient et traduisaient des messages visant à convaincre la victime de transférer de l’argent vers une application de trading, tout en l’encourageant en vantant l’importance des bénéfices réalisés. Chaque fois que la victime tentait de retirer ses « bénéfices », l’escroc avançait une excuse, par exemple la nécessité de payer des frais.
Ce mode opératoire correspond aux informations accessibles au public(ouverture dans une nouvelle fenêtre) sur le fonctionnement habituel de ce type d’arnaque.
Impact
Cette activité semble avoir connu de nombreux faux départs et échecs. Certaines des conversations que les escrocs ont traitées à l’aide de nos modèles se terminaient lorsque la cible dénonçait une arnaque ou demandait à l’escroc de la laisser tranquille. Nous avons également identifié sur les réseaux sociaux des publications d’escrocs qui n’avaient suscité aucune interaction.
Cependant, certaines conversations mentionnaient des montants de plusieurs milliers de dollars, ou l’équivalent dans d’autres devises, pour des transactions individuelles. Compte tenu de l’utilisation de nos modèles par ces opérateurs, nous ne pouvons pas déterminer si ces transactions financières ont été effectuées. Toutefois, les références dans les conversations laissent penser que, dans certains cas au moins, les escrocs sont parvenus à soutirer de l’argent à leurs cibles.
Les politiques d’OpenAI interdisent strictement d’utiliser les résultats de nos outils à des fins de fraude ou d’arnaque. Nous sommes déterminés à collaborer avec nos homologues du secteur et les autorités pour comprendre comment l’IA est utilisée dans des comportements malveillants et perturber activement les activités frauduleuses qui abusent de nos services. Conformément à cet engagement, nous avons communiqué à nos homologues du secteur et aux autorités compétentes des informations sur les réseaux d’arnaque que nous avons perturbés.