Estafa amb esquer romàntic: fluxos de matança del porc assistits per IA
OpenAI va bloquejar comptes que semblaven operar des de Cambodja i feien servir IA per traduir i generar converses d'estafes romàntiques i d'inversió.
Aquest estudi de cas es va publicar originalment a l'informe d'OpenAI de febrer de 2025(s'obre en una finestra nova).
Actor
Vam bloquejar un grup de comptes de ChatGPT que traduïen i generaven comentaris breus en japonès, xinès i anglès. Aquesta activitat sembla haver-se originat a Cambodja i coincidia amb una estafa romàntica i d'inversió (també coneguda com a "matança del porc"). Meta va identificar fa poc una activitat relacionada(s'obre en una finestra nova) a la seva plataforma que semblava provenir d'un centre d'estafes acabat de crear a Cambodja.
Comportament
Aquesta xarxa feia servir els nostres models per traduir i generar comentaris breus. Sembla que la llengua principal dels actors era el xinès. El contingut generat estava en diverses llengües, sobretot en japonès i xinès, però també en anglès.
Els actors feien servir els nostres models per a dues activitats principals. En primer lloc, generaven comentaris que es publicaven obertament en xarxes socials com Facebook, X i Instagram. Cada compte de xarxes socials solia mostrar una o més fotos de perfil d'una dona jove. Considerem que almenys algunes s'havien copiat de models o influenciadores reals, en comptes de generar-se amb IA.
La majoria dels comentaris generats es publicaven en resposta a publicacions de persones reals a les xarxes socials. Algunes de les publicacions a les quals responien els operadors tenien mesos o anys d'antiguitat. Aquesta operació solia dirigir-se a homes els perfils públics dels quals indicaven que tenien més de 40 anys, sovint professionals de la medicina. L'operació responia sovint a publicacions sobre golf, cosa que apunta a una estratègia deliberada de selecció d'objectius. De vegades, els estafadors publicaven sobre qüestions polítiques o temes d'actualitat.
Comentari de Facebook que aquest actor va generar amb els nostres models i va publicar en resposta al comentari sobre golf d'una persona que no semblava vinculada a l'operació. La foto de perfil del compte fraudulent és una còpia de la d'una influenciadora estatunidenca de moda i bellesa. La publicació original tenia més d'un mes quan el compte fraudulent hi va publicar el comentari.
Comentari generat pels nostres models i publicat per un compte verificat a X en resposta a una piulada d'un compte que no semblava vinculat a aquesta estafa. La foto de perfil del compte és una còpia de la de la mateixa influenciadora estatunidenca de moda i bellesa. La piulada original tenia gairebé sis mesos.
En segon lloc, i amb més freqüència, els operadors generaven comentaris breus que semblaven fragments d'una conversa en línia. Normalment, traduïen comentaris del xinès a una llengua de destinació (japonès o anglès), o de la llengua de destinació al xinès. Això concorda amb un ús del model destinat principalment a traduir converses en curs.
De vegades, els comptes demanaven al model que generés una resposta amb un to determinat, com el d'una dona jove i coqueta. De vegades aportaven dades biogràfiques molt detallades per orientar les respostes del model, com ara el nom, la formació, la feina, la ubicació i les aficions de la identitat falsa. Aquestes biografies solien especificar que la identitat falsa feia petites inversions en línia.
Sembla que els estafadors feien servir moltes eines i plataformes diferents per interactuar amb els seus objectius. La investigació va revelar que feien servir eines com LINE, WhatsApp, X, Facebook, Instagram, diversos serveis de missatgeria, la funció "Oculta la meva adreça electrònica" d'Apple(s'obre en una finestra nova) i plataformes de criptomonedes i divises.
Resultats
Segons la visió concreta que tenim d'aquesta activitat, sembla que els estafadors seguien un flux de treball habitual per portar els objectius des del primer contacte fins a la inversió fraudulenta:
Interacció pública: els estafadors comentaven les publicacions de l'objectiu a les xarxes socials. Aquests comentaris sovint acabaven amb una pregunta com ara: "Què en penseu, de [tema]?"", probablement per augmentar les possibilitats d'obtenir una resposta. En uns quants casos comentaven qüestions polítiques, però era més habitual que parlessin de golf.
Probable missatgeria directa: tot seguit, els estafadors generaven comentaris breus i de caràcter conversacional. Tot i que no tenim una visió completa de com i on es feien servir, els comentaris coincidien amb una situació en què l'estafador i l'objectiu començaven a intercanviar missatges directes.
Missatgeria segura: molt aviat, sovint al cap de pocs dies, els estafadors generaven missatges que proposaven passar a una aplicació de missatgeria més segura. De vegades ho justificaven dient que no es refiaven de les xarxes socials; altres vegades, donaven una excusa logística, com ara que estaven a punt d'anar a un lloc on no tindrien accés a les xarxes socials.
Vincle romàntic: els estafadors escrivien i traduïen missatges cada vegada més afectuosos i íntims. Si els objectius demanaven fotos de la "dona" amb qui parlaven, els estafadors posaven excuses.
Vincle financer: els estafadors escrivien i traduïen missatges en què presumien d'haver guanyat molts diners invertint en línia en divises, criptomonedes o or. Sovint ho presentaven com el resultat d'haver seguit els consells d'un familiar que treballava en el sector financer. L'estafador instava l'objectiu a començar a invertir de la mateixa manera i s'oferia a guiar-lo durant el procés.
Frau: els estafadors escrivien i traduïen missatges per convèncer la víctima que transferís diners a una aplicació de compravenda d'actius i l'animaven exagerant els beneficis que obtenia. Cada vegada que la víctima intentava retirar els seus "beneficis", l'estafador donava alguna excusa, com ara que calia pagar una comissió.
Aquest patró d'activitat coincideix amb la informació disponible públicament(s'obre en una finestra nova) sobre el funcionament habitual d'aquestes estafes.
Impacte
Sembla que aquesta activitat va incloure molts intents fallits i fracassos. Algunes de les converses que els estafadors van processar amb els nostres models acabaven amb l'objectiu denunciant que es tractava d'una estafa o exigint a l'estafador que el deixés en pau. També vam identificar publicacions dels estafadors a les xarxes socials que no havien generat cap interacció.
Tanmateix, algunes converses esmentaven imports de milers de dòlars, o quantitats equivalents en altres monedes, com a volum de transaccions individuals. Atès l'ús que aquests operadors feien dels nostres models, no podem saber si aquestes transaccions financeres es van dur a terme. No obstant això, les referències de les converses indiquen que, almenys en alguns casos, els estafadors van aconseguir defraudar els seus objectius.
Les polítiques d'OpenAI prohibeixen estrictament utilitzar els resultats de les nostres eines per cometre fraus o estafes. Ens comprometem a col·laborar amb altres empreses del sector i amb les autoritats per entendre com s'utilitza la IA en conductes adversàries i interrompre activament les activitats fraudulentes que abusen dels nostres serveis. D'acord amb aquest compromís, hem compartit informació sobre les xarxes d'estafes que hem desarticulat amb altres empreses del sector i amb les autoritats competents.