Romantische lokfraude: AI-ondersteunde werkwijzen voor pig butchering
OpenAI blokkeerde accounts die uit Cambodja leken te komen en AI gebruikten om gesprekken voor romantische lok- en beleggingsfraude te vertalen en genereren.
Deze casestudy werd oorspronkelijk gepubliceerd in OpenAI's rapport van februari 2025(opent in een nieuw venster).
Actor
We blokkeerden een cluster ChatGPT‑accounts die korte reacties in het Japans, Chinees en Engels vertaalden en genereerden. Deze activiteit lijkt afkomstig te zijn geweest uit Cambodja en kwam overeen met romantische lok- en beleggingsfraude (ook wel "pig butchering" genoemd). Meta signaleerde onlangs gerelateerde activiteiten(opent in een nieuw venster) op zijn platform die afkomstig leken te zijn van een nieuw opgezet fraudecomplex in Cambodja.
Gedrag
Dit netwerk gebruikte onze modellen om korte reacties te vertalen en genereren. De hoofdtaal van de actoren lijkt Chinees te zijn geweest. De uitvoer was in diverse talen, met name Japans en Chinees, maar ook Engels.
De actoren gebruikten onze modellen voor twee hoofdactiviteiten. Ten eerste genereerden ze reacties die openbaar werden geplaatst op socialemediaplatforms zoals Facebook, X en Instagram. Elk socialemedia-account bevatte doorgaans een of meer profielfoto's van een jonge vrouw. Wij vermoeden dat ten minste enkele daarvan waren gekopieerd van echte modellen of influencers en niet door AI waren gegenereerd.
De meeste gegenereerde reacties werden geplaatst als antwoord op socialemediaberichten van echte mensen. Sommige berichten waarop de uitvoerders reageerden, waren maanden of jaren oud. Deze operatie richtte zich doorgaans op mannen van wie het openbare profiel erop wees dat ze ouder dan 40 waren en die vaak in de medische sector werkten. De operatie reageerde vaak op berichten over golf, wat wijst op een gerichte strategie. Soms plaatsten de fraudeurs berichten over politieke kwesties of actuele gebeurtenissen.
Facebook-reactie die deze actor met onze modellen genereerde en plaatste als antwoord op een reactie over golf van iemand die niet aan deze operatie gelinkt leek. De profielfoto van het fraudeaccount is gekopieerd van een Amerikaanse influencer op het gebied van mode en beauty. Het oorspronkelijke bericht was al meer dan een maand oud toen het fraudeaccount erop reageerde.
Reactie gegenereerd door onze modellen en door een geverifieerd account op X geplaatst als antwoord op een tweet van een account dat niet aan deze fraude gelinkt leek. De profielfoto van het account is gekopieerd van dezelfde Amerikaanse influencer op het gebied van mode en beauty. De oorspronkelijke tweet was bijna zes maanden oud.
Ten tweede, en vaker, genereerden de uitvoerders korte reacties die leken op delen van een onlinegesprek. Dit bestond doorgaans uit het vertalen van reacties uit het Chinees naar een doeltaal (Japans of Engels), of vanuit de doeltaal terug naar het Chinees. Dit past bij fraudeurs die het model voornamelijk gebruikten om lopende chats te vertalen.
Soms vroegen de accounts het model om een antwoord met een bepaalde toon te genereren, bijvoorbeeld die van een flirterige jonge vrouw. Soms werden uitgebreide biografische gegevens verstrekt om de antwoorden van het model te sturen, waaronder de naam, opleiding, baan, locatie en hobby's van de neppersoonlijkheid. In deze biografieën stond doorgaans ook dat de neppersoonlijkheid zich bezighield met online beleggen.
De fraudeurs lijken veel verschillende tools en platforms te hebben gebruikt om contact te onderhouden met hun doelwitten. Ons onderzoek leverde bewijs op dat ze onder meer LINE, WhatsApp, X, Facebook, Instagram, diverse andere berichtendiensten, Apple's functie "Verberg mijn e-mailadres"(opent in een nieuw venster) en platforms voor cryptovaluta en valutahandel gebruikten.
Voltooiingen
Op basis van ons specifieke zicht op deze activiteit lijken de fraudeurs een gangbare werkwijze te hebben gevolgd om hun doelwitten van het eerste contact naar frauduleuze beleggingen te leiden:
Openbaar contact: de fraudeurs reageerden op socialemediaberichten van het doelwit. Deze reacties eindigden vaak met een vraag zoals: "Wat vindt u van [onderwerp]?", waarschijnlijk om de kans op interactie te vergroten. In een handvol gevallen reageerden ze op politiek, maar vaker spraken ze over golf.
Waarschijnlijke privéberichten: vervolgens genereerden de fraudeurs korte, informele reacties. Hoewel we niet volledig kunnen zien hoe en waar deze werden ingezet, pasten de reacties bij een situatie waarin de fraudeur en het doelwit privéberichten begonnen uit te wisselen.
Beveiligde berichtendienst: al snel, vaak binnen enkele dagen, genereerden de fraudeurs berichten waarin werd voorgesteld over te stappen naar een beter beveiligde berichtenapp. Soms beweerden ze dat de fraudeur sociale media niet vertrouwde. Andere keren gebruikten ze een praktische smoes, bijvoorbeeld dat ze binnenkort ergens heen gingen waar ze geen toegang tot sociale media zouden hebben.
Romantisch contact: de fraudeurs schreven en vertaalden steeds liefdevollere en intiemere berichten. Als doelwitten om foto's vroegen van de "vrouw" met wie ze chatten, verzonnen de fraudeurs smoesjes.
Financiële toenadering: de fraudeurs schreven en vertaalden berichten waarin ze opschepten dat ze veel geld hadden verdiend door online te beleggen in vreemde valuta, cryptovaluta of goud. Dit werd vaak voorgesteld als het resultaat van het opvolgen van advies van een familielid dat in de financiële sector werkte. De fraudeur spoorde het doelwit aan om op dezelfde manier te gaan beleggen en bood aan diegene door het proces te begeleiden.
Fraude: de fraudeurs schreven en vertaalden berichten om het slachtoffer te overtuigen geld over te maken naar een handelsapp. Ze moedigden dit aan door hoog op te geven over de winst die ze maakten. Telkens wanneer het slachtoffer de "winst" probeerde op te nemen, kwam de fraudeur met een smoes, bijvoorbeeld dat er eerst kosten moesten worden betaald.
Dit activiteitenpatroon komt overeen met openbaar beschikbare berichtgeving(opent in een nieuw venster) over de manier waarop dergelijke fraude doorgaans werkt.
Impact
Deze activiteit lijkt veel mislukte aanzetten en pogingen te hebben omvat. Sommige gesprekken die de fraudeurs via onze modellen verwerkten, eindigden ermee dat het doelwit de activiteit als fraude ontmaskerde of de fraudeur vroeg diegene met rust te laten. We vonden ook berichten van de fraudeurs op sociale media waarop helemaal geen interactie plaatsvond.
In sommige gesprekken werden echter bedragen van duizenden dollars (of het equivalent in andere valuta) genoemd als omvang van afzonderlijke transacties. Door de manier waarop deze uitvoerders onze modellen gebruikten, kunnen we niet zien of deze financiële transacties daadwerkelijk zijn uitgevoerd. De verwijzingen in de gesprekken wijzen er echter op dat de fraudeurs er in ten minste enkele gevallen in slaagden hun doelwitten op te lichten.
Het beleid van OpenAI verbiedt ten strengste het gebruik van uitvoer van onze tools voor fraude of oplichting. We zetten ons in voor samenwerking met branchegenoten en autoriteiten om te begrijpen hoe AI wordt gebruikt voor schadelijk gedrag en om fraudeactiviteiten die misbruik maken van onze diensten actief te verstoren. In lijn met deze toezegging hebben we informatie over de fraudenetwerken die we hebben verstoord gedeeld met branchegenoten en de relevante autoriteiten.