Romantisk lokkesvindel: AI-understøttede arbejdsgange til »pig butchering«
OpenAI udelukkede konti, der så ud til at stamme fra Cambodja, og som brugte AI til at oversætte og generere samtaler til romantik- og investeringssvindel.
Denne casestudie blev oprindeligt offentliggjort i OpenAI’s rapport fra februar 2025(åbner i et nyt vindue).
Aktør
Vi udelukkede en gruppe ChatGPT‑konti, der oversatte og genererede korte kommentarer på japansk, kinesisk og engelsk. Aktiviteten ser ud til at være udsprunget fra Cambodja og stemte overens med romantik- og investeringssvindel (også kendt som »pig butchering«). Meta identificerede for nylig en relateret aktivitet(åbner i et nyt vindue) på sin platform, som så ud til at stamme fra et nyoprettet svindelcenter i Cambodja.
Adfærd
Dette netværk brugte vores modeller til at oversætte og generere korte kommentarer. Aktørernes primære sprog ser ud til at have været kinesisk. Det genererede indhold var på flere sprog, især japansk og kinesisk, men også engelsk.
Aktørerne brugte vores modeller til to hovedaktiviteter. For det første genererede de kommentarer, som blev slået offentligt op på sociale medier, herunder Facebook, X og Instagram. Hver konto på sociale medier havde typisk et eller flere profilbilleder af en ung kvinde. Vi vurderer, at i hvert fald nogle af billederne var kopieret fra virkelige modeller eller influencere og ikke genereret med AI.
De fleste af de genererede kommentarer blev slået op som svar på virkelige personers opslag på sociale medier. Nogle af de opslag, som operatørerne svarede på, var flere måneder eller år gamle. Operationen var typisk rettet mod mænd, hvis offentlige profiler tydede på, at de var over 40 år, og som ofte arbejdede inden for sundhedssektoren. Operationen svarede ofte på opslag om golf, hvilket tyder på en bevidst målretningsstrategi. Indimellem slog svindlerne indhold op om politiske emner eller aktuelle begivenheder.
Facebook-kommentar, som denne aktør genererede ved hjælp af vores modeller, og som blev slået op som svar på en kommentar om golf fra en person, der ikke så ud til at være knyttet til operationen. Svindelkontoens profilbillede er kopieret fra en amerikansk mode- og skønhedsinfluencer. Det oprindelige opslag var over en måned gammelt, da svindelkontoen kommenterede på det.
Kommentar genereret af vores modeller og slået op af en verificeret konto på X som svar på et opslag fra en konto, der ikke så ud til at være knyttet til denne svindel. Kontoens profilbillede er kopieret fra den samme amerikanske mode- og skønhedsinfluencer. Det oprindelige opslag var næsten seks måneder gammelt.
For det andet – og langt oftere – genererede operatørerne korte kommentarer, der lignede uddrag af en onlinesamtale. Det bestod typisk i at oversætte kommentarer fra kinesisk til et målsprog (japansk eller engelsk) eller fra målsproget tilbage til kinesisk. Det stemmer overens med, at svindlerne primært brugte modellen til at oversætte igangværende chatsamtaler.
Nogle gange bad kontiene modellen om at generere et svar i en bestemt tone, eksempelvis som en flirtende ung kvinde. Nogle gange blev der angivet omfattende biografiske oplysninger for at styre modellens svar, herunder den falske personas navn, uddannelse, arbejde, bopæl og fritidsinteresser. Disse biografier indeholdt typisk oplysningen om, at den falske persona investerede lidt på nettet.
Svindlerne ser ud til at have brugt mange forskellige værktøjer og platforme til at kontakte deres mål. Vores undersøgelse afdækkede tegn på, at de brugte værktøjer som LINE, WhatsApp, X, Facebook, Instagram, en række andre beskedtjenester, Apples funktion »Skjul min e-mail«(åbner i et nyt vindue) samt platforme til kryptovaluta og valutahandel.
Genereret indhold
Ud fra vores begrænsede indblik i aktiviteten ser svindlerne ud til at have fulgt en gængs arbejdsgang for at føre deres mål fra den første kontakt til en svigagtig investering:
Offentlig kontakt: Svindlerne kommenterede på opslag fra deres mål på sociale medier. Kommentarerne sluttede ofte med et spørgsmål som: »Hvad synes du om [emne]?«, sandsynligvis for at øge chancen for respons. I enkelte tilfælde kommenterede de på politik, men langt oftere talte de om golf.
Sandsynligvis direkte beskeder: Derefter genererede svindlerne korte kommentarer i en samtalepræget stil. Selvom vi ikke har fuldt indblik i, hvordan og hvor de blev brugt, var kommentarerne forenelige med en situation, hvor svindleren og målet begyndte at udveksle direkte beskeder.
Sikre beskeder: Kort efter, ofte inden for få dage, genererede svindlerne beskeder, der foreslog at fortsætte samtalen i en mere sikker beskedapp. Nogle gange begrundede de det med, at svindleren ikke havde tillid til sociale medier. Andre gange brugte de en praktisk undskyldning, eksempelvis at de skulle et sted hen, hvor de ikke havde adgang til sociale medier.
Romantisk kontakt: Svindlerne skrev og oversatte stadig mere kærlige og intime beskeder. Hvis målene bad om billeder af den »kvinde«, de chattede med, kom svindlerne med undskyldninger.
Økonomisk kontakt: Svindlerne skrev og oversatte beskeder, hvor de pralede af at have tjent mange penge på onlineinvesteringer i valuta, kryptovaluta eller guld. Det blev ofte fremstillet som et resultat af, at de havde fulgt råd fra et familiemedlem, der arbejdede i finanssektoren. Svindleren opfordrede målet til at begynde at investere på samme måde og tilbød at vejlede personen gennem processen.
Bedrageri: Svindlerne skrev og oversatte beskeder for at overbevise offeret om at overføre penge til en handelsapp og lokkede ved at fremhæve, hvor stor en fortjeneste offeret havde opnået. Hver gang offeret forsøgte at hæve sin »fortjeneste«, kom svindleren med en undskyldning, eksempelvis at der først skulle betales et gebyr.
Dette aktivitetsmønster stemmer overens med offentligt tilgængelige beskrivelser(åbner i et nyt vindue) af, hvordan denne type svindel typisk foregår.
Konsekvenser
Aktiviteten ser ud til at have omfattet mange fejlslagne forsøg. Nogle af de samtaler, som svindlerne behandlede med vores modeller, endte med, at målet afslørede aktiviteten som svindel eller bad svindleren om at lade vedkommende være i fred. Vi identificerede også opslag fra svindlerne på sociale medier, som slet ikke fik nogen respons.
Nogle samtaler nævnte dog beløb på flere tusinde dollar eller tilsvarende beløb i andre valutaer som størrelsen på individuelle transaktioner. På grund af operatørernes brug af vores modeller har vi ikke indblik i, om disse finansielle transaktioner faktisk blev gennemført. Henvisningerne i samtalerne tyder dog på, at svindlerne i mindst nogle tilfælde formåede at bedrage deres mål.
OpenAI’s politikker forbyder strengt, at output fra vores værktøjer bruges til bedrageri eller svindel. Vi er fast besluttede på at samarbejde med brancheaktører og myndigheder om at forstå, hvordan AI bruges til skadelig adfærd, og aktivt standse svindelaktiviteter, der misbruger vores tjenester. Som led i denne indsats har vi delt oplysninger om de svindelnetværk, vi standsede, med brancheaktører og relevante myndigheder.