Indgreb mod en kriminel svindeloperation med base i Cambodja
OpenAI greb ind over for en svindeloperation med base i Cambodja, der brugte ChatGPT til investerings-, romance-, gambling- og identitetssvindel.
Indledning
Tidligere i år greb vi ind over for en svindeloperation med base i Cambodja, der brugte ChatGPT til investerings-, romance- og gamblingsvindel samt svindel ved at udgive sig for at være politimyndigheder. Vi begyndte at undersøge aktiviteten efter et tip fra vores branchekolleger hos WhatsApp og har siden delt yderligere trusselssignaler med branchepartnere og relevante myndigheder.
Operationen illustrerer en vigtig realitet ved moderne svindelnetværk: Organiserede kriminelle grupper begrænser sig sjældent til én type svindel. I stedet benytter de opportunistisk de fortællinger, identiteter og taktikker, som de mener er mest effektive til at narre ofrene. I vores undersøgelser ser vi jævnligt aktører skifte mellem forskellige typer svindel eller kombinere flere svindelmetoder i én operation.
Nogle brugere i netværket genererede også indhold, der tydede på forbindelser til menneskehandel og tvungen kriminalitet. Disse observationer stemmer overens med omfattende offentlig rapportering(åbner i et nyt vindue), der beskriver(åbner i et nyt vindue) organiserede kriminelle grupper i Sydøstasien, som rekrutterer medarbejdere med løfter om lovligt arbejde for derefter at fange dem i gældsslaveri og tvang. Selvom vi ikke selvstændigt kan fastslå omstændighederne for hver enkelt involveret person, minder aktiviteten os om, at de personer, der udfører svindlen, også selv kan være ofre for udnyttelse.
Aktør
Vi udelukkede et koordineret netværk af ChatGPT‑konti, der med stor sandsynlighed stammede fra Cambodja og sandsynligvis opererede i eller omkring Poipet, en by i provinsen Banteay Meanchey, som offentlig rapportering(åbner i et nyt vindue) gentagne(åbner i et nyt vindue) gange har knyttet(åbner i et nyt vindue) til centre for onlinesvindel og menneskehandel.
Netværket brugte vores modeller til at skabe og drive falske onlineidentiteter, generere og oversætte beskeder til svindelmål, skabe reklamemateriale til deres bedrageriske projekter og hjælpe med den daglige drift.
Ligesom i tidligere(åbner i et nyt vindue) svindelnetværk, som vi har grebet ind over for, brugte nogle af brugerne også ChatGPT til administrative opgaver, herunder at udarbejde interne meddelelser, oversætte beskeder mellem medarbejdere og dokumentere forhold, der lod til at vedrøre rekruttering, immigrationsstatus, arbejdsforhold og disciplinærsager.
Adfærd
Netværket gennemførte flere typer svindel samtidig og blandede ofte elementer fra forskellige svindelnumre. Operatørerne brugte eksempelvis datingidentiteter til at opbygge tillid, inden de præsenterede falske investeringsmuligheder med kryptovaluta og spothandel med guld. Andre brugere førte lange romantiske samtaler med deres mål under opdigtede identiteter, udgav sig for at repræsentere onlinegamblingplatforme med falske bonusser og gevinster eller foregav at være politimyndigheder og fortalte deres mål, at de skulle betale bøder for alvorlige lovovertrædelser.
Selvom fortællingerne varierede, udviste brugerne på tværs af netværket konsekvent det samme grundlæggende mønster af vildledende adfærd. De oprettede og drev eksempelvis falske datingprofiler og opdigtede identiteter som investeringseksperter og repræsentanter for politimyndigheder. De genererede også billeder af forfalskede dokumenter, herunder pas, juridiske meddelelser, bekræftelser på aktiekøb og brugerflader til gamblingplatforme.
Som vi har fremhævet i(åbner i et nyt vindue) tidligere(åbner i et nyt vindue) rapporter(åbner i et nyt vindue), fulgte svindlerne et gennemgående mønster i kontakten med deres mål, som vi kalder kontakten (at tage kontakt), følelsen (at vække følelser) og fælden (at få pengene ud af offeret).
Kontakten: Netværket brugte ChatGPT til at oversætte og generere samtaler med mål på beskedplatforme som WhatsApp og Telegram. Svindlerne skabte også indhold til sociale medier og fandt materiale til datingprofiler for at understøtte deres falske identiteter.
Følelsen: Svindlernes beskeder gjorde ofte brug af følelsesmæssigt pres og tillidsskabende metoder. Eksemplerne omfattede løfter om garanteret afkast og »risikofrie« investeringer, romantiske formuleringer, instruktioner om at holde samtalerne hemmelige og indtrængende opfordringer til at handle, før opdigtede bonusser udløb.
Fælden: Svindlerne instruerede ofrene i at indbetale penge for at få adgang til påståede belønninger, betale aktiveringsgebyrer og opdigtede bøder og derefter sende skærmbilleder af overførsler eller kontooplysninger som dokumentation for betalingen.

En falsk brugerflade til handel med kryptovaluta skabt med ChatGPT af en svindler i netværket.

Et AI-genereret billede skabt af en svindler i netværket for at promovere et falsk investeringsprojekt.
Indikatorer på menneskehandel
Ud over svindel genererede nogle brugere indhold, der tydede på involvering i andre aktiviteter i strid med vores politikker, som vi opdager og griber ind over for, herunder menneskehandel og tvangsarbejde. Det omfattede annoncer på sociale medier for job som »chatter« i Poipet med løfter om flyrejser, bolig, måltider, visa og arbejdstilladelser.
Andre aktiviteter lod til at vedrøre administrationen af medarbejdere internt i operationen. Brugerne førte registre over medarbejdernes gæld, løntræk, disciplinærbøder og tilbagebetaling af lån og oversatte drøftelser om immigrationsstatus, arbejdstilladelser, overskredne visa og rekrutteringsincitamenter.
Nogle samtaler omtalte også tilsyneladende frihedsberøvelse, flugtforsøg og mulig strafansvar for personer, der var blevet udsat for menneskehandel og tvunget til at arbejde i svindeloperationer. Selvom disse samtaler ikke gør det muligt at fastslå omstændighederne for bestemte personer, stemmer de overens med omfattende offentlig rapportering(åbner i et nyt vindue), der beskriver(åbner i et nyt vindue) aktiviteterne hos organiserede kriminelle grupper i Sydøstasien.


AI-genererede billeder skabt af svindlere i netværket for at annoncere job i Cambodja på sociale medier. OpenAI har skjult dele af billederne.
Konsekvenser
Vi udelukkede de ChatGPT‑konti, der var knyttet til operationen, delte relevante indikatorer med branchepartnere og relevante myndigheder og traf foranstaltninger for at gøre det sværere for aktørerne at få adgang til vores produkter og tjenester igen.
Det samlede omfang af de økonomiske tab, der er knyttet til netværket, er ukendt, men ud fra svindlernes egen kommunikation kan operationen have været i kontakt med hundredvis af mål på tværs af flere typer svindel. I brugersamtaler blev det nævnt, at enkelte ofre havde mistet tusindvis af dollar, men vi kan ikke selvstændigt bekræfte disse påstande.
Mere overordnet understreger sagen to tendenser. For det første kan organiserede svindelnetværk være meget alsidige og gennemføre flere bedrageriske aktiviteter samtidig frem for kun at holde sig til én type svindel. For det andet er grænserne mellem onlinesvindel, organiseret kriminalitet og menneskehandel ofte uklare. Effektive indgreb kræver derfor, at man ikke kun målretter indsatsen mod den svindel, som ofrene udsættes for, men også mod de kriminelle organisationer, der står bag og tjener på den.