Stanset en kriminell svindeloperasjon med base i Kambodsja
OpenAI stanset en svindeloperasjon med base i Kambodsja som brukte ChatGPT til investerings-, kjærlighets-, pengespill- og identitetssvindel.
Innledning
Tidligere i år stanset vi en svindeloperasjon med base i Kambodsja som brukte ChatGPT til investerings-, kjærlighets- og pengespillsvindel samt svindel ved å utgi seg for politimyndigheter. Vi begynte å undersøke aktiviteten etter et tips fra kollegene våre i WhatsApp og har siden delt ytterligere trusselindikatorer med bransjepartnere og relevante myndigheter.
Operasjonen illustrerer en viktig realitet ved moderne svindelnettverk: Organiserte kriminelle grupper begrenser seg sjelden til én type svindel. I stedet utnytter de opportunistisk de fortellingene, identitetene og metodene de tror vil være mest effektive for å lure ofrene. I undersøkelsene våre ser vi jevnlig at aktører veksler mellom ulike typer svindel eller kombinerer flere svindelmetoder i én operasjon.
Enkelte brukere i nettverket genererte også innhold som tydet på forbindelser til menneskehandel og tvungen kriminalitet. Disse observasjonene samsvarer med omfattende offentlig omtale(åpnes i et nytt vindu) som beskriver(åpnes i et nytt vindu) hvordan organiserte kriminelle grupper i Sørøst-Asia rekrutterer arbeidere med løfter om lovlig arbeid, før de fanger dem i systemer preget av gjeldsslaveri og tvang. Selv om vi ikke uavhengig kan fastslå omstendighetene for hver enkelt involvert person, minner aktiviteten oss om at de som utfører svindelen, selv kan være ofre for utnyttelse.
Aktør
Vi utestengte et koordinert nettverk av ChatGPT‑kontoer som med stor sannsynlighet stammet fra Kambodsja, og som trolig opererte i eller rundt Poipet, en by i provinsen Banteay Meanchey som offentlig omtale(åpnes i et nytt vindu) gjentatte(åpnes i et nytt vindu) ganger har knyttet(åpnes i et nytt vindu) til svindelsentre på nettet og menneskehandel.
Nettverket brukte modellene våre til å opprette og drifte falske identiteter på nettet, generere og oversette meldinger til svindelmål, lage markedsføringsinnhold for de bedragerske oppleggene og bistå med den daglige driften.
Som i tidligere(åpnes i et nytt vindu) svindelnettverk vi har stanset, brukte noen av brukerne også ChatGPT til administrativt arbeid. Dette omfattet å utforme interne kunngjøringer, oversette meldinger mellom ansatte og dokumentere forhold som så ut til å være knyttet til rekruttering, innvandringsstatus, arbeidsforhold og disiplinære tiltak overfor ansatte.
Atferd
Nettverket gjennomførte flere typer svindel samtidig og blandet ofte elementer fra ulike opplegg. Operatørene brukte for eksempel falske datingprofiler til å bygge tillit før de presenterte bedragerske investeringsmuligheter innen kryptovaluta og spothandel med gull. Andre brukere førte lange romantiske samtaler med mål ved hjelp av oppdiktede identiteter, utga seg for å representere pengespillplattformer på nettet som tilbød falske bonuser og gevinster, eller utga seg for å være politimyndigheter og fortalte målene at de måtte betale bøter for alvorlige lovbrudd.
Selv om fortellingene varierte, viste brukerne i hele nettverket gjennomgående det samme underliggende mønsteret av villedende atferd. De opprettet og drev for eksempel falske datingprofiler, oppdiktede investeringseksperter og falske identiteter som representanter for politimyndigheter. De genererte også bilder av forfalskede dokumenter, blant annet pass, juridiske varsler, bekreftelser på aksjekjøp og grensesnitt for pengespillplattformer.
Som vi har fremhevet i(åpnes i et nytt vindu) tidligere(åpnes i et nytt vindu) rapporter(åpnes i et nytt vindu), fulgte svindlerne et vanlig mønster i kontakten med målene. Vi omtaler dette som kontakten (ta kontakt), påvirkningen (vekke følelser) og svindelen (få ut penger).
Kontakten: Nettverket brukte ChatGPT til å oversette og generere samtaler med mål på meldingstjenester som WhatsApp og Telegram. Svindlerne laget også innhold til sosiale medier og undersøkte materiale til datingprofiler for å underbygge de falske identitetene sine.
Påvirkningen: Svindlernes meldinger baserte seg ofte på følelsesmessig press og teknikker for å bygge tillit. Eksemplene omfattet løfter om garantert avkastning og «risikofrie» investeringer, romantisk språk, instrukser om å holde samtalene hemmelige og påtrengende oppfordringer om å handle før oppdiktede bonuser utløp.
Svindelen: Svindlerne ba ofrene sette inn penger for å låse opp påståtte belønninger, betale aktiveringsgebyrer og gjøre opp oppdiktede bøter. Deretter skulle ofrene sende skjermbilder av overføringer eller kontoinformasjon som betalingsbevis.

Et falskt grensesnitt for handel med kryptovaluta, laget med ChatGPT av en svindler i nettverket.

Et KI-generert bilde laget av en svindler i nettverket for å markedsføre et falskt investeringsopplegg.
Indikatorer på menneskehandel
I tillegg til svindel genererte enkelte brukere innhold som tydet på involvering i andre regelstridige aktiviteter vi oppdager og stanser, for eksempel menneskehandel eller tvangsarbeid. Dette omfattet annonser i sosiale medier for jobber som «chatter» i Poipet, med løfter om flyreise, bolig, måltider, visum og arbeidstillatelse.
Annen aktivitet så ut til å være knyttet til administrasjonen av arbeidere i operasjonen. Brukerne førte oversikt over de ansattes gjeld, lønnstrekk, disiplinærbøter og tilbakebetaling av lån. De oversatte også samtaler om innvandringsstatus, arbeidstillatelser, oversittelse av visumfrister og rekrutteringsbonuser.
Enkelte samtaler omtalte også tilsynelatende frihetsberøvelse, fluktforsøk og mulig straffansvar for personer som var utsatt for menneskehandel og tvunget til å arbeide i svindeloperasjoner. Selv om disse samtalene ikke gjør det mulig å fastslå omstendighetene for noen bestemt person, samsvarer de med omfattende offentlig omtale(åpnes i et nytt vindu) som beskriver(åpnes i et nytt vindu) aktivitetene til organiserte kriminelle grupper i Sørøst-Asia.


KI-genererte bilder laget av svindlere i nettverket for å annonsere jobber i Kambodsja på sosiale medier. Sladding utført av OpenAI.
Konsekvenser
Vi utestengte ChatGPT‑kontoene som var knyttet til operasjonen, delte relevante indikatorer med bransjepartnere og relevante myndigheter og iverksatte tiltak for å gjøre det vanskeligere for aktørene å få tilgang til produktene og tjenestene våre på nytt.
Det fulle omfanget av de økonomiske tapene knyttet til nettverket er ukjent, men svindlernes egen kommunikasjon tyder på at operasjonen kan ha vært i kontakt med hundrevis av mål på tvers av flere typer svindel. Brukersamtaler omtalte enkeltstående ofre som hadde tapt tusenvis av dollar, men vi kan ikke bekrefte disse påstandene uavhengig.
I et bredere perspektiv underbygger denne saken to trender. For det første kan organiserte svindelnettverk være svært diversifiserte og drive flere svindelopplegg samtidig, fremfor å holde seg strengt til én type svindel. For det andre er grensene mellom nettsvindel, organisert kriminalitet og menneskehandel ofte uklare. Effektiv stansing krever derfor at man ikke bare retter innsatsen mot svindelaktiviteten som møter ofrene, men også mot de kriminelle organisasjonene som styrer og tjener på den.