Stoppar en kriminell bedrägeriverksamhet i Kambodja
OpenAI slog ut en bedrägeriverksamhet i Kambodja som använde ChatGPT för investerings-, romans- och spelbedrägerier samt identitetsmissbruk.
Inledning
Tidigare i år slog vi ut en bedrägeriverksamhet i Kambodja som använde ChatGPT för investerings-, romans- och spelbedrägerier samt bedrägerier där man utgav sig för att företräda rättsvårdande myndigheter. Vi började utreda verksamheten efter ett tips från våra branschkollegor på WhatsApp och har sedan dess delat ytterligare hotindikatorer med branschpartner och berörda myndigheter.
Verksamheten belyser en viktig realitet hos dagens bedrägerinätverk: organiserade kriminella grupper begränsar sig sällan till en enda typ av bedrägeri. I stället använder de opportunistiskt de berättelser, identiteter och metoder som de tror är mest effektiva för att lura offren. I våra utredningar ser vi regelbundet aktörer växla mellan olika typer av bedrägerier eller kombinera flera bedrägerimetoder inom en och samma verksamhet.
Vissa användare i nätverket skapade även innehåll som tydde på kopplingar till människohandel och tvingad brottslighet. Dessa iakttagelser stämmer överens med omfattande offentlig rapportering(öppnas i ett nytt fönster) som beskriver(öppnas i ett nytt fönster) hur organiserade kriminella grupper i Sydostasien lockar arbetstagare med löften om legitima jobb och sedan fångar dem i system präglade av skuldslaveri och tvång. Även om vi inte självständigt kan fastställa omständigheterna för varje inblandad person påminner verksamheten oss om att de som genomför bedrägerier själva kan vara offer för exploatering.
Aktör
Vi stängde av ett samordnat nätverk av ChatGPT‑konton som med stor sannolikhet hade sitt ursprung i Kambodja och troligen var verksamt i eller omkring Poipet, en stad i provinsen Banteay Meanchey som offentlig rapportering(öppnas i ett nytt fönster) upprepade gånger(öppnas i ett nytt fönster) har kopplat(öppnas i ett nytt fönster) till anläggningar för nätbedrägerier och människohandel.
Nätverket använde våra modeller för att skapa och driva falska identiteter på nätet, generera och översätta meddelanden till bedrägerimål, skapa marknadsföringsinnehåll för sina bedrägerier och få hjälp med den dagliga verksamheten.
Precis som i tidigare(öppnas i ett nytt fönster) bedrägerinätverk som vi har slagit ut använde en del användare även ChatGPT för administrativt arbete, bland annat för att skriva interna meddelanden, översätta meddelanden mellan personal och dokumentera frågor som tycktes röra rekrytering, immigrationsstatus, arbetsvillkor och disciplinära åtgärder mot anställda.
Beteende
Nätverket genomförde flera typer av bedrägerier samtidigt och blandade ofta inslag från olika upplägg. Operatörerna använde exempelvis dejtingidentiteter för att bygga upp förtroende innan de presenterade falska investeringsmöjligheter inom kryptovalutor och spothandel med guld. Andra användare förde långa romantiska samtal med måltavlor under påhittade identiteter, utgav sig för att företräda spelplattformar på nätet som erbjöd falska bonusar och vinster eller låtsades företräda rättsvårdande myndigheter och påstod att måltavlorna måste betala böter för allvarliga brott.
Trots att berättelserna varierade uppvisade användarna i hela nätverket konsekvent samma underliggande mönster av vilseledande beteende. De skapade och drev exempelvis falska dejtingprofiler, påhittade investeringsexperter och falska identiteter som företrädare för rättsvårdande myndigheter. De genererade även bilder av förfalskade dokument, däribland pass, juridiska meddelanden, bekräftelser på aktieköp och gränssnitt för spelplattformar.
Som vi har framhållit i(öppnas i ett nytt fönster) tidigare(öppnas i ett nytt fönster) rapporter(öppnas i ett nytt fönster) följde bedragarna ett vanligt mönster i kontakten med måltavlorna, som vi beskriver som kontakten (ta kontakt), känslan (väcka känslor) och stöten (komma över pengar).
Kontakten: Nätverket använde ChatGPT för att översätta och generera samtal med måltavlor på meddelandeplattformar som WhatsApp och Telegram. Bedragarna skapade också innehåll för sociala medier och sökte efter material till dejtingprofiler för att understödja sina falska identiteter.
Känslan: Bedragarnas meddelanden byggde ofta på känslomässig press och metoder för att skapa förtroende. Exempel var löften om garanterad avkastning och ”riskfria” investeringar, romantiska formuleringar, uppmaningar att hålla samtalen hemliga och brådskande krav på handling innan påhittade bonusar löpte ut.
Stöten: Bedragarna instruerade offren att göra insättningar för att låsa upp påstådda belöningar, betala aktiveringsavgifter och reglera påhittade böter samt därefter skicka skärmbilder av överföringar eller kontouppgifter som betalningsbevis.

Ett falskt gränssnitt för handel med kryptovalutor, skapat med ChatGPT av en bedragare i nätverket.

En AI-genererad bild som en bedragare i nätverket skapade för att marknadsföra ett falskt investeringsupplägg.
Indikationer på människohandel
Utöver bedrägerier skapade vissa användare innehåll som tydde på inblandning i andra regelstridiga verksamheter som vi identifierar och stoppar, exempelvis människohandel eller tvångsarbete. Detta omfattade annonser i sociala medier om ”chattjobb” i Poipet med löften om flygresor, boende, måltider, visum och arbetstillstånd.
Annan aktivitet tycktes röra administrationen av arbetstagare inom verksamheten. Användarna förde register över anställdas skulder, löneavdrag, disciplinära böter och återbetalningar av lån samt översatte diskussioner om immigrationsstatus, arbetstillstånd, utgångna visum och rekryteringsincitament.
Vissa samtal hänvisade också till påstådda frihetsberövanden, flyktförsök och möjlig straffrättslig påföljd för personer som hade utsatts för människohandel och tvingats arbeta i bedrägeriverksamheter. Även om samtalen inte gör det möjligt att fastställa omständigheterna för någon enskild person stämmer de överens med omfattande offentlig rapportering(öppnas i ett nytt fönster) som beskriver(öppnas i ett nytt fönster) organiserade kriminella gruppers verksamhet i Sydostasien.


AI-genererade bilder som bedragare i nätverket skapade för att annonsera om jobb i Kambodja på sociala medier. Maskningar tillagda av OpenAI.
Konsekvenser
Vi stängde av de ChatGPT‑konton som var kopplade till verksamheten, delade relevanta indikatorer med branschpartner och berörda myndigheter samt vidtog åtgärder för att göra det svårare för aktörerna att återfå åtkomst till våra produkter och tjänster.
Den totala omfattningen av nätverkets ekonomiska skador är okänd, men utifrån bedragarnas egen kommunikation kan verksamheten ha varit i kontakt med hundratals måltavlor inom flera typer av bedrägerier. I användarnas samtal nämndes enskilda offer som hade förlorat tusentals dollar, även om vi inte självständigt kan verifiera dessa uppgifter.
I ett bredare perspektiv bekräftar fallet två trender. För det första kan organiserade bedrägerinätverk vara mycket diversifierade och driva flera bedrägeriupplägg samtidigt i stället för att strikt hålla sig till en enda typ av bedrägeri. För det andra är gränserna mellan nätbedrägerier, organiserad brottslighet och människohandel ofta otydliga. För att effektivt slå ut verksamheten krävs därför åtgärder inte bara mot de bedrägerier som riktas mot offren, utan även mot de kriminella organisationer som styr och tjänar på dem.