Bedrägerioperationer: nätverk för nätbedrägerier

Den här fallstudien publicerades ursprungligen i OpenAI:s rapport från oktober 2025⁠(öppnas i ett nytt fönster).

Nätverk med sannolikt ursprung i Kambodja, Myanmar och Nigeria missbrukar ChatGPT i vad som förefaller vara försök att lura människor på nätet.

Vi arbetar målmedvetet för att identifiera, förhindra och stoppa försök att missbruka våra modeller i skadliga syften. Ett sådant missbruk är bedrägerier, där vi upptäcker och stänger av skadliga aktörer som försöker använda våra modeller för att vilseleda och lura människor. Under de senaste tre månaderna har vi stoppat bedrägerinätverk som sannolikt hade sitt ursprung i Kambodja, Myanmar och Nigeria. Som ett tecken på den roll AI kan spela i kampen mot bedrägerier har vi under utredningen av dessa missbruksmönster också sett många använda våra modeller för att identifiera bedrägerier. Den här rapporten tar upp båda användningsområdena.

Missbruket av våra modeller för att underlätta bedrägerier sträcker sig från enskilda bedragare till storskalig och ihållande verksamhet med sannolika kopplingar till organiserad brottslighet. Oavsett ursprung och exakta metoder följer den bedrägerirelaterade verksamhet vi har stoppat vanligtvis samma mönster: kontakten (ett oväntat meddelande), lockbetet (ett försök att väcka entusiasm eller panik) och stöten (att komma över pengar eller värdefull information).

Bedragarna börjar med att sprida innehåll, oavsett om det är AI-genererat eller inte, i meddelandetjänster och på internet, bland annat genom annonser i sociala medier. Därefter försöker de väcka entusiasm hos dem som svarar inför en lukrativ möjlighet, eller rädsla för en nära förestående ekonomisk förlust, och utnyttjar känslan för att förmå målet att lämna ifrån sig pengar eller känsliga uppgifter.

Vi har också sett många fall där våra modeller sannolikt har bidragit till att skydda människor mot bedrägerier. Vi har sett belägg för att människor använder ChatGPT miljontals gånger i månaden för att identifiera och undvika nätbedrägerier. I samtliga bedrägerioperationer i den här rapporten har vi sett modellen hjälpa människor att korrekt identifiera bedrägeriet och ge dem råd om lämpliga säkerhetsåtgärder. Vår nuvarande uppskattning är att ChatGPT används för att identifiera bedrägerier upp till tre gånger så ofta som det används för att begå dem.

Exempel på hur en utredare på OpenAI klistrar in en skärmbild av ett bedrägligt sms som utredaren har fått i ChatGPT och med hjälp av modellen lyckas identifiera det som ett bedrägeri. I det här fallet försökte hotaktörerna utge sig för att vara rekryterare från TikTok.

Sedan vår senaste rapport har vi stärkt vår förmåga att upptäcka och stoppa bedrägerier. Vi har stoppat ytterligare bedrägerinätverk som föreföll ha sitt ursprung i Kambodja, Myanmar och Nigeria. Tillsammans med våra tidigare insatser gör dessa nedstängningar det möjligt för oss att urskilja nya trender i flera bedrägerioperationer från olika länder.

Merparten av den bedrägeriverksamhet vi stoppade handlade om att införliva AI i befintliga metoder, snarare än att utveckla nya metoder kring AI. Samtliga bedrägerioperationer som vi har identifierat och stängt av i år använde främst AI som ett verktyg för att skala upp och effektivisera verksamheten. Det innebar vanligtvis att våra modeller användes för översättning, för att skriva meddelanden och för att skapa innehåll för sociala medier.

Vi stängde exempelvis nyligen av bedrägerioperationer med sannolikt ursprung i Kambodja och Nigeria som utgav sig för att vara ”investeringsbolag” i syfte att lura offer i flera länder. Bedragarna skapade webbplatser och nätannonser för att marknadsföra de falska bolagen och använde sannolikt oäkta konton i sociala medier, där de utgav sig för att vara handelsexperter, för att bjuda in människor till privata meddelandegrupper. Genom löften om lukrativa och riskfria intäktsmöjligheter försökte hotaktörerna sedan locka potentiella offer att göra inbetalningar till påhittade handelsplattformar. I samtliga bedrägerier använde bedragarna främst våra modeller för att skapa och översätta korrespondens, producera innehåll till sina webbplatser och konton i sociala medier samt göra enklare efterforskningar.

I ett annat fall stängde vi av ett bedrägericenter som med stor sannolikhet fanns i Myanmar och använde våra modeller både för att skapa innehåll till sina bedrägerier och för löpande administrativa uppgifter. Det omfattade att organisera scheman, utarbeta interna meddelanden, fördela skrivbordsplatser och sovplatser samt hantera finansiella konton. Vissa operatörer frågade vilka straff personer som ertappas med nätbedrägerier kan få.

De bedragare som vi stoppade använde inte alla våra modeller på samma sätt eller med samma grad av komplexitet. Merparten av bedragarnas interaktioner med ChatGPT gällde relativt enkla uppgifter som översättning, men vissa bedrägerioperationer var mer ambitiösa och avancerade.

En bedrägerioperation med sannolikt ursprung i Kambodja som vi stoppade använde exempelvis våra modeller för att skapa detaljerade biografier åt falska investeringsexperter och påhittade anställda vid falska handelsbolag. Bedragarna bad sedan ChatGPT att skriva meddelanden för sociala medier i dessa rollfigurers stil. Hotaktörerna matade ofta in meddelanden som de föreföll ha fått från sina mål i vår modell och bad modellen att fortsätta samtalet i rollen som den falska personen.

En annan bedrägerioperation, som också sannolikt hade sitt ursprung i Kambodja, började med att använda våra modeller för att skapa sms för oombedda kontakter som massutskickades till amerikanska telefonnummer. Ett av dessa skickades till en utredare på OpenAI, i likhet med fallet som vi rapporterade om i juni. Dessa sms innehöll inbjudningar till WhatsApp-grupper, som senare stängdes av och vars namn liknade namnet på ett legitimt investeringsbolag.

Att döma av en serie WhatsApp-meddelanden som skickades till OpenAI-utredaren skulle ett potentiellt mål som gick med i en av grupperna snabbt få bevittna ett ”samtal” mellan ett halvdussin olika konton, som alla talade om investeringar. Ett av kontona utgav sig för att vara ”investeringsexperten”, medan de övriga utgav sig för att vara investerare med varierande självförtroende och erfarenhet. Bedragarna skapade hela samtalet och översatte det i ett enda block från kinesiska – sannolikt för att ge intryck av en livlig grupp med engagerade och framgångsrika handlare. Till slut skulle ”investeringsexperten” föreslå att målet också skulle prova att investera.

I ett separat fall bad en investeringsbedrägeriverksamhet med mycket sannolikt ursprung i Nigeria modellen om stegvisa råd om hur annonser i sociala medier kunde användas för att nå förmögna personer i Latinamerika, hur verksamhetens plats kunde döljas och hur begränsningar från sociala medieplattformar kunde kringgås. Det innebar att modellen hänvisades till en plattforms offentliga användarvillkor och ombads granska föreslaget annonsinnehåll för att säkerställa att det följde reglerna.

Bedragare är ihärdiga, särskilt de som driver storskaliga bedrägericenter. Mycket ofta reagerar de på störningar genom att försöka återuppta den regelstridiga verksamheten, samtidigt som de ändrar vissa delar av sitt beteende, sannolikt för att undgå att upptäckas igen. Det är ett skäl till att det är viktigt att dela insikter inom branschen om hur deras verksamhet utvecklas. OpenAI och Meta har exempelvis delat information om hotaktörer som bidragit till ytterligare utredningar och åtgärder.

Möjligen som en reaktion på våra åtgärder eller på bredare diskussioner på nätet om tecken som kan avslöja AI-användning har vi sett bedragare försöka dölja sin användning av AI i nätinnehåll och i kommunikationen med sina mål. Det omfattar bedrägerioperationer med sannolikt ursprung i Kambodja som instruerat modellen att ta bort tankstreck från resultaten.

I ett fall försökte bedragarna förklara en omfattande nedstängning av sina tillgångar i sociala medier genom att hitta på en ursäkt till att de hade stängts av. Det gällde det ovan beskrivna bedrägericentret med sannolikt ursprung i Kambodja som verkade via sms och WhatsApp. Efter att WhatsApp stängt av ”investeringsgrupper” kopplade till verksamheten började operatörerna skapa meddelanden där de hävdade att grupperna felaktigt hade anmälts av en konkurrent, sannolikt för att bortförklara avstängningarna.

Skärmbild av ett WhatsApp-meddelande som den Kambodjakopplade bedrägeriverksamheten skickade till en utredare på OpenAI efter WhatsApps nedstängning.