Svindeloperationer: Netværk for onlinesvindel

Denne casestudie blev oprindeligt offentliggjort i OpenAI's rapport fra oktober 2025⁠(åbner i et nyt vindue).

Netværk, der sandsynligvis stammer fra Cambodja, Myanmar og Nigeria, misbruger ChatGPT i, hvad der ser ud til at være forsøg på at svindle folk online.

Vi arbejder målrettet på at identificere, forebygge og standse forsøg på at misbruge vores modeller til skadelige formål. Det omfatter svindel, hvor vi opdager og udelukker ondsindede aktører, der forsøger at misbruge vores modeller til at bedrage og svindle folk. I løbet af de seneste tre måneder har vi standset svindelnetværk, der sandsynligvis stammer fra Cambodja, Myanmar og Nigeria. Som et tegn på den rolle, AI kan spille i bekæmpelsen af svindel, har vi under vores undersøgelser af disse misbrugsmønstre også set mange bruge vores modeller til at identificere svindel. Denne rapport gennemgår begge anvendelser.

Misbrug af vores modeller til svindel spænder fra enkeltpersoners svindelforsøg til omfattende og vedvarende aktiviteter, der sandsynligvis er knyttet til organiserede kriminelle grupper. Uanset deres oprindelse og præcise metoder følger de svindelaktiviteter, vi har standset, typisk det samme mønster, som vi kalder pinget (uopfordret kontakt), chokket (forsøget på at skabe begejstring eller panik) og stikket (at lokke penge eller værdifulde oplysninger ud af offeret).

Svindlerne begynder med at sprede indhold, uanset om det er AI-genereret eller ej, på beskedtjenester og internettet, blandt andet gennem annoncer på sociale medier. Derefter forsøger de at vække enten begejstring for en lukrativ mulighed eller frygt for et umiddelbart økonomisk tab hos dem, der svarer, og udnytter følelsen til at overtale målet til at udlevere penge eller følsomme oplysninger.

Vi har også observeret mange tilfælde, hvor vores modeller sandsynligvis har hjulpet med at beskytte folk mod svindel. Vi har set tegn på, at folk millioner af gange om måneden bruger ChatGPT til at identificere og undgå onlinesvindel. I samtlige svindeloperationer i denne rapport har vi set modellen hjælpe folk med at identificere svindlen korrekt og rådgive dem om passende sikkerhedsforanstaltninger. Vores nuværende skøn er, at ChatGPT bruges til at identificere svindel op til tre gange så ofte, som det bruges til svindel.

Eksempel på, at en OpenAI-efterforsker indsætter et skærmbillede af en svindel-sms, vedkommende havde modtaget, i ChatGPT og bruger modellen til korrekt at identificere den som svindel. I dette tilfælde forsøgte trusselsaktørerne at udgive sig for at være rekrutteringsmedarbejdere fra TikTok.

Siden vores seneste rapport har vi styrket vores evne til at opdage og standse svindel. Vi har standset yderligere svindelnetværk, der så ud til at stamme fra Cambodja, Myanmar og Nigeria. Sammen med vores tidligere indgreb gør disse nedlukninger det muligt at identificere nye tendenser på tværs af flere svindeloperationer fra forskellige lande.

Størstedelen af de svindelaktiviteter, vi standsede, handlede om at indarbejde AI i eksisterende svindelmetoder frem for at udvikle nye metoder med AI som omdrejningspunkt. Alle de svindeloperationer, vi har identificeret og udelukket i år, brugte primært AI til at øge omfanget og effektiviteten. Det omfattede typisk brug af vores modeller til oversættelse, til at skrive beskeder og til at skabe indhold til sociale medier.

Vi udelukkede eksempelvis for nylig svindeloperationer, der sandsynligvis stammede fra Cambodja og Nigeria, og som udgav sig for at være »investeringsselskaber« i et forsøg på at svindle ofre i flere lande. Svindlerne oprettede websteder og onlineannoncer for at markedsføre de falske selskaber og brugte sandsynligvis uægte konti på sociale medier, der udgav sig for at være handelseksperter, til at invitere folk ind i private beskedgrupper. Med løfter om lukrative indtjeningsmuligheder uden risiko forsøgte trusselsaktørerne derefter at lokke potentielle ofre til at indbetale penge på fiktive handelsplatforme. På tværs af alle svindelnumrene brugte svindlerne primært vores modeller til at generere og oversætte korrespondance, skabe indhold til deres websteder og konti på sociale medier samt foretage grundlæggende research.

I en anden sag udelukkede vi et svindelcenter, der med stor sandsynlighed lå i Myanmar, og som brugte vores modeller både til at generere indhold til sine svindelnumre og til at udføre daglige administrative opgaver. Det omfattede planlægning af vagtplaner, udarbejdelse af interne meddelelser, fordeling af skrivebordspladser og sovepladser samt administration af økonomiske konti. Nogle operatører spurgte til strafferammen for personer, der bliver taget i at begå onlinesvindel.

Ikke alle de svindlere, vi standsede, brugte vores modeller på samme måde eller med samme grad af kompleksitet. De fleste svindleres interaktioner med ChatGPT omfattede forholdsvis enkle opgaver som oversættelse, men nogle svindeloperationer var mere ambitiøse og avancerede.

En svindeloperation, der sandsynligvis stammede fra Cambodja, og som vi standsede, brugte eksempelvis vores modeller til at generere detaljerede biografier for falske investeringseksperter og fiktive medarbejdere i falske handelsselskaber. Svindlerne bad derefter ChatGPT om at skrive opslag til sociale medier med disse personers stemmer. Trusselsaktørerne indtastede ofte beskeder i vores model, som de tilsyneladende havde modtaget fra deres mål, og bad modellen fortsætte samtalen som den falske persona.

En anden svindeloperation, der også sandsynligvis stammede fra Cambodja, begyndte med at bruge vores modeller til at generere uopfordrede sms'er, som blev masseudsendt til amerikanske telefonnumre. En af disse blev sendt til en OpenAI-efterforsker i en sag, der lignede den, vi rapporterede om i juni. Sms'erne indeholdt invitationer til WhatsApp-grupper, som efterfølgende blev udelukket, og hvis navne lignede navnet på et legitimt investeringsselskab.

En række WhatsApp-beskeder sendt til OpenAI-efterforskeren viste, at et potentielt mål, der tilsluttede sig en af grupperne, hurtigt ville opleve en »samtale« mellem seks forskellige konti, som alle talte om investering. En af dem udgav sig for at være »investeringseksperten«, mens resten udgav sig for at være investorer med varierende grader af selvtillid og erfaring. Hele samtalen var genereret af svindlerne, som oversatte den samlet fra kinesisk – sandsynligvis for at skabe indtryk af en livlig gruppe af ivrige og succesrige investorer. Til sidst ville »investeringseksperten« foreslå, at målet også prøvede at investere.

En separat investeringssvindel, der med stor sandsynlighed stammede fra Nigeria, bad modellen om en trinvis vejledning i at bruge annoncer på sociale medier til at nå velhavende personer i Latinamerika, skjule sin placering og omgå sociale medieplatformes begrænsninger. Det indebar, at modellen blev henvist til en platforms offentlige servicevilkår og bedt om at kontrollere, om et foreslået annonceindhold overholdt dem.

Svindlere er vedholdende, især de store svindelcentre. Meget ofte reagerer de på indgreb ved at forsøge at genoptage deres aktiviteter, der overtræder reglerne, samtidig med at de ændrer dele af deres adfærd, sandsynligvis for at undgå at blive opdaget igen. Det er en af grundene til, at det er vigtigt at dele viden i branchen om udviklingen i deres aktiviteter. OpenAI og Meta har eksempelvis hver især delt oplysninger om trusselsaktører, som bidrog til yderligere undersøgelser og håndhævelse.

Muligvis som reaktion på indgreb eller bredere onlinedebatter om tegn, der kan afsløre brug af AI, har vi set svindlere forsøge at skjule deres brug af AI i onlineindhold og kommunikation med deres mål. Det omfatter svindeloperationer, der sandsynligvis stammer fra Cambodja, og som bad modellen om at fjerne tankestreger fra sine svar.

I ét tilfælde forsøgte svindlerne at forklare en omfattende nedlukning af deres aktiver på sociale medier ved at opdigte en undskyldning for, at de var blevet udelukket. Det drejede sig om det ovenfor beskrevne svindelcenter, der sandsynligvis stammede fra Cambodja og opererede via sms og WhatsApp. Efter at WhatsApp havde udelukket »investeringsgrupper« med forbindelse til operationen, begyndte operatørerne at generere beskeder, som hævdede, at grupperne var blevet falsk anmeldt af en konkurrent, sandsynligvis for at bortforklare udelukkelserne.

Skærmbillede af en WhatsApp-besked, som den Cambodja-tilknyttede svindeloperation sendte til en OpenAI-efterforsker efter WhatsApps nedlukning.