Romantisk lokkesvindel: KI-støttede arbeidsflyter for «griseslakting»

Denne kasusstudien ble opprinnelig publisert i OpenAIs rapport fra februar 2025⁠(åpnes i et nytt vindu).

Vi utestengte en gruppe ChatGPT‑kontoer som oversatte og genererte korte kommentarer på japansk, kinesisk og engelsk. Aktiviteten ser ut til å ha stammet fra Kambodsja og var i tråd med kjærlighets- og investeringssvindel (også kjent som «griseslakting»). Meta identifiserte nylig relatert aktivitet⁠(åpnes i et nytt vindu) på plattformen sin som så ut til å stamme fra et nyopprettet svindelsenter i Kambodsja.

Dette nettverket brukte modellene våre til å oversette og generere korte kommentarer. Aktørenes hovedspråk ser ut til å ha vært kinesisk. Resultatene var på en rekke språk, særlig japansk og kinesisk, men også engelsk.

Aktørene brukte modellene våre til to hovedaktiviteter. For det første genererte de kommentarer som ble publisert offentlig på sosiale medier, blant annet Facebook, X og Instagram. Hver konto på sosiale medier hadde vanligvis ett eller flere profilbilder av en ung kvinne. Vi vurderer at minst noen av disse profilbildene var kopiert fra virkelige modeller eller influensere, og ikke KI-generert.

De fleste av de genererte kommentarene ble publisert som svar på virkelige personers innlegg i sosiale medier. Noen av innleggene operatørene svarte på, var flere måneder eller år gamle. Operasjonen rettet seg vanligvis mot menn som ut fra de offentlige profilene sine så ut til å være over 40 år, ofte personer i helseyrker. Operasjonen svarte ofte på innlegg om golf, noe som tyder på en bevisst målrettingsstrategi. Av og til publiserte svindlerne innlegg om politiske spørsmål eller aktuelle hendelser.

For det andre, og langt oftere, genererte operatørene korte kommentarer som lignet utdrag fra nettsamtaler. Dette besto vanligvis i å oversette kommentarer fra kinesisk til et målspråk (japansk eller engelsk), eller fra målspråket tilbake til kinesisk. Dette samsvarer med at svindlerne hovedsakelig brukte modellen til å oversette pågående samtaler.

Noen ganger ba kontoene modellen om å generere et svar med en bestemt tone, for eksempel som en flørtende ung kvinne. Noen ganger fikk modellen omfattende biografiske opplysninger som skulle styre svarene, blant annet den falske personaens navn, utdanning, jobb, bosted og hobbyer. Disse biografiene oppga vanligvis at den falske personaen drev litt med investeringer på nettet.

Svindlerne ser ut til å ha brukt et stort antall ulike verktøy og plattformer for å komme i kontakt med ofrene. Undersøkelsen vår avdekket at de brukte verktøy som LINE, WhatsApp, X, Facebook, Instagram, en rekke andre meldingstjenester, Apples «Skjul e-postadressen min»-funksjon⁠(åpnes i et nytt vindu) samt plattformer for kryptovaluta og valutahandel.

Ut fra det begrensede innsynet vårt i aktiviteten ser svindlerne ut til å ha fulgt en vanlig arbeidsflyt for å føre ofrene fra første kontakt til falske investeringer:

1. Offentlig kontakt: Svindlerne kommenterte innlegg som ofrene publiserte i sosiale medier. Kommentarene endte ofte med et spørsmål som «Hva synes du om [tema]?» – trolig for å øke sjansen for å få svar. I noen få tilfeller kommenterte de politikk, men oftere snakket de om golf.

2. Sannsynligvis direktemeldinger: Deretter genererte svindlerne korte kommentarer med en muntlig tone. Vi har ikke full oversikt over hvordan og hvor disse ble brukt, men kommentarene samsvarte med en situasjon der svindleren og offeret begynte å utveksle direktemeldinger.

3. Sikre meldingstjenester: Svært snart, ofte innen noen få dager, genererte svindlerne meldinger som foreslo å flytte samtalen til en sikrere meldingsapp. Noen ganger ble dette begrunnet med at svindleren ikke stolte på sosiale medier. Andre ganger brukte de en praktisk unnskyldning, som at de snart skulle til et sted uten tilgang til sosiale medier.

4. Romantisk kontakt: Svindlerne skrev og oversatte stadig mer kjærlige og intime meldinger. Hvis ofrene ba om bilder av «kvinnen» de snakket med, kom svindlerne med unnskyldninger.

5. Økonomisk kontakt: Svindlerne skrev og oversatte meldinger der de skrøt av å ha tjent store summer på investeringer i valuta, kryptovaluta eller gull på nettet. Dette ble ofte fremstilt som et resultat av at de hadde fulgt rådene fra en slektning som jobbet i finansbransjen. Svindleren oppfordret offeret til å begynne å investere på samme måte og tilbød seg å veilede vedkommende gjennom prosessen.

6. Bedrageri: Svindlerne skrev og oversatte meldinger for å overtale offeret til å overføre penger til en handelsapp, og oppmuntret dem ved å fremheve hvor stor fortjeneste de fikk. Hver gang offeret prøvde å ta ut «fortjenesten», kom svindleren med en unnskyldning, for eksempel at et gebyr måtte betales.

Dette aktivitetsmønsteret samsvarer med offentlig tilgjengelig omtale⁠(åpnes i et nytt vindu) av hvordan slik svindel vanligvis foregår.

Denne aktiviteten ser ut til å ha omfattet mange mislykkede forsøk. Noen av samtalene svindlerne behandlet gjennom modellene våre, endte med at offeret påpekte at dette var svindel, eller ba svindleren om å la dem være i fred. Vi fant også innlegg fra svindlerne i sosiale medier som ikke fikk noen respons i det hele tatt.

I enkelte samtaler ble det imidlertid vist til beløp på flere tusen dollar, eller tilsvarende i andre valutaer, som størrelsen på enkelttransaksjoner. På grunn av måten operatørene brukte modellene våre på, kan vi ikke se om disse finansielle transaksjonene faktisk ble gjennomført. Henvisningene i samtalene tyder likevel på at svindlerne i minst noen tilfeller klarte å bedra ofrene.

OpenAIs retningslinjer forbyr uttrykkelig at resultater fra verktøyene våre brukes til bedrageri eller svindel. Vi er opptatt av å samarbeide med andre aktører i bransjen og myndighetene for å forstå hvordan KI brukes i skadelig virksomhet, og for aktivt å stanse svindel som misbruker tjenestene våre. Som en del av dette arbeidet har vi delt informasjon om svindelnettverkene vi stanset, med andre aktører i bransjen og relevante myndigheter.