Romanssisyöttiä käyttävä huijaus: tekoälyavusteiset ”pig butchering” -prosessit
OpenAI esti tilejä, jotka vaikuttivat toimivan Kambodžasta käsin ja käyttivät tekoälyä romanssi- ja sijoitushuijauskeskustelujen kääntämiseen ja luomiseen.
Tämä tapaustutkimus julkaistiin alun perin OpenAI:n helmikuun 2025(avautuu uudessa ikkunassa) raportissa.
Toimija
Estimme joukon ChatGPT‑tilejä, jotka käänsivät ja loivat lyhyitä kommentteja japaniksi, kiinaksi ja englanniksi. Toiminta vaikutti olevan lähtöisin Kambodžasta ja vastasi romanssi- ja sijoitushuijausta, joka tunnetaan myös nimellä ”pig butchering”. Meta tunnisti hiljattain alustallaan vastaavaa toimintaa(avautuu uudessa ikkunassa), joka vaikutti olevan peräisin Kambodžaan vasta perustetusta huijauskeskuksesta.
Toiminta
Tämä verkosto käytti mallejamme lyhyiden kommenttien kääntämiseen ja luomiseen. Toimijoiden pääasiallinen kieli vaikutti olevan kiina. Tuotoksia luotiin useilla kielillä, etenkin japaniksi ja kiinaksi mutta myös englanniksi.
Toimijat käyttivät mallejamme pääasiassa kahteen tarkoitukseen. Ensinnäkin he loivat kommentteja, joita julkaistiin julkisesti muun muassa Facebookissa, X:ssä ja Instagramissa. Kullakin sosiaalisen median tilillä oli yleensä yksi tai useampi nuoren naisen profiilikuva. Arviomme mukaan ainakin osa kuvista oli kopioitu oikeilta malleilta tai vaikuttajilta eikä luotu tekoälyllä.
Suurin osa luoduista kommenteista julkaistiin vastauksina oikeiden ihmisten sosiaalisen median julkaisuihin. Osa julkaisuista, joihin toimijat vastasivat, oli kuukausia tai vuosia vanhoja. Operaatio kohdistui yleensä miehiin, joiden julkisten profiilien perusteella he olivat yli 40-vuotiaita ja työskentelivät usein terveydenhuollossa. Operaatiossa vastattiin usein golfia käsitteleviin julkaisuihin, mikä viittaa harkittuun kohdentamisstrategiaan. Toisinaan huijarit julkaisivat poliittisia aiheita tai ajankohtaisia tapahtumia koskevia kommentteja.
Tämän toimijan malleillamme luoma Facebook-kommentti, joka julkaistiin vastauksena golfia käsittelevään kommenttiin. Kommentin kirjoittaneella henkilöllä ei vaikuttanut olevan yhteyttä tähän operaatioon. Huijaustilin profiilikuva on kopioitu yhdysvaltalaiselta muoti- ja kauneusvaikuttajalta. Alkuperäinen julkaisu oli yli kuukauden vanha, kun huijaustili kommentoi sitä.
Malleillamme luotu kommentti, jonka vahvistettu X-tili julkaisi vastauksena sellaisen tilin julkaisuun, jolla ei vaikuttanut olevan yhteyttä tähän huijaukseen. Tilin profiilikuva on kopioitu samalta yhdysvaltalaiselta muoti- ja kauneusvaikuttajalta. Alkuperäinen julkaisu oli lähes kuusi kuukautta vanha.
Toiseksi, ja useammin, toimijat loivat lyhyitä kommentteja, jotka muistuttivat verkkokeskustelun katkelmia. Tavallisesti kommentteja käännettiin kiinasta kohdekielelle eli japaniksi tai englanniksi tai kohdekielestä takaisin kiinaksi. Tämä vastaa toimintatapaa, jossa huijarit käyttävät mallia ensisijaisesti käynnissä olevien keskustelujen kääntämiseen.
Joskus tileillä pyydettiin mallia luomaan vastaus tietyllä äänensävyllä, esimerkiksi flirttailevan nuoren naisen tyyliin. Mallin vastauksia ohjattiin toisinaan laajoilla elämäkertatiedoilla, joihin kuuluivat tekaistun henkilön nimi, koulutustausta, työ, asuinpaikka ja harrastukset. Näissä elämäkerroissa mainittiin yleensä myös, että tekaistu henkilö harrasti sijoittamista verkossa.
Huijarit vaikuttavat käyttäneen lukuisia työkaluja ja alustoja ollakseen yhteydessä kohteisiinsa. Tutkimuksessamme löytyi näyttöä muun muassa LINE-, WhatsApp-, X-, Facebook- ja Instagram-palvelujen, useiden muiden viestipalvelujen, Applen ”Kätke osoitteeni” -toiminnon(avautuu uudessa ikkunassa) sekä kryptovaluutta- ja valuuttakauppa-alustojen käytöstä.
Tuotokset
Toiminnasta saamamme rajallisen näkymän perusteella huijarit vaikuttavat noudattaneen yleistä prosessia, jolla kohteet johdateltiin yhteydenotosta vilpilliseen sijoittamiseen:
Julkinen yhteydenotto: Huijarit kommentoivat kohteen sosiaalisen median julkaisuja. Kommentit päättyivät usein esimerkiksi kysymykseen ”Mitä mieltä olet aiheesta [aihe]?”, mikä todennäköisesti lisäsi vastaamisen mahdollisuutta. Muutamissa tapauksissa he kommentoivat politiikkaa, mutta useammin aiheena oli golf.
Todennäköinen yksityisviestittely: Seuraavaksi huijarit loivat lyhyitä, keskustelunomaisia kommentteja. Emme pysty täysin näkemään, miten ja missä niitä käytettiin, mutta kommentit sopivat tilanteeseen, jossa huijari ja kohde alkoivat vaihtaa yksityisviestejä.
Suojattu viestintä: Pian, usein muutamassa päivässä, huijarit loivat viestejä, joissa ehdotettiin siirtymistä turvallisempaan viestisovellukseen. Joskus syyksi väitettiin, ettei huijari luottanut sosiaaliseen mediaan. Toisinaan esitettiin käytännön tekosyy, kuten että huijari oli lähdössä paikkaan, jossa sosiaalista mediaa ei voisi käyttää.
Romanttisen suhteen rakentaminen: Huijarit kirjoittivat ja käänsivät yhä hellyttelevämpiä ja intiimimpiä viestejä. Jos kohteet pyysivät kuvia ”naisesta”, jonka kanssa he keskustelivat, huijarit keksivät tekosyitä.
Taloudellisen kiinnostuksen herättäminen: Huijarit kirjoittivat ja käänsivät viestejä, joissa kehuttiin valuutta-, kryptovaluutta- tai kultasijoituksilla verkossa ansaituilla suurilla summilla. Tämä esitettiin usein tuloksena siitä, että henkilö oli noudattanut rahoitusalalla työskentelevän sukulaisen neuvoja. Huijari kehotti kohdetta aloittamaan sijoittamisen samalla tavalla ja tarjoutui opastamaan tätä prosessin läpi.
Petos: Huijarit kirjoittivat ja käänsivät viestejä, joilla uhri yritettiin saada siirtämään rahaa kaupankäyntisovellukseen. Uhria kannustettiin kehumalla sijoituksista saatuja voittoja. Aina kun uhri yritti nostaa ”voittonsa”, huijari esitti tekosyyn, kuten että ensin oli maksettava jokin maksu.
Tämä toimintamalli vastaa julkisesti saatavilla olevia raportteja(avautuu uudessa ikkunassa) tällaisten huijausten tavanomaisesta toiminnasta.
Vaikutukset
Toimintaan vaikutti sisältyneen paljon kariutuneita yrityksiä ja epäonnistumisia. Osa huijareiden malleillamme käsittelemistä keskusteluista päättyi siihen, että kohde tunnisti toiminnan huijaukseksi tai käski huijaria jättämään hänet rauhaan. Tunnistimme myös huijareiden sosiaalisen median julkaisuja, jotka eivät herättäneet lainkaan kiinnostusta.
Joissakin keskusteluissa yksittäisten maksutapahtumien summiksi kuitenkin mainittiin tuhansia dollareita tai vastaavia summia muissa valuutoissa. Koska näkyvyytemme perustuu siihen, miten toimijat käyttivät mallejamme, emme tiedä, toteutuivatko nämä maksutapahtumat. Keskusteluissa esiintyvät viittaukset kuitenkin viittaavat siihen, että huijarit onnistuivat ainakin joissakin tapauksissa huijaamaan kohteiltaan rahaa.
OpenAI:n käytännöt kieltävät ehdottomasti työkalujemme tuotosten käyttämisen petoksiin tai huijauksiin. Teemme määrätietoisesti yhteistyötä alan muiden toimijoiden ja viranomaisten kanssa ymmärtääksemme, miten tekoälyä käytetään haitallisessa toiminnassa, ja estääksemme aktiivisesti palvelujamme väärinkäyttävää huijaustoimintaa. Tämän sitoumuksen mukaisesti olemme jakaneet alan muiden toimijoiden ja asianomaisten viranomaisten kanssa tietoa estämistämme huijausverkostoista.