Prevara s ljubavnim mamcem: tijekovi prevare „klanje svinja” uz pomoć umjetne inteligencije
OpenAI je zabranio račune koji su naizgled potjecali iz Kambodže i upotrebljavali umjetnu inteligenciju za prevođenje i generiranje razgovora za ljubavne i investicijske prevare.
Ova studija slučaja izvorno je objavljena u izvješću OpenAI-ja iz veljače 2025.(otvara se u novom prozoru)
Akter
Zabranili smo skupinu računa na ChatGPT‑u koji su prevodili i generirali kratke komentare na japanskom, kineskom i engleskom jeziku. Čini se da je ta aktivnost potjecala iz Kambodže i odgovarala obrascu ljubavne i investicijske prevare, poznate i kao „klanje svinja”. Meta je nedavno identificirala povezanu aktivnost(otvara se u novom prozoru) na svojoj platformi, koja je naizgled potjecala iz novootvorenog prevarantskog centra u Kambodži.
Ponašanje
Ova je mreža upotrebljavala naše modele za prevođenje i generiranje kratkih komentara. Čini se da je glavni jezik aktera bio kineski. Rezultati su bili na raznim jezicima, osobito japanskom i kineskom, ali i engleskom.
Akteri su naše modele upotrebljavali za dvije glavne aktivnosti. Kao prvo, generirali bi komentare koji su se javno objavljivali na društvenim mrežama, uključujući Facebook, X i Instagram. Svaki račun na društvenim mrežama obično je sadržavao jednu ili više profilnih slika mlade žene. Procjenjujemo da su barem neke od tih slika kopirane od stvarnih modela ili influencerica, a ne generirane umjetnom inteligencijom.
Većina generiranih komentara objavljena je kao odgovor na objave stvarnih osoba na društvenim mrežama. Neke objave na koje su operateri odgovarali bile su stare mjesecima ili godinama. Ova je operacija obično bila usmjerena na muškarce čiji su javni profili upućivali na to da su stariji od 40 godina, često zaposlene u medicinskim strukama. Operateri su često odgovarali na objave o golfu, što upućuje na promišljenu strategiju odabira meta. Prevaranti su povremeno objavljivali sadržaj o političkim temama ili aktualnim događajima.
Komentar na Facebooku koji je ovaj akter generirao pomoću naših modela i objavio kao odgovor na komentar o golfu osobe koja naizgled nije bila povezana s ovom operacijom. Profilna slika prevarantskog računa kopirana je od američke influencerice iz područja mode i ljepote. Izvorna objava bila je stara više od mjesec dana kada je prevarantski račun na njoj objavio komentar.
Komentar koji su generirali naši modeli, a objavio ga je potvrđeni račun na X-u kao odgovor na objavu računa koji naizgled nije bio povezan s ovom prevarom. Profilna slika računa kopirana je od iste američke influencerice iz područja mode i ljepote. Izvorna objava bila je stara gotovo šest mjeseci.
Kao drugo, i mnogo češće, operateri bi generirali kratke komentare nalik dijelovima internetskog razgovora. To je obično uključivalo prevođenje komentara s kineskog na ciljni jezik, japanski ili engleski, ili s ciljnog jezika natrag na kineski. To odgovara obrascu u kojem prevaranti model prvenstveno upotrebljavaju za prevođenje razgovora u tijeku.
Računi bi ponekad tražili od modela da generira odgovor određenim tonom, primjerice koketnim tonom mlade žene. Model je ponekad dobivao opsežne biografske podatke koji su mu trebali pomoći pri odgovaranju, uključujući ime lažne osobe, obrazovanje, posao, lokaciju i hobije. U tim se biografijama obično navodilo da se lažna osoba povremeno bavi internetskim ulaganjima.
Čini se da su prevaranti za komunikaciju s metama upotrebljavali velik broj različitih alata i platformi. Naša je istraga otkrila dokaze da su upotrebljavali LINE, WhatsApp, X, Facebook, Instagram, niz drugih servisa za razmjenu poruka, Appleovu funkciju „Sakrij moj e-mail”(otvara se u novom prozoru) te platforme za kriptovalute i trgovanje devizama.
Rezultati
Na temelju našeg ograničenog uvida u ovu aktivnost, čini se da su se prevaranti služili uobičajenim tijekom rada kako bi mete od početnog kontakta doveli do lažnog ulaganja:
Javna interakcija: prevaranti bi komentirali objave mete na društvenim mrežama. Ti su komentari često završavali pitanjem poput: „Što mislite o [temi]?”, vjerojatno kako bi povećali izglede za interakciju. U nekoliko su slučajeva komentirali politiku, ali mnogo su češće govorili o golfu.
Vjerojatna izravna komunikacija: prevaranti bi zatim generirali kratke komentare u razgovornom stilu. Iako nemamo potpuni uvid u to kako su i gdje upotrijebljeni, komentari su odgovarali situaciji u kojoj su prevarant i meta počeli razmjenjivati izravne poruke.
Sigurna razmjena poruka: vrlo brzo, često u roku od nekoliko dana, prevaranti bi generirali poruke kojima su predlagali prelazak na sigurniju aplikaciju za razmjenu poruka. Ponekad bi to opravdali tvrdnjom da prevarant ne vjeruje društvenim mrežama, a katkad praktičnim izgovorom, primjerice da uskoro putuje nekamo gdje neće imati pristup društvenim mrežama.
Romantično zbližavanje: prevaranti bi pisali i prevodili sve prisnije i nježnije poruke. Ako bi mete zatražile fotografije „žene” s kojom razgovaraju, prevaranti bi se poslužili izgovorima.
Financijsko uključivanje: prevaranti bi pisali i prevodili poruke u kojima su se hvalili velikom zaradom od internetskih ulaganja u devize, kriptovalute ili zlato. To bi često predstavljali kao rezultat slijeđenja savjeta rođaka zaposlenog u financijskom sektoru. Prevarant bi nagovarao metu da počne ulagati na isti način i ponudio joj pomoć tijekom cijelog postupka.
Prijevara: prevaranti bi pisali i prevodili poruke kojima su žrtvu pokušavali uvjeriti da prebaci novac u aplikaciju za trgovanje te je poticali pričama o velikoj zaradi. Kad god bi žrtva pokušala povući svoju „dobit”, prevarant bi ponudio izgovor, primjerice da je potrebno platiti naknadu.
Ovaj obrazac aktivnosti odgovara javno dostupnim izvješćima(otvara se u novom prozoru) o uobičajenom načinu funkcioniranja takvih prevara.
Učinak
Čini se da je ova aktivnost uključivala mnogo neuspješnih početaka i pokušaja. Neki razgovori koje su prevaranti obrađivali pomoću naših modela završili su tako što je meta prepoznala aktivnost kao prevaru ili poručila prevarantu da je ostavi na miru. Otkrili smo i objave prevaranata na društvenim mrežama koje nisu ostvarile nikakvu interakciju.
Međutim, u nekim su se razgovorima spominjali iznosi od više tisuća dolara ili protuvrijednost u drugim valutama kao vrijednost pojedinačnih transakcija. S obzirom na način na koji su ti operateri upotrebljavali naše modele, nemamo uvid u to jesu li te financijske transakcije doista provedene. Međutim, spominjanje transakcija u razgovorima upućuje na to da su prevaranti barem u nekim slučajevima uspjeli prevariti svoje mete.
Pravila OpenAI-ja strogo zabranjuju upotrebu rezultata naših alata za prijevare ili obmane. Predani smo suradnji s drugim organizacijama u industriji i nadležnim tijelima kako bismo razumjeli upotrebu umjetne inteligencije za zlonamjerne aktivnosti te aktivno ometali prevare koje zloupotrebljavaju naše usluge. U skladu s tom predanošću, podatke o prevarantskim mrežama koje smo omeli podijelili smo s drugim organizacijama u industriji i nadležnim tijelima.