Prevara s romantičnim mamcem: tokovi prevare „pig butchering“ uz pomoć AI-ja
OpenAI je blokirao račune koji su, čini se, poticali iz Kambodže i koristili AI za prevođenje i generiranje razgovora za romantične i investicijske prevare.
Ova studija slučaja prvobitno je objavljena u izvještaju kompanije OpenAI iz februara 2025.(otvara se u novom prozoru)
Akter
Blokirali smo grupu ChatGPT računa koji su prevodili i generirali kratke komentare na japanskom, kineskom i engleskom jeziku. Čini se da je ova aktivnost poticala iz Kambodže i odgovarala obrascu romantične i investicijske prevare, poznate i kao „pig butchering“. Meta je nedavno identificirala povezanu aktivnost(otvara se u novom prozoru) na svojoj platformi, za koju se činilo da potiče iz novootvorenog centra za prevare u Kambodži.
Ponašanje
Ova mreža koristila je naše modele za prevođenje i generiranje kratkih komentara. Čini se da je kineski bio primarni jezik aktera. Sadržaj je generiran na više jezika, prvenstveno na japanskom i kineskom, ali i na engleskom.
Akteri su naše modele koristili za dvije glavne aktivnosti. Prvo su generirali komentare koji su javno objavljivani na društvenim mrežama, uključujući Facebook, X i Instagram. Svaki račun na društvenim mrežama obično je sadržavao jednu ili više profilnih slika mlade žene. Procjenjujemo da su barem neke od njih kopirane od stvarnih manekenki ili influencerica, a ne generirane pomoću AI-ja.
Većina generiranih komentara objavljena je kao odgovor na objave stvarnih osoba na društvenim mrežama. Neke objave na koje su operateri odgovarali bile su stare mjesecima ili godinama. Ova operacija obično je bila usmjerena na muškarce za koje se iz javnih profila moglo zaključiti da imaju više od 40 godina, često zaposlene u medicinskim profesijama. Operateri su često odgovarali na objave o golfu, što ukazuje na smišljenu strategiju odabira meta. Prevaranti su povremeno objavljivali sadržaj o političkim pitanjima ili aktuelnim događajima.
Komentar na Facebooku koji je ovaj akter generirao pomoću naših modela, objavljen kao odgovor na komentar o golfu osobe koja, čini se, nije bila povezana s ovom operacijom. Profilna slika računa korištenog za prevaru kopirana je od američke influencerice iz svijeta mode i ljepote. Kada je račun korišten za prevaru tamo objavio komentar, izvorna objava bila je stara više od mjesec dana.
Komentar koji su generirali naši modeli, a koji je verificirani račun objavio na X-u kao odgovor na objavu računa koji, čini se, nije bio povezan s ovom prevarom. Profilna slika računa kopirana je od iste američke influencerice iz svijeta mode i ljepote. Izvorna objava bila je stara gotovo šest mjeseci.
Drugo, i znatno češće, operateri su generirali kratke komentare koji su izgledali kao dijelovi razgovora na internetu. To se obično odnosilo na prevođenje komentara s kineskog na ciljni jezik, japanski ili engleski, odnosno s ciljnog jezika nazad na kineski. To odgovara obrascu u kojem prevaranti model prvenstveno koriste za prevođenje razgovora koji su u toku.
Računi bi ponekad tražili od modela da generira odgovor određenim tonom, naprimjer koketnim tonom mlade žene. Ponekad su pružani opširni biografski podaci kako bi se model usmjerio pri odgovaranju, uključujući ime lažne osobe, obrazovanje, posao, lokaciju i hobije. U tim biografijama obično je navedeno da se lažna osoba povremeno bavi ulaganjem putem interneta.
Čini se da su prevaranti koristili veliki broj različitih alata i platformi kako bi stupili u kontakt s metama. Naša istraga otkrila je dokaze da su koristili alate kao što su LINE, WhatsApp, X, Facebook, Instagram, razne druge usluge za razmjenu poruka, Appleovu funkciju „sakrij moju e-mail adresu“(otvara se u novom prozoru) te platforme za kriptovalute i trgovanje devizama.
Rezultati
Na osnovu ograničenog uvida u ovu aktivnost, čini se da su prevaranti slijedili uobičajen tok kojim su mete od prvog kontakta vodili do lažnog ulaganja:
Javna interakcija: Prevaranti bi komentirali objave mete na društvenim mrežama. Ti komentari često su završavali pitanjem poput: „Šta mislite o [temi]?“, vjerovatno kako bi povećali mogućnost uspostavljanja kontakta. U nekoliko slučajeva komentirali su politiku, ali su mnogo češće govorili o golfu.
Vjerovatna direktna komunikacija: Prevaranti bi zatim generirali kratke komentare u razgovornom stilu. Iako nemamo potpun uvid u to kako i gdje su korišteni, komentari su odgovarali situaciji u kojoj su prevarant i meta počeli razmjenjivati direktne poruke.
Sigurna komunikacija: Vrlo brzo, često u roku od nekoliko dana, prevaranti bi generirali poruke u kojima su predlagali prelazak na sigurniju aplikaciju za razmjenu poruka. Ponekad bi to opravdavali tvrdnjom da ne vjeruju društvenim mrežama, a nekad praktičnim izgovorom, naprimjer da uskoro putuju nekamo gdje neće imati pristup društvenim mrežama.
Romantično zbližavanje: Prevaranti bi pisali i prevodili sve prisnije i intimnije poruke. Ako bi mete zatražile fotografije „žene“ s kojom razgovaraju, prevaranti bi pronalazili izgovore.
Uvođenje finansijske teme: Prevaranti bi pisali i prevodili poruke u kojima se hvale velikom zaradom ostvarenom ulaganjem putem interneta u devize, kriptovalute ili zlato. To bi često predstavljali kao rezultat slijeđenja savjeta rođaka koji radi u finansijskom sektoru. Prevarant bi nagovarao metu da počne ulagati na isti način i nudio pomoć tokom cijelog postupka.
Prevara: Prevaranti bi pisali i prevodili poruke kojima su žrtvu pokušavali uvjeriti da prebaci novac u aplikaciju za trgovanje, ohrabrujući je pričama o velikoj zaradi. Kad god bi žrtva pokušala povući svoju „dobit“, prevarant bi ponudio neki izgovor, naprimjer da prvo treba platiti naknadu.
Ovaj obrazac aktivnosti u skladu je s javno dostupnim izvještajima(otvara se u novom prozoru) o tome kako takve prevare obično funkcioniraju.
Uticaj
Čini se da je ova aktivnost obuhvatala brojne neuspješne pokušaje. Neki razgovori koje su prevaranti obrađivali pomoću naših modela završili su tako što je meta prepoznala aktivnost kao prevaru ili rekla prevarantu da je ostavi na miru. Na društvenim mrežama pronašli smo i objave prevaranata koje nisu izazvale nikakvu reakciju.
Međutim, u nekim razgovorima spominjani su iznosi od nekoliko hiljada dolara ili protuvrijednost u drugim valutama kao vrijednost pojedinačnih transakcija. S obzirom na način na koji su ovi operateri koristili naše modele, nemamo uvid u to jesu li te finansijske transakcije zaista izvršene. Ipak, navodi u razgovorima ukazuju na to da su prevaranti barem u nekim slučajevima uspjeli prevariti svoje mete.
Pravila kompanije OpenAI strogo zabranjuju korištenje sadržaja generiranog našim alatima za prevare ili obmane. Posvećeni smo saradnji s drugim kompanijama u industriji i nadležnim organima kako bismo razumjeli kako se AI koristi za zlonamjerne aktivnosti i aktivno suzbijali prevare kojima se zloupotrebljavaju naše usluge. U skladu s tom obavezom, informacije o mrežama za prevare koje smo onesposobili podijelili smo s drugim kompanijama u industriji i relevantnim nadležnim organima.