Operacija „Pogrešan broj”: prijevara sa zadacima potpomognuta umjetnom inteligencijom
OpenAI je zabranio račune koji su vjerojatno potjecali iz Kambodže i služili se umjetnom inteligencijom za prijevare usmjerene na osobe u Ujedinjenom Kraljevstvu.
Ova studija slučaja izvorno je objavljena u OpenAI-jevu izvješću iz lipnja 2025.(otvara se u novom prozoru)
Akter
Zabranili smo račune na ChatGPT‑u koji su generirali kratke poruke nalik oglasima za zapošljavanje na engleskom, španjolskom, svahiliju, kinyarwandi, njemačkom i haićanskom kreolskom. U tim su porukama primateljima nuđene visoke plaće za jednostavne zadatke, poput označavanja objava na društvenim mrežama oznakom „sviđa mi se”, te ih se poticalo da vrbuju druge. Činilo se da je operacija izrazito centralizirana i da vjerojatno potječe iz Kambodže.
Uz pomoć prevoditeljskih alata temeljenih na umjetnoj inteligenciji uspjeli smo brzo istražiti i prekinuti upotrebu usluga OpenAI-ja u toj kampanji.
Ponašanje
Većina poruka ove mreže odnosila se na prevoditeljske zadatke. ChatGPT su upotrebljavali za prevođenje razgovornih rečenica između kineskog i nekoliko drugih jezika, ponajprije engleskog, španjolskog, kinyarwande, svahilija, njemačkog i haićanskog kreolskog. Ti su se zadaci obično izmjenjivali između prevođenja primljene poruke na kineski i prevođenja odgovora s kineskog natrag na izvorni jezik.
Dio tih poruka nalikovao je neželjenim oglasima za posao koji su nudili visoku satnicu za vrlo malo rada. Jedna takva poruka poslana je SMS-om na naizgled nasumično odabrane brojeve mobilnih telefona u Ujedinjenom Kraljevstvu, među kojima je bio i broj istražitelja OpenAI-ja. Tu smo operaciju nazvali „Pogrešan broj”, u čast prvom SMS-u.
SMS nasumično poslan istražitelju OpenAI-ja, generiran uz ChatGPT.
Čini se da su se akteri prijetnje oslanjali na više platformi za razmjenu poruka. Početni SMS upućivao je primatelje na WhatsApp, a osobe koje bi odgovorile zatim su usmjeravane „mentoru” na Telegramu. U dijelu aktivnosti spominjala se i aplikacija za razmjenu poruka BonChat. Čini se da početne, uvodne poruke poslane tim kanalima nisu bile generirane našim modelima. Bile su to rutinske poruke koje bi se vjerojatno mogle primijeniti na svaki razgovor.
Poruka poslana putem WhatsAppa kao nastavak komunikacije nakon SMS-a. Čini se da ta poruka nije generirana našim modelima.
Mnogi prevoditeljski zadaci uključivali su komunikaciju koja je navodno dolazila od predstavnika navodnih „poslodavaca”. Isti nazivi tvrtki opetovano su se pojavljivali u brojnim razgovorima na ChatGPT‑u obuhvaćenima ovom istragom. Među njima su bili Hyesung Advertising(otvara se u novom prozoru) i Lightning Shared Scooter Co (LSSC)(otvara se u novom prozoru). U javno dostupnim izvješćima Hyesung i LSSC prepoznati su kao navodne prijevare sa zadacima. Iako nismo neovisno provjerili prirodu tih subjekata, naša je istraga pokazala da su poruke koje su navodno dolazile od njih generirali korisnici ChatGPT‑a koji govore kineski i vjerojatno djeluju iz Kambodže.
Generirani odgovori
Tvrtke za koje je ova mreža tvrdila da ih predstavlja djelovale su u vrlo različitim djelatnostima, od trgovanja dionicama i najma romobila do prodaje oznaka „sviđa mi se” na društvenim mrežama. Jasan znak upozorenja bila je ponuda više od 5 $ za jednu oznaku „sviđa mi se” na TikToku. Za usporedbu, ručnim pregledom internetskih tržišta utvrdili smo da neki prodavatelji za 1000 takvih oznaka naplaćuju manje od 10 $.
Povezivanjem pokazatelja izvan platforme s internim opažanjima utvrdili smo obrazac tijeka rada koji se ponavljao. Radi boljeg razumijevanja te taktike i jednostavnijeg razvrstavanja, ovaj obrazac opisujemo kao: signal (hladni kontakt), zanos (pobuđivanje oduševljenja) i ubod (izvlačenje novca):
Signal (hladni kontakt): mreža generira sadržaj namijenjen kontaktiranju nepoznatih osoba, obično nudeći neuobičajeno visoku plaću za vrlo malo rada ili obećavajući velike prinose od ulaganja na burzi. Te ponude uključuju visoku naknadu za jednostavne zadatke, poput označavanja objava na društvenim mrežama oznakom „sviđa mi se”, ili unosne mogućnosti ulaganja.
Zanos (pobuđivanje oduševljenja): mreža prevodi razgovore, vjerojatno između operatora i njihovih „zaposlenika”. Te razmjene sadrže logističke pojedinosti o zadacima, ali su često protkane motivacijskim porukama o zaradi i mogućim bonusima.
Ubod (izvlačenje novca): mreža generira i/ili šalje sadržaj kojim se na „zaposlenika” ili „ulagača” vrši pritisak da uplati novac kako bi ostvario veće nagrade. To poprima nekoliko oblika, uključujući početni „polog”, kupnju kriptovaluta i „naknade za obradu”.
Primjer poruke za kontaktiranje nepoznatih primatelja, izrađene uz ChatGPT i distribuirane putem ove mreže. Poruka je istodobno poslana na osam telefonskih brojeva, od kojih nijedan nije bio na primateljevu popisu kontakata. Jedan je primatelj odmah napustio grupu.
Poruka mreže na Telegramu potencijalnoj žrtvi s uputom da kupi kriptovalutu u vrijednosti od 20 £ i prenese je neimenovanom trgovcu.
Javno dostupna izvješća(otvara se u novom prozoru) upućuju na to da su neke od tih tvrtki novim članovima naplaćivale znatne pristupne naknade, a zatim dio tog novca upotrebljavale kako bi postojećim „zaposlenicima” isplatile tek toliko da ih zadrže u sustavu. Takva je struktura karakteristična za prijevare sa zadacima(otvara se u novom prozoru).
Učinak
Zbog ograničenog uvida teško je procijeniti stvarni doseg ove mreže. Međutim, izvješća izvan platforme(otvara se u novom prozoru) i razgovori u kojima su „zaposlenici” zahtijevali povrat novca pokazuju da su barem neki pojedinci platili tim navodnim poslodavcima. Uočili smo i stvarne korisnike koji su branili te tvrtke na društvenim mrežama, što upućuje na određenu razinu aktivnosti u stvarnom svijetu.