Ljubezenska prevara: z UI podprti postopki »klanja prašičev«
OpenAI je blokiral račune, ki so bili videti povezani s Kambodžo ter so z UI prevajali in ustvarjali pogovore za ljubezenske in naložbene prevare.
Ta študija primera je bila prvotno objavljena v poročilu OpenAI iz februarja 2025(odpre se v novem oknu).
Akter
Blokirali smo skupino računov ChatGPT, ki so prevajali in ustvarjali kratke komentarje v japonščini, kitajščini in angleščini. Videti je, da je ta dejavnost izvirala iz Kambodže in je ustrezala vzorcu ljubezenske in naložbene prevare, znane tudi kot »klanje prašičev«. Meta je nedavno prepoznala povezano dejavnost(odpre se v novem oknu) na svoji platformi, ki naj bi izvirala iz novoustanovljenega kompleksa za izvajanje prevar v Kambodži.
Ravnanje
To omrežje je naše modele uporabljalo za prevajanje in ustvarjanje kratkih komentarjev. Videti je, da je bila kitajščina primarni jezik akterjev. Vsebina je bila ustvarjena v več jezikih, predvsem v japonščini in kitajščini, pa tudi v angleščini.
Akterji so naše modele uporabljali predvsem za dve dejavnosti. Prva je bila ustvarjanje komentarjev za javno objavo na družbenih omrežjih, kot so Facebook, X in Instagram. Vsak račun na družbenem omrežju je običajno vseboval eno ali več profilnih slik mlade ženske. Ocenjujemo, da so bile vsaj nekatere od njih kopirane od resničnih manekenk ali vplivnic in ne ustvarjene z UI.
Večina ustvarjenih komentarjev je bila objavljena kot odgovor na objave resničnih ljudi na družbenih omrežjih. Nekatere objave, na katere so se operaterji odzvali, so bile stare več mesecev ali let. Operacija je bila običajno usmerjena v moške, katerih javni profili so nakazovali, da so starejši od 40 let in pogosto zaposleni v zdravstvu. Operacija se je pogosto odzivala na objave o golfu, kar kaže na premišljeno strategijo izbire tarč. Prevaranti so občasno objavljali tudi o političnih vprašanjih ali aktualnih dogodkih.
Komentar na Facebooku, ki ga je ta akter ustvaril z našimi modeli in objavil kot odgovor na komentar o golfu osebe, ki ni bila videti povezana s to operacijo. Profilna slika prevarantskega računa je bila kopirana od ameriške modne in lepotne vplivnice. Ko je prevarantski račun objavil komentar, je bila prvotna objava stara že več kot mesec dni.
Komentar, ustvarjen z našimi modeli, ki ga je preverjeni račun na omrežju X objavil kot odgovor na tvit računa, ki ni bil videti povezan s to prevaro. Profilna slika računa je bila kopirana od iste ameriške modne in lepotne vplivnice. Prvotni tvit je bil star skoraj šest mesecev.
Druga, pogostejša dejavnost je bila ustvarjanje kratkih komentarjev, ki so bili podobni delom spletnega pogovora. To je običajno zajemalo prevajanje komentarjev iz kitajščine v ciljni jezik, japonščino ali angleščino, oziroma iz ciljnega jezika nazaj v kitajščino. To je skladno s tem, da so prevaranti model uporabljali predvsem za prevajanje pogovorov v teku.
Včasih so računi model prosili, naj ustvari odgovor v določenem tonu, na primer v tonu spogledljive mladenke. Modelu so včasih posredovali obsežne biografske podatke, da bi usmerjali njegove odgovore, vključno z imenom lažne osebe, izobrazbo, poklicem, krajem bivanja in konjički. Ti življenjepisi so navadno omenjali, da se lažna oseba občasno ukvarja s spletnimi naložbami.
Videti je, da so prevaranti za navezovanje stikov s tarčami uporabljali veliko različnih orodij in platform. Naša preiskava je odkrila dokaze, da so uporabljali orodja, kot so LINE, WhatsApp, X, Facebook, Instagram, številne druge storitve za sporočanje, Applova funkcija »Skrij moj e-poštni naslov«(odpre se v novem oknu) ter platforme za kriptovalute in trgovanje z devizami.
Odgovori modela
Glede na naš omejeni vpogled v to dejavnost so prevaranti pri vodenju tarč od prvega stika do goljufive naložbe očitno sledili običajnemu postopku:
Javno navezovanje stika: prevaranti so komentirali objave tarče na družbenih omrežjih. Ti komentarji so se pogosto končali z vprašanjem, kot je »Kaj menite o [temi]?«, verjetno zato, da bi povečali možnost odziva. V nekaj primerih so komentirali politiko, vendar so veliko pogosteje govorili o golfu.
Verjetno neposredno sporočanje: prevaranti so nato ustvarjali kratke pogovorne komentarje. Čeprav nimamo popolnega vpogleda v to, kako in kje so jih uporabili, so komentarji ustrezali pogovoru, v katerem sta si prevarant in tarča začela izmenjevati neposredna sporočila.
Varno sporočanje: prevaranti so zelo hitro, pogosto v nekaj dneh, začeli ustvarjati sporočila, ki so predlagala prehod v varnejšo aplikacijo za sporočanje. Včasih so to utemeljili s trditvijo, da prevarant ne zaupa družbenim omrežjem, drugič pa s praktičnim izgovorom, denimo da se odpravlja nekam, kjer ne bo imel dostopa do družbenih omrežij.
Romantično zbliževanje: prevaranti so pisali in prevajali vse bolj ljubeča in intimna sporočila. Če so tarče prosile za fotografije »ženske«, s katero so se pogovarjale, so si prevaranti izmislili izgovore.
Finančno nagovarjanje: prevaranti so pisali in prevajali sporočila, v katerih so se hvalili, da so s spletnimi naložbami v devize, kriptovalute ali zlato zaslužili veliko denarja. To so pogosto predstavili kot rezultat upoštevanja nasvetov sorodnika, zaposlenega v financah. Prevarant je tarčo spodbujal, naj začne vlagati na enak način, in ji ponudil pomoč pri celotnem postopku.
Goljufija: prevaranti so pisali in prevajali sporočila, s katerimi so žrtev skušali prepričati, naj denar nakaže v aplikacijo za trgovanje, ter jo spodbujali z opisovanjem domnevno visokih dobičkov. Vsakič ko je žrtev poskusila dvigniti svoj »dobiček«, je prevarant navedel izgovor, na primer da je treba plačati pristojbino.
Ta vzorec dejavnosti se ujema z javno dostopnimi poročili(odpre se v novem oknu) o običajnem poteku takšnih prevar.
Vpliv
Videti je, da je ta dejavnost vključevala številne neuspešne poskuse. Nekateri pogovori, ki so jih prevaranti obdelali z našimi modeli, so se končali tako, da je tarča dejavnost prepoznala kot prevaro ali prevarantu rekla, naj jo pusti pri miru. Na družbenih omrežjih smo prepoznali tudi objave prevarantov, ki niso prejele prav nobenega odziva.
Vendar so bili v nekaterih pogovorih kot vrednost posameznih transakcij omenjeni zneski v višini več tisoč dolarjev oziroma protivrednosti v drugih valutah. Zaradi načina, kako so ti operaterji uporabljali naše modele, nimamo vpogleda v to, ali so bile te finančne transakcije dejansko izvedene. Vendar omembe v pogovorih kažejo, da je prevarantom vsaj v nekaterih primerih uspelo ogoljufati tarče.
Pravilniki OpenAI strogo prepovedujejo uporabo vsebin, ustvarjenih z našimi orodji, za goljufije ali prevare. Zavezani smo sodelovanju s panožnimi partnerji in pristojnimi organi, da bi razumeli uporabo UI za škodljive dejavnosti ter dejavno preprečevali prevare, pri katerih se zlorabljajo naše storitve. V skladu s to zavezo smo informacije o prevarantskih omrežjih, katerih delovanje smo prekinili, delili s panožnimi partnerji in pristojnimi organi.