Podvod s romantickou návnadou: postupy „zabíjania prasiat“ s podporou AI

Táto prípadová štúdia bola pôvodne zverejnená v správe OpenAI z februára 2025⁠(otvorí sa v novom okne).

Zablokovali sme skupinu účtov ChatGPT, ktoré prekladali a vytvárali krátke komentáre v japončine, čínštine a angličtine. Zdá sa, že táto aktivita pochádzala z Kambodže a zodpovedala romantickému a investičnému podvodu (známemu aj ako „zabíjanie prasiat“). Spoločnosť Meta nedávno identifikovala súvisiacu aktivitu⁠(otvorí sa v novom okne) na svojej platforme, ktorá zrejme pochádzala z novozriadeného podvodníckeho komplexu v Kambodži.

Táto sieť používala naše modely na preklad a vytváranie krátkych komentárov. Zdá sa, že hlavným jazykom aktérov bola čínština. Výstupy boli vo viacerých jazykoch, najmä v japončine a čínštine, ale aj v angličtine.

Aktéri používali naše modely na dve hlavné činnosti. Po prvé vytvárali komentáre, ktoré verejne zverejňovali na sociálnych sieťach vrátane Facebooku, X a Instagramu. Každý účet na sociálnej sieti zvyčajne obsahoval jednu alebo viac profilových fotografií mladej ženy. Domnievame sa, že aspoň niektoré z nich boli namiesto vytvorenia pomocou AI skopírované od skutočných modeliek alebo influenceriek.

Väčšina vytvorených komentárov bola zverejnená ako odpoveď na príspevky skutočných ľudí na sociálnych sieťach. Niektoré príspevky, na ktoré operátori odpovedali, boli staré mesiace alebo roky. Táto operácia sa zvyčajne zameriavala na mužov, ktorých verejné profily naznačovali, že majú viac než 40 rokov a často pracujú v zdravotníctve. Operácia často reagovala na príspevky o golfe, čo naznačuje zámernú stratégiu výberu cieľov. Podvodníci príležitostne uverejňovali príspevky o politických témach alebo aktuálnych udalostiach.

Po druhé, a oveľa častejšie, operátori vytvárali krátke komentáre, ktoré pôsobili ako časti online konverzácie. Zvyčajne išlo o preklad komentárov z čínštiny do cieľového jazyka (japončiny alebo angličtiny), prípadne z cieľového jazyka späť do čínštiny. To zodpovedá tomu, že podvodníci používali model predovšetkým na preklad prebiehajúcich konverzácií.

Účty niekedy žiadali model, aby vytvoril odpoveď v určitom štýle, napríklad koketným tónom mladej ženy. Model niekedy dostal rozsiahle biografické údaje, ktoré mali usmerniť jeho odpovede, vrátane mena falošnej identity, vzdelania, zamestnania, bydliska a záľub. Tieto životopisy zvyčajne uvádzali, že sa falošná osoba príležitostne venuje online investovaniu.

Zdá sa, že podvodníci na komunikáciu so svojimi cieľmi používali množstvo rôznych nástrojov a platforiem. Naše vyšetrovanie odhalilo dôkazy, že používali nástroje ako LINE, WhatsApp, X, Facebook, Instagram, rôzne ďalšie komunikačné služby, funkciu spoločnosti Apple „Skryť môj e-mail“⁠(otvorí sa v novom okne) a platformy na obchodovanie s kryptomenami a devízami.

Podľa nášho obmedzeného pohľadu na túto aktivitu podvodníci pri prechode od nadviazania kontaktu k podvodnej investícii zrejme používali bežný postup:

1. Verejné nadviazanie kontaktu: Podvodníci komentovali príspevky cieľovej osoby na sociálnych sieťach. Tieto komentáre sa často končili otázkou, napríklad: „Čo si myslíte o [téme]?“, pravdepodobne s cieľom zvýšiť šancu na reakciu. V niekoľkých prípadoch komentovali politiku, no častejšie hovorili o golfe.

2. Pravdepodobné súkromné správy: Podvodníci potom vytvárali krátke konverzačné komentáre. Hoci nemáme úplný prehľad o tom, ako a kde ich používali, komentáre zodpovedali situácii, keď si podvodník a cieľová osoba začali vymieňať súkromné správy.

3. Bezpečná komunikácia: Podvodníci veľmi skoro, často už v priebehu niekoľkých dní, vytvárali správy navrhujúce prechod na bezpečnejšiu komunikačnú aplikáciu. Niekedy to odôvodnili tvrdením, že nedôverujú sociálnym sieťam, inokedy praktickou výhovorkou, napríklad že sa chystajú niekam, kde k nim nebudú mať prístup.

4. Romantické zbližovanie: Podvodníci písali a prekladali čoraz dôvernejšie a intímnejšie správy. Ak cieľové osoby požiadali o fotografie „ženy“, s ktorou si písali, podvodníci sa vyhovárali.

5. Finančné zapojenie: Podvodníci písali a prekladali správy, v ktorých sa chválili veľkým zárobkom z online investícií do devíz, kryptomien alebo zlata. Často to prezentovali ako výsledok toho, že sa riadili radami príbuzného pracujúceho vo finančníctve. Podvodník nabádal cieľovú osobu, aby začala investovať rovnakým spôsobom, a ponúkol jej, že ju celým procesom prevedie.

6. Podvod: Podvodníci písali a prekladali správy, ktorými sa snažili obeť presvedčiť, aby previedla peniaze do obchodnej aplikácie. Povzbudzovali ju pritom rečami o vysokých ziskoch. Vždy, keď sa obeť pokúsila vybrať svoje „zisky“, podvodník prišiel s výhovorkou, napríklad že treba zaplatiť poplatok.

Tento vzorec aktivity zodpovedá verejne dostupným správam⁠(otvorí sa v novom okne) o tom, ako takéto podvody zvyčajne fungujú.

Zdá sa, že táto aktivita zahŕňala mnoho neúspešných začiatkov a pokusov. Niektoré konverzácie, ktoré podvodníci spracovali prostredníctvom našich modelov, sa skončili tým, že cieľová osoba označila aktivitu za podvod alebo podvodníkovi povedala, aby ju nechal na pokoji. Na sociálnych sieťach sme identifikovali aj príspevky podvodníkov, na ktoré nikto vôbec nereagoval.

V niektorých konverzáciách sa však pri jednotlivých transakciách spomínali sumy v tisícoch dolárov alebo ich ekvivalent v iných menách. Vzhľadom na spôsob, akým títo operátori používali naše modely, nemáme prehľad o tom, či sa tieto finančné transakcie uskutočnili. Zmienky v konverzáciách však naznačujú, že podvodníci aspoň v niektorých prípadoch dokázali svoje ciele obrať o peniaze.

Pravidlá OpenAI prísne zakazujú používať výstupy našich nástrojov na podvody alebo klamanie. Usilujeme sa spolupracovať s partnermi v odvetví a príslušnými orgánmi, aby sme pochopili, ako sa AI používa na škodlivé aktivity, a aktívne narúšali podvodné operácie zneužívajúce naše služby. V súlade s týmto záväzkom sme partnerom v odvetví a príslušným orgánom poskytli informácie o podvodných sieťach, ktorých činnosť sme narušili.