Podvodné operace: sítě internetových podvodníků

Tato případová studie byla původně zveřejněna ve zprávě OpenAI z října 2025⁠(otevře se v novém okně).

Sítě pravděpodobně pocházející z Kambodže, Myanmaru a Nigérie zneužívají ChatGPT při zjevných pokusech podvádět lidi na internetu.

Usilovně pracujeme na odhalování, prevenci a potírání pokusů zneužívat naše modely ke škodlivým účelům. Mezi taková zneužití patří podvody, při jejichž odhalování identifikujeme a blokujeme škodlivé aktéry pokoušející se zneužít naše modely ke klamání a okrádání lidí. Za poslední tři měsíce jsme rozvrátili podvodné sítě, které pravděpodobně pocházely z Kambodže, Myanmaru a Nigérie. O tom, jakou roli může AI hrát v boji proti podvodům, svědčí i to, že jsme při vyšetřování těchto vzorců zneužívání zaznamenali mnoho lidí, kteří s pomocí našich modelů podvody odhalovali. Tato zpráva pojednává o obou způsobech využití.

Zneužívání našich modelů k podpoře podvodů sahá od jednotlivců pokoušejících se o podvod až po rozsáhlé a dlouhodobé operace pravděpodobně spojené se skupinami organizovaného zločinu. Bez ohledu na původ a konkrétní taktiku se námi narušené podvodné aktivity obvykle řídí společným vzorcem, který označujeme jako nahození (nevyžádané oslovení), nabuzení (snaha vyvolat nadšení nebo paniku) a zásah (vylákání peněz nebo cenných informací).

Podvodníci nejprve šíří obsah, ať už vytvořený pomocí AI, či nikoli, v komunikačních službách a na internetu, mimo jiné prostřednictvím reklam na sociálních sítích. U každého, kdo odpoví, se pak snaží vyvolat buď nadšení z výnosné příležitosti, nebo strach z bezprostřední finanční ztráty a těchto emocí využívají, aby cíl přesvědčili k předání peněz či citlivých informací.

Zaznamenali jsme také mnoho případů, kdy naše modely pravděpodobně pomohly ochránit lidi před podvody. Máme důkazy, že lidé používají ChatGPT k odhalování internetových podvodů a ochraně před nimi v řádu milionů případů měsíčně. U každé podvodné operace popsané v této zprávě jsme zaznamenali, že model pomohl lidem podvod správně rozpoznat a doporučil jim vhodná bezpečnostní opatření. Podle našeho současného odhadu se ChatGPT používá k odhalování podvodů až třikrát častěji než k jejich páchání.

Příklad, kdy vyšetřovatel OpenAI vložil do ChatGPT snímek obrazovky s podvodnou SMS zprávou, kterou obdržel, a pomocí modelu ji úspěšně rozpoznal jako podvod. V tomto případě se útočníci vydávali za náboráře společnosti TikTok.

Od vydání poslední zprávy jsme posílili vlastní schopnost podvody odhalovat a potírat. Rozvrátili jsme další podvodné sítě, které zřejmě pocházely z Kambodže, Myanmaru a Nigérie. Spolu s našimi dřívějšími zásahy nám tato opatření umožňují rozpoznat některé nové trendy napříč podvodnými operacemi z různých zemí.

Většina podvodných aktivit, které jsme narušili, spočívala v začlenění AI do stávajících podvodných postupů, nikoli ve vytváření nových postupů založených na AI. Všechny podvodné operace, které jsme letos odhalili a zablokovali, využívaly AI především jako nástroj ke zvýšení rozsahu a efektivity. Obvykle šlo o používání našich modelů k překladům, psaní zpráv a tvorbě obsahu pro sociální sítě.

Nedávno jsme například zablokovali podvodné operace pravděpodobně pocházející z Kambodže a Nigérie, které se vydávaly za „investiční společnosti“ a snažily se podvést oběti v několika zemích. Podvodníci vytvořili weby a internetové reklamy propagující falešné společnosti a prostřednictvím zřejmě neautentických účtů na sociálních sítích, které se vydávaly za obchodní experty, zvali lidi do soukromých chatovacích skupin. Útočníci slibovali výnosné možnosti zisku bez jakéhokoli rizika a snažili se potenciální oběti přimět k vkládání peněz na smyšlené obchodní platformy. Ve všech těchto podvodech pachatelé používali naše modely především ke generování a překládání korespondence, tvorbě obsahu pro své weby a účty na sociálních sítích a k základnímu průzkumu.

V jiném případě jsme zablokovali podvodné centrum s vysokou pravděpodobností sídlící v Myanmaru, které naše modely používalo jak k tvorbě obsahu pro své podvodné aktivity, tak k běžným provozním úkolům. Patřilo mezi ně sestavování harmonogramů, příprava interních oznámení, přidělování pracovních stolů a míst na ubytovně i správa finančních účtů. Někteří operátoři se ptali na trestní postihy pro osoby přistižené při páchání internetových podvodů.

Ne všichni podvodníci, proti nimž jsme zasáhli, používali naše modely stejným způsobem nebo se stejnou mírou propracovanosti. Většina interakcí podvodníků s ChatGPT se týkala poměrně jednoduchých úkolů, jako jsou překlady, některé podvodné operace však byly ambicióznější a propracovanější.

Jedna námi narušená podvodná operace, která pravděpodobně pocházela z Kambodže, například používala naše modely k vytváření podrobných životopisů falešných investičních odborníků a smyšlených zaměstnanců falešných obchodních společností. Podvodníci pak ChatGPT požádali, aby psal příspěvky na sociální sítě stylem těchto postav. Útočníci našemu modelu často zadávali zprávy, které zřejmě obdrželi od svých cílů, a žádali jej, aby v konverzaci pokračoval jako falešná osoba.

Druhá podvodná operace, rovněž pravděpodobně pocházející z Kambodže, začala naše modely používat ke generování nevyžádaných SMS zpráv, které hromadně rozesílala na americká telefonní čísla. Jednu z nich obdržel vyšetřovatel OpenAI, podobně jako v případě, o němž jsme informovali v červnu. Tyto SMS obsahovaly pozvánky do skupin na WhatsAppu, které byly následně zablokovány a jejichž názvy připomínaly skutečnou investiční společnost.

Jak ukázala série zpráv na WhatsAppu zaslaných vyšetřovateli OpenAI, potenciální cíl, který se k některé z těchto skupin připojil, záhy sledoval „konverzaci“ mezi šesti různými účty, jež všechny hovořily o investování. Jeden z účtů vystupoval jako „investiční odborník“, zatímco ostatní se vydávaly za investory s různou mírou sebejistoty a zkušeností. Celou tuto konverzaci vytvořili podvodníci, kteří ji v jediném bloku přeložili z čínštiny – zřejmě aby vyvolali dojem živé skupiny nadšených a úspěšných obchodníků. „Investiční odborník“ nakonec cíli navrhl, aby investování také vyzkoušel.

Jiná operace zaměřená na investiční podvody, s vysokou pravděpodobností pocházející z Nigérie, požádala model o podrobný návod, jak pomocí reklam na sociálních sítích oslovit bohaté lidi v Latinské Americe, jak skrýt svou polohu a jak obcházet omezení platforem sociálních sítí. To zahrnovalo odkazování modelu na veřejné podmínky používání dané platformy a žádosti, aby posoudil, zda navrhovaný obsah reklamy těmto podmínkám vyhovuje.

Podvodníci, zejména rozsáhlá podvodná centra, jsou vytrvalí. Na zásah velmi často reagují snahou obnovit činnost porušující pravidla, přičemž mění některé prvky svého chování, pravděpodobně aby se vyhnuli dalšímu odhalení. I proto je důležité sdílet v rámci celého odvětví poznatky o vývoji jejich činnosti, jako když OpenAI a Meta vzájemně sdílely informace o útočnících, které přispěly k dalšímu vyšetřování a zásahům.

Možná v reakci na naše zásahy nebo širší internetové diskuse o signálech, které mohou prozradit použití AI, jsme zaznamenali pokusy podvodníků skrývat používání AI v internetovém obsahu a komunikaci s cíli. Například podvodné operace pravděpodobně pocházející z Kambodže zadávaly modelu pokyn, aby z výstupů odstraňoval dlouhé pomlčky.

V jednom případě se podvodníci pokusili vysvětlit rozsáhlé zablokování svých prostředků na sociálních sítích tím, že si vymysleli důvod zákazu. Týkalo se to výše popsaného podvodného centra, které pravděpodobně pocházelo z Kambodže a působilo prostřednictvím SMS a WhatsAppu. Poté, co WhatsApp zablokoval „investiční skupiny“ spojené s touto operací, začali její provozovatelé generovat zprávy tvrdící, že skupiny lživě nahlásil konkurent, patrně aby tak zákazy vysvětlili.

Snímek zprávy na WhatsAppu, kterou podvodná operace napojená na Kambodžu zaslala vyšetřovateli OpenAI poté, co proti ní WhatsApp zasáhl.