Preskočiť na hlavný obsah
OpenAI

1. júna 2025

Bezpečnosť

Operácia „Nesprávne číslo“: podvod s úlohami podporovaný AI

OpenAI zablokovala účty, ktoré pravdepodobne pochádzali z Kambodže a využívali AI na podporu podvodných postupov zameraných na ľudí v Spojenom kráľovstve.

Načítava sa…

Táto prípadová štúdia bola pôvodne zverejnená v správe OpenAI za jún 2025⁠(otvorí sa v novom okne).

Aktér

Zablokovali sme účty ChatGPT, ktoré vytvárali krátke náborové správy v angličtine, španielčine, svahilčine, kinyarwandčine, nemčine a haitskej kreolčine. Tieto správy ponúkali príjemcom vysoké zárobky za nenáročné úlohy, napríklad označovanie príspevkov na sociálnych sieťach ako páči sa mi, a nabádali ich, aby získavali ďalších ľudí. Operácia pôsobila veľmi centralizovane a pravdepodobne pochádzala z Kambodže.

Vďaka prekladateľským nástrojom využívajúcim AI sme mohli rýchlo vyšetriť a narušiť využívanie služieb OpenAI v tejto kampani.

Správanie

Väčšina komentárov siete súvisela s prekladateľskými úlohami. ChatGPT používali na preklad bežných konverzačných viet medzi čínštinou a niekoľkými ďalšími jazykmi, najmä angličtinou, španielčinou, kinyarwandčinou, svahilčinou, nemčinou a haitskou kreolčinou. Pri týchto úlohách sa zvyčajne striedal preklad prijatej správy do čínštiny s prekladom odpovede z čínštiny späť do pôvodného jazyka.

Časť týchto správ pripomínala nevyžiadané pracovné ponuky s vysokou hodinovou odmenou za minimálne množstvo práce. Jedna takáto správa bola cez SMS rozoslaná zdanlivo náhodnej skupine britských mobilných čísel, pričom jedno patrilo vyšetrovateľovi OpenAI. Na počesť úvodnej SMS sme túto operáciu nazvali „Nesprávne číslo“.

SMS odoslaná vyšetrovateľovi OpenAI.

SMS vytvorená pomocou ChatGPT a náhodne odoslaná vyšetrovateľovi OpenAI.

Zdá sa, že aktéri hrozby využívali viacero komunikačných platforiem. Úvodná SMS príjemcov vyzývala, aby pokračovali cez WhatsApp, kde boli záujemcovia následne odkázaní na „mentora“ na Telegrame. Pri niektorých aktivitách sa spomínala aj komunikačná aplikácia BonChat. Zdá sa, že úvodné správy odosielané prostredníctvom týchto kanálov neboli vytvorené pomocou našich modelov. Pozostávali z bežných správ, ktoré sa pravdepodobne dali použiť v každej konverzácii.

Nadväzujúca správa na WhatsAppe od operácie Nesprávne číslo.

Správa na WhatsAppe odoslaná ako pokračovanie po SMS. Zdá sa, že táto správa nebola vytvorená našimi modelmi.

Mnohé prekladateľské úlohy zahŕňali komunikáciu, ktorá údajne pochádzala od zástupcov domnelých „zamestnávateľských“ spoločností. V mnohých konverzáciách ChatGPT zahrnutých do tohto vyšetrovania sa opakovane objavovali názvy rovnakých spoločností. Patrili medzi ne Hyesung Advertising⁠(otvorí sa v novom okne) a Lightning Shared Scooter Co (LSSC)⁠(otvorí sa v novom okne). Podľa verejne dostupných správ sú Hyesung a LSSC údajne zapojené do podvodov s úlohami. Hoci sme povahu týchto subjektov nezávisle neoverili, pri vyšetrovaní sme zistili, že správy, ktoré od nich údajne pochádzali, vytvárali čínsky hovoriaci používatelia ChatGPT pôsobiaci pravdepodobne z Kambodže.

Výstupy

Spoločnosti, ktoré táto sieť údajne zastupovala, pôsobili v širokej škále odvetví – od obchodovania s akciami cez prenájom kolobežiek až po predaj označení páči sa mi na sociálnych sieťach. Jasným varovným signálom bola ponuka viac než 5 $ za jediné označenie páči sa mi na TikToku. Naša manuálna kontrola online trhovísk pritom ukázala, že niektorí predajcovia takýchto označení na sociálnych sieťach účtujú menej než 10 $ za 1 000 označení.

Spojením ukazovateľov mimo našej platformy s internými pozorovaniami sme identifikovali opakujúci sa vzorec postupu. Aby sme uľahčili pochopenie tejto taktiky a zjednodušili jej klasifikáciu, opisujeme tento vzorec ako kontakt (nevyžiadané oslovenie), nadchnutie (vyvolanie nadšenia) a pascu (vylákanie peňazí):

  1. Kontakt (nevyžiadané oslovenie): Sieť vytvára obsah určený na nevyžiadané oslovovanie, pričom zvyčajne ponúka nezvyčajne vysokú mzdu za minimum práce alebo sľubuje vysoké výnosy z investícií na akciovom trhu. Tieto ponuky zahŕňajú vysoké odmeny za jednoduché úlohy, napríklad označovanie príspevkov na sociálnych sieťach ako páči sa mi, alebo lukratívne investičné príležitosti.

  2. Nadchnutie (vyvolanie nadšenia): Sieť prekladá rozhovory, pravdepodobne medzi operátorom a jeho „zamestnancami“. Tieto výmeny zahŕňajú logistické podrobnosti o úlohách, no často ich prerušujú motivačné správy o zárobkoch a možných bonusoch.

  3. Pasca (vylákanie peňazí): Sieť vytvára a/alebo odosiela obsah, ktorý núti „zamestnanca“ alebo „investora“ vložiť peniaze, aby získal prístup k vyšším odmenám. Má to viacero podôb vrátane počiatočného „vkladu“, nákupu kryptomien a „manipulačných poplatkov“.

Správa na nevyžiadané oslovenie vytvorená pomocou ChatGPT a šírená operáciou Nesprávne číslo.

Príklad správy na nevyžiadané oslovenie, ktorú táto sieť vytvorila pomocou ChatGPT a následne šírila. Správa bola súčasne odoslaná na osem telefónnych čísel, pričom žiadne z nich nebolo v zozname kontaktov príjemcu. Jeden z príjemcov skupinu okamžite opustil.

Správa na Telegrame s pokynom potenciálnej obeti kúpiť kryptomenu.

Správa siete na Telegrame potenciálnej obeti s pokynom kúpiť kryptomenu v hodnote 20 £ a previesť ju nemenovanému obchodníkovi.

Podľa verejne dostupných správ⁠(otvorí sa v novom okne) niektoré z týchto spoločností vyberali od nových členov vysoké vstupné poplatky a časť týchto peňazí potom používali na vyplácanie existujúcich „zamestnancov“ v sume postačujúcej na udržanie ich záujmu. Takáto štruktúra je typická pre podvody s úlohami⁠(otvorí sa v novom okne).

Vplyv

Vzhľadom na náš obmedzený prehľad je ťažké vyčísliť skutočný dosah tejto siete. Správy z prostredia mimo našej platformy⁠(otvorí sa v novom okne) a rozhovory, v ktorých „zamestnanci“ žiadali vrátenie peňazí, však naznačujú, že aspoň niektorí ľudia týmto údajným zamestnávateľom zaplatili. Zaznamenali sme aj skutočných používateľov, ktorí tieto spoločnosti obhajovali na sociálnych sieťach, čo naznačuje určitú mieru zapojenia v reálnom svete.