Fara beint í aðalefni
OpenAI

1. júní 2025

Öryggi

Aðgerðin „Rangt númer“: Verkefnasvik með aðstoð gervigreindar

OpenAI lokaði reikningum sem líklega áttu uppruna sinn í Kambódíu og nýttu gervigreind í svikaferli sem beindust að fólki í Bretlandi.

Hleður inn...

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá júní 2025⁠(opnast í nýjum glugga).

Gerandi

Við lokuðum ChatGPT‑reikningum sem voru notaðir til að semja stutt skilaboð í anda atvinnutilboða á ensku, spænsku, svahílí, kínjarvanda, þýsku og haítísku kreólamáli. Í skilaboðunum voru viðtakendum boðin há laun fyrir lítilfjörleg verkefni, svo sem að líka við færslur á samfélagsmiðlum, og þeir hvattir til að fá fleiri til liðs við sig. Aðgerðin virtist mjög miðstýrð og átti líklega uppruna sinn í Kambódíu.

Með þýðingarverkfærum sem knúin eru af gervigreind gátum við rannsakað og stöðvað notkun herferðarinnar á þjónustu OpenAI með skjótum hætti.

Hegðun

Flest samskipti tengslanetsins vörðuðu þýðingarverkefni. Þau notuðu ChatGPT til að þýða hversdagslegar setningar milli kínversku og nokkurra annarra tungumála, einkum ensku, spænsku, kínjarvanda, svahílí, þýsku og haítísks kreólamáls. Verkefnin fólust yfirleitt til skiptis í því að þýða móttekin skilaboð yfir á kínversku og svar úr kínversku aftur yfir á frummálið.

Sum þessara skilaboða líktust óumbeðnum atvinnuauglýsingum þar sem há tímalaun voru boðin fyrir litla vinnu. Ein slík skilaboð voru send með SMS á það sem virtist vera tilviljunarkennt safn breskra farsímanúmera. Eitt þeirra tilheyrði rannsakanda OpenAI. Við höfum nefnt þessa aðgerð „Rangt númer“ með vísan til fyrstu SMS-skilaboðanna.

SMS-skilaboð send rannsakanda OpenAI.

SMS-skilaboð sem voru útbúin með ChatGPT og send af handahófi til rannsakanda OpenAI.

Gerendurnir virtust reiða sig á marga skilaboðamiðla. Í fyrstu SMS-skilaboðunum var viðtakendum beint á WhatsApp, en þeir sem svöruðu voru síðan sendir áfram til „leiðbeinanda“ á Telegram. Í sumum tilvikum var einnig vísað til skilaboðaforritsins BonChat. Ekki virtist sem fyrstu kynningarskilaboðin sem send voru um þessar rásir hefðu verið útbúin með líkönum okkar. Þetta voru stöðluð skilaboð sem líklega voru notuð í öllum samtölum.

Eftirfylgniskilaboð á WhatsApp frá aðgerðinni „Rangt númer“.

WhatsApp-skilaboð sem fylgdu SMS-skilaboðunum eftir. Ekki virðist sem þessi skilaboð hafi verið útbúin með líkönum okkar.

Mörg þýðingarverkefnanna snerust um samskipti sem sögð voru koma frá fulltrúum meintra „vinnuveitenda“. Sömu fyrirtækjanöfnin komu ítrekað fyrir í fjölmörgum ChatGPT‑samtölum sem rannsóknin náði til. Þar á meðal voru Hyesung Advertising⁠(opnast í nýjum glugga) og Lightning Shared Scooter Co (LSSC)⁠(opnast í nýjum glugga). Í opinberri umfjöllun hafa Hyesung og LSSC verið sögð tengjast meintum verkefnasvikum. Þótt við höfum ekki staðfest sjálfstætt hvers eðlis þessir aðilar eru leiddi rannsókn okkar í ljós að skilaboð sem sögð voru koma frá þeim voru útbúin af kínverskumælandi notendum ChatGPT, sem störfuðu líklega frá Kambódíu.

Niðurstöður

Fyrirtækin sem tengslanetið sagðist vera fulltrúi fyrir störfuðu í fjölbreyttum atvinnugreinum, allt frá hlutabréfaviðskiptum og leigu á rafhlaupahjólum til sölu á lækum á samfélagsmiðlum. Eitt augljóst viðvörunarmerki var tilboð um meira en $5 fyrir eitt læk á TikTok. Til samanburðar sýndi handvirk athugun okkar á netmarkaðstorgum að sumir seljendur læka á samfélagsmiðlum rukka innan við $10 fyrir 1.000 læk.

Með því að bera saman vísbendingar utan miðilsins og eigin athuganir greindum við endurtekið mynstur í verkferlinu. Til að auka almennan skilning á þessari aðferð og auðvelda flokkun hennar lýsum við mynstrinu sem kallinu (óumbeðið samband), kveikjunni (vekja áhuga) og stungunni (hafa fé af fólki):

  1. Kallið (óumbeðið samband): Tengslanetið útbýr efni fyrir óumbeðnar fyrirspurnir, yfirleitt með óvenjulega háum launum fyrir litla vinnu eða loforðum um mikla ávöxtun af fjárfestingum á hlutabréfamarkaði. Tilboðin fela meðal annars í sér há laun fyrir einföld verkefni, svo sem að líka við færslur á samfélagsmiðlum, eða ábatasöm fjárfestingartækifæri.

  2. Kveikjan (vekja áhuga): Tengslanetið þýðir samtöl, líklega milli stjórnandans og „starfsfólks“ hans. Samskiptin innihalda skipulagsupplýsingar um verkefni en inn á milli eru oft hvatningarskilaboð um tekjur og mögulega bónusa.

  3. Stungan (hafa fé af fólki): Tengslanetið útbýr og/eða sendir efni sem þrýstir á „starfsmanninn“ eða „fjárfestinn“ að leggja fram fé til að fá aðgang að meiri umbun. Þetta tekur á sig ýmsar myndir, meðal annars upphaflega „innborgun“, kaup á rafmynt og „afgreiðslugjöld“.

Óumbeðin skilaboð sem voru útbúin með ChatGPT og dreift af aðgerðinni „Rangt númer“.

Dæmi um óumbeðin skilaboð sem voru útbúin með ChatGPT og dreift af þessu tengslaneti. Skilaboðin voru send samtímis á átta símanúmer og ekkert þeirra var á tengiliðalista viðtakandans. Einn viðtakandi yfirgaf hópinn samstundis.

Telegram-skilaboð þar sem mögulegu fórnarlambi er sagt að kaupa rafmynt.

Telegram-skilaboð frá tengslanetinu til mögulegs fórnarlambs þar sem því er sagt að kaupa rafmynt fyrir £20 og millifæra hana til ónafngreinds söluaðila.

Opinber umfjöllun⁠(opnast í nýjum glugga) bendir til þess að sum þessara fyrirtækja hafi rukkað nýliða um há þátttökugjöld og síðan notað hluta fjárins til að greiða núverandi „starfsfólki“ rétt nóg til að halda því virku. Þessi uppbygging er dæmigerð fyrir verkefnasvik⁠(opnast í nýjum glugga).

Áhrif

Erfitt er að meta raunverulegt umfang tengslanetsins vegna takmarkaðrar yfirsýnar okkar. Hins vegar benda frásagnir utan miðilsins⁠(opnast í nýjum glugga) og samtöl þar sem „starfsfólk“ krafðist endurgreiðslu til þess að að minnsta kosti einhverjir hafi greitt þessum meintu vinnuveitendum. Við sáum einnig raunverulega notendur verja fyrirtækin á samfélagsmiðlum, sem bendir til þess að einhver raunveruleg þátttaka hafi átt sér stað.