Kelmioperatsioonid: veebipettuste võrgustikud

See juhtumiuuring avaldati algselt OpenAI 2025. aasta oktoobri⁠(avaneb uues aknas) aruandes.

Tõenäoliselt Kambodžast, Myanmarist ja Nigeeriast pärit võrgustikud kuritarvitavad ChatGPT‑d nähtavasti selleks, et inimesi internetis petta.

Oleme pühendunud sellele, et tuvastada, ennetada ja tõkestada katseid kuritarvitada meie mudeleid kahjulikel eesmärkidel. Selliste kuritarvituste hulka kuuluvad kelmused: tuvastame ja blokeerime pahatahtlikke osalejaid, kes püüavad meie mudeleid inimeste eksitamiseks ja petmiseks väärkasutada. Viimase kolme kuu jooksul oleme tõkestanud kelmivõrgustikke, mis pärinesid tõenäoliselt Kambodžast, Myanmarist ja Nigeeriast. Uurides neid kuritarvitusmustreid, oleme näinud ka paljusid inimesi, kes kasutavad meie mudeleid kelmuste tuvastamiseks. See näitab, millist rolli saab AI mängida pettuste vastu võitlemisel. Selles aruandes käsitletakse mõlemat kasutusviisi.

Meie mudelite kuritarvitamine kelmuste toimepanekuks ulatub üksikute petturite tegevusest kuni ulatuslike ja püsivate operatsioonideni, mis on tõenäoliselt seotud organiseeritud kuritegelike rühmitustega. Olenemata päritolust ja täpsest taktikast järgib meie tõkestatud kelmustega seotud tegevus tavaliselt ühist mustrit: kontakt (ootamatu pöördumine), õhutus (vaimustuse või paanika tekitamine) ja lõks (raha või väärtusliku teabe väljapetmine).

Kelmide esimene samm on levitada sõnumiteenustes ja internetis, sealhulgas sotsiaalmeediareklaamide kaudu, sisu olenemata sellest, kas see on loodud AI-ga või mitte. Seejärel püüavad nad tekitada vastajates kas vaimustust tulusast võimalusest või hirmu ähvardava rahalise kahju ees ning kasutavad seda emotsiooni, et veenda sihtmärki loovutama raha või tundlikku teavet.

Oleme täheldanud ka palju juhtumeid, kus meie mudelid on tõenäoliselt aidanud inimesi pettuste eest kaitsta. Oleme näinud tõendeid, et inimesed kasutavad ChatGPT‑d veebikelmuste tuvastamiseks ja vältimiseks miljoneid kordi kuus. Kõigi selles aruandes käsitletud kelmioperatsioonide puhul oleme näinud, kuidas mudel aitab inimestel kelmuse õigesti tuvastada ja soovitab asjakohaseid turvameetmeid. Meie praeguse hinnangu kohaselt kasutatakse ChatGPT‑d kelmuste tuvastamiseks kuni kolm korda sagedamini kui kelmuste toimepanemiseks.

Näide sellest, kuidas OpenAI uurija kleepis ChatGPT‑sse kuvatõmmise talle saadetud petusõnumist ja tuvastas mudeli abil edukalt, et tegu on kelmusega. Sel juhul esinesid ohustajad TikToki värbajatena.

Pärast eelmist aruannet oleme suurendanud oma suutlikkust kelmusi tuvastada ja tõkestada. Oleme tõkestanud veel kelmivõrgustikke, mis näisid pärinevat Kambodžast, Myanmarist ja Nigeeriast. Koos varasemate sekkumistega võimaldavad need sulgemised meil tuvastada esilekerkivaid suundumusi eri riikidest lähtuvates kelmioperatsioonides.

Enamik meie tõkestatud kelmustest keskendus AI sobitamisele olemasolevatesse petuskeemidesse, mitte uute, AI ümber üles ehitatud skeemide loomisele. Kõik sel aastal tuvastatud ja blokeeritud kelmioperatsioonid kasutasid AI-d peamiselt tegevuse laiendamiseks ja tõhustamiseks. Tavaliselt kasutati meie mudeleid tõlkimiseks, sõnumite kirjutamiseks ja sotsiaalmeediasisu loomiseks.

Näiteks blokeerisime hiljuti tõenäoliselt Kambodžast ja Nigeeriast pärit kelmioperatsioonid, mis esinesid „investeerimisfirmadena“, et petta ohvreid mitmes riigis. Kelmid lõid võltsfirmade reklaamimiseks veebisaite ja veebireklaame ning kutsusid kauplemisekspertidena esinevate tõenäoliselt võltside sotsiaalmeediakontode kaudu inimesi privaatsete sõnumirühmadega liituma. Lubades tulusaid ja riskivabu teenimisvõimalusi, püüdsid ohustajad meelitada võimalikke ohvreid tegema makseid fiktiivsetele kauplemisplatvormidele. Kõigis neis kelmustes kasutasid kelmid meie mudeleid peamiselt kirjavahetuse loomiseks ja tõlkimiseks, veebisaitide ja sotsiaalmeediakontode sisu koostamiseks ning lihtsamaks teabeotsinguks.

Ühel teisel juhul blokeerisime suure tõenäosusega Myanmaris asuva kelmikeskuse, mis kasutas meie mudeleid nii petuskeemide jaoks sisu loomiseks kui ka igapäevaste äriülesannete täitmiseks. See hõlmas ajakavade koostamist, siseteadete mustandite kirjutamist, töökohtade ja ühiselamukohtade jagamist ning finantskontode haldamist. Mõned operaatorid küsisid, millised kriminaalkaristused ähvardavad veebikelmustega vahele jäänud inimesi.

Kõik meie tõkestatud kelmid ei kasutanud mudeleid ühtemoodi ega sama keerukalt. Enamik kelmide suhtlusest ChatGPT‑ga puudutas suhteliselt lihtsaid ülesandeid, nagu tõlkimine, kuid mõni kelmioperatsioon oli ambitsioonikam ja keerukam.

Näiteks kasutas üks meie tõkestatud, tõenäoliselt Kambodžast pärit kelmioperatsioon mudeleid, et koostada üksikasjalikud elulood võltsitud investeerimisekspertidele ja fiktiivsete kauplemisfirmade väljamõeldud töötajatele. Seejärel palusid kelmid ChatGPT‑l kirjutada sotsiaalmeediasõnumeid nende tegelaskujude häälega. Sageli sisestasid ohustajad meie mudelisse sõnumeid, mille nad näisid olevat saanud oma sihtmärkidelt, ning palusid mudelil vestlust võltsisiku rollis jätkata.

Teine, samuti tõenäoliselt Kambodžast pärit kelmioperatsioon alustas meie mudelite kasutamisega ootamatuteks pöördumisteks mõeldud SMS-ide loomiseks, mida saadeti hulgi USA telefoninumbritele. Üks neist saadeti OpenAI uurijale, sarnaselt juhtumiga, millest teatasime juunis. Need SMS-id sisaldasid kutseid liituda WhatsAppi rühmadega, mis hiljem blokeeriti ja mille nimed sarnanesid seadusliku investeerimisfirma nimega.

OpenAI uurijale saadetud WhatsAppi sõnumite jada põhjal oleks mõne sellise rühmaga liitunud võimalik sihtmärk peagi näinud poole tosina eri konto vahelist „vestlust“, kus kõik rääkisid investeerimisest. Üks konto esines „investeerimiseksperdina“, teised aga erineva enesekindluse ja kogemuste tasemega investoritena. Kogu vestluse lõid kelmid ja tõlkisid selle ühe plokina hiina keelest, tõenäoliselt selleks, et jätta mulje innukate ja edukate kauplejate elavast rühmast. Lõpuks soovitas „investeerimisekspert“ ka sihtmärgil investeerimist proovida.

Üks teine, suure tõenäosusega Nigeeriast pärit investeerimiskelmioperatsioon küsis mudelilt üksikasjalikke juhiseid selle kohta, kuidas jõuda sotsiaalmeediareklaamidega Ladina-Ameerika jõukate inimesteni, varjata oma asukohta ja vältida sotsiaalmeediaplatvormide piiranguid. Selleks suunati mudel platvormi avalike teenusetingimuste juurde ja paluti hinnata, kas kavandatud reklaamsisu vastab neile.

Kelmid, eriti suured kelmikeskused, on visad. Väga sageli reageerivad nad tõkestamisele sellega, et püüavad reegleid rikkuvat tegevust taaskäivitada, muutes samal ajal mõningaid käitumisviise, tõenäoliselt selleks, et edaspidi tuvastamist vältida. See on üks põhjus, miks on oluline jagada kogu valdkonnas teavet nende muutuva tegevuse kohta. Näiteks jagasid OpenAI ja Meta kumbki ohustajate kohta teavet, mis aitas kaasa edasisele uurimisele ja meetmete võtmisele.

Võimalik, et vastusena tõkestamisele või laiemale veebiarutelule märkide üle, mis võivad paljastada AI kasutamise, oleme näinud kelme püüdmas varjata AI kasutamist veebisisus ja sihtmärkidega suhtlemisel. Näiteks käskisid tõenäoliselt Kambodžast pärit kelmioperatsioonid mudelil väljunditest pikad mõttekriipsud eemaldada.

Ühel juhul püüdsid kelmid oma sotsiaalmeediavarade ulatuslikku sulgemist selgitada, mõeldes blokeerimisele välja ettekäände. See puudutas eespool kirjeldatud, tõenäoliselt Kambodžast pärit kelmikeskust, mis tegutses SMS-i ja WhatsAppi kaudu. Pärast seda, kui WhatsApp blokeeris operatsiooniga seotud „investeerimisrühmad“, hakkasid operaatorid looma sõnumeid väitega, et konkurent oli neist rühmadest alusetult teatanud. Tõenäoliselt püüdsid nad sellega blokeerimisi õigustada.

Kuvatõmmis WhatsAppi sõnumist, mille Kambodžaga seotud kelmioperatsioon saatis OpenAI uurijale pärast seda, kui WhatsApp oli rühma sulgenud.