Romantikapeibutuspettus: tehisintellekti toel toimivad „sea tapmise“ töövood

See juhtumiuuring avaldati algselt OpenAI 2025. aasta veebruari⁠(avaneb uues aknas) aruandes.

Blokeerisime rühma ChatGPT kontosid, millega tõlgiti ja loodi lühikesi kommentaare jaapani, hiina ja inglise keeles. See tegevus näib olevat saanud alguse Kambodžast ning vastas romantika- ja investeerimispettuse (tuntud ka kui „sea tapmine“) tunnustele. Meta tuvastas hiljuti oma platvormil seotud tegevuse⁠(avaneb uues aknas), mis näis pärinevat Kambodžas hiljuti rajatud petukeskusest.

See võrgustik kasutas meie mudeleid lühikeste kommentaaride tõlkimiseks ja loomiseks. Toimijate põhikeel näib olevat olnud hiina keel. Väljundit loodi mitmes keeles, eelkõige jaapani ja hiina, kuid ka inglise keeles.

Toimijad kasutasid meie mudeleid peamiselt kaheks tegevuseks. Esiteks lõid nad kommentaare, mis postitati avalikult sotsiaalmeediaplatvormidele, sealhulgas Facebooki, X-i ja Instagrami. Igal sotsiaalmeediakontol oli tavaliselt üks või mitu noore naise profiilipilti. Meie hinnangul oli vähemalt osa neist kopeeritud päris modellidelt või suunamudijatelt, mitte loodud tehisintellektiga.

Enamik loodud kommentaare postitati vastuseks päris inimeste sotsiaalmeediapostitustele. Mõni postitus, millele operaatorid vastasid, oli mitu kuud või aastat vana. Operatsioon oli tavaliselt suunatud meestele, kelle avaliku profiili järgi olid nad üle 40-aastased ja töötasid sageli meditsiinivaldkonnas. Operatsiooni käigus vastati sageli golfiteemalistele postitustele, mis viitab teadlikule sihtimisstrateegiale. Aeg-ajalt postitasid petturid poliitika või päevakajaliste sündmuste kohta.

Teiseks ja sagedamini lõid operaatorid lühikesi kommentaare, mis meenutasid veebivestluse katkendeid. Tavaliselt tõlgiti kommentaare hiina keelest sihtkeelde (jaapani või inglise keelde) või sihtkeelest tagasi hiina keelde. See viitab sellele, et petturid kasutasid mudelit peamiselt pooleliolevate vestluste tõlkimiseks.

Mõnikord palusid kontode kasutajad mudelil koostada vastuse kindlas toonis, näiteks flirtiva noore naise stiilis. Mõnikord anti mudelile vastuste suunamiseks põhjalikud eluloolised andmed, sealhulgas väljamõeldud isiku nimi, haridus, töö, asukoht ja hobid. Nendes elulugudes mainiti tavaliselt, et väljamõeldud isik tegeleb veidi veebis investeerimisega.

Petturid näivad olevat sihtmärkidega suhtlemiseks kasutanud paljusid tööriistu ja platvorme. Meie uurimine leidis tõendeid, et nad kasutasid muu hulgas LINE-i, WhatsAppi, X-i, Facebooki, Instagrami, mitmesuguseid muid sõnumiteenuseid, Apple’i funktsiooni „Peida mu e-posti aadress“⁠(avaneb uues aknas) ning krüptovaluuta- ja valuutakauplemisplatvorme.

Meile nähtava tegevuse põhjal järgisid petturid sihtmärkide kaasamisest petuinvesteeringuni viimisel levinud töövoogu:

1. Avalik suhtlus: petturid kommenteerisid sihtmärgi sotsiaalmeediapostitusi. Need kommentaarid lõppesid sageli küsimusega, näiteks „Mida te arvate teemast [subject]?“, tõenäoliselt selleks, et suurendada vastuse saamise võimalust. Mõnel üksikul juhul kommenteerisid nad poliitikat, kuid sagedamini rääkisid golfist.

2. Tõenäoline otsesuhtlus: seejärel lõid petturid lühikesi vestluslikke kommentaare. Kuigi me ei näe täielikult, kuidas ja kus neid kasutati, sobisid kommentaarid olukorraga, kus pettur ja sihtmärk hakkasid vahetama otsesõnumeid.

3. Turvaline sõnumivahetus: üsna pea, sageli mõne päeva jooksul, lõid petturid sõnumeid, milles soovitati minna üle turvalisemale sõnumirakendusele. Mõnikord põhjendati seda väitega, et pettur ei usalda sotsiaalmeediat; teinekord toodi praktiline ettekääne, näiteks väideti, et minnakse kohta, kus puudub juurdepääs sotsiaalmeediale.

4. Romantilise sideme loomine: petturid kirjutasid ja tõlkisid üha kiindunumaid ja intiimsemaid sõnumeid. Kui sihtmärgid küsisid fotosid „naisest“, kellega nad vestlesid, leidsid petturid ettekäändeid.

5. Rahalise huvi tekitamine: petturid kirjutasid ja tõlkisid sõnumeid, milles hoobeldi veebis valuutasse, krüptorahasse või kulda investeerides teenitud suurte summadega. Seda esitleti sageli rahandusvaldkonnas töötava sugulase nõuannete järgimise tulemusena. Pettur õhutas sihtmärki samal viisil investeerima ja pakkus talle selle käigus juhendamist.

6. Pettus: petturid kirjutasid ja tõlkisid sõnumeid, millega üritati veenda ohvrit kandma raha kauplemisrakendusse, ning innustasid teda väidetavalt teenitud suurest kasumist rääkides. Kui ohver üritas oma „kasumit“ välja võtta, esitas pettur ettekäände, näiteks väitis, et kõigepealt tuleb tasuda teenustasu.

Selline tegevusmuster vastab avalikult kättesaadavatele käsitlustele⁠(avaneb uues aknas) selle kohta, kuidas sellised pettused tavaliselt toimivad.

Selle tegevuse käigus näib olevat tehtud palju tulutuid katseid ja kogetud ebaõnnestumisi. Mõni vestlus, mida petturid meie mudelite abil töötlesid, lõppes sellega, et sihtmärk nimetas tegevust pettuseks või käskis petturil end rahule jätta. Samuti tuvastasime petturite sotsiaalmeediapostitusi, millele ei reageeritud üldse.

Mõnes vestluses mainiti siiski üksiktehingute summadena tuhandeid dollareid või samaväärseid summasid muus vääringus. Kuna operaatorid kasutasid meie mudeleid sellisel viisil, ei näe me, kas need finantstehingud tegelikult tehti. Vestlustes mainitu viitab aga sellele, et vähemalt mõnel juhul õnnestus petturitel oma sihtmärkidelt raha välja petta.

OpenAI eeskirjad keelavad rangelt meie tööriistade väljundi kasutamise pettuseks või petuskeemideks. Teeme tihedat koostööd valdkonna teiste ettevõtete ja ametiasutustega, et mõista, kuidas tehisintellekti pahatahtlikus tegevuses kasutatakse, ning tõkestada aktiivselt meie teenuseid kuritarvitavaid petuskeeme. Selle kohustuse raames oleme jaganud teavet tõkestatud petuvõrgustike kohta valdkonna teiste ettevõtete ja asjaomaste ametiasutustega.