Превара с романтичним мамцем: токови рада за „свињокољ“ уз помоћ вештачке интелигенције
OpenAI је забранио налоге који су наизглед потицали из Камбоџе и користили вештачку интелигенцију за превођење и генерисање разговора за љубавне и инвестиционе преваре.
Ова студија случаја првобитно је објављена у извештају компаније OpenAI из фебруара 2025.(отвара се у новом прозору)
Актер
Забранили смо групу ChatGPT налога који су преводили и генерисали кратке коментаре на јапанском, кинеском и енглеском језику. Изгледа да је ова активност потицала из Камбоџе и одговарала обрасцу љубавне и инвестиционе преваре, познате и као „свињокољ“. Meta је недавно открила повезану активност(отвара се у новом прозору) на својој платформи, која је наизглед потицала из новооснованог центра за преваре у Камбоџи.
Понашање
Ова мрежа је користила наше моделе за превођење и генерисање кратких коментара. Изгледа да је главни језик актера био кинески. Садржај је генерисан на више језика, првенствено на јапанском и кинеском, али и на енглеском.
Актери су наше моделе користили за две главне активности. Прво су генерисали коментаре који су јавно објављивани на друштвеним мрежама, укључујући Facebook, X и Instagram. Сваки налог на друштвеним мрежама обично је имао једну или више профилних слика младе жене. Процењујемо да су бар неке од тих слика копиране од стварних манекенки или инфлуенсерки, а не генерисане вештачком интелигенцијом.
Већина генерисаних коментара објављена је као одговор на објаве стварних особа на друштвеним мрежама. Неке објаве на које су оператери одговарали биле су старе месецима или годинама. Операција је обично била усмерена на мушкарце чији су јавни профили указивали на то да имају више од 40 година, често здравствене раднике. Оператери су често одговарали на објаве о голфу, што указује на смишљену стратегију избора мета. Преваранти су повремено објављивали садржај о политичким темама или актуелним догађајима.
Коментар на Facebook-у који је овај актер генерисао помоћу наших модела и објавио као одговор на коментар о голфу особе која наизглед није била повезана с овом операцијом. Профилна слика налога преваранта копирана је од америчке инфлуенсерке из света моде и лепоте. Првобитна објава била је стара више од месец дана када је налог преваранта оставио коментар.
Коментар који су генерисали наши модели, а који је верификовани налог објавио на мрежи X као одговор на објаву налога који наизглед није био повезан с овом преваром. Профилна слика налога копирана је од исте америчке инфлуенсерке из света моде и лепоте. Првобитна објава била је стара скоро шест месеци.
Друго, и знатно чешће, оператери су генерисали кратке коментаре који су личили на делове разговора на интернету. То се обично сводило на превођење коментара с кинеског на циљни језик, јапански или енглески, односно с циљног језика на кинески. То одговара обрасцу у којем преваранти модел првенствено користе за превођење текућих разговора.
Налози су понекад тражили од модела да генерише одговор одређеним тоном, на пример попут младе жене која флертује. Модел је понекад добијао опширне биографске податке који су усмеравали његове одговоре, укључујући име измишљене особе, образовање, посао, место боравка и хобије. У тим биографијама се обично наводило да се измишљена особа повремено бави улагањем преко интернета.
Изгледа да су преваранти користили велики број различитих алата и платформи за комуникацију с метама. Истрагом смо открили доказе да су користили алате као што су LINE, WhatsApp, X, Facebook, Instagram, разне друге услуге за размену порука, Apple-ову функцију „сакриј моју адресу е-поште“(отвара се у новом прозору), као и платформе за криптовалуте и трговање девизама.
Одговори модела
На основу ограниченог увида који имамо у ову активност, изгледа да су преваранти следили уобичајен ток рада како би мете од првог контакта довели до лажног улагања:
Јавни контакт: Преваранти су коментарисали објаве мете на друштвеним мрежама. Ти коментари су се често завршавали питањем попут: „Шта мислите о [теми]?“— вероватно да би повећали изгледе за успостављање контакта. У малом броју случајева коментарисали су политику, али су много чешће говорили о голфу.
Вероватна размена директних порука: Преваранти би затим генерисали кратке коментаре у разговорном стилу. Иако немамо потпун увид у то како и где су ти коментари коришћени, они одговарају ситуацији у којој су преварант и мета почели да размењују директне поруке.
Безбедна размена порука: Врло брзо, често у року од неколико дана, преваранти су генерисали поруке у којима су предлагали прелазак на безбеднију апликацију за размену порука. Понекад су то правдали тврдњом да не верују друштвеним мрежама, а понекад практичним изговором, на пример да ускоро путују негде где неће имати приступ друштвеним мрежама.
Успостављање романтичног односа: Преваранти су писали и преводили све нежније и присније поруке. Када би мете затражиле фотографије „жене“ с којом разговарају, преваранти би налазили изговоре.
Увођење финансијске теме: Преваранти су писали и преводили поруке у којима су се хвалили да су зарадили много новца улагањем преко интернета у девизе, криптовалуте или злато. То су често представљали као резултат придржавања савета рођака који ради у финансијском сектору. Преварант би подстицао мету да почне да улаже на исти начин и нудио јој да је води кроз поступак.
Превара: Преваранти су писали и преводили поруке којима су покушавали да убеде жртву да пребаци новац у апликацију за трговање, подстичући је причама о великој заради. Кад год би жртва покушала да повуче своју „зараду“, преварант би понудио неки изговор, на пример да је најпре потребно платити накнаду.
Овај образац активности у складу је с јавно доступним извештајима(отвара се у новом прозору) о уобичајеном начину функционисања таквих превара.
Утицај
Изгледа да је ова активност обухватала бројне неуспешне покушаје. Неки разговори које су преваранти обрадили помоћу наших модела завршили су се тако што је мета препознала превару или рекла преваранту да је остави на миру. Открили смо и објаве превараната на друштвеним мрежама које нису изазвале никакву реакцију.
Међутим, у неким разговорима помињани су износи од више хиљада долара или противвредност у другим валутама као вредност појединачних трансакција. Због начина на који су ови оператери користили наше моделе немамо увид у то да ли су те финансијске трансакције заиста извршене. Ипак, помињање трансакција у разговорима указује на то да су преваранти бар у неким случајевима успели да преваре своје мете.
Правила компаније OpenAI строго забрањују коришћење резултата наших алата за преваре или обмане. Посвећени смо сарадњи с колегама из сектора и надлежним органима како бисмо разумели употребу вештачке интелигенције у злонамерном деловању и активно сузбијали преваре којима се злоупотребљавају наше услуге. У складу с тим опредељењем, информације о мрежама превараната које смо онемогућили поделили смо с колегама из сектора и надлежним органима.