Преминаване към основното съдържание
OpenAI

1 февруари 2025 г.

Безопасност

Измама с романтична примамка: подпомогнати от ИИ процеси за „клане на прасета“

OpenAI блокира профили, за които изглеждаше, че произхождат от Камбоджа и използват ИИ за превод и генериране на разговори за романтични и инвестиционни измами.

Зареждане…

Този анализ на случай първоначално беше публикуван в доклада на OpenAI от февруари 2025 г.⁠(отваря се в нов прозорец)

Извършител

Блокирахме група профили в ChatGPT, които превеждаха и генерираха кратки коментари на японски, китайски и английски език. Изглежда, че тази дейност е произхождала от Камбоджа и е съответствала на романтична и инвестиционна измама, известна още като „клане на прасета“. Meta наскоро установи свързана дейност⁠(отваря се в нов прозорец) в своята платформа, която изглеждаше, че произхожда от новосъздаден измамен център в Камбоджа.

Поведение

Тази мрежа използваше нашите модели за превод и генериране на кратки коментари. Изглежда, че основният език на извършителите е бил китайски. Резултатите бяха на различни езици, най-вече японски и китайски, но също и английски.

Извършителите използваха нашите модели главно за две дейности. Първо, те генерираха коментари, които публикуваха публично в социални платформи, включително Facebook, X и Instagram. Всеки профил в социалните мрежи обикновено съдържаше една или повече профилни снимки на млада жена. Според нашата оценка поне някои от тях бяха копирани от истински модели или инфлуенсърки, а не генерирани с ИИ.

Повечето генерирани коментари бяха публикувани в отговор на публикации на реални хора в социалните мрежи. Някои от публикациите, на които операторите отговаряха, бяха отпреди месеци или години. Операцията обикновено беше насочена към мъже, чиито публични профили подсказваха, че са над 40-годишни, често работещи в медицинската сфера. Операцията често отговаряше на публикации за голф, което подсказва целенасочена стратегия за подбор на жертви. Понякога измамниците публикуваха по политически теми или текущи събития.

Коментар във Facebook, генериран за романтична и инвестиционна измама.

Коментар във Facebook, генериран от този извършител чрез нашите модели и публикуван в отговор на коментар за голф от човек, който не изглеждаше свързан с тази операция. Профилната снимка на измамния профил е копирана от американска инфлуенсърка в областта на модата и красотата. Когато измамният профил публикува коментара си, първоначалната публикация беше отпреди повече от месец.

Коментар в X, генериран за романтична и инвестиционна измама.

Коментар, генериран от нашите модели и публикуван от потвърден профил в X в отговор на публикация от профил, който не изглеждаше свързан с тази измама. Профилната снимка е копирана от същата американска инфлуенсърка в областта на модата и красотата. Първоначалната публикация беше отпреди почти шест месеца.

Второ, и по-често, операторите генерираха кратки коментари, наподобяващи части от онлайн разговор. Обикновено това включваше превод на коментари от китайски на целевия език — японски или английски — или обратно от целевия език на китайски. Това съответства на употреба на модела от измамниците предимно за превод на текущи разговори.

Понякога профилите искаха от модела да генерира отговор в определен тон, например като флиртуваща млада жена. Понякога на модела се предоставяха подробни биографични данни, за да насочват отговорите му, включително името, образованието, професията, местоположението и хобитата на измислената самоличност. Тези биографии обикновено включваха подробността, че измислената самоличност се занимава любителски с онлайн инвестиции.

Изглежда, че измамниците са използвали голям брой различни инструменти и платформи, за да общуват с набелязаните жертви. Разследването ни откри доказателства, че са използвали инструменти като LINE, WhatsApp, X, Facebook, Instagram, различни други услуги за съобщения, функцията на Apple „Скрий моя имейл адрес“⁠(отваря се в нов прозорец), както и платформи за криптовалути и валутна търговия.

Резултати

Въз основа на конкретната информация, с която разполагаме за тази дейност, изглежда, че измамниците са следвали общ процес за превеждане на жертвите от първоначален контакт към измамна инвестиция:

  1. Публично взаимодействие: Измамниците коментираха публикации на набелязаната жертва в социалните мрежи. Тези коментари често завършваха с въпрос от рода на: „Какво мислите за [темата]?“ — вероятно за да увеличат шанса за отговор. В няколко случая те коментираха политика, но по-често говореха за голф.

  2. Вероятни директни съобщения: След това измамниците генерираха кратки разговорни реплики. Макар да нямаме пълна видимост как и къде са били използвани, коментарите съответстваха на ситуация, при която измамникът и набелязаната жертва са започнали да си разменят директни съобщения.

  3. Защитени съобщения: Съвсем скоро, често до няколко дни, измамниците генерираха съобщения с предложение разговорът да се премести в по-защитено приложение. Понякога обясняваха това с недоверието на измамника към социалните мрежи, а друг път с практическо оправдание — например че скоро ще замине някъде, където няма да има достъп до тях.

  4. Романтично сближаване: Измамниците пишеха и превеждаха все по-нежни и интимни съобщения. Ако набелязаните жертви поискаха снимки на „жената“, с която разговаряха, измамниците си намираха оправдания.

  5. Финансово въвличане: Измамниците пишеха и превеждаха съобщения, в които се хвалеха, че са спечелили голяма сума от онлайн инвестиции във валути, криптовалути или злато. Това често се представяше като резултат от съветите на роднина, работещ във финансовата сфера. Измамникът подтикваше жертвата да започне да инвестира по същия начин и предлагаше да я напътства през целия процес.

  6. Измама: Измамниците пишеха и превеждаха съобщения, с които се опитваха да убедят жертвата да преведе пари в приложение за търговия, и я насърчаваха, като изтъкваха колко голяма печалба реализира. Всеки път, когато жертвата се опиташе да изтегли своите „печалби“, измамникът намираше оправдание — например че първо трябва да се плати такса.

Този модел на дейност съответства на публично достъпните сведения⁠(отваря се в нов прозорец) за обичайния начин на действие на такива измами.

Въздействие

Изглежда, че тази дейност е включвала много неуспешни опити и провали. Някои от разговорите, които измамниците обработваха чрез нашите модели, завършваха с това, че жертвата разпознаваше дейността като измама или казваше на измамника да я остави на мира. Открихме и публикации на измамниците в социалните мрежи, които не бяха предизвикали никаква реакция.

В някои разговори обаче се споменаваха суми от хиляди долари или равностойността им в други валути като размер на отделни трансакции. Предвид начина, по който тези оператори използваха нашите модели, не разполагаме с информация дали тези финансови трансакции са били извършени. Споменатото в разговорите обаче подсказва, че поне в някои случаи измамниците са успели да измамят набелязаните жертви.

Правилата на OpenAI строго забраняват използването на резултати от нашите инструменти за измами. Ангажирани сме да си сътрудничим с партньори от сектора и с властите, за да разбираме как ИИ се използва за злонамерени действия и активно да прекъсваме измамни дейности, злоупотребяващи с услугите ни. В съответствие с този ангажимент споделихме информация за прекъснатите от нас измамни мрежи с партньори от сектора и съответните органи.