Переход к основному контенту
OpenAI

1 февраля 2025 г.

Безопасность

Романтическая приманка: схема «откорма свиньи» с помощью ИИ

OpenAI заблокировала аккаунты предположительно из Камбоджи, которые использовали ИИ для перевода и создания переписок с романтической приманкой и инвестиционным мошенничеством.

Загрузка…

Впервые это исследование было опубликовано в отчёте OpenAI за февраль 2025 года⁠(открывается в новом окне).

Злоумышленник

Мы заблокировали группу аккаунтов ChatGPT, которые переводили и создавали короткие комментарии на японском, китайском и английском языках. Эта активность, по-видимому, исходила из Камбоджи и соответствовала схеме мошенничества с романтической приманкой и инвестициями, также известной как «откорм свиньи». Компания Meta недавно выявила связанную с этим активность⁠(открывается в новом окне) на своей платформе. По-видимому, она исходила из недавно созданного мошеннического центра в Камбодже.

Поведение

Эта сеть использовала наши модели для перевода и создания коротких комментариев. Основным языком злоумышленников, по-видимому, был китайский. Результаты создавались на разных языках — прежде всего на японском и китайском, но также и на английском.

Злоумышленники использовали наши модели преимущественно для двух видов деятельности. Во-первых, они создавали комментарии, которые затем публично размещали в социальных сетях, включая Facebook, X и Instagram. В каждом аккаунте социальной сети обычно было одно или несколько фото молодой женщины. По нашей оценке, по крайней мере некоторые из них были скопированы у реальных моделей или блогеров, а не созданы ИИ.

Большинство созданных комментариев публиковались в ответ на записи реальных людей в социальных сетях. Некоторым публикациям, на которые отвечали операторы, было уже несколько месяцев или лет. Обычно целью этой операции становились мужчины старше 40 лет, судя по их открытым профилям, нередко медицинские работники. Участники операции часто отвечали на публикации о гольфе, что указывает на целенаправленную стратегию выбора жертв. Иногда мошенники публиковали сообщения о политике или текущих событиях.

Комментарий в Facebook, созданный для мошенничества с романтической приманкой и инвестициями.

Комментарий в Facebook, созданный этим злоумышленником с помощью наших моделей и опубликованный в ответ на комментарий о гольфе от человека, который, по-видимому, не был связан с этой операцией. Фото профиля мошеннического аккаунта скопировано у американской блогерши, пишущей о моде и красоте. Когда мошеннический аккаунт оставил комментарий, исходной публикации было уже больше месяца.

Комментарий в X, созданный для мошенничества с романтической приманкой и инвестициями.

Комментарий, созданный нашими моделями и опубликованный подтверждённым аккаунтом в X в ответ на публикацию аккаунта, который, по-видимому, не был связан с этой мошеннической схемой. Фото профиля аккаунта скопировано у той же американской блогерши, пишущей о моде и красоте. Исходной публикации было почти шесть месяцев.

Во-вторых, и гораздо чаще, операторы создавали короткие комментарии, похожие на фрагменты переписки в интернете. Как правило, это был перевод комментариев с китайского на целевой язык — японский или английский — либо с целевого языка обратно на китайский. Это согласуется с тем, что мошенники использовали модель главным образом для перевода текущих переписок.

Иногда владельцы аккаунтов просили модель создать ответ в определённом стиле — например, от лица кокетливой молодой женщины. Чтобы направлять ответы модели, иногда ей сообщали подробную биографию вымышленного персонажа: имя, образование, профессию, место проживания и увлечения. В таких биографиях обычно упоминалось, что вымышленный персонаж понемногу занимается инвестициями в интернете.

По-видимому, для взаимодействия с потенциальными жертвами мошенники использовали множество различных инструментов и платформ. В ходе расследования мы обнаружили свидетельства использования LINE, WhatsApp, X, Facebook, Instagram, ряда других мессенджеров, функции Apple «Скрыть e-mail»⁠(открывается в новом окне), а также платформ для операций с криптовалютами и иностранной валютой.

Результаты генерации

С учётом доступных нам данных мошенники, по-видимому, действовали по типичной схеме, постепенно подводя жертв от первого контакта к мошенническим инвестициям:

  1. Публичный контакт: мошенники комментировали публикации потенциальной жертвы в социальных сетях. Такие комментарии часто заканчивались вопросом вроде: «Что вы думаете о [теме]?» — вероятно, чтобы повысить шанс получить ответ. В нескольких случаях они комментировали политические темы, но гораздо чаще говорили о гольфе.

  2. Вероятный переход к личным сообщениям: затем мошенники создавали короткие реплики в разговорном стиле. Мы не располагаем полной информацией о том, как и где они использовались, однако эти реплики соответствовали ситуации, в которой мошенник и жертва начинали обмениваться личными сообщениями.

  3. Защищённый мессенджер: вскоре, часто в течение нескольких дней, мошенники создавали сообщения с предложением перейти в более защищённый мессенджер. Иногда это объяснялось тем, что мошенник не доверяет социальным сетям. В других случаях использовался практический предлог: например, предстоящая поездка в место, где не будет доступа к социальным сетям.

  4. Романтическое сближение: мошенники писали и переводили всё более нежные и интимные сообщения. Если жертвы просили прислать фотографии «женщины», с которой переписывались, мошенники находили отговорки.

  5. Обсуждение финансов: мошенники писали и переводили сообщения, в которых хвастались крупными доходами от онлайн-инвестиций в иностранную валюту, криптовалюту или золото. Это часто преподносилось как результат следования советам родственника, работающего в финансовой сфере. Мошенник убеждал жертву начать инвестировать таким же образом и предлагал помочь на каждом этапе.

  6. Мошенничество: злоумышленники писали и переводили сообщения, пытаясь убедить жертву перевести деньги в торговое приложение, и подбадривали её рассказами о высокой прибыли. Когда жертва пыталась вывести «прибыль», мошенник находил отговорку — например, заявлял, что сначала нужно уплатить комиссию.

Такая схема действий соответствует общедоступным публикациям⁠(открывается в новом окне) о том, как обычно устроено подобное мошенничество.

Последствия

По-видимому, многие попытки в рамках этой операции не получили продолжения или закончились неудачей. Некоторые переписки, которые мошенники обрабатывали с помощью наших моделей, заканчивались тем, что жертва называла происходящее мошенничеством или требовала оставить её в покое. Мы также обнаружили публикации мошенников в социальных сетях, которые вообще не вызвали отклика.

Однако в некоторых переписках упоминались суммы в тысячи долларов или эквивалентные суммы в других валютах как размер отдельных транзакций. Поскольку операторы использовали наши модели лишь для отдельных задач, мы не видим, совершались ли эти финансовые операции. Однако упоминания в переписках указывают, что по крайней мере в некоторых случаях мошенникам удалось обмануть своих жертв.

Правила OpenAI строго запрещают использовать результаты работы наших инструментов для мошенничества или обмана. Мы стремимся сотрудничать с другими представителями отрасли и государственными органами, чтобы понимать, как ИИ используется во вредоносной деятельности, и активно пресекать мошеннические операции, злоупотребляющие нашими сервисами. В соответствии с этим обязательством мы передали другим представителям отрасли и компетентным органам информацию о пресечённых нами мошеннических сетях.