پرش به محتوای اصلی
OpenAI

۱۱ خرداد ۱۴۰۴

ایمنی

عملیات «شماره اشتباه»: کلاهبرداری وظیفه‌محور با کمک هوش مصنوعی

OpenAI حساب‌هایی را مسدود کرد که احتمالاً از کامبوج فعالیت می‌کردند و از هوش مصنوعی برای پشتیبانی از فرایندهای کلاهبرداری علیه مردم بریتانیا استفاده می‌کردند.

در حال بارگذاری…

این مطالعه موردی نخست در گزارش ژوئن ۲۰۲۵⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل

ما حساب‌های ChatGPT را که پیام‌های کوتاه استخدامی به زبان‌های انگلیسی، اسپانیایی، سواحیلی، کینیارواندایی، آلمانی و کریول هائیتی تولید می‌کردند، مسدود کردیم. این پیام‌ها در ازای کارهای پیش‌پاافتاده‌ای مانند پسندیدن پست‌های شبکه‌های اجتماعی، حقوق بالا پیشنهاد می‌کردند و گیرندگان را به جذب افراد دیگر ترغیب می‌کردند. به نظر می‌رسید این عملیات به‌شدت متمرکز است و احتمالاً از کامبوج سرچشمه می‌گیرد.

با استفاده از ابزارهای ترجمه مبتنی بر هوش مصنوعی، توانستیم استفاده این کارزار از خدمات OpenAI را به‌سرعت بررسی و مختل کنیم.

رفتار

بیشتر مکالمات این شبکه به کارهای ترجمه مربوط می‌شد. آن‌ها از ChatGPT برای ترجمه جمله‌های محاوره‌ای میان زبان چینی و چند زبان دیگر، به‌ویژه انگلیسی، اسپانیایی، کینیارواندایی، سواحیلی، آلمانی و کریول هائیتی استفاده می‌کردند. این کارها معمولاً به‌تناوب شامل ترجمه پیام دریافتی به چینی و سپس ترجمه پاسخی از چینی به زبان اصلی بود.

بخشی از این پیام‌ها شبیه آگهی‌های شغلیِ تماس سرد بود که برای کاری ناچیز، دستمزد ساعتی بالایی پیشنهاد می‌کردند. یکی از این پیام‌ها از طریق پیامک برای مجموعه‌ای ظاهراً تصادفی از شماره‌های تلفن همراه بریتانیا ارسال شد که یکی از آن‌ها متعلق به یکی از پژوهشگران OpenAI بود. به یاد آن پیامک نخست، نام این عملیات را «شماره اشتباه» گذاشته‌ایم.

پیامک ارسال‌شده به یکی از پژوهشگران OpenAI.

پیامکی که به‌صورت تصادفی برای یکی از پژوهشگران OpenAI ارسال و با استفاده از ChatGPT تولید شده بود.

به نظر می‌رسید عاملان تهدید به چندین پلتفرم پیام‌رسان متکی بودند. پیامک نخست گیرندگان را به برقراری ارتباط از طریق واتس‌اپ هدایت می‌کرد و پاسخ‌دهندگان سپس به یک «مربی» در تلگرام ارجاع داده می‌شدند. در بخشی از فعالیت‌ها نیز به پیام‌رسان BonChat اشاره شده بود. به نظر نمی‌رسید پیام‌های ابتدایی و معارفه‌ای در این کانال‌ها با استفاده از مدل‌های ما تولید شده باشند. این‌ها پیام‌هایی معمولی بودند که احتمالاً در هر گفت‌وگویی کاربرد داشتند.

پیام پیگیری واتس‌اپ از عملیات «شماره اشتباه».

پیام واتس‌اپی که در پی پیامک ارسال شد. به نظر نمی‌رسد این پیام با مدل‌های ما تولید شده باشد.

بسیاری از کارهای ترجمه شامل مکاتباتی بود که ادعا می‌شد از سوی نمایندگان شرکت‌های موسوم به «کارفرما» ارسال شده‌اند. نام همان شرکت‌ها بارها در مکالمات متعدد ChatGPT که در محدوده این تحقیق بودند، ظاهر می‌شد. از جمله این شرکت‌ها می‌توان به Hyesung Advertising⁠(در یک پنجره جدید باز می‌شود) و Lightning Shared Scooter Co (LSSC)⁠(در یک پنجره جدید باز می‌شود) اشاره کرد. گزارش‌های عمومی، Hyesung و LSSC را طرح‌های وظیفه‌محور مشکوک معرفی کرده‌اند. اگرچه ماهیت این نهادها را مستقلاً تأیید نکرده‌ایم، تحقیقات ما نشان داد پیام‌هایی که ظاهراً از سوی آن‌ها می‌آمدند، توسط کاربران چینی‌زبان ChatGPT تولید شده بودند که احتمالاً از کامبوج فعالیت می‌کردند.

خروجی‌ها

شرکت‌هایی که این شبکه مدعی نمایندگی آن‌ها بود، طیف گسترده‌ای از صنایع را در بر می‌گرفتند؛ از معاملات سهام و اجاره اسکوتر گرفته تا فروش پسند در شبکه‌های اجتماعی. یکی از نشانه‌های خطر آشکار، پیشنهاد پرداخت بیش از ۵ دلار برای تنها یک پسند در TikTok بود؛ در مقابل، بررسی دستی ما از بازارهای آنلاین نشان داد برخی فروشندگان پسند شبکه‌های اجتماعی برای ۱٬۰۰۰ پسند کمتر از ۱۰ دلار دریافت می‌کنند.

با ترکیب نشانه‌های خارج از پلتفرم و مشاهدات داخلی، الگویی تکرارشونده در روند کار شناسایی کردیم. برای گسترش شناخت این شگرد و ساده‌تر کردن دسته‌بندی آن، این الگو را چنین توصیف می‌کنیم: تلنگر (تماس سرد)، هیجان (ایجاد اشتیاق) و نیش (گرفتن پول):

  1. تلنگر (تماس سرد): شبکه محتوایی برای ارتباط‌گیری ناخواسته تولید می‌کند که معمولاً در ازای کاری ناچیز، دستمزدی غیرمعمول و بالا پیشنهاد می‌دهد یا وعده بازده زیاد از سرمایه‌گذاری در بازار سهام را مطرح می‌کند. این پیشنهادها شامل دستمزد بالا برای کارهای ساده‌ای مانند پسندیدن پست‌های شبکه‌های اجتماعی یا فرصت‌های سرمایه‌گذاری پرسود هستند.

  2. هیجان (ایجاد اشتیاق): شبکه مکالماتی را ترجمه می‌کند که احتمالاً میان اپراتور و «کارکنان» اوست. این گفت‌وگوها جزئیات اجرایی کارها را در بر دارند، اما اغلب با پیام‌های انگیزشی درباره درآمد و پاداش‌های احتمالی همراه می‌شوند.

  3. نیش (گرفتن پول): شبکه محتوایی تولید یا ارسال می‌کند که «کارمند» یا «سرمایه‌گذار» را تحت فشار می‌گذارد تا برای آزاد شدن پاداش‌های بزرگ‌تر پول پرداخت کند. این کار شکل‌های مختلفی دارد، از جمله «سپرده» اولیه، خرید رمزارز و «کارمزد پردازش».

پیام تماس سرد تولیدشده با ChatGPT و توزیع‌شده توسط عملیات «شماره اشتباه».

نمونه‌ای از پیام تماس سرد که با استفاده از ChatGPT تولید و توسط این شبکه توزیع شده است. این پیام هم‌زمان برای هشت شماره تلفن ارسال شد که هیچ‌یک در فهرست مخاطبان گیرنده نبودند. یکی از گیرندگان بلافاصله گروه را ترک کرد.

پیام تلگرامی که از یک قربانی احتمالی می‌خواهد رمزارز بخرد.

پیام تلگرامی شبکه به یک قربانی احتمالی که از او می‌خواهد به ارزش ۲۰ پوند رمزارز بخرد و آن را به فروشنده‌ای بی‌نام منتقل کند.

گزارش‌های عمومی⁠(در یک پنجره جدید باز می‌شود) حاکی از آن است که برخی از این شرکت‌ها از نیروهای تازه‌جذب‌شده مبالغ قابل‌توجهی به‌عنوان حق عضویت می‌گرفتند و سپس بخشی از آن را به‌اندازه‌ای به «کارکنان» فعلی می‌پرداختند که مشارکتشان ادامه یابد. این ساختار از ویژگی‌های کلاهبرداری‌های وظیفه‌محور⁠(در یک پنجره جدید باز می‌شود) است.

تأثیر

با توجه به دید محدود ما، سنجش دامنه واقعی این شبکه دشوار است. بااین‌حال، گزارش‌های خارج از پلتفرم⁠(در یک پنجره جدید باز می‌شود) و مکالماتی که در آن‌ها «کارکنان» درخواست بازپرداخت داشتند، نشان می‌دهند که دست‌کم برخی افراد به این کارفرمایان ادعایی پول پرداخت کرده‌اند. همچنین مشاهده کردیم که کاربران واقعی در شبکه‌های اجتماعی از این شرکت‌ها دفاع می‌کردند؛ موضوعی که از میزانی تعامل در دنیای واقعی حکایت دارد.