پرش به محتوای اصلی
OpenAI

۱۲ بهمن ۱۴۰۴

ایمنی

عملیات «شاهد دروغین»: خدمات جعلی بازگرداندن پول با جعل هویت نهادهای رسمی

OpenAI حساب‌هایی را مسدود کرد که به احتمال بسیار زیاد از کامبوج فعالیت می‌کردند و با هوش مصنوعی، خود را ارائه‌دهندگان خدمات بازگرداندن پول، مؤسسات حقوقی و نهادهای رسمی جا می‌زدند و قربانیان کلاهبرداری را هدف می‌گرفتند.

در حال بارگذاری…

این مطالعهٔ موردی نخستین بار در گزارش فوریهٔ ۲۰۲۶⁠(در یک پنجره جدید باز می‌شود) OpenAI دربارهٔ مختل کردن استفاده‌های مخرب از هوش مصنوعی منتشر شد.

عامل

ما مجموعه‌ای از حساب‌های ChatGPT را مسدود کردیم که در یک طرح کلاهبرداری با وعدهٔ بازگرداندن پول، قربانیان کلاهبرداری را هدف می‌گرفتند. این حساب‌ها با استفاده از مدل‌های ما خود را مؤسسات حقوقی ساختگی جا می‌زدند و هویت وکلای واقعی و نهادهای مجری قانون آمریکا را جعل می‌کردند. این فعالیت به احتمال بسیار زیاد از کامبوج منشأ می‌گرفت و با گزارش‌های عمومی اخیر دربارهٔ عملیات مجرمانهٔ کلاهبرداری به رهبری اتباع چینی در این کشور همخوانی دارد.

رفتار

این حساب‌ها از ChatGPT برای پیشبرد یک عملیات کلاهبرداری با وعدهٔ بازگرداندن پول ازدست‌رفتهٔ قربانیان کلاهبرداری استفاده می‌کردند. این عملیات بر مؤسسات حقوقی جعلی و جعل هویت اشخاص و نهادهای مورد اعتماد، مانند وکلای واقعی و مرکز شکایات جرایم اینترنتی اف‌بی‌آی (IC3)، متکی بود.

۱. جلب توجه: کلاهبرداران با استفاده از ChatGPT محتوایی تولید می‌کردند که وانمود می‌شد از سوی دست‌کم شش مؤسسهٔ حقوقی جعلی منتشر شده است. سپس بخشی از این محتوا از طریق حساب‌های شبکه‌های اجتماعی و آگهی‌های آنلاین منتشر می‌شد که خدمات ساختگی بازگرداندن پول قربانیان کلاهبرداری را تبلیغ می‌کردند. نشانه‌های متعددی در منابع عمومی حاکی از جعلی بودن این مؤسسات بود؛ از جمله نبود شواهدی از داشتن مجوز کانون وکلای ایالتی، استفاده از دامنه‌های وب نامتناسب، درج نشانی‌های پستی ظاهراً ناموجود در اطلاعات تماس و راهنمایی مخاطبان برای تماس با وکلا از طریق برنامه‌های پیام‌رسان.

دو نماگرفت از محتوای شبکه‌های اجتماعی دربارهٔ بازگرداندن پول قربانیان کلاهبرداری که با کمک مدل‌های OpenAI تولید شده است.

کلاهبرداران از مدل‌های ما برای تولید محتوای شبکه‌های اجتماعی با هدف تبلیغ خدمات جعلی بازگرداندن پول قربانیان کلاهبرداری استفاده می‌کردند.

۲. جلب اعتماد: کلاهبرداران می‌کوشیدند با تولید نظراتی که لحن و شیوهٔ بیان حرفه‌ای وکلای متخصص در بازگرداندن زیان‌های مالی قربانیان کلاهبرداری را تقلید می‌کرد، اعتماد افراد هدف را جلب کنند. آن‌ها محتوایی تولید می‌کردند که ظاهراً از سوی شخصیت‌های ساختگی در نقش وکیل نوشته شده بود. ما برخی از این شخصیت‌ها را در وب‌سایت‌های مختلف شناسایی کردیم؛ تصاویر نمایهٔ آن‌ها ظاهراً از شبکه‌های اجتماعی برداشته شده یا با هوش مصنوعی تولید شده بود. در برخی موارد، کلاهبردار از هویت همان «وکلا» در چند مؤسسهٔ حقوقی ادعایی استفاده می‌کرد. یکی از وب‌سایت‌هایی که شناسایی کردیم، خود را وب‌سایت IC3 جا می‌زد.

اطلاعات تماس منتشرشده در این وب‌سایت‌های کلاهبرداری، بازدیدکنندگان را به برنامه‌های پیام‌رسان خصوصی مانند تلگرام هدایت می‌کرد. کلاهبرداران در پیام‌هایی که با استفاده از ChatGPT برای افراد هدف تهیه می‌کردند، به‌دروغ مدعی می‌شدند که زیر نظر دیوان کیفری بین‌المللی فعالیت دارند و می‌گفتند تا زمانی که تمام وجوه قربانی با موفقیت بازگردانده نشود، هیچ هزینه‌ای دریافت نخواهد شد.

۳. گرفتن پول: کلاهبرداران می‌کوشیدند با درخواست کارمزد و سپرده پیش از هرگونه «بازگرداندن پول»، از افراد هدف پول بگیرند. از جمله از افراد هدف می‌خواستند پیش از دریافت وجوهی که ادعا می‌شد بازگردانده شده‌اند، ۱۵٪ «کارمزد خدمات» بپردازند، برای فعال‌سازی حساب سپرده واریز کنند و «هزینهٔ مشاوره» بدهند. پیام‌هایی که کلاهبرداران با استفاده از ChatGPT برای افراد هدف تهیه می‌کردند، شامل دستورالعمل پرداخت با رمزارز و ارسال تصویر تأییدیهٔ تراکنش به‌عنوان مدرک پرداخت بود.

دو نماگرفت از وب‌سایتی که خود را متعلق به واحد IC3 اف‌بی‌آی جا می‌زند و بازدیدکنندگان را به یک حساب تلگرام با هویت جعلی هدایت می‌کند.

وب‌سایتی مرتبط با این کلاهبرداری که خود را متعلق به واحد IC3 اف‌بی‌آی جا می‌زند. کلیک روی «ثبت شکایت»، بازدیدکنندگان را به یک حساب تلگرام با هویت جعلی هدایت می‌کرد.

اجرا

در این عملیات، از مدل‌های ما برای پیشبرد بخش‌های مختلف کار استفاده می‌شد؛ از جمله تولید محتوای تبلیغاتی برای شبکه‌های اجتماعی و پیام‌های اولیه برای تماس با افرادی که هیچ ارتباط قبلی با آن‌ها نداشتند. بااین‌حال، رایج‌ترین استفادهٔ کلاهبرداران از ChatGPT، ترجمهٔ پیام‌های ردوبدل‌شده با افراد هدف در برنامه‌های پیام‌رسان خصوصی بود؛ از جمله درخواست برای نوشتن پاسخ به «انگلیسی آمریکایی» یا به سبک یک وکیل.

بخشی از حساب‌های کلاهبرداری نیز از مدل‌های ما برای ساخت مدارک فریبنده با هدف افزایش اعتبار خود استفاده می‌کردند. این موارد شامل سوابق جعلی ثبت وکالت و کارت‌های جعلی عضویت در کانون وکلا، و همچنین توافق‌نامه‌های محرمانگی ساختگی بود که هدفشان منصرف کردن قربانیان از کمک گرفتن از دیگران بود.

کارت جعلی عضویت در کانون وکلای ایالت نیویورک که با استفاده از مدل‌های ما تولید شده است. بخش‌هایی از اطلاعات به‌دست محققان OpenAI پوشانده شده است.

کارت جعلی عضویت در کانون وکلای ایالت نیویورک که با استفاده از مدل‌های ما تولید شده است. بخش‌هایی از اطلاعات به‌دست محققان OpenAI پوشانده شده است.

تأثیر

ارزیابی تأثیر این عملیات نیازمند احتیاط است، زیرا یکی از منابع اصلی شواهد، ورودی‌هایی است که خود کلاهبرداران به مدل داده‌اند. این ورودی‌ها نشان می‌دهند که کلاهبرداران ممکن است از هر قربانی هزاران دلار گرفته باشند، اما ما نمی‌توانیم این ادعاها را به‌طور مستقل تأیید کنیم. اف‌بی‌آی و دست‌کم یکی از مؤسسات حقوقی که هویتش جعل شده بود، دربارهٔ این کلاهبرداری هشدار عمومی منتشر کرده‌اند. مقامات اف‌بی‌آی هشدار دادند که این عملیات با سوءاستفاده از وضعیت روحی قربانیان کلاهبرداری و تمایل آن‌ها به بازپس‌گیری سریع پول ازدست‌رفته، گروه‌های آسیب‌پذیر، به‌ویژه سالمندان، را هدف می‌گیرد.

سیاست‌های OpenAI استفاده از خروجی ابزارهای ما برای تقلب یا کلاهبرداری را اکیداً ممنوع می‌کند. ما متعهد به همکاری با دیگر فعالان این صنعت و نهادهای مسئول هستیم تا دریابیم هوش مصنوعی چگونه بر رفتار عوامل مخرب تأثیر می‌گذارد و به‌طور فعال فعالیت‌های کلاهبردارانه‌ای را که از خدمات ما سوءاستفاده می‌کنند، مختل کنیم.