پرش به محتوای اصلی
OpenAI

۱۱ خرداد ۱۴۰۴

ایمنی

عملیات «عمو اسپم»: فعالیت نفوذی برای دوقطبی‌سازی آمریکا

OpenAI حساب‌های چینی‌ای را مسدود کرد که با هوش مصنوعی محتوای سیاسی درباره آمریکا تولید و درباره افراد، جنبش‌ها و جوامع آنلاین تحقیق می‌کردند.

در حال بارگذاری…

این مطالعهٔ موردی نخست در گزارش ژوئن ۲۰۲۵⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل تهدید

پس از دریافت سرنخی از همتایانمان در Meta، شماری از حساب‌های ChatGPT مرتبط با یک عملیات نفوذ با منشأ چینی⁠(در یک پنجره جدید باز می‌شود) را مسدود کردیم. این عملیات در شبکه‌های اجتماعی محتوای دوقطبی درباره موضوعات مناقشه‌برانگیز گفتمان سیاسی آمریکا تولید می‌کرد که از هر دو طرف حمایت می‌کرد؛ از جمله متن و تصاویر نمایهٔ تولیدشده با هوش مصنوعی در پلتفرم‌هایی مانند ایکس و بلواسکای.

رفتار

این شبکه از مدل‌های ما برای چندین کار استفاده کرد که مهم‌ترین آن تولید نظرهای موافق یا مخالف تعرفه‌ها برای شبکه‌های اجتماعی بود. این حساب‌ها از مدل‌های ما درباره بهترین زمان انتشار پست برای به‌حداکثررساندن تعامل مخاطبان پرسیدند؛ رفتاری که نشان‌دهنده به‌کارگیری تاکتیک‌های حساب‌شده برای تقویت دامنه انتشار بود.

توییت‌های عملیات «عمو اسپم» درباره تعرفه‌ها.

دو توییت که متن آن‌ها را این عامل تهدید با استفاده از مدل‌های ما تولید کرده و در آن‌ها از دو سوی بحث تعرفه‌ها حمایت کرده است.

دوم، این حساب‌ها با استفاده از قابلیت‌های تولید تصویر ما، لوگوهایی با طراحی خاص ساختند و سپس آن‌ها را به‌عنوان تصویر نمایه برای پشتیبانی از هویت‌های جعلی در پلتفرم‌های اجتماعی به کار بردند. این حساب‌ها به‌طور خاص بر ساخت هویت‌هایی از کهنه‌سربازان آمریکایی منتقد دولت کنونی آمریکا تمرکز داشتند.

حساب بلواسکای با لوگوی «کهنه‌سربازان برای عدالت».

حسابی در بلواسکای که محتوای تولیدشده توسط این شبکه را منتشر می‌کرد. لوگوی «کهنه‌سربازان برای عدالت» با استفاده از مدل‌های ما تولید شده بود.

در نهایت، این حساب‌ها پیوسته کد و روش‌هایی برای استخراج داده‌های شخصی، مانند نمایه‌های کاربران، فهرست دنبال‌کنندگان و جزئیات دیگر، از پلتفرم‌هایی چون ایکس و بلواسکای درخواست می‌کردند و برای این کار از ابزارهایی مانند Tweepy، Nitter و API عمومی بلواسکای بهره می‌گرفتند. افزون بر این، حساب‌ها برای تحلیل داده‌های نمایه با هدف شناسایی ویژگی‌های شخصی و وابستگی‌های سازمانی از مدل‌های ما راهنمایی گرفتند؛ اقدامی که ممکن بود برای دسته‌بندی افراد یا استنباط ارتباطات و ویژگی‌های آنان انجام شود.

خروجی‌ها

این حساب‌ها محتوای دوقطبی درباره طیفی از موضوعات گفتمان سیاسی آمریکا تولید می‌کردند و اغلب این کار را در همان نشست‌های عملیاتی انجام می‌دادند. مطابق با روش‌های شناخته‌شدهٔ عملیات نفوذ، به نظر می‌رسد هدف احتمالی این فعالیت بهره‌برداری از شکاف‌های سیاسی موجود بوده است، نه ترویج یک موضع ایدئولوژیک مشخص. حجم محتوا و تمرکز بر پیام‌های معطوف به مخاطبان آمریکایی باعث شد این عملیات را «عمو اسپم» بنامیم.

توییت‌های منتشرشده از سوی هویت‌های جعلی در عملیات «عمو اسپم».

توییت‌هایی با متن تولیدشده توسط مدل‌های ما که هویت‌های جعلی منتشر کرده‌اند.

تأثیر

بر پایهٔ مقیاس گسترش⁠(در یک پنجره جدید باز می‌شود) برای سنجش تأثیر عملیات نفوذ، ارزیابی ما ردهٔ ۲ است: فعالیت در چند پلتفرم، بدون گسترش چشمگیر یا با حداقل تعامل. حساب‌های شبکه‌های اجتماعی که محتوای تولیدشده با مدل‌های ما را منتشر می‌کردند، تعامل واقعی اندکی دریافت کردند. بیشتر پست‌های ایکس که این شبکه منتشر کرد، لایک یا بازنشر بسیار کمی داشتند یا اصلاً نداشتند و تنها چند پست تا حدی با تعامل روبه‌رو شدند. برخی از حساب‌های شبکه‌های اجتماعی هزاران دنبال‌کننده داشتند، اما نتوانستیم واقعی‌بودن آن‌ها را ارزیابی کنیم و به نظر نمی‌رسید شمار دنبال‌کنندگان به تعامل با پست‌ها منجر شده باشد.