پرش به محتوای اصلی
OpenAI

۱۲ اردیبهشت ۱۴۰۳

ایمنی

عملیات «اسپموفلاژ»: فعالیت نفوذ مرتبط با چین

OpenAI حساب‌های مرتبط با عملیات چینی «اسپموفلاژ» را مسدود کرد؛ عملیاتی که از هوش مصنوعی برای تحقیق درباره فعالیت شبکه‌های اجتماعی، تولید پست و اشکال‌زدایی وب‌سایتی استفاده می‌کرد که پیش‌تر گزارش نشده بود.

در حال بارگذاری…

این مطالعه موردی نخست در گزارش مه ۲۰۲۴⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل

تعداد اندکی از حساب‌های مرتبط با عملیات چینی موسوم به «اسپموفلاژ»⁠(در یک پنجره جدید باز می‌شود) را مسدود کردیم. متا⁠(در یک پنجره جدید باز می‌شود) این عملیات را به «افراد مرتبط با نهادهای مجری قانون چین» نسبت داده است. اف‌بی‌آی⁠(در یک پنجره جدید باز می‌شود) بخشی از فعالیت این عملیات در شبکه‌های اجتماعی را به واحدی در وزارت امنیت عمومی چین نسبت داده است.

رفتار

این شبکه مخاطبان سراسر جهان، به‌ویژه چینی‌های مهاجر و منتقدان دولت چین را هدف قرار می‌داد. محتوای آن عمدتاً به زبان چینی و در مقیاسی کمتر به زبان‌های انگلیسی، ژاپنی و کره‌ای تولید می‌شد.

این شبکه از مدل‌های ما برای اشکال‌زدایی کد، دریافت راهنمایی درباره تحلیل شبکه‌های اجتماعی، تحقیق درباره اخبار و رویدادهای جاری و تولید محتوایی استفاده می‌کرد که سپس در انجمن‌های وبلاگی و شبکه‌های اجتماعی منتشر می‌شد.

برای نمونه، این شبکه در سال ۲۰۲۳ از مدل‌های ما برای اشکال‌زدایی کد تنظیم پوسته وردپرس وب‌سایت revealscum.com استفاده کرد. این وب‌سایت انتقادهایی به زبان چینی و اطلاعات شخصی چینی‌های مهاجری را منتشر می‌کرد که از دولت چین انتقاد کرده بودند. این سایت منتقدان را «خائن» می‌نامید. خود این محتوا با استفاده از مدل‌های ما تولید نشده بود.

نمایی از وب‌سایت revealscum.com که صفحه‌ای با عنوان «汉奸» («خائن») را نشان می‌دهد. چهره افرادی را که این سایت هدف قرار داده است، محو کرده‌ایم.

نمایی از وب‌سایت revealscum.com که صفحه‌ای با عنوان «汉奸» («خائن») را نشان می‌دهد. چهره افرادی را که این سایت هدف قرار داده است، محو کرده‌ایم.

این کارزار همچنین از مدل‌های ما برای تولید محتوایی استفاده کرد که سپس در پلتفرم‌ها و انجمن‌های شبکه‌های اجتماعی منتشر شد. برای نمونه، این عملیات در اواخر سال ۲۰۲۳ مقالاتی تولید کرد که ژاپن را به آسیب‌زدن به محیط‌زیست دریایی از طریق تخلیه پساب نیروگاه فوکوشیما متهم می‌کردند. این مقالات را در پلتفرم‌هایی از جمله Medium، Blogspot و ameblo.jp شناسایی کردیم.

این کارزار در آوریل ۲۰۲۴ مجموعه‌ای از نظرهای انگلیسی را منتشر کرد که در آن‌ها از کای شیا، مخالف چینی، انتقاد شده بود. یک حساب X را شناسایی کردیم که نظر اولیه را منتشر کرده بود و نیز خوشه‌ای از حساب‌های دیگر را که بقیه نظرها را در قالب پاسخ منتشر کرده بودند. هیچ حساب واقعی‌ای ندیدیم که به آن‌ها پاسخ داده باشد.

پست و پاسخ‌هایی در حمله به کای شیا که محتوای آن‌ها را اسپموفلاژ با استفاده از مدل‌های ما تولید کرده بود. به نبود بازنشر یا پسند توجه کنید. هر ده نظر زیر پست اصلی از حساب‌هایی بودند که از محتوای تولیدشده به‌دست اسپموفلاژ استفاده کرده بودند.

پست و پاسخ‌هایی در حمله به کای شیا که محتوای آن‌ها را اسپموفلاژ با استفاده از مدل‌های ما تولید کرده بود. به نبود بازنشر یا پسند توجه کنید. هر ده نظر زیر پست اصلی از حساب‌هایی بودند که از محتوای تولیدشده به‌دست اسپموفلاژ استفاده کرده بودند.

این کارزار همچنین از مدل‌های ما برای تحقیقات منبع‌باز استفاده می‌کرد؛ برای مثال، درباره نحوه درخواست حساب توسعه‌دهنده در شبکه‌های اجتماعی پرس‌وجو می‌کرد یا خلاصه پست‌های منتقدان دولت چین را می‌خواست.

به نظر می‌رسد استفاده این شبکه از هوش مصنوعی تنها بخش کوچکی از کل خروجی آن را تشکیل می‌داد. برای نمونه، بسیاری از حساب‌های X و Medium که آن‌ها را منتشرکننده محتوای تولیدشده با مدل‌های ما شناسایی کردیم، حجم بیشتری از محتوایی را منتشر کرده بودند که ظاهراً به‌صورت دستی و به زبان‌های انگلیسی و چینی تهیه شده بود؛ کاربرد غیرطبیعی زبان انگلیسی یکی از نشانه‌های آن بود. آن‌ها این محتوا را هم پیش و هم پس از انتشار نظرهای تولیدشده با هوش مصنوعی منتشر می‌کردند.

پستی در ۲۲ آوریل ۲۰۲۴ از یکی از حساب‌هایی که در ۱۹ آوریل محتوای تولیدشده با هوش مصنوعی منتشر کرده بود. به نظر می‌رسد متن و تصویر هر دو به‌صورت دستی تهیه شده‌اند.

پستی در ۲۲ آوریل ۲۰۲۴ از یکی از حساب‌هایی که در ۱۹ آوریل محتوای تولیدشده با هوش مصنوعی منتشر کرده بود. به نظر می‌رسد متن و تصویر هر دو به‌صورت دستی تهیه شده‌اند.

محتوا

بخش عمده محتوای تولیدشده به‌دست این کارزار به زبان چینی بود. موضوعات از ستایش همکاری‌های بین‌المللی دولت چین در زمینه اجرای قانون تا انتقاد از بدرفتاری با بومیان آمریکا در ایالات متحده را در بر می‌گرفت. برخی مطالب از دولت آمریکا و مایکروسافت به‌دلیل افشای فعالیت گروه هکری چینی موسوم به «ولت تایفون» انتقاد می‌کردند.

بخش دیگری از محتوا به زبان انگلیسی بود. این محتوا معمولاً منتقدان سرشناس دولت چین، مانند ریچارد گی‌یر، بازیگر و کنشگر حامی تبت، و کای شیا، مخالف چینی، را هدف انتقاد قرار می‌داد. چند مقاله که در اواخر سال ۲۰۲۳ به زبان‌های انگلیسی، ژاپنی، چینی، کره‌ای و روسی تولید شده بودند، ژاپن را متهم می‌کردند که با تخلیه پساب نیروگاه هسته‌ای فوکوشیما⁠(در یک پنجره جدید باز می‌شود) آب‌های اقیانوس آرام را آلوده کرده است؛ موضوعی دیرینه در عملیات نفوذ چین.

یک خوشه کوچک از فعالیت‌ها بر تولید نظرهای مثبت به زبان چینی درباره سفر وزیر امنیت عمومی چین به ازبکستان متمرکز بود. تا پیش از این، گزارشی از پرداختن اسپموفلاژ به چنین موضوعی وجود نداشت. این نکته با توجه به انتساب اف‌بی‌آی⁠(در یک پنجره جدید باز می‌شود) اهمیت دارد؛ اف‌بی‌آی بخشی از فعالیت‌های پیشین این عملیات در شبکه‌های اجتماعی را به وزارت امنیت عمومی چین نسبت داده بود.

به نظر می‌رسد بخشی از فعالیت‌های این شبکه بازتاب‌دهنده علایق شخصی اپراتورها بوده است. برای نمونه، یک اپراتور از مدل‌های ما برای تحقیق درباره لنز دوربین استفاده کرد. اپراتور دیگری از مدل‌های ما برای تکمیل متنی استفاده کرد که ظاهراً تکلیف آزمون اعضای حزب کمونیست چین بود.

ارزیابی تأثیر

از زمانی که اسپموفلاژ نخستین‌بار در سال ۲۰۱۹ به‌طور عمومی معرفی شد⁠(در یک پنجره جدید باز می‌شود)، یکی از عملیات‌های نفوذی بوده که بیشترین تحقیقات جهان درباره آن انجام شده است. گزارش‌های بسیار اندکی از دسترسی فعالیت‌های آن به مخاطبان واقعی وجود دارد.

به نظر نمی‌رسد استفاده از محتوای تولیدشده با هوش مصنوعی این وضعیت را تغییر داده باشد. هیچ‌یک از وبلاگ‌ها، مقالات و حساب‌های شبکه‌های اجتماعی که در تحقیقات خود شناسایی کردیم، تعامل یا دنبال‌کننده زیادی از میان افراد واقعی به دست نیاوردند. در برخی موارد، شاخص‌های موجود نشان می‌دهند که تنها بازدیدهای پست‌های آن‌ها از سوی تیم تحقیقاتی ما بوده است.

برای ارزیابی تأثیر عملیات نفوذ از مقیاس گسترش⁠(در یک پنجره جدید باز می‌شود) استفاده کردیم که این عملیات‌ها را از ۱ (کمترین) تا ۶ (بیشترین) رتبه‌بندی می‌کند. ارزیابی ما این است که این عملیات در رده ۲ قرار می‌گیرد: فعالیت انتشار در پلتفرم‌های متعدد، اما بدون شواهدی مبنی بر تقویت چشمگیر آن به‌دست افراد خارج از شبکه.

شاخص‌ها

دامنه زیر را مرتبط با این کارزار شناسایی کردیم.

  • revealscum.com