پرش به محتوای اصلی
OpenAI

۱۲ اردیبهشت ۱۴۰۳

ایمنی

«دستور زبان بد»: فعالیت کامنت‌گذاری مرتبط با روسیه در تلگرام

OpenAI حساب‌های مرتبط با عملیاتی گزارش‌نشده با منشأ روسیه را مسدود کرد که آن را «دستور زبان بد» نامیدیم؛ عملیاتی که با هوش مصنوعی درباره سیاست اوکراین، مولداوی، بالتیک و آمریکا کامنت‌های روسی و انگلیسی برای تلگرام تولید می‌کرد.

در حال بارگذاری…

این مطالعه موردی نخست در گزارش مه ۲۰۲۴⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل

ما شبکه‌ای از حساب‌های گزارش‌نشده را مسدود کردیم که با استفاده از مدل‌های ما کامنت‌هایی می‌ساختند و سپس آن‌ها را در تلگرام منتشر می‌کردند. ما این فعالیت را به افرادی از روسیه مرتبط دانستیم. با توجه به تمرکز این شبکه بر تلگرام، انتشار مکرر متن‌های انگلیسیِ نادرست از نظر دستوری و ناتوانی آن در جذب مخاطب، نام «دستور زبان بد» را برایش برگزیدیم.

رفتار

این شبکه با محتوای روسی و انگلیسی، مخاطبان روسیه، اوکراین، ایالات متحده، مولداوی و کشورهای بالتیک را هدف قرار می‌داد.

این شبکه با استفاده از مدل‌های ما و حساب‌های تلگرام، خط تولیدی برای ارسال انبوه کامنت راه‌اندازی کرده بود. ابتدا گردانندگان شبکه از مدل‌های ما برای اشکال‌زدایی کدی استفاده کردند که ظاهراً برای خودکارسازی انتشار مطالب در تلگرام طراحی شده بود. سپس در پاسخ به پست‌های مشخصی در تلگرام، کامنت‌هایی به زبان روسی و انگلیسی تولید کردند. در نهایت، به نظر می‌رسد برای انتشار آن کامنت‌ها از دست‌کم دوازده حساب تلگرام استفاده کرده‌اند.

کامنت عمومی در تلگرام، مطابق با متنی که این شبکه تولید کرده است. حساب موردنظر بارها کامنت‌هایی مطابق با خروجی این شبکه منتشر کرده است.

کامنت عمومی در تلگرام، مطابق با متنی که این شبکه تولید کرده است. حساب موردنظر بارها کامنت‌هایی مطابق با خروجی این شبکه منتشر کرده است.

گردانندگان شبکه برای تولید کامنت‌های انگلیسی از مدل‌های ما خواستند با لحن چند هویت جعلی از گروه‌های جمعیتی مختلف و هر دو سوی طیف سیاسی ایالات متحده بنویسند. برای محتوای روسی، دستورهای موضوع‌محورتر و کمتر متکی بر هویت‌های ساختگی را ترجیح می‌دادند.

این شبکه عمدتاً زیر پست‌های شمار اندکی از کانال‌های تلگرام کامنت می‌گذاشت. بیشترین اشاره به کانال حامی روسیه @Slavyangrad بود و پس از آن کانال‌های انگلیسی‌زبان @police_frequency و @SGTNewsNetwork قرار داشتند. (کانال آخری خود را یک کهنه‌سرباز محافظه‌کار آمریکایی معرفی می‌کند، اما در نوامبر، متا گزارش داد⁠(در یک پنجره جدید باز می‌شود) که منشأ واقعی آن ایران بوده است.) در نمونه‌ای از فعالیت‌های ماه فوریه، این شبکه تلاش کرد برای این سه کانال دو برابر مجموع ۱۰ کانال بعدی که بیشترین اشاره به آن‌ها شده بود، پاسخ تولید کند.

محتوا

این کارزار کامنت‌های کوتاهی درباره چند موضوع سیاسی محدود تولید می‌کرد. موضوعات اصلی مطالب روسی و انگلیسی آن در تلگرام، جنگ اوکراین، وضعیت سیاسی مولداوی و کشورهای بالتیک و سیاست ایالات متحده بود.

کامنت‌های معمول روسی‌زبان در تلگرام، رؤسای جمهور اوکراین و مولداوی را به فساد، نداشتن حمایت مردمی و خیانت به مردم خود در برابر «مداخله» غرب متهم می‌کردند. کامنت‌های انگلیسی‌زبان در تلگرام بر موضوعاتی مانند مهاجرت، مشکلات اقتصادی و اخبار فوری روز تمرکز داشتند. این کامنت‌ها اغلب با استناد به رویدادهای جاری استدلال می‌کردند که ایالات متحده نباید از اوکراین حمایت کند.

کامنت عمومی در تلگرام، مطابق با متنی که این شبکه تولید کرده است. حساب موردنظر بارها کامنت‌هایی مطابق با محتوای تولیدشده با مدل‌های ما منتشر کرده است.

کامنت عمومی در تلگرام، مطابق با متنی که این شبکه تولید کرده است. حساب موردنظر بارها کامنت‌هایی مطابق با محتوای تولیدشده با مدل‌های ما منتشر کرده است.

گاهی بیش از یک هویت ساختگی زیر یک پست کامنت می‌گذاشتند و دیدگاه‌های متضادی ارائه می‌کردند. این رویکرد «دوچهره» که خود را صدای هر دو طرف نشان می‌دهد، پیش‌تر نیز در عملیات روسیه دیده شده و ممکن است نشانه تلاش برای جذب مخاطبان خاص یا دامن زدن به اختلاف باشد.

کامنت‌های عمومی در تلگرام، مطابق با متن‌هایی که این شبکه تولید کرده است. حساب‌های موردنظر بارها کامنت‌هایی مطابق با محتوای تولیدشده با مدل‌های ما منتشر کرده‌اند.

کامنت‌های عمومی در تلگرام، مطابق با متن‌هایی که این شبکه تولید کرده است. حساب‌های موردنظر بارها کامنت‌هایی مطابق با محتوای تولیدشده با مدل‌های ما منتشر کرده‌اند.

پس از حمله تروریستی ۲۲ مارس در مسکو و بازداشت چهار شهروند تاجیکستان، این کارزار استفاده از مجموعه جدیدی از حساب‌های تلگرام با تمرکز بر تاجیکستان را آغاز کرد. کامنت‌های منتشرشده از تاجیک‌ها و روس‌ها می‌خواستند متحد باشند و به قوانین روسیه احترام بگذارند.

ارزیابی تأثیر

ارسال انبوه کامنت، حتی پیش از ظهور هوش مصنوعی مولد نیز یکی از روش‌های رایج عملیات نفوذ بود. با اینکه «دستور زبان بد» برای تولید کامنت‌هایش از روشی نو استفاده می‌کرد، سامانه انتشار آن در جلب تعامل موفق نبود.

تعداد بسیار کمی از کامنت‌های آن لایک یا پاسخی دریافت کردند. کامنت‌های این شبکه معمولاً بخش اندکی از پاسخ‌های هر پست را تشکیل می‌دادند؛ بنابراین اگر هدفش تحت‌الشعاع قرار دادن دیگر دیدگاه‌ها بود، به آن نرسید.

این شبکه گاهی از مدل‌های ما برای تولید متن‌هایی استفاده می‌کرد که ظاهراً پیام‌های خصوصی، احتمالاً با کاربر دیگری در تلگرام، بودند؛ اما متن‌های تولیدشده نشان می‌دهند که شبکه با یک کلاهبردار حوزه رمزارز گفت‌وگو می‌کرده است.

با استفاده از مقیاس برون‌رفت⁠(در یک پنجره جدید باز می‌شود) برای سنجش تأثیر عملیات نفوذ، که آن‌ها را از ۱ (کمترین) تا ۶ (بیشترین) رتبه‌بندی می‌کند، این مورد را در رده ۱ قرار می‌دهیم: فعالیت انتشار در یک پلتفرم، بدون شواهدی از تقویت چشمگیر محتوا به‌دست افراد خارج از شبکه.