پرش به محتوای اصلی
OpenAI

۱۱ خرداد ۱۴۰۴

ایمنی

عملیات «بررسی تمسخرآمیز»: فعالیت نفوذی با منشأ چین

OpenAI حساب‌هایی را مسدود کرد که با هوش مصنوعی پست‌هایی در انتقاد از یک چهرهٔ تأثیرگذار تایوانی در شبکه‌های اجتماعی و موضوعات مرتبط با آمریکا تولید می‌کردند.

در حال بارگذاری…

این مطالعهٔ موردی نخست در گزارش ژوئن ۲۰۲۵⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل

حساب‌های ChatGPT را که تشخیص دادیم از مدل‌های ما برای تولید انبوه پست‌های شبکه‌های اجتماعی همسو با فعالیت یک عملیات نفوذ پنهانی استفاده می‌کردند، مسدود کردیم. در جریان تحقیقاتمان همچنین مشاهده کردیم که این حساب‌ها ارزیابی‌های عملکرد داخلی تهیه می‌کردند.

این حساب‌ها عمدتاً اعلان‌هایی به زبان چینی ارائه می‌کردند و بر موضوعات سیاسی و ژئوپلیتیکی مرتبط با چین تمرکز داشتند. یکی از کاربران در اعلانی گفته بود که برای ادارهٔ تبلیغات چین کار می‌کند؛ بااین‌حال، برای تأیید مستقل این ادعا مدرکی نداریم.

رفتار

حساب‌هایی که مسدود کردیم در دو جریان کاری اصلی فعالیت داشتند. پرحجم‌ترین جریان کاری، تولید نظرهای کوتاه برای شبکه‌های اجتماعی به زبان‌های انگلیسی و چینی و تعداد اندکی نیز به زبان اردو بود. بسیاری از این نظرها را در تیک‌تاک و X شناسایی کردیم و محتوای دیگری نیز در ردیت، فیسبوک و وب‌سایت‌های گوناگون منتشر شده بود.

در الگویی معمول، ابتدا حسابی «اصلی» نظری منتشر می‌کرد که اغلب ظاهراً فقط برای همان پست ساخته شده بود؛ سپس حساب‌های دیگر مجموعه‌ای از پاسخ‌ها را درج می‌کردند. به نظر می‌رسید هدف این رفتار، ایجاد تصوری کاذب از تعامل طبیعی کاربران باشد.

پست تیک‌تاک مرتبط با عملیات «بررسی تمسخرآمیز».

پست تیک‌تاکی با عنوان «تعطیلی #USAID تازه #آغاز ماجراست!» که با این فعالیت ارتباط داشت. نام کانال، متن زیرنویس ویدیو و تمام نظرهای قابل‌مشاهده در این نماگرفت را این شبکه با استفاده از ChatGPT تولید کرده بود.

در تیک‌تاک، حساب‌های نظردهنده از نام‌های نمایشی با زبان‌ها و الفباهای گوناگون استفاده می‌کردند که اغلب ارتباطی با زبان محتوای منتشرشده نداشت. برای نمونه، حسابی با نام کره‌ای نظری به زبان اردو منتشر کرد، درحالی‌که حساب‌هایی با نام‌های تایلندی و عبری نظرهای انگلیسی تولیدشده به‌دست این شبکه را منتشر کردند. در X، حساب‌های نظردهنده معمولاً تصاویر کارتونی برای نمایهٔ خود داشتند و در برخی موارد نامشان با رمزارزها مرتبط بود.

توییت و پاسخ‌های مرتبط با عملیات «بررسی تمسخرآمیز».

یک توییت و نظرهای پاسخ‌دهنده به آن که همگی این شبکه با استفاده از ChatGPT تولید کرده است.

این شبکه در فیسبوک فعالیت کمتری داشت. فعالیت آن عمدتاً شامل تولید نام و تصویر نمایه برای دو صفحه‌ای بود که خود را رسانهٔ خبری جا می‌زدند. هیچ‌یک از این صفحات دنبال‌کننده یا پسند نداشتند و در هرکدام فقط چند پست منتشر شده بود.

پست فیسبوک مرتبط با عملیات «بررسی تمسخرآمیز».

پستی در فیسبوک که ویدیویی را به اشتراک گذاشته و ما آن را احتمالاً مرتبط با این عملیات تشخیص داده‌ایم.

این شبکه گاهی پست‌های بلندتری به زبان چینی یا انگلیسی تولید می‌کرد. یکی از این پست‌ها را در ردیت و دو مورد دیگر را در انجمن‌های اینترنتی مختلف شناسایی کردیم. جریان کاری دوم شامل استفاده از ChatGPT برای تولید اسنادی بود که ظاهراً اسناد داخلی سیاست‌گذاری یا ارزیابی عملکرد بودند.

خروجی‌ها

محتوای شبکه‌های اجتماعی تولیدشده به‌دست این عامل تهدید، موضوعات گوناگونی را پوشش می‌داد که همگی با منافع ژئواستراتژیک چین همسویی نزدیکی داشتند.

بخشی از محتوا بر تایوان تمرکز داشت و مشخصاً «جبههٔ معکوس»⁠(در یک پنجره جدید باز می‌شود) («逆統戰») را هدف گرفته بود؛ یک بازی ویدیویی و رومیزی تایوان‌محور که مقاومت در برابر حزب کمونیست چین را به تصویر می‌کشد. این شبکه ده‌ها نظر انتقادی به زبان چینی دربارهٔ بازی تولید کرد و پس از آن مقاله‌ای بلند منتشر کرد که مدعی بود بازی با واکنش منفی گسترده روبه‌رو شده است. این متمایزترین فعالیت عملیات بود و بر همین اساس، نام «بررسی تمسخرآمیز» را برای آن انتخاب کرده‌ایم.

محتوای دیگری به زبان‌های انگلیسی و اردو، مهرنگ بلوچ، کنشگر پاکستانی را هدف قرار داده بود که آشکارا از سرمایه‌گذاری‌های چین در بلوچستان انتقاد کرده است⁠(در یک پنجره جدید باز می‌شود). یک حساب تیک‌تاک و صفحهٔ فیسبوک مرتبط با این شبکه، ویدیویی منتشر کردند که به‌دروغ بلوچ را به حضور در یک فیلم پورنوگرافی متهم می‌کرد. سپس این عملیات صدها نظر کوتاه به هر دو زبان تولید کرد تا تعاملی گسترده را شبیه‌سازی کند.

نظرهای زیر یک ویدیوی تیک‌تاک مهرنگ بلوچ.

نظرهای حاکی از شوک زیر ویدیوی تیک‌تاک مهرنگ بلوچ.

آخرین مجموعهٔ محتوا بر تعطیلی سازمان ایالات متحده برای توسعهٔ بین‌المللی (USAID) متمرکز بود و نظرهای کوتاهی در ستایش یا انتقاد از این اقدام تولید می‌کرد. این نظرها در تیک‌تاک و X منتشر شدند.

توییت‌های مرتبط‌کنندهٔ کمک‌ها و تعرفه‌ها که عملیات «بررسی تمسخرآمیز» تولید کرده بود.

توییت‌هایی که موضوع کمک‌ها را به تعرفه‌ها پیوند می‌دهند و این شبکه آن‌ها را با استفاده از ChatGPT تولید کرده است.

در نهایت، عاملان تهدید از مدل‌های ما برای تولید اسنادی استفاده کردند که ظاهراً داخلی بودند؛ از جمله مقاله‌ای مفصل به سبک یک سند رسمی امنیت عمومی و ارزیابی عملکردی که مراحل راه‌اندازی و ادارهٔ عملیات را شرح می‌داد.

تأثیر

به نظر می‌رسد زمانی که استفادهٔ این عملیات از مدل‌هایمان را مختل کردیم، هنوز در مراحل ابتدایی خود بود. هیچ‌یک از دو صفحهٔ فیسبوک دنبال‌کننده‌ای نداشتند. در ردیت، یک پست ۴۴ رأی مثبت گرفت و دو پست دیگر در ساب‌ردیت‌هایی که در آن‌ها منتشر شده بودند مسدود یا حذف شدند.

پست حذف‌شدهٔ ردیت مرتبط با عملیات «بررسی تمسخرآمیز».

نماگرفت پستی از یک حساب ردیت که آن را بخشی از این شبکه تشخیص دادیم و نشان می‌دهد فیلترهای پلتفرم پست را حذف کرده‌اند.

میزان تعامل در X و تیک‌تاک متغیرتر بود؛ دو ویدیوی تیک‌تاک در مجموع ۲۵ هزار پسند گرفتند و توییت‌های حساب اصلی این عملیات نیز معمولاً هرکدام حدود ۱۰ هزار بار دیده شدند. بااین‌حال، بسیاری از نظرهای این پست‌ها را همین شبکه با استفاده از ChatGPT تولید کرده بود که نشان می‌دهد دست‌کم بخشی از تعامل‌ها غیرواقعی بوده‌اند. بنابراین، باید با احتیاط به تمام آمارهای تعامل نگریست.

بر اساس مقیاس فراگیری⁠(در یک پنجره جدید باز می‌شود) برای سنجش تأثیر عملیات نفوذ، اگر آمار تعامل در X و تیک‌تاک واقعی باشد، این عملیات را در پایین‌ترین سطح ردهٔ ۳ ارزیابی می‌کنیم. اگر شواهد بیشتری به دست آید که فرضیهٔ غیرواقعی بودن بیشتر پسندها و بازدیدها، همانند بیشتر نظرها، را تأیید کند، این ارزیابی را کاهش خواهیم داد.