پرش به محتوای اصلی
OpenAI

۱۱ خرداد ۱۴۰۴

ایمنی

عملیات «تمرکز مبهم»: مهندسی اجتماعی و فعالیت‌های نفوذ

OpenAI حساب‌هایی را مسدود کرد که از هوش مصنوعی برای مهندسی اجتماعی، پژوهش دربارهٔ نظارت و رصد، و فعالیت‌های نفوذ با هدف‌گیری منتقدان استفاده می‌کردند.

در حال بارگذاری…

این مطالعهٔ موردی نخستین بار در گزارش ژوئن ۲۰۲۵⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل تهدید

ما شبکهٔ کوچکی از حساب‌های ChatGPT را مسدود کردیم که از مدل‌های ما برای تولید پست‌های شبکه‌های اجتماعی، تحلیل مجموعه‌داده‌ها و ترجمهٔ ایمیل‌ها و پیام‌هایی از چینی به انگلیسی استفاده می‌کردند که ظاهراً تلاشی برای مهندسی اجتماعی بودند. این حساب‌ها درخواست‌های خود را به زبان چینی به مدل‌های ما می‌دادند و عمدتاً در ساعات کاری سرزمین اصلی چین فعال بودند.

آن‌ها پیام‌هایی تولید می‌کردند که ظاهراً از طرف کارکنان سه نهاد با تمرکز بر مسائل ژئوپلیتیکی ارسال می‌شد: «اخبار کانون توجه»، «رسانهٔ موج روشن اروپا» و «گروه مشاورهٔ آینده‌نگر» (VAG). علاوه بر این، حساب‌های ChatGPT متن‌هایی تولید می‌کردند که با پست‌ها و معرفی‌نامه‌های حساب‌های X مرتبط با این سه نهاد مطابقت داشت. عوامل تهدید در توضیحاتی جداگانه، این نهادها را پوششی برای جمع‌آوری و تحلیل اطلاعات توصیف کرده بودند. بر اساس این نام‌ها، ما این عملیات را «تمرکز مبهم» نامیده‌ایم.

شیوهٔ فعالیت

در این عملیات، از ChatGPT برای پشتیبانی از چهار محور اصلی فعالیت استفاده می‌شد. نخست، این حساب‌ها بیشتر از مدل‌های ما برای تولید پست‌های شبکه‌های اجتماعی و معرفی‌نامه‌هایی برای هویت‌های آنلاین استفاده می‌کردند که ظاهراً بخشی از یک عملیات نفوذ پنهانی بودند. این پست‌ها از طریق حساب‌هایی در X منتشر می‌شدند که خود را روزنامه‌نگار و تحلیلگر مسائل ژئوپلیتیکی جا می‌زدند.

توییتی که این عامل تهدید با استفاده از ChatGPT تولید کرده و از حسابی در X منتشر کرده است که به‌طور مستمر محتوای این عامل را منتشر می‌کرد.

توییتی که این عامل تهدید با استفاده از ChatGPT تولید کرده و از حسابی در X منتشر کرده است که به‌طور مستمر محتوای این عامل را منتشر می‌کرد.

دوم، این حساب‌ها مکاتباتی خطاب به یک سناتور آمریکایی دربارهٔ نامزدی فردی برای تصدی یک سمت دولتی را ویرایش و ترجمه می‌کردند. ما نمی‌توانیم به‌طور مستقل تأیید کنیم که آیا هیچ‌یک از این مکاتبات ارسال شده است یا خیر.

سوم، این حساب‌ها مجموعه‌ای از پرسش‌های ابتدایی دربارهٔ ابزارهای حمله به شبکه‌های رایانه‌ای و بهره‌برداری از آن‌ها مطرح می‌کردند؛ مدل‌های ما نیز در پاسخ، فقط توضیحاتی کلی دربارهٔ کاربرد و قابلیت‌های این ابزارها ارائه می‌دادند. این پرسش‌ها فاقد پیچیدگی فنیِ فعالیت‌های عوامل سایبری بودند که در ادامهٔ این گزارش به آن‌ها می‌پردازیم، و از سطح پایین تخصص حکایت داشتند.

در نهایت، کاربران مرتباً خواستار ترجمهٔ پیام‌هایی از چینی به انگلیسی بودند که ظاهراً برای برقراری ارتباط با مخاطبانی ناشناس و در نهایت کسب اطلاعات از آن‌ها طراحی شده بودند. برخی از این پیام‌ها در شبکه‌های اجتماعی، در پاسخ به روزنامه‌نگاران و پژوهشگران منتشر می‌شدند. برخی دیگر شبیه پیام‌های خصوصی بودند که در جست‌وجوهای اینترنتی پیدا نمی‌شدند.

تلاش برای برقراری ارتباط بدون آشنایی قبلی، از طریق ارسال پیامی عمومی به یک پژوهشگر در X، از حسابی مرتبط با این عملیات.

تلاش برای برقراری ارتباط بدون آشنایی قبلی، از طریق ارسال پیامی عمومی به یک پژوهشگر در X، از حسابی مرتبط با این عملیات.

خروجی‌های مدل

به نظر می‌رسید هدف اصلی این شبکه، جمع‌آوری اطلاعات با جا زدن خود به‌عنوان متخصصان مستقر در اروپا یا ترکیه بود. گردانندگان در محتوایی که تولید و در اینترنت منتشر می‌کردند، «اخبار کانون توجه» را نهادی مستقل و مستقر در اروپا معرفی می‌کردند که در تحلیل و گزارشگری تخصص دارد. بااین‌حال، گردانندگان همچنین ادعا می‌کردند که این نام و نشان در واقع پوششی برای تسهیل جمع‌آوری، تحلیل و انتشار اطلاعات است.

طبق وب‌سایتی که پیوند آن در معرفی‌نامه‌های شبکه‌های اجتماعی آمده بود، گروه مشاورهٔ آینده‌نگر در ترکیه مستقر است و در ارائهٔ خدمات حرفه‌ای مشاورهٔ ژئوپلیتیکی تخصص دارد. گردانندگان از مدل‌های ما برای ترجمهٔ دستورالعمل‌هایی از چینی به انگلیسی استفاده می‌کردند که در آن‌ها ادعا شده بود گروه VAG به‌دنبال اطلاعاتی دربارهٔ سیاست‌های اقتصادی و مالی آمریکا است و حاضر است برای مصاحبه، ساعتی ۲٬۰۰۰ دلار بپردازد. آن‌ها همچنین پیشنهادهایی برای پرداخت پول در ازای اسناد طبقه‌بندی‌شده ترجمه می‌کردند.

وب‌سایت گروه VAG نسخه‌های ترکی و انگلیسی دارد و در منوی صفحهٔ «تماس با ما» در نسخهٔ انگلیسی، نویسه‌های چینی به‌معنای «تماس با ما» (聯絡) دیده می‌شود. این تنها متن چینی در سراسر آن دامنه بود.

تصویری از صفحهٔ «تماس با ما» در وب‌سایت گروه VAG که در منوی کشویی آن، نویسه‌های چینی به‌معنای «تماس با ما» (聯絡) دیده می‌شود.

تصویری از صفحهٔ «تماس با ما» در وب‌سایت گروه VAG که در منوی کشویی آن، نویسه‌های چینی به‌معنای «تماس با ما» (聯絡) دیده می‌شود.

برخی از محتواهای این شبکه شبیه مطالب بازاریابی برای عملیات نفوذ گسترده‌تر بودند. بنا بر ادعاهایی که ما نمی‌توانیم به‌طور مستقل تأیید کنیم، در این عملیات از یادگیری ماشین، پردازش زبان طبیعی و استخراج خودکار داده‌ها برای شناسایی افراد و موضوعات اثرگذار در شبکه‌های اجتماعی استفاده می‌شد.

تأثیر

حساب‌های شبکه‌های اجتماعی وابسته به این فعالیت نتوانستند تعامل چشمگیری از سوی کاربران واقعی در فضای آنلاین جلب کنند. تنها حساب «اخبار کانون توجه» در X شمار چشمگیری دنبال‌کننده داشت: ۱۷٬۰۰۰ نفر. بااین‌حال، این حساب در نوامبر ۲۰۱۴ با نام دیگری ایجاد شده بود، سه روز توییت منتشر کرده بود و سپس تا اواسط سال ۲۰۲۴ خاموش مانده بود. این الگو در حساب‌هایی رایج است که هک شده‌اند و برای هدفی دیگر به کار گرفته شده‌اند؛ بنابراین باید با احتیاط به شمار دنبال‌کنندگان این حساب نگاه کرد.

با استفاده از مقیاس گسترش دامنهٔ نفوذ⁠(در یک پنجره جدید باز می‌شود) برای سنجش تأثیر عملیات نفوذ، بخش علنی این عملیات را در پایین‌ترین سطح ردهٔ ۲ ارزیابی می‌کنیم: فعالیت در چند پلتفرم، اما با شواهد اندک از اینکه کاربران واقعی به محتوای آن توجه کرده یا آن را به‌طور گسترده بازنشر داده باشند. شواهد موجود برای ارزیابی تأثیر مهندسی اجتماعی و دیگر فعالیت‌های پنهانی این عملیات کافی نیست.