پرش به محتوای اصلی
OpenAI

۱۰ مهر ۱۴۰۳

ایمنی

عملیات «A2Z»: فعالیت نفوذ چندزبانه

OpenAI حساب‌های «A2Z» را که با هوش مصنوعی محتوای نفوذ چندزبانه درباره انتخابات، اوکراین و سیاست در پلتفرم‌های مختلف تولید می‌کردند، مسدود کرد.

در حال بارگذاری…

این مطالعه موردی نخست در گزارش اکتبر ۲۰۲۴⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل

ما مجموعه‌ای از حساب‌های ناشناخته را مسدود کردیم که با استفاده از API ما نظرهایی می‌ساختند و سپس آن‌ها را در X و فیسبوک منتشر می‌کردند. بسیاری از این نظرها آذربایجان را می‌ستودند یا از کارنامه حقوق بشری آن دفاع می‌کردند، اما این فعالیت بر طیف گسترده‌ای از موضوعات دیگر نیز متمرکز بود؛ امری که احتمال تجاری‌بودن عملیات را مطرح می‌کند. با توجه به دفعات تمجید از آذربایجان و تلاش برای استفاده از هوش مصنوعی در چندین مرحله عملیات، این شبکه را «A2Z» نامیدیم.

رفتار

این عملیات نیز مانند عملیات روسی‌زبان تلگرامی که در ماه مه افشا و «دستور زبان بد» نام‌گذاری کردیم، از مدل‌های ما برای ارسال نظر در شبکه‌های اجتماعی استفاده می‌کرد. این عملیات از هوش مصنوعی برای مدیریت شخصیت‌های جعلی در شبکه‌های اجتماعی، تولید زندگی‌نامه، تحلیل پست‌ها و نظرها، تهیه پیش‌نویس پاسخ به زبان‌های مختلف و نمونه‌خوانی آن‌ها بهره می‌گرفت. سپس پاسخ‌ها در X یا فیسبوک منتشر می‌شدند. بیشتر محتوا به‌صورت نظرهای کوتاه بود، اما تصاویر سبک‌پردازی‌شده را نیز شامل می‌شد. این تصاویر اغلب سبک پوسترهای دهه ۱۹۳۰ را داشتند؛ بنابراین به نظر می‌رسد برای جلب توجه و تعامل طراحی شده بودند، نه برای فریب‌دادن. بااین‌حال، پست‌های معمول حاوی این تصاویر سبک‌پردازی‌شده هرکدام فقط ۰ تا ۵ تعامل دریافت کردند.

پستی متشکل از متن و تصویر، از یکی از حساب‌های ترک‌زبان این عملیات در X. هر دو با استفاده از مدل‌های ما تولید شدند. این پست هیچ پاسخ، بازنشر یا لایکی دریافت نکرد.

پستی متشکل از متن و تصویر، از یکی از حساب‌های ترک‌زبان این عملیات در X. هر دو با استفاده از مدل‌های ما تولید شدند. این پست هیچ پاسخ، بازنشر یا لایکی دریافت نکرد.

پستی متشکل از متن و تصویر، از یکی از حساب‌های انگلیسی‌زبان این عملیات در X. هر دو با استفاده از مدل‌های ما تولید شدند. این پست هیچ پاسخ، بازنشر یا لایکی دریافت نکرد.

پستی متشکل از متن و تصویر، از یکی از حساب‌های انگلیسی‌زبان این عملیات در X. هر دو با استفاده از مدل‌های ما تولید شدند. این پست هیچ پاسخ، بازنشر یا لایکی دریافت نکرد.

این کاربرد هوش مصنوعی به عملیات امکان داد چندین حساب شبکه اجتماعی را هم‌زمان مدیریت کند: حدود ۱۵۰ حساب در X و فیسبوک شناسایی کردیم که با این فعالیت مطابقت داشتند و به حساب‌های بیشتری نیز مشکوک بودیم. همچنین به عملیات امکان می‌داد گاهی در رشته‌نظرها با افراد واقعی در اینترنت وارد تعامل شود. گاهی گفت‌وگوهای کوتاهی میان افراد واقعی و حساب‌های جعلی مشاهده کردیم که پاسخ حساب‌های جعلی در آن‌ها با استفاده از مدل‌های ما تولید شده بود.

گفت‌وگویی میان دو فرد واقعی و حسابی که عملیات آن را با محتوای تولیدشده توسط مدل‌های ما اداره می‌کرد. ترجمه از ترکی: [شخص ۱]: خبر داری؟ همه آتاترکیست‌ها صهیونیست نیستند، اما همه صهیونیست‌های ترکیه، حامیان اسرائیل و کسانی که درباره نسل‌کشی سکوت می‌کنند، آتاترکیست‌اند. آیا نمونه‌ای هست که در این تعمیم نگنجد؟ [حساب عملیات]: کمالیسم طرفدار صلح و نوسازی است. چنین تعمیم‌هایی خطرناک و گمراه‌کننده‌اند. [شخص ۲]: کدام صلح؟ اگر آتاترک من زنده بود، موصل، کرکوک و تراکیه غربی را پس می‌گرفت... داری درباره آتاترک مطالعه می‌کنی. داری به داستان‌های شِبلبی‌خوردن ییلماز اوزدیل گوش می‌دهی؟ [حساب عملیات]: تاریخ به ما نشان می‌دهد که آتاترک خواهان صلح و نوسازی بود. گرفتار اطلاعات نادرست نشویم.

گفت‌وگویی میان دو فرد واقعی و حسابی که عملیات آن را با محتوای تولیدشده توسط مدل‌های ما اداره می‌کرد. ترجمه از ترکی: [شخص ۱]: خبر داری؟ همه آتاترکیست‌ها صهیونیست نیستند، اما همه صهیونیست‌های ترکیه، حامیان اسرائیل و کسانی که درباره نسل‌کشی سکوت می‌کنند، آتاترکیست‌اند. آیا نمونه‌ای هست که در این تعمیم نگنجد؟ [حساب عملیات]: کمالیسم طرفدار صلح و نوسازی است. چنین تعمیم‌هایی خطرناک و گمراه‌کننده‌اند. [شخص ۲]: کدام صلح؟ اگر آتاترک من زنده بود، موصل، کرکوک و تراکیه غربی را پس می‌گرفت... داری درباره آتاترک مطالعه می‌کنی. داری به داستان‌های شِبلبی‌خوردن ییلماز اوزدیل گوش می‌دهی؟ [حساب عملیات]: تاریخ به ما نشان می‌دهد که آتاترک خواهان صلح و نوسازی بود. گرفتار اطلاعات نادرست نشویم.

اجرای عملیاتی در این مقیاس پیش از ظهور هوش مصنوعی احتمالاً به تیم بزرگی از ترول‌ها نیاز داشت و همه هزینه‌ها و خطرهای افشای چنین کاری را به همراه می‌آورد. اما اتکای این عملیات به هوش مصنوعی، آن را در برابر اقدامات مختل‌کننده ما نیز به‌شکلی غیرعادی آسیب‌پذیر کرد. چون این عملیات در بخش‌های متعددی از زنجیره حمله از هوش مصنوعی بهره می‌گرفت، اقدام ما برای متوقف‌کردن آن چندین حلقه زنجیره را هم‌زمان از کار انداخت. پس از آنکه این فعالیت را اوایل ژوئن مختل کردیم، حساب‌های شبکه اجتماعی شناسایی‌شده به‌عنوان بخشی از عملیات، در سراسر دوره‌های انتخاباتی اتحادیه اروپا، بریتانیا و فرانسه انتشار پست را متوقف کردند. برخی در اواخر اوت دوباره انتشار پست را آغاز کردند. تعداد کمی از پست‌های آن‌ها نشانه‌هایی داشتند که احتمال تولیدشدنشان با هوش مصنوعی را مطرح می‌کرد. محتوای دارای چنین نشانه‌هایی با مدل‌های ما تولید نشده بود.

خروجی‌ها

این کارزار نظرهای کوتاهی تولید می‌کرد که بر طیف گسترده‌ای از موضوعات سیاسی متمرکز بودند. برجسته‌ترین موضوع، تمجید از دولت آذربایجان و نقش آن در سیاست داخلی، منطقه‌ای و بین‌المللی بود؛ برای نمونه، ترویج اتحاد میان کشورهای آسیای مرکزی یا میزبانی کنفرانس تغییرات اقلیمی سازمان ملل. حساب‌های انگلیسی‌زبان و ایتالیایی‌زبان از نقش آذربایجان به‌عنوان تأمین‌کننده انرژی اروپا تمجید می‌کردند؛ گاهی نیز این کار را در پاسخ به انتقاد از کارنامه حقوق بشری دولت آذربایجان انجام می‌دادند.

رشته‌نظری در X. [کاربر ۱، که نام کاربری‌اش شامل واژه «آزاد» است]: اما انحلال یک ائتلاف نظامی امپریالیستی که ایتالیا نیز در آن نوکر است و از دیکتاتورهایی مانند اردوغان استقبال می‌کند، چه چیز رسوایی‌آمیزی دارد؟ [کاربر ۲]: آزاده در نام اما بنده در عمل، خروج از ناتو یعنی همان لحظه بعد زیر چکمه روسیه رفتن. و به نظرم اوضاع در بلاروس، گرجستان، آذربایجان و قزاقستان هم چندان خوب نیست... آه، دقیقاً چنین سرنوشتی می‌خواهی؟ [حساب عملیات]: زیر سلطه روسیه برویم؟ مضحک است. ناتو از ما محافظت می‌کند؛ بیایید برای امنیت انرژی با آذربایجان همکاری کنیم. آزاد در نام، سردرگم در عمل.

رشته‌نظری در X. [کاربر ۱، که نام کاربری‌اش شامل واژه «آزاد» است]: اما انحلال یک ائتلاف نظامی امپریالیستی که ایتالیا نیز در آن نوکر است و از دیکتاتورهایی مانند اردوغان استقبال می‌کند، چه چیز رسوایی‌آمیزی دارد؟ [کاربر ۲]: آزاده در نام اما بنده در عمل، خروج از ناتو یعنی همان لحظه بعد زیر چکمه روسیه رفتن. و به نظرم اوضاع در بلاروس، گرجستان، آذربایجان و قزاقستان هم چندان خوب نیست... آه، دقیقاً چنین سرنوشتی می‌خواهی؟ [حساب عملیات]: زیر سلطه روسیه برویم؟ مضحک است. ناتو از ما محافظت می‌کند؛ بیایید برای امنیت انرژی با آذربایجان همکاری کنیم. آزاد در نام، سردرگم در عمل.

شاخه‌های دیگر فعالیت بر مزایا و تکامل هوش مصنوعی، بازارهای مالی، مسائل زیست‌محیطی، رمزارزها و به‌طور کلی فناوری تمرکز داشتند. یک مجموعه بر امارات متحده عربی متمرکز بود و آن را مقصدی باثبات برای سرمایه‌گذاری نشان می‌داد؛ این تصویر اغلب در تقابل با ادعاهای بی‌ثباتی سیاسی در ایالات متحده قرار می‌گرفت.

پاسخی در X به گزارشی از بلومبرگ، از سوی حسابی که محتوای این عملیات را منتشر می‌کرد.

پاسخی در X به گزارشی از بلومبرگ، از سوی حسابی که محتوای این عملیات را منتشر می‌کرد.

برخی شخصیت‌های جعلی بر سیاست اروپا یا ایالات متحده تمرکز داشتند. گرایش ایدئولوژیک این فعالیت از منطقه‌ای به منطقه دیگر متفاوت بود. برای نمونه، یک حساب X متمرکز بر ایالات متحده خود را لیبرال جا می‌زد و از ترامپ، رئیس‌جمهور پیشین آمریکا، انتقاد می‌کرد؛ در مقابل، برخی حساب‌های فیسبوک که به زبان فرانسوی پست می‌گذاشتند، منتقد رئیس‌جمهور مکرون و حامی حزب اجتماع ملی (RN) بودند. گاهی این انتقاد بر مسائل داخلی متمرکز می‌شد تا استدلال کند کشور موردنظر نباید در مسائل بین‌المللی، ازجمله تهاجم روسیه به اوکراین، مداخله کند.

دو نظر از حساب‌های جداگانه‌ای در فیسبوک که بارها محتوای این عملیات را منتشر کرده بودند. متن آلمانی درباره مصاحبه‌ای با الکساندر یونگبلوت، سیاست‌مدار حزب AfD، نظر داده بود. در آن آمده است: «یونگبلوت درباره مشکلات واقعی صحبت می‌کند: اتحادیه اروپا باید نگران امور داخلی باشد! پاسخ‌هایش، به‌ویژه درباره مناقشه اوکراین، مرا به وجد آورده است.»

دو نظر از حساب‌های جداگانه‌ای در فیسبوک که بارها محتوای این عملیات را منتشر کرده بودند. متن آلمانی درباره مصاحبه‌ای با الکساندر یونگبلوت، سیاست‌مدار حزب AfD، نظر داده بود. در آن آمده است: «یونگبلوت درباره مشکلات واقعی صحبت می‌کند: اتحادیه اروپا باید نگران امور داخلی باشد! پاسخ‌هایش، به‌ویژه درباره مناقشه اوکراین، مرا به وجد آورده است.»

ارزیابی تأثیر

این عملیات با احتمالاً صدها حساب، در فیسبوک و X بسیار فعال بود. در X، برخی از حساب‌های آن نشان آبی تأیید هویت پولی داشتند. در میان حدود ۱۵۰ حسابی که در هر دو پلتفرم نمونه‌برداری کردیم، هیچ حسابی با تعداد قابل‌توجهی دنبال‌کننده نیافتیم: بیشترین تعداد دنبال‌کننده‌ای که طی تحقیقاتمان در X شناسایی کردیم ۲۲۲ نفر بود؛ ارقام معمول‌تر بین حدود ۱۵ تا کمی بیش از ۲۰ نفر بودند و پست‌های معمول در X کمتر از ۱۰ تعامل دریافت می‌کردند. به همین ترتیب، بیشترین تعداد واکنش به یک پست فیسبوک که طی تحقیقاتمان مشاهده کردیم ۳۶ بود و ارقام معمول‌تر در محدوده ۰ تا ۵ قرار داشتند. بااین‌حال، مواردی را شناسایی کردیم که پست‌های عملیات پاسخ افراد واقعی را جلب کرده بودند. این پاسخ‌ها همیشه مثبت نبودند و گاهی افراد واقعی با حساب‌های جعلی مخالفت می‌کردند؛ اما نشان می‌دهند که عملیات دست‌کم تا حدی توانسته در چند پلتفرم، به چند زبان و درباره چند موضوع با مخاطبان تعامل کند.

بحثی در بخش نظرات میان یکی از حساب‌های عملیات (پست بالا) و یک فرد واقعی (پست پایین). بالا: جرالد، دقیقاً همین نشان می‌دهد که مشکلات نظام قضایی ما چقدر عمیق‌اند. حالا بیش از هر زمان دیگری باید از ترامپ حمایت کنیم! پاسخ: وقتی هر سیاست‌مداری که قانون یا مقررات را نقض می‌کند، بعداً به دلایل «سیاسی» از سوی دستگاه عدالت «تحت پیگرد» قرار می‌گیرد، دقیقاً همین نشان می‌دهد که مشکلات درک ما از عدالت چقدر عمیق‌اند…

بحثی در بخش نظرات میان یکی از حساب‌های عملیات (پست بالا) و یک فرد واقعی (پست پایین). بالا: جرالد، دقیقاً همین نشان می‌دهد که مشکلات نظام قضایی ما چقدر عمیق‌اند. حالا بیش از هر زمان دیگری باید از ترامپ حمایت کنیم! پاسخ: وقتی هر سیاست‌مداری که قانون یا مقررات را نقض می‌کند، بعداً به دلایل «سیاسی» از سوی دستگاه عدالت «تحت پیگرد» قرار می‌گیرد، دقیقاً همین نشان می‌دهد که مشکلات درک ما از عدالت چقدر عمیق‌اند…

با استفاده از «مقیاس گسترش» برای ارزیابی تأثیر عملیات نفوذ که آن‌ها را از ۱ (کمترین) تا ۶ (بیشترین) رتبه‌بندی می‌کند، این عملیات را در بالاترین سطح دسته دوم و در معرض ورود به دسته سوم ارزیابی می‌کنیم: فعالیت آن با انتشار پست در چند پلتفرم و شواهدی از تعامل افراد واقعی با محتوایش همراه بود. بااین‌حال، پس از آنکه استفاده این عملیات از مدل‌های خود را مسدود کردیم و اطلاعات را با همتایان صنعت به اشتراک گذاشتیم، حساب‌های شبکه اجتماعی شناسایی‌شده برای هفته‌های زیادی خاموش ماندند. بنابراین، این عملیات هم افزایش توانایی عاملان بر اثر استفاده از هوش مصنوعی را برجسته می‌کند و هم آسیب‌پذیری بیشترشان در برابر اختلال را که از اتکا به یک مدل هوش مصنوعی ناشی می‌شود.