پرش به محتوای اصلی
OpenAI

۹ مهر ۱۴۰۴

ایمنی

عملیات «توقف اخبار»: فعالیت نفوذی تکرارشونده

OpenAI حساب‌های مرتبط با عملیاتی با منشأ روسی را که «توقف اخبار» نامیدیم مسدود کرد؛ عملیاتی که با هوش مصنوعی محتوای نفوذی تکرارشونده علیه آفریقا و بریتانیا تولید می‌کرد.

در حال بارگذاری…

این مطالعه موردی نخست در گزارش اکتبر ۲۰۲۵⁠(در یک پنجره جدید باز می‌شود) OpenAI منتشر شد.

عامل

مجموعه‌ای از حساب‌ها را مسدود کردیم که می‌کوشیدند از مدل‌های ما برای تولید محتوا برای عملیات نفوذ پنهانی استفاده کنند که در اکتبر ۲۰۲۴ با نام «توقف اخبار» درباره آن نوشتیم. این فعالیت از روسیه سرچشمه می‌گرفت و با عملیاتی که یک شرکت بازاریابی اداره می‌کرد، هم‌خوانی داشت. تحقیقات ما نشان داد که این عامل می‌کوشید با ابزارهای هوش مصنوعی شرکت‌های دیگر ویدیوهایی تولید کند که سپس در یوتیوب و تیک‌تاک منتشر می‌شدند. نمی‌توانیم مستقلاً تأیید کنیم که در نهایت از کدام مدل‌ها استفاده کرده‌اند.

رفتار

همانند فعالیتی که در اکتبر ۲۰۲۴ مختل کردیم، این عملیات عمدتاً از مدل‌های ما برای تولید محتوایی استفاده می‌کرد که سپس در رسانه‌های اجتماعی و مجموعه‌ای از وب‌سایت‌ها منتشر می‌شد؛ وب‌سایت‌هایی که خود را همان رسانه‌های خبری آفریقایی و بریتانیایی معرفی می‌کردند که سال گذشته درباره‌شان نوشتیم.

اگرچه به نظر می‌رسید این فعالیت تلاشی برای ادامه عملیات پیشین پس از اقدامات اخلال‌گرانه ما و دیگر فعالان صنعت باشد، چند تفاوت مهم در آن یافتیم. نخست، سهم تولید تصویر به‌طور چشمگیری کمتر بود. همان‌طور که آن زمان اشاره کردیم، فعالیت اولیه «توقف اخبار» به‌شکلی غیرمعمول از تصاویر فراوان استفاده می‌کرد، اما فعالیت اخیر بیشتر بر تولید متن متمرکز بود و به‌ندرت از تولید تصویر استفاده می‌کرد. این موضوع با ارزیابی آژانس دیجیتال فرانسه، VIGINUM، هم‌خوانی دارد که می‌گوید: «از زمان انتشار گزارش‌های Meta و OpenAI، استفاده از تصاویر تولیدشده با هوش مصنوعی به‌شدت کاهش یافته است».

دوم، این عملیات از ChatGPT برای تولید متن و توضیحات ویدیوهای کوتاهِ خبری نیز استفاده می‌کرد. گردانندگان معمولاً متنی طولانی به زبان روسی وارد می‌کردند و می‌خواستند براساس آن متنی برای ویدیو تولید شود. سپس از مدل می‌خواستند متن را به فرانسوی ترجمه کند. سوم، از مدل می‌خواستند توضیحی بهینه‌شده برای سئو و هشتگ‌هایی مرتبط تولید کند.

برخی از این متن‌ها در ویدیوهای یک کانال یوتیوب منتشر شدند که به وب‌سایت آفریقامحور عملیات «توقف اخبار»، یعنی newstop[.]africa، مرتبط بود. برخی دیگر در کانال‌هایی در یوتیوب و تیک‌تاک منتشر شدند که نام تجاری «توقف اخبار» را نداشتند. در این کانال‌ها، شخصی تولیدشده با هوش مصنوعی اخبار را می‌خواند. در بیشتر موارد، کلیپ‌های کوتاه گوینده خبر با تصاویر ویدیویی رویدادهای آفریقا یا رویدادهای مرتبط با آن درهم آمیخته می‌شد. به نظر نمی‌رسد کلیپ‌های گوینده خبر با مدل‌های ما تولید شده باشند؛ نمی‌توانیم مستقلاً تأیید کنیم که از کدام سرویس استفاده شده است. ظاهر گوینده خبر در طول سال ۲۰۲۵ تغییر کرد؛ همان‌طور که نماگرفت‌های زیر از ویدیوهای تیک‌تاک نشان می‌دهند.

از چپ به راست، گوینده خبرِ تولیدشده با هوش مصنوعی که در ژانویه ۲۰۲۵، اوایل ژوئن ۲۰۲۵ و اواخر ژوئن ۲۰۲۵ روسیه را ستایش می‌کند؛ برگرفته از حساب تیک‌تاک این عملیات.

از چپ به راست، گوینده خبرِ تولیدشده با هوش مصنوعی که در ژانویه ۲۰۲۵، اوایل ژوئن ۲۰۲۵ و اواخر ژوئن ۲۰۲۵ روسیه را ستایش می‌کند؛ برگرفته از حساب تیک‌تاک این عملیات.

در پیچیده‌ترین موارد، گردانندگان از مدل‌های ما برای تولید اعلان‌های ویدیویی استفاده کردند که ظاهراً برای مدل‌های هوش مصنوعی دیگر در نظر گرفته شده بود. در این روش، ابتدا متنی روسی برای ویدیو تولید می‌کردند، سپس آن را به بخش‌های دو جمله‌ای تقسیم می‌کردند و از ChatGPT می‌خواستند برای هر بخش یک اعلان ویدیویی تولید کند. پس از ساخت اعلان‌های ویدیویی، گردانندگان از مدل می‌خواستند کل متن را به فرانسوی ترجمه کند.

از چپ به راست: سه نماگرفت از ویدیویی در تیک‌تاک که «سپاه آفریقای» روسیه را ستایش می‌کند.

از چپ به راست: سه نماگرفت از ویدیویی در تیک‌تاک که «سپاه آفریقای» روسیه را ستایش می‌کند. گردانندگان با استفاده از ChatGPT متن صوتی را به زبان روسی تولید کردند، آن را به بخش‌های دود جمله‌ای تقسیم کردند و سپس برای هر بخش، اعلانی ویدیویی برای مدلی دیگر ساختند. تصاویر بالا با اعلان‌های ویدیویی مطابقت دارند. نمی‌توانیم مستقلاً تأیید کنیم که برای ساخت ویدیوها از کدام سرویس استفاده شده است. شایان ذکر است که زیرنویس تصویر سمت راست خطایی دستوری دارد («ces» به‌جای «ses») که در ترجمه فرانسوی ارائه‌شده از سوی ChatGPT وجود نداشت. این موضوع نشان می‌دهد که زیرنویس از روی صدا رونویسی شده و فردی مسلط به زبان فرانسوی آن را بازخوانی نکرده است.

خروجی‌ها

فعالیت این عملیات در سه دسته اصلی قرار می‌گرفت. نخست، محتوایی به زبان فرانسوی تولید می‌کرد که نقش فرانسه و ایالات متحده در آفریقا را نکوهش و نقش روسیه را در آنجا ستایش می‌کرد. دوم، محتوایی به زبان انگلیسی تولید می‌کرد که از اوکراین و حامیان بین‌المللی آن انتقاد می‌کرد. گردانندگان گاهی برای همراهی با محتوای متنی خود تصویر نیز تولید می‌کردند. آن‌ها در مواردی نادر از ChatGPT می‌خواستند برای رسانه خبری اصلی خود، «نیو‌استاپ آفریقا»، مقاله‌های تبلیغاتی و متن آگهی‌های Google تولید کند. برخی از این مقاله‌های تبلیغاتی، به‌جای تمرکز صرف بر نیو‌استاپ آفریقا، نام تجاری نیو‌استاپ را در کنار رسانه‌های خبری معتبر قرار می‌دادند تا احتمالاً از این هم‌جواری اعتبار بیشتری کسب کند.

توییتی از حساب اصلی این عملیات در X که بر آفریقا تمرکز داشت. این تصویر با استفاده از مدل OpenAI تولید شد.

توییتی از حساب اصلی این عملیات در X که بر آفریقا تمرکز داشت. این تصویر با استفاده از مدل ما تولید شد.

دسته سوم فعالیت‌ها شامل تولید مطالب تبلیغاتی برای مجموعه‌ای از شرکت‌های تجاری ظاهراً روسی بود. این فعالیت، تولید تبلیغات برای قمار آنلاین بدون مجوز را نیز در بر می‌گرفت. چنین ترکیبی از انواع مختلف تولید محتوا با الگوی شرکتی تجاری هم‌خوانی دارد که در کنار تبلیغات متعارف، عملیات نفوذ پنهان را نیز در ازای دریافت پول اجرا می‌کند؛ الگویی که با فعالیت گزارش‌شده در سال گذشته نیز سازگار است.

تأثیر

با وجود تمرکز بیشتر این عملیات بر محتوای ویدیویی کوتاه و استفاده پیچیده‌تر آن از چندین ابزار هوش مصنوعی، محتوای منتشرشده ظاهراً فقط بازدید و مخاطبان محدودی به دست آورد. حساب اصلی «نیو‌استاپ آفریقا» در X تا اوت ۲۰۲۵ فقط ۱۷۲ دنبال‌کننده داشت و براساس قابلیت «توییت‌های برتر» X، بیشترین تعداد بازنشر برای هر یک از پست‌هایش چهار مورد بود.

کانال‌های یوتیوب و تیک‌تاک با گوینده خبر هوش مصنوعی هرکدام حدود ۱٬۹۰۰ دنبال‌کننده داشتند؛ کانال تیک‌تاک ۵٬۸۵۵ پسند ثبت کرد، یعنی برای هر یک از ۵۶ ویدیوی منتشرشده به‌طور میانگین ۱۰۵ پسند. پربازدیدترین ویدیو ۶۳٬۳۰۰ بازدید و کم‌بازدیدترین آن‌ها فقط ۸۷ بازدید داشت. کانال یوتیوب در مجموع برای ۵۰ ویدیو حدود ۲۵۵٬۰۰۰ بازدید ثبت کرده بود، یعنی به‌طور میانگین ۵٬۱۰۰ بازدید برای هر ویدیو؛ اما هیچ نشانه‌ای ندیدیم که این ویدیوها بازنشر شده، در رسانه‌ها مورد استناد قرار گرفته یا به‌شکل دیگری بازتاب گسترده‌تری یافته باشند.

در ارزیابی اولیه‌مان از این عملیات در گزارش اکتبر ۲۰۲۴، آن را در سطح ۳ مقیاس گسترش قرار دادیم؛ ارزیابی‌ای که عمدتاً بر چند «مشارکت اطلاعاتی» ظاهری با وب‌سایت‌های مستقر در بریتانیا استوار بود. بااین‌حال، پژوهش‌های بعدی VIGINUM و پژوهشگران منابع باز نشان داد که این «مشارکت‌ها» احتمالاً ساختگی بوده‌اند و برای افزودن محتوا بدون اطلاع مدیران، «از نقص‌های فنی این وب‌سایت‌های خارجی سوءاستفاده کرده‌اند». بر این اساس، اکنون مناسب‌تر می‌دانیم که فعالیت این عملیات را در سطح ۲ قرار دهیم: فعالیت در چندین پلتفرم اینترنتی، اما بدون گسترش چشمگیر به جوامع واقعی.