دستورکار روزنهٔ امید: فعالیتی با منشأ احتمالی چین علیه افراد آمریکایی

این مطالعهٔ موردی نخستین بار در گزارش فوریهٔ ۲۰۲۶⁠(در یک پنجره جدید باز می‌شود) OpenAI دربارهٔ مختل‌کردن استفاده‌های مخرب از هوش مصنوعی منتشر شد.

ما گروه کوچکی از حساب‌های ChatGPT را مسدود کردیم که احتمالاً منشأ آن‌ها چین بود. این حساب‌ها با استفاده از مدل‌های ما دربارهٔ افراد آمریکایی، انجمن‌ها و محل ساختمان‌های فدرال اطلاعات می‌خواستند، دربارهٔ نرم‌افزار تعویض چهره راهنمایی می‌گرفتند و ایمیل‌هایی به زبان انگلیسی تولید می‌کردند که به تلاش برای مهندسی اجتماعی شباهت داشت. آن‌ها به زبان چینی به مدل‌های ما دستور می‌دادند، عمدتاً در ساعات کاری سرزمین اصلی چین فعال بودند و برای دسترسی به پلتفرم ما از وی‌پی‌ان استفاده می‌کردند.

این حساب‌ها پیش‌نویس ایمیل‌هایی تولید می‌کردند که وانمود می‌شد از طرف کارکنان شرکتی مستقر در هنگ‌کنگ به نام «شرکت مشاورهٔ نیمبوس هاب» ارسال می‌شوند. بااین‌حال، آن‌ها به‌جای نویسه‌های چینی سنتی (که معمولاً در هنگ‌کنگ استفاده می‌شود)، با نویسه‌های چینی ساده‌شده (که معمولاً در سرزمین اصلی چین استفاده می‌شود) به مدل‌های ما دستور می‌دادند. این موضوع نشان می‌داد که گردانندگان واقعی احتمالاً در سرزمین اصلی چین مستقر بوده‌اند. همچنین، یکی از حساب‌ها ایمیلی تولید کرد که فرستندهٔ آن خود را نمایندهٔ یک سازمان روابط عمومی مستقر در شانگهای معرفی می‌کرد؛ سازمانی که مبادلات اقتصادی و فرهنگی میان ایالات متحده و شانگهای را ترویج می‌کند. از آنجا که نام شرکت به «نیمبوس»، به معنای ابر باران‌زا یا هاله، اشاره داشت، این عملیات را «دستورکار روزنهٔ امید» نامیدیم.

این حساب‌ها پیش‌نویس ایمیل‌هایی به زبان انگلیسی خطاب به مقام‌های ایالتی آمریکا یا تحلیلگران سیاست‌گذاری شاغل در حوزه‌های کسب‌وکار و مالی تولید می‌کردند. به نظر می‌رسید آن‌ها این گیرندگان را به ارائهٔ مشاوره در ازای دریافت دستمزد دعوت می‌کنند؛ کاری که آن را تفسیر سیاست‌ها و ارائهٔ توصیه‌های راهبردی به مشتریانشان توصیف می‌کردند. آن‌ها می‌خواستند پیش‌نویس ایمیل‌ها کوتاه، روشن و حرفه‌ای باشد و عنوان ایمیل‌ها با بهره‌گیری از نشانه‌های روان‌شناختی ظریف، حس فوریت ایجاد کند.

علاوه بر این، حساب‌های ChatGPT از مدل‌های ما برای جست‌وجوی اطلاعات عمومی استفاده می‌کردند و مدل ما با استفاده از منابع در دسترس عموم به آن‌ها پاسخ می‌داد. این جست‌وجوها موضوعات زیر را در بر می‌گرفت:

• محل ادارات دولت فدرال ایالات متحده، از جمله دفاتر اصلی، و فهرستی رتبه‌بندی‌شده از ایالت‌هایی که سازمان‌ها و مقام‌های فدرال در آن‌ها تمرکز بالایی دارند.

• توزیع کارکنان دولت فدرال ایالات متحده به تفکیک ایالت.

• افراد آمریکایی، مانند مجریان صدای آمریکا، از جمله مصاحبه‌های پیشین و موضوعات مورد علاقهٔ آن‌ها.

• انجمن‌های آنلاین و وب‌سایت‌های رایج میان متخصصان و جویندگان کار در حوزهٔ اقتصاد و امور مالی ایالات متحده.

نکتهٔ قابل‌توجه این بود که یکی از حساب‌ها دربارهٔ نحوهٔ دانلود و نصب FaceFusion روی رایانهٔ خود راهنمایی خواست؛ پلتفرمی برای دست‌کاری چهره که برای تعویض چهره و سایر روش‌های بهبود محتوای رسانه‌ای به کار می‌رود. طبق فعالیت ثبت‌شده در ChatGPT، آن‌ها گفته بودند که مشخصاً قصد دارند از قابلیت تعویض زندهٔ چهرهٔ این پلتفرم استفاده کنند. آن‌ها راهنمای نصب گام‌به‌گام و غیرفنی می‌خواستند و ادعا می‌کردند در برنامه‌نویسی رایانه تازه‌کارند؛ بنابراین دستورالعمل‌ها باید ساده می‌بود. برای کمک به فرایند نصب، تصویری از مشخصات سخت‌افزاری رایانهٔ خود بارگذاری کردند. مدل با اطلاعات برگرفته از وب‌سایت و مستندات عمومی FaceFusion پاسخ داد.

دستورهای آن‌ها برای تولید پیش‌نویس ایمیل با مدل‌های ما، بیش از آنکه به پیام‌های معمول استخدام شباهت داشته باشد، شبیه دستورکار⁠(در یک پنجره جدید باز می‌شود) مهندسی اجتماعی برای برقراری ارتباط از سوی یک سرویس اطلاعاتی خارجی بود. آن‌ها برای هر پیش‌نویس ایمیل، بخش‌های زیر را درخواست می‌کردند:

اعتبارسازی: آن‌ها «نیمبوس هاب» را شرکتی حرفه‌ای در زمینهٔ مشاورهٔ راهبردی معرفی می‌کردند که در ژئوپلیتیک و سیاست‌گذاری فراملی تخصص معتبر دارد. آن‌ها پیوندی به وب‌سایت نیمبوس هاب می‌گنجاندند (تصویر زیر را ببینید).

شخصی‌سازی و تملق‌گویی به فرد هدف: آن‌ها از مدل می‌خواستند صریحاً به سابقهٔ گیرنده در بخش دولتی استناد کند تا نشان دهد او دقیقاً فرد مناسب این نقش است. در یک مورد، حسابی تصاویری از پروفایل لینکدین یک فرد آمریکایی ساکن شانگهای بارگذاری کرد و از مدل خواست پیش‌نویس ایمیل را بر اساس متن‌های مربوط به تجربیات شخصی و پیشینهٔ آن فرد در تصاویر، شخصی‌سازی کند.

انباشت مشوق‌ها: پیشنهاد مشاوره معمولاً به‌صورت فرصتی آنلاین و پردرآمد، همراه با پاداش عملکرد و پاداش معرفی افراد دیگر، مطرح می‌شد تا وسوسه‌انگیز باشد؛ درحالی‌که ماهیت واقعی کار مبهم می‌ماند.

لحن اطمینان‌بخش و کاهش احساس خطر: آن‌ها اغلب ادعا می‌کردند که کار بی‌دردسر است، پرداخت‌ها به‌موقع انجام می‌شود و همکاری محرمانه می‌ماند.

انتقال سریع ارتباط به خارج از پلتفرم: آن‌ها همواره تلاش می‌کردند گیرندگان را از ایمیل به یک تماس تصویری آنلاین اولیه از طریق واتس‌اپ، زوم یا تیمز منتقل کنند.

تعاملات این شبکه‌ها با مدل در این پرونده از نظر فنی پیچیده نبود و درخواست‌هایشان گاهی به درخواست‌های ظاهراً موجه برای نوشتن دعوت‌نامهٔ استخدام یا نصب قانونی نرم‌افزار شباهت داشت. بااین‌حال، پنهان‌شدن کاربران پشت هویت جعلی یک شرکت و علاقهٔ آن‌ها به موضوعات ژئوپلیتیکی، از قصد احتمالی آن‌ها برای جذب افراد با اهداف خصمانه حکایت دارد.

بررسی نحوهٔ استفادهٔ این حساب‌ها از ChatGPT هیچ شواهدی نشان نداد که آن‌ها توانسته باشند افراد هدف را به پاسخ‌دادن به دعوت‌نامه‌هایشان ترغیب کنند. نتوانستیم به‌طور مستقل مشخص کنیم که آیا دعوت‌نامه‌های ایمیلی واقعاً ارسال شده‌اند یا هیچ‌یک از گیرندگان هدف به آن‌ها پاسخ داده‌اند.

چندین دولت دموکراتیک (از جمله ایالات متحده⁠(در یک پنجره جدید باز می‌شود)، بریتانیا⁠(در یک پنجره جدید باز می‌شود) و استرالیا⁠(در یک پنجره جدید باز می‌شود)) هشدار داده‌اند که سرویس‌های اطلاعاتی خارجی با جا زدن خود به‌عنوان شرکت‌های مشاوره و نهادهای دیگر در پلتفرم‌های شبکه‌سازی اجتماعی و حرفه‌ای، کارکنان فعلی و سابق دولت را برای جذب هدف قرار می‌دهند. تشخیص پیام‌های معمول استخدام از این شیوه‌های هدفمند مهندسی اجتماعی ممکن است دشوار باشد، زیرا برخی ویژگی‌های آن‌ها مشابه است. بااین‌حال، پیام‌های معتبر استخدام معمولاً برای فرایندهای گزینش طولانی‌تر تنظیم می‌شوند و شامل اطلاعات قابل‌راستی‌آزمایی دربارهٔ عنوان شغلی، جزئیات معتبر دربارهٔ کارفرما، بازه‌های معقول دستمزد متناسب با بازار و پیوندهایی به آگهی‌های واقعی استخدام هستند. خلاصه اینکه اگر پیشنهادی آن‌قدر خوب است که باورکردنی نیست، احتمالاً واقعی هم نیست.