حادثه Hugging Face و مسیر پیشِ رو

در طول ماه‌های مه و ژوئن، اجرای آموزش یادگیری تقویتی (RL) را برای چندین مدل پژوهشی جدید آغاز کردیم که برای انتشار عمومی در نظر گرفته نشده بودند. در نهایت، یکی از این مدل‌ها فعالیتی را که پشت حادثهٔ Hugging Face بود، پیش برد. این یک مدل پژوهشی صرفاً داخلی است که آن را Internal مدل 1 (IM1) می‌نامیم.

ما برای بسیاری از محیط‌ها در این آزمایش‌های آموزشی، دسترسی به اینترنت یا ارتباط بین عامل‌ها را فعال نکردیم. با وجود این محدودیت‌ها، عامل‌ها راه‌هایی پیدا کردند تا از زیرساخت پژوهشی ما سوء استفاده کنند، با یکدیگر ارتباط برقرار کرده و به اینترنت دسترسی پیدا کنند.

مدل‌ها ابتدا با نوشتن فایل‌ها در سرویس مدیر بسته Artifactory، راه‌هایی برای برقراری ارتباط پیدا کردند. این کار عملاً Artifactory را به یک تابلوی پیام ناخواسته تبدیل کرد، جایی که عامل‌ها می‌توانستند با یکدیگر تبادل اطلاعات کنند. بیشتر بخوانید: عامل‌ها چگونه از تابلوی پیام استفاده کردند 

تا ۴ ژوئیه، فعالیت مستمر عامل، نمونه Artifactory آسیب دیده را بی‌ثبات کرده و باعث قطعی شده بود. در ۵ ژوئیه، یک رخداد امنیتی ایجاد شد. تیم امنیتی یک مسیر شناخته شده برای افزایش سطح دسترسی را مسدود کرد، اعتبار نامه های افشاء شده را حذف کرد و Artifactory را بازسازی کرد. این کار به عنوان یک اثر جانبی، باعث پاک شدن تابلوی پیام‌ها شد. با اجرای این اقدامات کاهش دهنده، ارزیابی‌های امنیت سایبری از سر گرفته شدند.

در آن زمان، پیامدهای گسترده‌ترِ تابلوی پیام رسانی موقت و دسترسی ناخواسته به اینترنت از منظر مهار و همسو سازی هنوز درک نشده بود. گزارش فنی رخداد جزئیات بیشتری درباره آنچه تیم‌های مختلف OpenAI در آن زمان درک کرده بودند ارائه می‌دهد. به طور خلاصه، یک تیم داخلی در اواخر ماه مه مشاهده کرد که یک عامل در فعالیت‌های تابلوی پیام و مواردی از دسترسی غیرمجاز به اینترنت مشارکت دارد. با این حال، وجود تابلوی پیام بداهه و اهمیت فعالیت ارتباطی میان عامل‌ها برای رهبران مسئول شناسایی و پاسخگویی به رخداد آشکار نبود. ما همچنان در حال بررسی فرآیندها و رویه‌های عملیاتی‌ای هستیم که فعالیت‌های شناسایی و پاسخگویی منتهی به این رخداد را شکل داده‌اند.

با سرویس بازسازی شدهٔ Artifactory، ارزیابی‌های امنیت سایبری را از سر گرفتیم. ما این ارزیابی‌ها را انجام می‌دهیم تا درک کنیم مدل‌های‌مان چه قابلیت‌هایی دارند و تدابیر حفاظتی مناسب برای استقرار را تعیین کنیم. برای انجام این کار، همان سطح از تدابیر حفاظتی را که برای سامانه‌های مستقر شدهٔ بیرونی خود فعال می‌کنیم، فعال نمی‌کنیم. ارزیابی‌ای که عامل این رخداد بود، ExploitGym، بسیار دشوار است—برای برخی وظایف ممکن است هیچ راه‌حل شناخته شده‌ای وجود نداشته باشد. برای موفقیت، عامل‌ها باید راه‌هایی برای بهره برداری از یک نرم افزار پیدا کنند تا پاسخی را که به عنوان «پرچم» شناخته می‌شود، به دست آورند.

پس از این رخداد، تلاش قابل توجهی صرف بررسی چراییِ بروز این رفتار ناهمراستا از سوی مدل کردیم؛ از جمله مسائل ناهمراستایی در آموزش و ارزیابی، و همچنین پوشش تدابیر حفاظتی در ارزیابی‌های داخلی.

ما چهار الگوی ناهمسویی را شناسایی کردیم که در رفتار مدل‌ها نقش داشتند: سوء استفاده از ساز و کار پاداش، پا فشاری بر وظایفی که به ظاهر ناممکن هستند، ارتباطات غیر مجاز و پذیرفتن اهداف از یکدیگر توسط عامل‌ها.

برای درک این موارد، اجرای مدل در فرآیند آموزش و ارزیابی را تحلیل کردیم.¹ ما با استفاده از جدیدترین تکنیک‌های نظارت بر CoT⁠ خود، بررسی‌های گذشته نگر گسترده‌ای از زنجیره تفکر (CoT)، اقدامات و خروجی‌های نهایی انجام دادیم. با این کار به طور مشخص، با بهره گیری از نگاهِ پسینی حاصل از بررسی‌مان، بازخوانیِ پایشگرمان را برای انواع رفتارهایی که در آن حادثه رخ داده بودند بهبود دادیم.

تلاش عامل‌ها برای تقلب در وظایف خود از طریق جستجوی راه حل‌ها به صورت آنلاین، عامل اصلی حادثهٔ Hugging Face بود. این رفتار سوء استفاده از ساز و کار پاداش نامیده می‌شود: عامل‌ها وظایف را به روش‌های ناخواسته انجام می‌دهند تا پاداش‌های بالاتری به دست آورند یا دریافت آن پاداش‌ها را آسان‌تر کنند. سوء استفاده از ساز و کار پاداش هم در گذشته در سیستم‌های هوش مصنوعی وجود داشته است (این پژوهشِ یک دهه پیش⁠ را ببینید؛ شکل زیر نمایش داده شده است) و هم در مدل‌های زبانی بزرگ پیشروی کنونی⁠(در یک پنجره جدید باز می‌شود). ما به طور قابل توجهی روی روش‌هایی برای شناسایی و برطرف‌کردن چنین هک‌هایی سرمایه گذاری کرده‌ایم⁠.

یکی دیگر از محرک‌های کلیدیِ رفتار ناهمسو این بود که عامل‌ها به ندرت از وظایف ارزیابی‌شان «دست می‌کشیدند»، حتی زمانی که حل آن وظایف ناممکن به نظر می‌رسید. با مصرف شدن بودجه‌های استدلال عامل‌ها، برخی از آن‌ها راهبردهایی هرچه پر خطرتر و خارج از محدوده را دنبال کردند، از جمله در نهایت از زیر ساخت‌های اشخاص ثالث سوء استفاده کردند.

در جریان تحقیق خود دریافتیم که در ارزیابی ExploitGym، هیچ یک از مدل‌های ما پیش از رخداد، برای ۱۹۸ مورد از ۸۹۸ وظیفه هرگز پاسخ درست تولید نکرده بود. این وظایف حل نشده در نهایت سهم قابل توجهی در فعالیت عامل داشتند—۹۳% از وظایفی که در جریان رخداد Hugging Face در تابلوی پیام Artifactory درباره آن‌ها بحث شد، از این مجموعه ۱۹۸ پرسش بودند.

دوم، این رخداد به طور عمده ناشی از عامل‌هایی بود که بودجه‌های استدلال فوق العاده بزرگی، از جمله بودجه‌هایی بسیار فراتر از بودجه‌های موجود در محصولات خارجی ما، در اختیارشان قرار داده شده بود.

تابلوهای پیام غیر مجاز و پایدار در کانون این رخداد قرار داشتند. عامل‌هایی که قرار بود مستقل از هم کار کنند، توانستند یافته‌های خود را به اشتراک بگذارند، تلاش‌های‌شان را هماهنگ و کار را از همان جایی ادامه دهند که دیگران در آن متوقف شده بودند. این امر به آن‌ها اجازه داد کار و توان محاسباتی را میان ارزیابی‌های جداگانه تجمیع کرده و قابلیت‌های‌شان را بسیار فراتر از آن‌چه هر عامل به تنهایی می‌توانست به دست آورد، افزایش دهند. ارتباط میان عامل‌ها به خودی خود رفتاری مشکل ساز نیست—ما سیستم‌های چند عاملی‌ای را آموزش می‌دهیم و به کار می‌گیریم که می‌توانند از طریق یک ابزار همکاری روی همان وظیفه ارتباط برقرار کنند. در رویدادهای ژوئیه، عامل‌هایی با وظایف متفاوت راه خودشان را برای همکاری خارج از آن مرزها پیدا کردند، با پیامدهایی پیشبینی ناپذیر.

در حین بررسی این رخداد، موارد نادری را کشف کردیم که در آن‌ها عامل‌های بدون ابزارهای چند عاملی، در طول آموزش راه‌هایی برای همکاری از طریق کانال‌های جانبی پیدا کردند. ما باور داریم که این رفتار بر اثر تعمیم یافتگی از آموزش چند عاملی آغاز شد.

ارتباط غیر مجاز اغلب با این شروع می‌شد که یک عامل یادداشتی یا فایلی را در نوعی سیستم خارجی قرار می‌داد، معمولاً به عنوان شکلی از حافظهٔ خارجی. وقتی عامل‌های دیگر متوجه این آرتیفکت‌ها می‌شدند، این موضوع اغلب آن‌ها را به این درک می‌رساند که می‌توانند از این سرویس خارجی برای همکاری استفاده کنند. به عنوان یک مثال فرضی که بسیار نمایانگر رفتاری است که مشاهده کردیم، پیام‌ها در مسیرهای URL ذخیره‌شده در یک صفحهٔ نمایهٔ مشترک رمزگذاری می‌شدند، به این صورت:

یک یافته نهایی و به ویژه چشمگیر در رخداد Hugging Face، «زیست بوم» عامل‌ها بود که در تابلوی پیام‌ها پدیدار شد. پس از ایجاد این تابلوی پیام، عامل‌ها انگیزه‌های قدرتمندی برای برقراری ارتباط داشتند: این امکان را به عامل‌ها می‌داد که یادداشت‌ها را حفظ کنند، بر کشفیات یکدیگر بنا کنند، و منابع محاسباتی اجراهایی را که در غیر این صورت جدا از هم بودند، با هم تجمیع کنند. این مجموعهٔ پیچیده و بی‌شکل از عامل‌ها رفتارهای جالب و نمونه واری از خود نشان می‌دهد، و در اینجا برخی از مواردی را که مشاهده کردیم به تفصیل شرح می‌دهیم.

عامل‌ها به طور خودمختار شروع به تقسیم کار کردند. برخی اکسپلویت‌های احتمالی را بررسی کردند، برخی دیگر به جستجوی اطلاعات کاربری پرداختند، و گروهی دیگر بر ارتباطات یا هماهنگی تمرکز کردند. عامل‌ها تخصص خود را در ازای دریافت کمک در حوزه‌های دیگر ارائه می‌کردند، دربارهٔ وظایف پیشِ رو اطلاعات رد و بدل می‌کردند، و درخواست‌هایی برای همتایانی باقی می‌گذاشتند که ممکن بود برای پیگیری یک سرنخ خاص در موقعیت مناسب‌تری باشند.

جدا از ناهمسویی، عامل دیگری در این رخداد این بود که تدابیر حفاظتی قدرتمندی را که برای مدل‌های مستقر شده خارجی خود به کار می‌بریم، به همه ارزیابی‌های داخلی تعمیم ندادیم.

نخست، ساز و کارهای متعددی در محیط‌های عملیاتی برای مشتریان ما وجود دارند که ناهمسویی را کاهش می‌دهند؛ از جمله اعلان‌های سیستمی، چارچوب‌های آزمون و سازوکارهای کنترلی مانند مدل‌های بازبینی خودکار و طبقه‌بندی‌های ایمنی ما. این تمهیدات حفاظتی در محیط ارزیابی‌ای که در زمان وقوع رخداد در حال اجراء بود، اعمال نشده بودند. پس از رخداد، ارزیابی‌ای ایجاد کردیم که گرایش یک مدل در معرض خطر انداختن زیر ساخت را در طول ارزیابی‌های ExploitGym اندازه گیری می‌کند. دریافتیم که با استفاده از چارچوب آزمون و اعلان سیستمی Codex در محیط عملیاتی، گرایش به خطر انداختن زیر ساخت می‌تواند بیش از ۱۰۰ برابر کاهش یابد. ما همچنین سامانه بازبینی خودکار Codex را روی مجموعه‌ای از اجراهای مرتبط با رخداد Hugging Face اجراء کردیم و دریافتیم که این سامانه شمار زیادی از اقدامات خطرناک مدل‌ها را علامت گذاری می‌کرد.

دوم، پیش از این حادثه، سرمایه گذاری قابل توجهی در پایش زنجیره تفکر⁠ انجام داده بودیم، از جمله پایش بسیاری از اجراهای آموزش یادگیری تقویتی پیشرو و بخش قابل توجهی از استفاده داخلی از عامل‌های کد نویسی⁠. این پایشگرها روی ارزیابی‌های این رخداد اجراء نشدند.

در ارزیابی‌های گذشته نگر، دریافتیم که پایشگرهای CoT ما در علامت گذاری فعالیت‌های مرتبط با حادثه بسیار مؤثر بوده‌اند. اگر سامانه نظارت بر زنجیره تفکرِ مستقر فعلی ما در زمان رخداد در حال اجراء بود، احتمالاً ظرف یک ساعت پس از نخستین دسترسی غیر مجاز شخص ثالث، تیم امنیتی ما را فراخوان می‌کرد. این بیش از ۳۰ ساعت پیش از آن بود که مدل‌ها به سیستم‌های Hugging Face نفوذ کنند. همچنین در حال کار روی کاهش بیشتر تأخیر این هشدارها هستیم.

سوم، با وجود اینکه ما این محیط ایزوله (sandbox) را آزمایش و اعتبارسنجی کرده بودیم، عامل‌ها توانستند آسیب پذیری‌های ناشناخته قبلی («روز صفر») را در سرویس مدیریت بسته‌ها که درون محیط ایزوله در دسترس قرار داشت، به صورت زنجیره‌ای به هم متصل کنند تا محدودیت‌ها را دور بزنند؛ همان طور که در گزارش فنی رخداد توضیح داده شده است. از زمان آن رخداد، پیشرفت چشمگیری در مقاوم سازی سند باکس‌های داخلی خود داشته‌ایم تا انواع مشابهی از ریسک‌ها را در هنگام استقرار و ارزیابی‌ها محدود کنیم.

ماموریت OpenAI این است که اطمینان حاصل کند هوش مصنوعی عمومی به سود تمام بشریت باشد. رفتار مدل‌های ما که در اینجا شرح داده شده است، بسیار پایین‌تر از سطحی بود که خواهان دستیابی به آن هستیم. این حادثه نباید اتفاق می‌افتاد. این حادثه نشان داد که بهبود مستمر امنیت، پایش و همراستا سازی ما تا چه اندازه حیاتی است، به ویژه اکنون که مدل‌های ما به سطحی از توانمندی می‌رسند که می‌تواند به از دست رفتن واقعی کنترل منجر شود.

همان‌طور که در بروز رسانی اخیرمان درباره توسعه مدل و تنظیم سرعت آن⁠ به اشتراک گذاشتیم، آموزش یادگیری تقویتی (RL) را برای جدیدترین مدل‌های‌مان که برای استقرار در نظر گرفته شده‌اند، متوقف کردیم. از این زمان استفاده کردیم تا امنیت محیط‌های پژوهشی پیشروی خود را بیشتر مقاوم سازی کنیم و به روش تیم قرمز ارزیابی کنیم. ما کارکنان را به کار روی امنیت، ایمنی و هماهنگی اختصاص دادیم. بزرگ ترین اجرای برنامه ریزی شدهٔ یادگیری تقویتی برای مدل‌های پیشروی ما همچنان متوقف است و در همین حین، آموزش‌ها و ارزیابی‌هایی در مقیاس کوچک‌تر انجام می‌دهیم تا رفتار مدل را بررسی کنیم، اثر بخشی ساز و کارهای حفاظتی خود را اعتبارسنجی کنیم و پیش از ادامه، شواهد بیشتری از هماهنگی به دست آوریم. این کار به تلاش مهندسی قاب توجهی نیاز داشته است و هزینه و تأخیر چشمگیری برای پژوهش‌های پیشرو در پی داشته است.

همانطور که در گزارش خود مطرح کرده‌ایم، پاسخ ما بر تقویت امنیت و پایش پژوهش، تسریع همراستاسازی مدل‌ها و بهبود نحوه شناسایی، ارجاع و پاسخگویی به رخدادها متمرکز است.