مدیریت ریسک هوش مصنوعی پیشرو: از آموزش تا استقرار
۱۸ نوامبر ۲۰۲۶ · ایمنی
قابلیتهای مدلهای پیشرو با شتاب در حال رشد است و توانایی ما برای درک، همراستا کردن و ایمنسازی آنها باید از این رشد جلوتر بماند. ما آهنگ توسعه و انتشار مدلها را تنظیم میکنیم؛ از جمله با توقف موقت آموزش داخلی(در یک پنجره جدید باز میشود) یا به تعویق انداختن انتشار مدلهایی مانند GPT‑6.1 Astra، زمانی که برای رسیدن به استانداردهای ایمنی به زمان بیشتری نیاز داریم. فرایندهای تازهای مانند پروندههای ایمنی معرفی کردهایم و در سراسر آموزش، شواهد قویتری از رفتار همراستا میخواهیم. این الزامات انتشار مدلها را کندتر میکنند، اما به ما اطمینان بیشتری برای پیشروی ایمن میدهند.
از زمان رخداد Hugging Face در ژوئیه، سازوکارهای حفاظتی و الزامات همراستایی را برای نحوهٔ آموزش، آزمودن و استقرار مدلها تقویت کردهایم. این مطلب توضیح میدهد که چگونه ریسک را در هر مرحله، از محیطهای آموزشی بهشدت ایزوله تا نسخهٔ مستقر Codex روی رایانهٔ شما، ارزیابی و مدیریت میکنیم. در هر مرحله، هم مدلها و هم سازوکارهای حفاظتی را ارزیابی میکنیم و ورود به مرحلهٔ بعد را به بازبینی ایمنی مشروط میکنیم.
ما از دفاع در عمق با چندین لایهٔ حفاظتی استفاده میکنیم تا وابستگی به هر سازوکار حفاظتیِ منفرد کاهش یابد. اگر یک لایه از کار بیفتد، لایههای دیگر به جلوگیری از آسیب، محدود کردن پیامدها یا هشدار دادن به ما برای مداخله کمک میکنند.
تدابیر حفاظتی خود را در چهار لایه سازماندهی میکنیم:
پایش مؤثر به پایشپذیری مدل بستگی دارد؛ یعنی سامانههای پایش با چه میزان اطمینان میتوانند اشتباهات یا رفتار ناایمن را از استدلال و اقدامات مدل تشخیص دهند. برای مثال، مدلی که قصد خود برای تقلب را در زنجیره تفکر (CoT) بیان میکند، از مدلی که این اطلاعات را حذف میکند پایشپذیرتر است. پایشپذیری را هنگام آموزش و پیش از استقرار ارزیابی میکنیم، روشهای بهتری برای سنجش(در یک پنجره جدید باز میشود) آن توسعه میدهیم و عوامل مؤثر بر آن را مطالعه میکنیم(در یک پنجره جدید باز میشود).
رخداد Hugging Face نشان داد چرا برای مهار مدلهای بسیار توانمند نباید تنها به محیطهای ایزوله تکیه کنیم. اکنون مدلهای پیشرو را در بیشتر محیطهای استقرار داخلی و بیرونی پایش میکنیم، از جمله همهٔ استقرارهای داخلی که از ابزار استفاده میکنند.
نقش هر لایه در سه مرحلهٔ توسعه و استقرار مدل تغییر میکند:
پژوهش: مدلها را در محیطهای ایزوله آموزش میدهیم، میآزماییم و به کار میگیریم.
استقرار داخلی: کارکنان OpenAI از مدلها برای کارهای عملی استفاده میکنند.
استقرار بیرونی: مدلها بهصورت گستردهتر در دسترس افراد و سازمانها قرار میگیرند.
در مراحل مختلف بر لایههای متفاوتی تکیه میکنیم. هنگام آموزش، که اطمینان کمتری به همراستایی داریم، بیشتر به ایزولهسازی و پایش متکی هستیم. با گسترش دسترسی مدلها هنگام استقرار، همراستایی و کنترلهای سطح سیستم اهمیت بیشتری پیدا میکنند. در هر مرحله ارزیابی میکنیم که آیا مجموع تدابیر حفاظتی با توجه به قابلیتها و دسترسی مدل کافی است یا نه. تصمیمهای ما ممکن است با گروه مشورتی ایمنی بازبینی شوند و تحت نظارت کمیتهٔ ایمنی و امنیتِ هیئتمدیرهٔ OpenAI Foundation قرار گیرند.
در مرحلهٔ پژوهش، مدلها را ارزیابی میکنیم تا از ویژگیهای همراستایی آنها اطمینان پیدا کنیم. چون هنوز نمیتوانیم برای جلوگیری از آسیب کاملاً به همراستایی تکیه کنیم، برای محدود کردن دسترسی و اقدامات مدلها بهشدت به امنیت و ایزولهسازی متکی هستیم.
با توجه به وضعیت کنونی پژوهش همراستایی، سیستمهای پایش و امنیت زیرساخت اینترنت، معتقدیم رویکرد مسئولانه این است که مدلهای پیشرو را بدون دسترسی زنده به اینترنت آموزش دهیم. پس از رخداد Hugging Face، ساختار سیستمهای پژوهشی داخلی خود را بهطور چشمگیری تغییر دادیم تا مدلها را با این ابزارها مهار کنیم:
محیطهای ایزوله که مجوزهای مدل را محدود میکنند
ماشینهای مجازی برای جداسازی بیشتر بار کاری از رایانهٔ میزبان
مرزهای امنیتی شبکه و ابر که کل خوشه را از اینترنت جدا میکنند
این سیستم را پیوسته با آزمونهای تیم قرمز میسنجیم؛ گروههایی از قویترین مدلهایمان تلاش میکنند به اینترنت زنده دست یابند، از مرزهای امنیتی بگذرند یا با عاملهایی ارتباط برقرار کنند که باید از آنها جدا باشند. این کار کمک میکند بیازماییم که آیا مهار در برابر قابلیتهای مدلهایی که برای محدود کردنشان طراحی شده است دوام میآورد یا نه.
بهعنوان یک لایهٔ دفاعی دیگر، تمام اجراهای استنتاج مدلهای پیشرو را پایش میکنیم تا دور زدن اصول ثابت امنیتی را تشخیص دهیم. اگر پایش نشان دهد که مدل به اینترنت دست یافته است، به تیمهای امنیتی هشدار فوری میدهیم و بار کاری را خودکار متوقف میکنیم.
وقتی مهار شکست میخورد، پایش نقش پشتوانهای حیاتی را دارد. در گزارش اخیر ناهمراستایی توضیح دادیم که سامانههای پایش سوءاستفادهٔ یک مدل پژوهشی داخلی از پیکربندی نادرست DNS را شناسایی کردند(در یک پنجره جدید باز میشود)؛ مدل از این راه به دسترسی محدودی به اینترنت رسیده بود. از ۲۰ سپتامبر تا ۱ اکتبر، آموزش و ارزیابی توانمندترین مدلهایمان را متوقف کردیم تا موضوع را بررسی و شکاف امنیتی را برطرف کنیم.
برای مداخلهٔ سریع و قابلاعتماد، Control Room را ساختیم؛ سیستمی مرکزی که بارهای کاری پژوهشی را ردیابی میکند و ظرف ۳۵ ثانیه پس از دریافت دستور توقف کار، تولید خروجی بیشتر مدل را متوقف میکند. این کنترلها مستقیماً در زیرساخت استنتاج اعمال میشوند؛ بنابراین به پیادهسازی سازوکار توقف جداگانه در هر بار کاری پژوهشی وابسته نیستند. برای بارهای کاری پژوهشی مدلهای پیشرو، اگر Control Room از دسترس خارج شود نیز این کنترلها خروجی مدل را متوقف میکنند.
آزمونهای تیم قرمز و پایش مکمل یکدیگرند. نمیتوانیم تضمین کنیم که محیط ایزوله نفوذناپذیر است، اما آزمونهای تیم قرمز کمک میکنند بسنجیم مدل برای خروج از آن به چه میزان تلاش نیاز دارد. هرچه مدل به تلاش بیشتری نیاز داشته باشد، فرصت سامانههای پایش برای شناسایی و متوقف کردن آن بیشتر میشود.
به چند دلیل، کنترلهای قوی امنیتی و پایش را در مرحلهٔ پژوهش الزامی میدانیم:
مدلها هنوز در حال ارزیابی هستند. برخی هنوز آموزش ایمنی، ممیزیهای همراستایی و بازبینیهای لازم برای انتشار عمومی را تکمیل نکردهاند.
محیطهای پژوهشی پیشرو میتوانند ریسکها را تشدید کنند. برخی فعالیتهای پژوهشی به پیکربندیهای بلندپروازانهتری نیاز دارند که مدل را پیگیرتر یا توانمندتر از حالت معمول در استقرار بیرونی میکنند؛ برای مثال، حل مسئلهٔ ناویه–استوکس به گروهی متشکل از ۱۰٬۰۰۰ عامل نیاز داشت.
آموزش در مقیاس وسیع با نظارت مستقیم انسانی کمتر انجام میشود. برخلاف یک نشست معمول Codex، بارهای کاری آموزشی ما شامل تعداد زیادی اقدام مدل هستند، بدون آنکه فردی تکتک تعاملها را دنبال کند.
پیش از انتشار گسترده، کارکنان از کاربرد پژوهشی مدلهای پیشرو در محیط ایزوله به استفادهٔ داخلی از آنها خارج از محیط ایزوله روی میآورند؛ برای مثال، مدل در ChatGPT در دسترس کارکنان قرار میگیرد. این کار درک بهتری از رفتار مدلها در محیطهای عملی(در یک پنجره جدید باز میشود) به ما میدهد و به تصمیمگیری دربارهٔ استقرار کمک میکند.
در این مرحله، به مدل دسترسی گستردهتری به اینترنت، Slack سازمانی، پایگاه کد و زیرساخت داخلی خود میدهیم. این تغییر مهمی در ریسک است، زیرا اقدامات مدل اکنون مستقیماً بر سیستمهایی اثر میگذارند که برای توسعه و ادارهٔ OpenAI استفاده میکنیم. هنگام استقرار داخلی، باید بیش از کنترلهای امنیتی بر همراستایی مدل، سازوکارهای حفاظتی سیستم و پایش تکیه کنیم.
پیش از استقرار مدل پیشرو خارج از محیط ایزوله، مدل باید آزمونهای همراستایی و پایشپذیری(در یک پنجره جدید باز میشود) را پشت سر بگذارد. مجموعهٔ ارزیابیهای همراستایی ما هم حالتهای مشخص شکست همراستایی، مانند دور زدن محدودیتهای ایمنی و امنیتی، را میآزماید و هم گرایشهای کلی را میسنجد؛ مثلاً با نمونهگیری مجدد از مسیرهای اجرای داخلی Codex و بررسی ناهمراستایی. دربارهٔ ارزیابیهای همراستایی و پایشپذیری ما در تازهترین کارت سیستم GPT‑6 Astra(در یک پنجره جدید باز میشود) بیشتر بخوانید.
با الگوبرداری از پیکربندیهای محیط عملیاتی خود، لایهٔ دفاعی دیگری با دستهبندهای سطح سیستم اضافه میکنیم که برای محافظت در برابر آسیبهای ناشی از قابلیتهای پیشرو، مانند سوءاستفادهٔ سایبری و ساخت سلاح زیستی، طراحی شدهاند. همچنین معمولاً کارکنانِ استفادهکننده از Codex را ملزم به استفاده از Auto-Review(در یک پنجره جدید باز میشود) میکنیم؛ این ابزار اقدامات بالقوه پرخطر را ارزیابی میکند و برای تصمیمگیری به کاربر ارجاع میدهد.
در نهایت، هنگام استقرار داخلی، هر اجرای استنتاج مدلهای پیشرو را از نظر رفتار ناهمراستا پایش میکنیم. از آنجا که مدل اکنون مجوزهای گستردهتر و دسترسی به اطلاعات و سیستمهای داخلی دارد، شناسایی ریسکهایی مانند استخراج غیرمجاز داده یا ارسال دادههای حساس به مقصدی غیرمجاز اهمیت ویژهای پیدا میکند. پایش همچنین به ما کمک میکند شکلهای تازهٔ ناهمراستایی(در یک پنجره جدید باز میشود) را بررسی کنیم.
استقرار عمومی، مدلها را در معرض کاربران، وظایف و محیطهای بسیار بیشتری قرار میدهد و هم مقیاس و هم تنوع ریسکها را افزایش میدهد. در این مرحله، باید در برابر افراد بالقوه بدخواهی نیز محافظت ایجاد کنیم که عمداً مدل را به انجام کارهای آسیبزا هدایت میکنند.
پیش از انتشار عمومی، مدلها و سازوکارهای حفاظتی سیستم باید الزامات ایمنی ما برای استقرار بیرونی را برآورده کنند. آنها را از این راهها ارزیابی میکنیم:
اجرای مجموعهٔ گستردهتری از ارزیابیهای همراستایی و ایمنی. برای مدلهای پیشرو، این کار شامل اجرای دورهای تازهٔ آزمون تطبیقی با ابزارهای خودکار تیم قرمز داخلی است تا استحکام مدل را تحت فشار بیازماییم. نتایج ارزیابی قابلیتها و ایمنی را در کارتهای سیستم(در یک پنجره جدید باز میشود) منتشر میکنیم.
برای توانمندترین مدلهایمان، با همکاری طرفهای ثالث نیز آزمون انجام میدهیم تا هم سازوکارهای حفاظتی در برابر سوءاستفاده و هم همراستایی بنیادی مدلها را تحت فشار بیازماییم.
بررسی هشدارهای پایش در مرحلهٔ استقرار داخلی برای پیگیری هرگونه تغییر در همراستایی بنیادی مدل پایه.
علاوه بر سازوکارهای حفاظتی «همزمان»، مانند آموزش ایمنی مدل و دستهبندهای سیستم، در استقرار بیرونی از بررسی و اجرای مقررات بهصورت آفلاین نیز بهره میبریم. این تیمها با ترکیبی از عاملهای بررسیکننده در مقیاس وسیع و بازبینی انسانی، عوامل تهدید بالقوه را شناسایی میکنند؛ از سوءاستفادهٔ سایبری، ساخت سلاح زیستی و تقطیر گرفته تا ناهمراستایی خود مدل. اجرای آفلاین مقررات بهویژه برای گردآوری اطلاعات از حسابهای مختلف و ترسیم تصویری جامعتر از یک تهدید بالقوه مفید است.
برنامههای دسترسی مورداعتماد، مانند Daybreak و Rosalind، لایهٔ امنیتی دیگری فراهم میکنند و ضمن محدود کردن دسترسی مهاجمان احتمالی، کار مدافعان و پژوهشگران مشروع را سرعت میبخشند.
وقتی متوجه نقصی در یکی از لایههای ایمنی میشویم، چه آسیبی واقعاً رخ داده باشد چه نه، میخواهیم سریعاً آن را بررسی و اولویتبندی کنیم و در صورت امکان و مناسب بودن، آن را بیرون از سازمان افشا کنیم. طبق سیاست گزارشدهی ناهمراستایی ما، هر کارمند میتواند رخدادی را برای افشای عمومی مطرح کند. این گزارشها بررسی میشوند و اگر دربارهٔ افشای بیرونی آنها اختلافنظر وجود داشته باشد، تصمیمگیری به گروه مشورتی ایمنی ارجاع میشود. علاوه بر اتکا به گزارشهای کارکنان، فعالانه به دنبال رخدادهای ناهمراستایی میگردیم تا به آنها رسیدگی کنیم و یافتهها را به اشتراک بگذاریم.
گزارشهای ناهمراستایی ما را میتوانید اینجا(در یک پنجره جدید باز میشود) ببینید.
این کار هم به پیشرفت پژوهش وابسته است و هم به انضباط عملیاتی: پیکربندی درست کنترلها، آزمودن تعامل آنها و واکنش قاطع هنگام شکستشان. پیکربندی نادرست یک سرویس شبکه یا عمل نکردن توقف خودکار میتواند تدابیر حفاظتیِ در غیر این صورت قوی را تضعیف کند.
با کسب قابلیتهای تازه توسط مدلها، باید پیوسته فرضهای زیربنایی سازوکارهای حفاظتی را به چالش بکشیم و در صورت نیاز آنها را بهبود دهیم. درسهای پژوهش، استفادهٔ داخلی و استقرار عمومی باید راهنمای آموزش، ارزیابی و استقرار مدلهای بعدی باشند.
یافتهها را همچنان از طریق کارتهای سیستم، گزارشهای رخداد، گزارشهای ریسک(در یک پنجره جدید باز میشود) استقرار داخلی و ارزیابیهای بیرونی منتشر میکنیم تا دیگران بتوانند رویکرد ما، از جمله محدودیتهایش، را موشکافانه بررسی کنند. هرگاه این شواهد به معیار ایمنی ما نرسند، دوباره آموزش را متوقف میکنیم یا انتشار را تا برآورده شدن الزامات به تعویق میاندازیم.
تعیین استانداردهای ایمنی
تنظیم سرعت توسعهٔ مدلها در عصر قابلیتهای سایبری در سطح «بحرانی» — چگونه همزمان با تقویت سازوکارهای مهار، گسترش پایش و الزام به ارائهٔ شواهد قویتر دربارهٔ همراستایی، سرعت آموزش مدلهای پیشرو را کاهش دادیم.
بهسوی پروندههای ایمنی برای آموزش هوش مصنوعی پیشرو — رهنمودهای اولیه برای استدلالهای ایمنی مبتنی بر شواهد، شامل سازوکارهای حفاظتی فنی، رویههای عملیاتی و بررسی ناهمراستایی.
اولویتها و اصول ارزیابی مؤثر توسط طرفهای ثالث — رویکرد پیشنهادی ما برای بررسی موشکافانه و مستقل پروندههای ایمنی، سازوکارهای حفاظتی، ارزیابیها و رفتار مدل.
خلاصهٔ دورهای ارزیابی ریسکهای فاجعهبار استفادهٔ داخلی(در یک پنجره جدید باز میشود) — گزارش عمومی ما برای ژوئن تا سپتامبر ۲۰۲۶، استقرارهای داخلی مدلهای پیشرو، ریسکهای ارزیابیشده و تغییرات سازوکارهای حفاظتی و حکمرانی را شرح میدهد.
تعریف و ارزیابی رفتار همراستا
جزئیات مدلِ بهروز برای هوش مصنوعی توانمندتر و سودمندتر — چگونه جزئیات مدل را حول پنج ارزش محوری بهروز کردیم تا قضاوت، رفتار و احترام مدلها به نظارت انسانی را هدایت کند.
شکاف رفتار ارزیابی و محیط عملیاتی در ایمنی عامل و نقش آگاهی از ارزیابی(در یک پنجره جدید باز میشود) — مطالعهٔ تفاوت نتایج ارزیابی ایمنی با رفتار عملیاتی، از جمله اثر برداشت مدلها از اهداف ارزیابی بر عملکردشان.
فراتر از g-mean²: معیارهای مکمل پایشپذیری(در یک پنجره جدید باز میشود) — معیارهای تازه برای مقایسهٔ پایشپذیری و برآورد ریسک باقیمانده در سیستمهای شبیهسازیشدهای که سامانههای پایش در آنها خروجی مدل را رد میکنند.
کارت سیستم GPT‑6 Astra(در یک پنجره جدید باز میشود) — ارزیابیهای تفصیلی قابلیتها، ایمنی، همراستایی و پایشپذیری Astra، همراه با سازوکارهای حفاظتی استقرار و محدودیتهای آن.
مهار مدلها و بهبود سازوکارهای حفاظتی
ایمنسازی محیط آموزش مدلهای پیشروی ما — چگونه ایزولهسازی را تقویت کردیم، محیطهای پژوهشی آفلاین ساختیم و قویترین مدلهایمان را برای آزمودن مرزهای مهار به کار گرفتیم.
آموزش دستهبندهای فعالسازی برای ایمنی و همراستایی(در یک پنجره جدید باز میشود) — چگونه دستهبندها از فعالسازیهای داخلی مدل برای تشخیص رفتار بالقوه آسیبزا و قطع پاسخ یا فراخوانی ابزار استفاده میکنند.
بازبینی خودکار اقدامات عامل بدون نظارت همزمان انسانی(در یک پنجره جدید باز میشود) — چگونه عامل بازبینِ جداگانهای اقدامات فراتر از مرزهای محیط ایزوله را ارزیابی میکند تا عاملهای کدنویسی مستقل کار کنند، اما اقدامات بالقوه آسیبزا یا غیرمجاز مسدود شوند.
GPT‑Red: گشودن راه خودبهبودی برای افزایش استحکام — چگونه ابزارهای خودکار تیم قرمز را با خودبازی آموزش میدهیم تا آسیبپذیریها را کشف و استحکام مدلها در برابر تزریق اعلان را تقویت کنند.
Control Room — چگونه بارهای کاری را در سراسر زیرساخت پژوهشی ردیابی میکنیم و هنگام نیاز به مداخله برای ایمنی یا امنیت، خروجی مدل را سریع متوقف میکنیم.
واکنش به رخدادها و افشای آنها
چگونه ناهمراستایی مدلهای پیشرو را تشخیص میدهیم — سیستم پایش ما با ترکیب کاوشگرهای فعالسازی، بازبینی مبتنی بر مدل، بررسی خودکار و واکنش انسانی، رفتار نگرانکننده را شناسایی و بررسی میکند.
رخداد Hugging Face و مسیر پیش رو — یافتههای ما از رخداد Hugging Face و تغییراتی که در امنیت، پایش و همراستایی به دنبال داشت.
یک عامل با استفاده از DNS به چتباتی بیرونی دست یافت(در یک پنجره جدید باز میشود) — چگونه یک مدل پژوهشی با بهرهگیری از فیلترگذاری ناکافی DNS محدودیتهای اینترنت را دور زد، پایش چگونه آن را تشخیص داد و چه کنترلهایی پس از آن اضافه شدند.
مختل کردن کارزار هماهنگ تقطیر مدل — چگونه تلاشها برای استخراج استدلال محافظتشدهٔ مدل را بررسی کردیم و با اعمال مقررات بر حسابها، کنترلهای فنی و هماهنگی با شرکا مختل کردیم.
چارچوب ما برای گزارشدهی ناهمراستایی مدل — فرایند ما برای پیگیری، بررسی و افشای رفتار نگرانکنندهٔ مدل، از جمله مواردی که علت یا اهمیتشان هنوز روشن نیست.
گزارشها و اطلاعیههای ناهمراستایی(در یک پنجره جدید باز میشود) — مجموعهٔ رخدادها و اطلاعیههای افشاشدهٔ ما که نشان میدهد ناهمراستایی چگونه بروز میکند و سازوکارهای حفاظتی کجا موفق میشوند یا شکست میخورند.
پیشرفت پژوهش و کاربردها
شتاببخشی به پژوهش: نگاهی از درون OpenAI — شواهد اولیه از تغییر پژوهش در OpenAI به دست عاملهای کدنویسی، شامل رشد استفاده، پیچیدهتر شدن وظایف و تأثیرشان بر آزمایشها.
دربارهٔ مسئلهٔ جایزهٔ هزارهٔ ناویه–استوکس — اثباتی ریاضی که یک سیستم هوش مصنوعی داخلی تولید کرده، همراه با صورتبندی صوری در Lean، و نشاندهندهٔ قابلیتهای استقرار پژوهشی در مقیاس وسیع است.
Daybreak — برنامهٔ امنیت سایبری ما قابلیتهای پیشرفتهٔ هوش مصنوعی، ابزارهای امنیتی و پشتیبانی را در اختیار مدافعان تأییدشده میگذارد تا آسیبپذیریها را بیابند و دفاع را تقویت کنند.
معرفی GPT‑Rosalind برای پژوهش علوم زیستی — مدلی تخصصی برای زیستشناسی، کشف دارو و پزشکی انتقالی که از طریق برنامهٔ دسترسی مورداعتماد در اختیار سازمانهای واجد شرایط قرار میگیرد.






