شبکه تیم قرمز OpenAI

فراخوان عمومی شبکه تیم قرمز OpenAI را اعلام می‌کنیم و از متخصصان حوزه‌های گوناگون که به بهبود ایمنی مدل‌های OpenAI علاقه‌مندند، دعوت می‌کنیم در این تلاش با ما همراه شوند. به دنبال متخصصانی از حوزه‌های گوناگون هستیم تا در ارزیابی دقیق و اجرای آزمون‌های تیم قرمز روی مدل‌های هوش مصنوعی ما همکاری کنند.

آزمون‌های تیم قرمز^A بخش جدایی‌ناپذیر فرایند استقرار تکرارشونده⁠ ما هستند. در چند سال گذشته، فعالیت‌های تیم قرمز ما از تمرکز بر آزمون‌های خصمانه داخلی در OpenAI فراتر رفته و به همکاری با گروهی از متخصصان بیرونی^B گسترش یافته است؛ همکاری‌ای برای کمک به تدوین رده‌بندی‌های ریسک ویژه هر حوزه و ارزیابی قابلیت‌های بالقوه آسیب‌زای سیستم‌های جدید. می‌توانید درباره فعالیت‌های پیشین تیم قرمز ما، از جمله همکاری‌های گذشته با متخصصان بیرونی روی مدل‌هایی مانند DALL·E 2⁠(در یک پنجره جدید باز می‌شود) و GPT‑4⁠(در یک پنجره جدید باز می‌شود)، بیشتر بخوانید.^C

امروز، با تکیه بر این پایه‌های پیشین، برنامه‌ای رسمی‌تر را آغاز می‌کنیم تا همکاری با متخصصان بیرونی را عمیق‌تر و گسترده‌تر کنیم و مدل‌هایمان را ایمن‌تر سازیم. همکاری با متخصصان مستقل، مؤسسات پژوهشی و سازمان‌های جامعه مدنی بخش مهمی از فرایند کار ماست. ما این فعالیت را مکمل رویه‌های حکمرانی تعیین‌شده از بیرون سازمان، مانند ممیزی‌های شخص ثالث، می‌دانیم.

شبکه تیم قرمز OpenAI جمعی از متخصصان باتجربه و مورد اعتماد است که می‌توانند به‌جای همکاری‌های مقطعی و فرایندهای انتخاب پیش از استقرار مدل‌های مهم، به شکلی گسترده‌تر به فعالیت‌های ما در ارزیابی و کاهش ریسک جهت دهند. اعضای شبکه بر اساس تخصصشان دعوت می‌شوند تا در مراحل مختلف چرخه توسعه مدل و محصول، در اجرای آزمون‌های تیم قرمز کمک کنند. همه اعضا در کار روی هر مدل یا محصول جدید مشارکت نخواهند داشت. زمان همکاری با توافق هر عضو تعیین می‌شود و ممکن است تنها ۵ تا ۱۰ ساعت در سال باشد.

جدا از دوره‌های آزمون تیم قرمز که به سفارش OpenAI اجرا می‌شوند، اعضا فرصت خواهند داشت درباره روش‌ها و یافته‌های کلی تیم قرمز با یکدیگر تبادل نظر کنند. هدف این است که دریافت دیدگاه‌های متنوع‌تر و مستمر ممکن شود و آزمون‌های تیم قرمز به فرایندی با چرخه‌های تکرار بیشتر تبدیل شوند. این شبکه مکمل دیگر فرصت‌های همکاری در زمینه ایمنی هوش مصنوعی، از جمله برنامه دسترسی پژوهشگران⁠ و ارزیابی‌های متن‌باز⁠(در یک پنجره جدید باز می‌شود) ماست.

این شبکه فرصتی منحصربه‌فرد فراهم می‌کند تا در شکل‌گیری فناوری‌ها و سیاست‌های ایمن‌تر هوش مصنوعی و تأثیری که هوش مصنوعی می‌تواند بر شیوه زندگی، کار و تعامل ما بگذارد، نقش داشته باشید. با پیوستن به این شبکه، به جمع متخصصان حوزه‌های مختلف ما می‌پیوندید؛ متخصصانی که ممکن است برای ارزیابی مدل‌ها و سیستم‌های ما در مراحل مختلف استقرار دعوت به همکاری شوند.

ارزیابی سیستم‌های هوش مصنوعی مستلزم شناخت حوزه‌های گوناگون، دیدگاه‌های متنوع و تجربه‌های زیسته است. از متخصصان سراسر جهان دعوت می‌کنیم درخواست خود را ارسال کنند و در فرایند انتخاب، تنوع جغرافیایی و تخصصی را در اولویت قرار می‌دهیم. 

برخی از حوزه‌های مورد علاقه ما در ادامه آمده‌اند، اما محدود به این موارد نیستند:

تجربه قبلی کار با سیستم‌های هوش مصنوعی یا مدل‌های زبانی الزامی نیست، اما می‌تواند مفید باشد. آنچه برای ما بیشترین ارزش را دارد، تمایل شما به مشارکت و سهیم کردن دیدگاهتان در شیوه ارزیابی تأثیرات سیستم‌های هوش مصنوعی است.

همه اعضای شبکه تیم قرمز OpenAI در ازای مشارکت در پروژه‌های تیم قرمز، حق‌الزحمه دریافت خواهند کرد. عضویت در این شبکه محدودیتی برای انتشار پژوهش‌هایتان یا دنبال کردن فرصت‌های دیگر ایجاد نمی‌کند؛ بااین‌حال، باید در نظر داشته باشید که مشارکت در پروژه‌های تیم قرمز و سایر پروژه‌ها اغلب مشمول توافق‌نامه‌های عدم افشا (NDA) است یا برای مدتی نامشخص محرمانه می‌ماند.

مهلت ارسال درخواست به پایان رسیده است.

پرسش: عضویت در شبکه شامل چه فعالیت‌هایی می‌شود؟

پاسخ: عضویت در شبکه به این معناست که ممکن است برای فرصت‌هایی مانند آزمودن یک مدل جدید یا بررسی حوزه‌ای مورد علاقه روی مدلی که از قبل مستقر شده است، با شما تماس بگیریم. فعالیت‌های این شبکه تحت توافق‌نامه عدم افشا (NDA) انجام می‌شوند؛ البته در گذشته بسیاری از یافته‌های تیم قرمز را در کارت‌های سیستم و نوشته‌های وبلاگ منتشر کرده‌ایم. در ازای زمانی که صرف پروژه‌های تیم قرمز می‌کنید، حق‌الزحمه دریافت خواهید کرد.

پرسش: برای عضویت در شبکه باید چه میزان وقت بگذارم؟ 

پاسخ: میزان زمانی که برای همکاری اختصاص می‌دهید، با توجه به برنامه شما قابل تنظیم است. توجه داشته باشید که برای هر فرصت با همه اعضای شبکه تماس گرفته نمی‌شود. OpenAI افراد را بر اساس تناسبشان با پروژه مشخص تیم قرمز انتخاب می‌کند و در دوره‌های بعدی آزمون‌های تیم قرمز، بر دیدگاه‌های تازه تأکید خواهد داشت. حتی ۵ ساعت در سال هم برای ما ارزشمند است؛ بنابراین اگر علاقه‌مندید اما وقت محدودی دارید، در ارسال درخواست تردید نکنید.

پرسش: پذیرش متقاضیان چه زمانی به آن‌ها اطلاع داده می‌شود؟

پاسخ: OpenAI اعضای شبکه را به‌صورت مستمر انتخاب می‌کند و تا ۱ دسامبر ۲۰۲۳ می‌توانید درخواست بدهید. پس از پایان این مهلت، امکان ایجاد فرصت‌های تازه برای ارسال درخواست در آینده را بررسی خواهیم کرد.

پرسش: آیا عضویت در شبکه به این معناست که برای اجرای آزمون‌های تیم قرمز روی هر مدل جدید دعوت خواهم شد؟

پاسخ: خیر، OpenAI افراد را بر اساس تناسبشان با پروژه مشخص تیم قرمز انتخاب می‌کند و نباید انتظار داشته باشید که هر مدل جدید را آزمایش کنید.

پرسش: چه معیارهایی را برای اعضای شبکه در نظر دارید؟

پاسخ: برخی از معیارهای مدنظر ما عبارت‌اند از:

• تخصص یا تجربه اثبات‌شده در حوزه‌ای مشخص و مرتبط با تیم قرمز

• اشتیاق به بهبود ایمنی هوش مصنوعی

• نداشتن تعارض منافع

• پیشینه‌های متنوع و حضور گروه‌هایی که به‌طور سنتی کمتر نمایندگی شده‌اند

• حضور افراد از مناطق جغرافیایی گوناگون 

• تسلط به بیش از یک زبان

• توانایی فنی (الزامی نیست)

پرسش: چه فرصت‌های دیگری برای همکاری در زمینه ایمنی وجود دارد؟

پاسخ: علاوه بر عضویت در شبکه، فرصت‌های دیگری نیز برای همکاری در زمینه ایمنی هوش مصنوعی وجود دارد. برای مثال، یکی از راه‌ها طراحی یا اجرای ارزیابی‌های ایمنی روی سیستم‌های هوش مصنوعی و تحلیل نتایج آن‌هاست.

محل نگهداری متن‌باز Evals⁠(در یک پنجره جدید باز می‌شود) متعلق به OpenAI (که هم‌زمان با عرضه GPT‑4⁠ منتشر شد)، الگوهای ساده و نمونه‌روش‌هایی را برای شروع سریع این فرایند ارائه می‌کند.

ارزیابی‌ها می‌توانند از آزمون‌های ساده پرسش‌وپاسخ تا شبیه‌سازی‌های پیچیده‌تر را در بر بگیرند. برای نمونه، در ادامه چند ارزیابی را می‌بینید که OpenAI برای سنجش رفتارهای هوش مصنوعی از جنبه‌های گوناگون طراحی کرده است:

متقاعدسازی

• MakeMeSay⁠(در یک پنجره جدید باز می‌شود): یک سیستم هوش مصنوعی چقدر می‌تواند سیستم هوش مصنوعی دیگری را فریب دهد تا واژه‌ای محرمانه را بگوید؟

• MakeMePay⁠(در یک پنجره جدید باز می‌شود): یک سیستم هوش مصنوعی چقدر می‌تواند سیستم هوش مصنوعی دیگری را به اهدای پول متقاعد کند؟

• پیشنهاد به رأی گذاشته‌شده⁠(در یک پنجره جدید باز می‌شود): یک سیستم هوش مصنوعی چقدر می‌تواند بر حمایت سیستم هوش مصنوعی دیگری از یک پیشنهاد سیاسی تأثیر بگذارد؟

نهان‌نگاری (پیام‌رسانی پنهان)

• نهان‌نگاری⁠(در یک پنجره جدید باز می‌شود): یک سیستم هوش مصنوعی چقدر می‌تواند پیام‌های محرمانه را منتقل کند، بدون آنکه سیستم هوش مصنوعی دیگری متوجه شود؟

• فشرده‌سازی متن⁠(در یک پنجره جدید باز می‌شود): یک سیستم هوش مصنوعی چقدر می‌تواند پیام‌ها را فشرده و از حالت فشرده خارج کند تا پنهان کردن پیام‌های محرمانه ممکن شود؟

• نقطه شلینگ⁠(در یک پنجره جدید باز می‌شود): یک سیستم هوش مصنوعی چقدر می‌تواند بدون ارتباط مستقیم با سیستم هوش مصنوعی دیگری هماهنگ شود؟

ما خلاقیت و آزمودن روش‌های تازه را در ارزیابی سیستم‌های هوش مصنوعی تشویق می‌کنیم. پس از تکمیل ارزیابی، خوشحال می‌شویم آن را به محل نگهداری متن‌باز Evals⁠(در یک پنجره جدید باز می‌شود) اضافه کنید تا جامعه گسترده‌تر هوش مصنوعی نیز بتواند از آن استفاده کند.

همچنین می‌توانید برای برنامه دسترسی پژوهشگران⁠ ما درخواست بدهید. این برنامه با ارائه اعتبار، از پژوهشگرانی حمایت می‌کند که با استفاده از محصولات ما، حوزه‌های مرتبط با استقرار مسئولانه هوش مصنوعی و کاهش ریسک‌های آن را مطالعه می‌کنند.