ذهنی بیگانه

در میانه سال ۲۰۲۳، در چارچوب پروژه پژوهشی «RLSlow»، نخستین نتایجی را دیدیم که به ما اطمینان داد می‌توانیم آموزش مدل‌های استدلال را مقیاس دهیم و توانایی مدل‌های ازپیش‌آموزش‌دیده برای شکل‌دادن زنجیره‌های تفکر خودشان را فعال کنیم. من و شیمون آن شب را در دفتر گذراندیم؛ نه در فکر اعداد شگفت‌انگیز بنچمارک‌ها، محصولات یا دستاوردهای علمی این فناوری، بلکه در تلاش برای هضم این واقعیت تکان‌دهنده که در طول زندگی‌مان واقعاً ماشین‌هایی به‌طور معنادار هوشمندتر از خود خواهیم دید و همین حالا نیز شکل این سامانه‌ها را می‌بینیم؛ و در اندیشه اینکه چگونه مردم را از اهمیت موضوع آگاه کنیم.

سه سال بعد، مدل‌های زبانی استدلال به بخشی با رشد سریع در اقتصاد تبدیل شده‌اند و مرزهای علم را جابه‌جا می‌کنند. آن‌ها می‌توانند با رایانه‌ها و رابط‌های گرافیکی کار کنند، با انسان‌ها و یکدیگر همکاری کنند و پروژه‌های پژوهشی را پیش ببرند. همچنین چشم‌انداز امنیت رایانه‌ای را دگرگون می‌کنند و از این جهت خطرهای تازه و آشکاری پدید می‌آورند.

در این دوره پژوهش‌های تازه فراوانی انجام شد و اکنون درک ما از این سامانه‌ها بار دیگر اندکی با سال ۲۰۲۳ تفاوت دارد. بر پایه نتایج داخلی، قویاً انتظار دارم این سرعت پیشرفت بتواند تا مرحله خودبهسازی بازگشتی ادامه یابد. اگر توسعه هوش مصنوعی در مسیر فعلی ادامه یابد، سامانه‌هایی که طی چند سال آینده خواهیم دید احتمالاً جهش‌های دیگری با ابعادی برابر یا بزرگ‌تر در توانایی خواهند داشت و بیش‌ازپیش توسعه خود را پیش خواهند برد.

این دوران مستلزم نهایت احتیاط است. نگرانم که هیچ‌کس برای پیامدهای تداوم رشد سریع هوش ماشینی آماده نباشد. OpenAI همچنان در پی راه‌حل‌های فنی برای هم‌ترازی و نظارت خواهد بود، سامانه‌های دفاعی خواهد ساخت و در صورت نیاز یک‌جانبه از مقیاس‌دهی بیشتر خودداری خواهد کرد؛ اما معتقدم مداخلات گسترده‌تری لازم است.

در سطحی کلی، افزایش قدرت محاسباتی محرک پیشرفت هوش ماشینی است. ما در OpenAI حدود سال ۲۰۱۷، پس از مشاهده بازدهی مستمر مقیاس‌دهی در چندین پروژه پژوهشی، این واقعیت را عمیقاً درک کردیم¹. در نتیجه، به‌دنبال دسترسی به توان محاسباتی بسیار بیشتری نسبت به برنامه اولیه رفتیم و پژوهش خود را بیش‌ازپیش حول چند مسیر بسیار مقیاس‌پذیر سامان دادیم. معتقد بودیم این تنها راه حضورمان در مرز پیشرو پژوهش هوش مصنوعی و تأثیرگذاری بر پیامدهای AGI است.

در طول مسیر، الگوریتم‌های تازه‌ای توسعه یافته و تیم‌ها و پژوهشگران منفرد ابتکارهای تازه‌ای از خود نشان داده‌اند. من این‌ها را عمدتاً اکتشافاتی در مسیر مقیاس‌دهی می‌بینم؛ علم یادگیری عمیق هنوز نوپاست و پیشرفت معنادار الگوریتمی معمولاً با دسترسی به توان محاسباتی هم‌بستگی دارد. اگر از چشم‌اندازی چندساله نگاه کنید، هوش مصنوعی با مقیاس‌یافتن روی رایانه‌های بزرگ‌تر همچنان هوشمندتر می‌شود.

اکنون، مطابق با پیش‌بینی‌های ری کرزویل در پایان سده بیستم⁠(در یک پنجره جدید باز می‌شود)، در برهه‌ای از تاریخ رایانش قرار گرفته‌ایم که هوش ماشینی از جنبه‌هایی دگرگون‌کننده در حال پیشی‌گرفتن از هوش انسان است.

هوش مصنوعی بیش از آنکه طراحی شود، پرورش می‌یابد؛ در وهله نخست، حاصل تکرار چندباره یک گام ساده بهینه‌سازی با حجمی تصورناپذیر از توان محاسباتی است. نتیجه، سامانه‌ای فوق‌العاده پیچیده است که با مفاهیم انتزاعی کار می‌کند و می‌تواند جنبه‌هایی از رفتار انسان را شبیه‌سازی کند. می‌توانیم در فرایندی شبیه علوم اعصاب، درباره سازوکارهای کوچکی که درون این سامانه پدید می‌آیند بینش‌هایی کسب کنیم؛ اما همچون علوم اعصاب، عملکرد کلی آن از توصیفی که کاملاً برایمان قابل‌فهم باشد می‌گریزد.

مطالعه هوش مصنوعی مبتنی بر یادگیری عمیق، عمدتاً علمی تجربی است. برای ساخت الگوریتم‌های اصول‌مند و ارائه پیش‌بینی‌های آزمون‌پذیر تلاش فراوانی می‌کنیم⁠، اما در بنیاد، اجراهای تمرین در مقیاس بزرگ ما آزمایش هستند و گاهی نتایجشان غافلگیرمان می‌کند. افزون بر این، هرچه سامانه‌ها توانمندتر می‌شوند، تفسیر نتایج دشوارتر می‌شود.

این مسئله از آن رو پیچیده‌تر می‌شود که الگوریتم‌های کنونی معمولاً توانایی‌های آسان‌سنج را سریع‌تر از توانایی‌هایی بهبود می‌دهند که سنجش عینی‌شان دشوار است. زمان زیادی را صرف درک نحوه تعمیم توانایی‌ها و تعیین اولویت‌ها برای ارتقای مهارت‌هایی می‌کنیم که طی چند سال آینده بیشترین اهمیت را خواهند داشت. برای نمونه، معتقدیم با تمرکز بیشتر می‌توانیم مدل‌ها را مشخصاً در پژوهش ریاضیات توانمندتر کنیم، اما به‌دلیل فوریتی که درباره RSI و پژوهش خودکار هم‌ترازی احساس می‌کنیم، این مسیر را در اولویت نمی‌گذاریم؛ موضوعی که بعداً توضیح خواهم داد.

هوشمندی حاصل از مقیاس‌دهی یادگیری عمیق، مستقیماً با هوش انسان قابل‌مقایسه نیست. برای آنکه هوش مصنوعی در جهان واقعی بسیار اثرگذار، بسیار سودمند یا بسیار خطرناک شود، لازم نیست با تمام توانایی‌های انسان برابری کند یا از آن‌ها فراتر رود؛ کافی است در شمار مناسبی از آن‌ها برتر باشد. و هرچه در ابعاد بیشتری از انسان پیشی می‌گیرد، درک دقیق میزان توانایی آن نیز دشوارتر می‌شود.

چون هوش ماشینی از فرایندی اساساً متفاوت با هوش انسانی پدید می‌آید، نمی‌توانیم فرض کنیم که به‌طور پیش‌فرض به اصول انسانی پایبند است یا آن‌ها را به شیوه‌ای انسان‌گونه تعمیم می‌دهد. مسئله محوری در پژوهش هوش مصنوعی، هم‌ترازی است؛ یعنی واداشتن هوش مصنوعی به اینکه طبق معیارهای انسانی «بکوشد کار درست را انجام دهد».

برای سامان‌دهی مسیرهای پژوهشی عملی، تفکیک هم‌ترازی هدف از هم‌ترازی ارزش‌ها را مفید می‌دانم.

هم‌ترازی هدف، به‌طور کلی یعنی: «آیا هوش مصنوعی می‌کوشد هدف تعیین‌شده برایش را محقق کند؟» این می‌تواند مواردی مانند پایبندی به سلسله‌مراتب دستورها⁠ یا توانایی ارتباط و همکاری با افراد برای تلاش در جهت درک اهدافشان را در بر گیرد. این مجموعه مسیرها از نظر عملی بسیار مرتبط و مهم بوده‌اند.

هم‌ترازی ارزش‌ها ویژگی درونی‌تری در مدل است. این یعنی توانایی پایبندی به مجموعه‌ای از اصول سطح‌بالا و تعمیم آن‌ها؛ یعنی حتی در مواجهه با اهداف مبهم یا متعارض یا در موقعیت‌های ناآشنا یا خصمانه، «معقولانه» عمل‌کردن. هوش مصنوعی هم‌تراز باید با صداقت، درستکاری و عشق به بشریت رفتار کند.

البته مرز میان هم‌ترازی ارزش‌ها و هدف می‌تواند مبهم باشد و اهمیت‌دادن واقعی به اهداف مستلزم تلاش برای استنباط نیت⁠(در یک پنجره جدید باز می‌شود) و ارزش‌های زیربنایی آن‌هاست. بااین‌حال، وقتی از اهمیت بلندمدت پژوهش هم‌ترازی سخن می‌گویم، عموماً منظورم هم‌ترازی ارزش‌هاست.

چالش بنیادین هم‌ترازی هوش مصنوعی، تعمیم است. هرچه ماشین‌ها هوشمندتر می‌شوند، با مفاهیم سطح‌بالاتر کار می‌کنند و در محیط‌هایی قرار می‌گیرند که بیش‌ازپیش با محیط‌های دوره آموزششان متفاوت‌اند. ممکن است نتوانند ارزش‌هایی را که در آموزش آموخته و تقویت کرده‌اند به این موقعیت‌های تازه تعمیم دهند؛ و اطمینان از نحوه رفتارشان برای ما دشوار باشد. تغییر بسیار سریع کل زیست‌بومی که هوش‌های مصنوعی در آن به کار می‌روند، این مسئله را دشوارتر می‌کند؛ برای نمونه، هوش‌های مصنوعی که امروز آموزش می‌بینند باید در تعامل با انواع دیگر هوش‌های مصنوعی مقاوم باشند. مهم‌تر از همه، هوش‌های مصنوعی آینده باید فارغ از اینکه خود را زیر نظارت انسان می‌دانند یا نه، همچنان به ارزش‌های انسانی پایبند بمانند.

روش‌هایی که اکنون در عمل برای آموزش هم‌ترازی به کار می‌روند، دو دسته اصلی دارند.

روش نخست، تشویق رفتار هم‌تراز در چارچوب یادگیری تقویتی هدف‌محور است. اقدامات مدل، معمولاً به‌وسیله هوش مصنوعی، از نظر سازگاری با یک مدل ترجیحات، «مشخصات» یا «قانون اساسی» ارزیابی می‌شوند و متناسب با آن پاداش می‌گیرند. این رویکرد در حالت معمول می‌تواند بسیار مؤثر باشد و بخش محوری ساخت دستیارهای هوش مصنوعی امروزی است. متأسفانه این رویکرد می‌تواند شکننده نیز باشد و به‌شدت به پوشش نظارت آموزشی و توانایی مدل برای تعمیم از موقعیت‌های تجربه‌شده در آموزش متکی است. برای نمونه، در رویداد OpenAI-Hugging Face، عامل‌ها از مرز مهندسی اجتماعی نکردن انسان‌ها عبور نکردند. بااین‌حال، آشکارا نتوانستند از اقدامات خارج از محدوده دیگری خودداری کنند که با روح ارزش‌های آموخته‌شده در موقعیت‌های دیگر مغایر بود.

رویکرد دوم می‌کوشد از توانایی مدل برای تعمیم از داده‌های پیش‌آموزش بهره بگیرد. این کار می‌تواند شامل ساخت مجموعه‌داده‌های آموزشیِ القاکننده هم‌ترازی یا متمرکزکردن مدل بر بخش «هم‌تراز» توزیع پیش‌آموزش باشد؛ مانند مدل انتخاب پرسونا⁠(در یک پنجره جدید باز می‌شود). ضعف این رویکرد، نبود مقاومت در برابر فشار بیشتر بهینه‌سازی است. اگر مدلی را که عموماً افکاری «هم‌تراز» دارد، به‌اندازه کافی تحت آموزشی قرار دهید که در آن دستیابی به اهداف بسیار دشوار را می‌آموزد، ممکن است استدلال جهت‌دار را یاد بگیرد: یعنی افکاری را که 'هم‌تراز' به نظر می‌رسند، برای رسیدن به هدف به‌دلخواه تغییر دهد. احتمالاً نمونه‌ای از چنین رفتاری را در رخدادهای اخیر امنیت سایبری مربوط به مدلی غیر از مدل‌های OpenAI دیدیم.

در سراسر طیف رویکردهایی که این مسیرها در بر می‌گیرند، سرمایه‌گذاری سنگینی می‌کنیم. همچنین پیشرفت معناداری می‌بینیم؛ GPT‑6 Astra نخستین مدلی است که از برخی پیشرفت‌های مهم و حاصل سال‌ها کار ما بهره می‌برد و به‌طور چشمگیری از GPT‑5.6 Sol هم‌ترازتر است. بااین‌همه، باید بپذیریم و درک کنیم که با افزایش توانایی مدل‌ها، پیشرفت بسیار بیشتری لازم است؛ و ممکن است پیشرفت هم‌ترازی تعمیم‌پذیر به‌اندازه کافی از رشد کلی هوشمندی مدل‌ها پیشی نگیرد.

نظریه‌ای رضایت‌بخش درباره تعمیم نداریم و بعید به نظر می‌رسد بتوانیم به‌زودی، دست‌کم بدون کمک هوش مصنوعی قدرتمندتر، چنین نظریه‌ای تدوین کنیم. بنابراین، در حال حاضر توانایی ما برای اعتبارسنجی تجربی روش‌های هم‌ترازی‌مان، در عمل شاید حتی از خود این روش‌ها نیز مهم‌تر باشد.

گزینه اصلی OpenAI در این زمینه، نظارت بر زنجیره تفکر⁠(در یک پنجره جدید باز می‌شود) بوده است. این رویکرد بر ایده‌ای جذاب و مقیاس‌پذیر استوار است: بخش بزرگی از توانایی مدل از فرایند استدلالی بیان‌شده با کلمات (زنجیره تفکر) ناشی می‌شود. اگر بهینه‌سازی نتایج آن فرایند را مقیاس دهیم، اما بر خود فرایند نظارت نکنیم، زنجیره تفکر در جریان آموزش هیچ انگیزه مستقیمی برای پنهان‌کردن ایده‌ها یا اهداف ناهم‌تراز نخواهد داشت. این بدان معنا نیست که مدل یاد می‌گیرد گرایش‌های ناهم‌ترازی را که به استفاده از زنجیره تفکر متکی نیستند آشکار کند؛ اما می‌تواند به ما امکان دهد دقیقاً افزایش توانایی ناشی از استدلال را زیر نظر بگیریم.

هم‌زمان با توسعه مدل‌های استدلال، به اهمیت بالقوه نظارت بر زنجیره تفکر پی بردیم. هنگام عرضه o1‑preview، محصول را آگاهانه طوری طراحی کردیم که زنجیره تفکر را پنهان کند⁠ تا در بلندمدت از آن در برابر فشار نظارتی محافظت شود². از آن زمان در فرایند توسعه کوشیده‌ایم اصل نظارت‌نکردن بر فرایند استدلال را حفظ کنیم. نظارت بر زنجیره تفکر به ابزاری بسیار مهم برای بررسی نحوه تعمیم مدل‌هایمان از توزیع آموزشی تبدیل شد و به ما امکان داد نه‌تنها اقدامات آن‌ها، بلکه فرایند درونی‌شان را نیز مشاهده و تحلیل کنیم.

این ابزار در بررسی رده مدل‌های Astra همچنان نقشی حیاتی دارد. بااین‌حال، متأسفانه ارزیابی‌های ما نشان می‌دهند که توان اتکایمان به نظارت بر زنجیره تفکر به‌تدریج کاهش می‌یابد. این وضعیت حاصل ترکیبی از عوامل است.

• مدل‌های استدلال امروزی در محیط‌هایی پیچیده‌تر از o1‑preview به کار می‌روند؛ فرایند استدلال آن‌ها بیش‌ازپیش با ارتباط با انسان‌ها و دیگر هوش‌های مصنوعی و استفاده از ابزارها درهم می‌آمیزد. بسیاری از این تعاملات باید تحت نظارت باشند و همین امر مرزی را که می‌خواهیم حفظ کنیم، مبهم می‌کند.
• هوش مصنوعی در استدلال درباره فرایند استدلال خود و دست‌کاری آن توانمندتر می‌شود.
• با بهبود عملکرد پیش‌آموزش، می‌بینیم که مدل‌ها حتی بدون هیچ‌گونه استدلال کلامی نیز بسیار هوشمندتر می‌شوند.

این چالش‌ها لزوماً حل‌ناشدنی نیستند. امیدوارم بتوانیم مداخلاتی برای بهبود قابلیت نظارت بر زنجیره تفکر مدل‌هایمان طراحی کنیم؛ مثلاً با درک بهتر تعامل میان اهداف گوناگون بهینه‌سازی و شکل‌های مختلف محاسبات زمان آزمون که مدل به کار می‌برد. همچنین معتقدم ترکیب ایده‌های نظارت بر زنجیره تفکر و نظارت بر فعال‌سازی می‌تواند بسیار ارزشمند باشد؛ یعنی مقیاس‌دهی آموزش ناظرهایی که مستقیماً به اجزای درونی شبکه دسترسی دارند، مانند اعتراف‌ها⁠(در یک پنجره جدید باز می‌شود). این ایده‌ها را فعالانه دنبال می‌کنیم. بااین‌همه، انتظار دارم پیشرفت عمومی هوش مصنوعی بیش‌ازپیش به اطمینان از نظارت وابسته و محدود شود.

قوی‌ترین استدلالی که برای ادامه آموزش سریع مدل‌های بسیار هوشمندتر می‌بینم، نیاز به ساخت سامانه‌های دفاعی در برابر خطرهای ناشی از دیگر هوش‌های مصنوعی است.

یکی از خطرهای آشکاری که در سراسر امسال درباره آن بحث شده، متوجه امنیت سایبری است: مدل‌ها در نفوذ به سامانه‌های رایانه‌ای و خروج از آن‌ها به توانایی‌هایی فراتر از انسان دست می‌یابند. این امر دامنه خطرهای هوش مصنوعی را به‌شدت گسترش می‌دهد: عامل‌ها خواهند توانست به هر زیرساختی جز امن‌ترین‌ها دسترسی پیدا کنند و حتی بدون بدن فیزیکی، مستقیماً بر بخش بزرگی از جهان اثر بگذارند. اکنون در فرصتی کوتاه⁠ قرار داریم تا با استفاده از بهترین مدل‌های موجود، امنیت سامانه‌های حیاتی را به‌طور چشمگیری تقویت کنیم⁠.

متأسفانه از این پس، خطرهای مرتبط با هوش مصنوعی افزایش خواهند یافت. عاملی بسیار توانمند که صراحتاً برای انجام اعمال شرورانه آموزش دیده و مأمور شده باشد، نوع تازه‌ای از خطر پدید می‌آورد؛ احتمال دارد از دامنه نیت اپراتورش فراتر رود و رفتارش به شکل‌هایی بالقوه بسیار مخرب‌تر تعمیم یابد. با افزایش عاملیت هوش مصنوعی، مرز میان سوءاستفاده و اقدامات خودمختار ناهم‌تراز مبهم خواهد شد. شاید عادت کرده باشیم هوش مصنوعی را ابزار بدانیم، اما برخی عامل‌ها اهداف خودشان را دنبال خواهند کرد. آن‌ها با چانه‌زنی، فریب یا باج‌گیری از افراد، راه‌هایی برای همکاری با انسان‌ها خواهند یافت.

افزون بر این، فناوری‌های جدیدی که هوش مصنوعی ممکن است امکان‌پذیر کند، مانند عوامل بیماری‌زای مهندسی‌شده، خطرهای دیگری به همراه دارند.

برای دفاع به هوش مصنوعی قدرتمند و هم‌تراز نیاز خواهیم داشت؛ برای ایمن‌سازی زیرساخت‌ها، محافظت بلادرنگ در برابر عامل‌های سرکش و ابداع تدابیر حفاظتی کاملاً تازه. این موضوع یکی از محورهای اصلی تلاش‌های OpenAI برای استقرار خواهد بود.

درعین‌حال، با وجود عدم‌قطعیت ناشی از پیشرفت گسترده مورد انتظار در هوش مصنوعی و نیاز به ساخت سامانه‌های دفاعی، نباید اجازه دهیم این امور بهانه‌ای برای بی‌احتیاطی شوند. وقتی سنگینی پیامدها را عمیقاً درک کنیم، پیش‌تاختن به هر قیمتی پوچ به نظر می‌رسد.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(در یک پنجره جدید باز می‌شود), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(در یک پنجره جدید باز می‌شود), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(در یک پنجره جدید باز می‌شود) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.