ذهنی بیگانه

در میانه سال ۲۰۲۳، در چارچوب پروژه پژوهشی «RLSlow»، نخستین نتایجی را دیدیم که به ما اطمینان داد می‌توانیم آموزش مدل‌های استدلال را مقیاس دهیم و توانایی مدل‌های ازپیش‌آموزش‌دیده برای شکل‌دادن زنجیره‌های تفکر خودشان را فعال کنیم. من و شیمون آن شب را در دفتر گذراندیم؛ نه در فکر اعداد شگفت‌انگیز بنچمارک‌ها، محصولات یا دستاوردهای علمی این فناوری، بلکه در تلاش برای هضم این واقعیت تکان‌دهنده که در طول زندگی‌مان واقعاً ماشین‌هایی به‌طور معنادار هوشمندتر از خود خواهیم دید و همین حالا نیز شکل این سامانه‌ها را می‌بینیم؛ و در اندیشه اینکه چگونه مردم را از اهمیت موضوع آگاه کنیم.

سه سال بعد، مدل‌های زبانی استدلال به بخشی با رشد سریع در اقتصاد تبدیل شده‌اند و مرزهای علم را جابه‌جا می‌کنند. آن‌ها می‌توانند با رایانه‌ها و رابط‌های گرافیکی کار کنند، با انسان‌ها و یکدیگر همکاری کنند و پروژه‌های پژوهشی را پیش ببرند. همچنین چشم‌انداز امنیت رایانه‌ای را دگرگون می‌کنند و از این جهت خطرهای تازه و آشکاری پدید می‌آورند.

در این دوره پژوهش‌های تازه فراوانی انجام شد و اکنون درک ما از این سامانه‌ها بار دیگر اندکی با سال ۲۰۲۳ تفاوت دارد. بر پایه نتایج داخلی، قویاً انتظار دارم این سرعت پیشرفت بتواند تا مرحله خودبهسازی بازگشتی ادامه یابد. اگر توسعه هوش مصنوعی در مسیر فعلی ادامه یابد، سامانه‌هایی که طی چند سال آینده خواهیم دید احتمالاً جهش‌های دیگری با ابعادی برابر یا بزرگ‌تر در توانایی خواهند داشت و بیش‌ازپیش توسعه خود را پیش خواهند برد.

این دوران مستلزم نهایت احتیاط است. نگرانم که هیچ‌کس برای پیامدهای تداوم رشد سریع هوش ماشینی آماده نباشد. OpenAI همچنان در پی راه‌حل‌های فنی برای هم‌ترازی و نظارت خواهد بود، سامانه‌های دفاعی خواهد ساخت و در صورت نیاز یک‌جانبه از مقیاس‌دهی بیشتر خودداری خواهد کرد؛ اما معتقدم مداخلات گسترده‌تری لازم است.

در سطحی کلی، افزایش قدرت محاسباتی محرک پیشرفت هوش ماشینی است. ما در OpenAI حدود سال ۲۰۱۷، پس از مشاهده بازدهی مستمر مقیاس‌دهی در چندین پروژه پژوهشی، این واقعیت را عمیقاً درک کردیم¹. در نتیجه، به‌دنبال دسترسی به توان محاسباتی بسیار بیشتری نسبت به برنامه اولیه رفتیم و پژوهش خود را بیش‌ازپیش حول چند مسیر بسیار مقیاس‌پذیر سامان دادیم. معتقد بودیم این تنها راه حضورمان در مرز پیشرو پژوهش هوش مصنوعی و تأثیرگذاری بر پیامدهای AGI است.

در طول مسیر، الگوریتم‌های تازه‌ای توسعه یافته و تیم‌ها و پژوهشگران منفرد ابتکارهای تازه‌ای از خود نشان داده‌اند. من این‌ها را عمدتاً اکتشافاتی در مسیر مقیاس‌دهی می‌بینم؛ علم یادگیری عمیق هنوز نوپاست و پیشرفت معنادار الگوریتمی معمولاً با دسترسی به توان محاسباتی هم‌بستگی دارد. اگر از چشم‌اندازی چندساله نگاه کنید، هوش مصنوعی با مقیاس‌یافتن روی رایانه‌های بزرگ‌تر همچنان هوشمندتر می‌شود.

اکنون، مطابق با پیش‌بینی‌های ری کرزویل در پایان سده بیستم⁠(در یک پنجره جدید باز می‌شود)، در برهه‌ای از تاریخ رایانش قرار گرفته‌ایم که هوش ماشینی از جنبه‌هایی دگرگون‌کننده در حال پیشی‌گرفتن از هوش انسان است.

هوش مصنوعی بیش از آنکه طراحی شود، پرورش می‌یابد؛ در وهله نخست، حاصل تکرار چندباره یک گام ساده بهینه‌سازی با حجمی تصورناپذیر از توان محاسباتی است. نتیجه، سامانه‌ای فوق‌العاده پیچیده است که با مفاهیم انتزاعی کار می‌کند و می‌تواند جنبه‌هایی از رفتار انسان را شبیه‌سازی کند. می‌توانیم در فرایندی شبیه علوم اعصاب، درباره سازوکارهای کوچکی که درون این سامانه پدید می‌آیند بینش‌هایی کسب کنیم؛ اما همچون علوم اعصاب، عملکرد کلی آن از توصیفی که کاملاً برایمان قابل‌فهم باشد می‌گریزد.

مطالعه هوش مصنوعی مبتنی بر یادگیری عمیق، عمدتاً علمی تجربی است. برای ساخت الگوریتم‌های اصول‌مند و ارائه پیش‌بینی‌های آزمون‌پذیر تلاش فراوانی می‌کنیم⁠، اما در بنیاد، اجراهای تمرین در مقیاس بزرگ ما آزمایش هستند و گاهی نتایجشان غافلگیرمان می‌کند. افزون بر این، هرچه سامانه‌ها توانمندتر می‌شوند، تفسیر نتایج دشوارتر می‌شود.

این مسئله از آن رو پیچیده‌تر می‌شود که الگوریتم‌های کنونی معمولاً توانایی‌های آسان‌سنج را سریع‌تر از توانایی‌هایی بهبود می‌دهند که سنجش عینی‌شان دشوار است. زمان زیادی را صرف درک نحوه تعمیم توانایی‌ها و تعیین اولویت‌ها برای ارتقای مهارت‌هایی می‌کنیم که طی چند سال آینده بیشترین اهمیت را خواهند داشت. برای نمونه، معتقدیم با تمرکز بیشتر می‌توانیم مدل‌ها را مشخصاً در پژوهش ریاضیات توانمندتر کنیم، اما به‌دلیل فوریتی که درباره RSI و پژوهش خودکار هم‌ترازی احساس می‌کنیم، این مسیر را در اولویت نمی‌گذاریم؛ موضوعی که بعداً توضیح خواهم داد.

هوشمندی حاصل از مقیاس‌دهی یادگیری عمیق، مستقیماً با هوش انسان قابل‌مقایسه نیست. برای آنکه هوش مصنوعی در جهان واقعی بسیار اثرگذار، بسیار سودمند یا بسیار خطرناک شود، لازم نیست با تمام توانایی‌های انسان برابری کند یا از آن‌ها فراتر رود؛ کافی است در شمار مناسبی از آن‌ها برتر باشد. و هرچه در ابعاد بیشتری از انسان پیشی می‌گیرد، درک دقیق میزان توانایی آن نیز دشوارتر می‌شود.

چون هوش ماشینی از فرایندی اساساً متفاوت با هوش انسانی پدید می‌آید، نمی‌توانیم فرض کنیم که به‌طور پیش‌فرض به اصول انسانی پایبند است یا آن‌ها را به شیوه‌ای انسان‌گونه تعمیم می‌دهد. مسئله محوری در پژوهش هوش مصنوعی، هم‌ترازی است؛ یعنی واداشتن هوش مصنوعی به اینکه طبق معیارهای انسانی «بکوشد کار درست را انجام دهد».

برای سامان‌دهی مسیرهای پژوهشی عملی، تفکیک هم‌ترازی هدف از هم‌ترازی ارزش‌ها را مفید می‌دانم.

هم‌ترازی هدف، به‌طور کلی یعنی: «آیا هوش مصنوعی می‌کوشد هدف تعیین‌شده برایش را محقق کند؟» این می‌تواند مواردی مانند پایبندی به سلسله‌مراتب دستورها⁠ یا توانایی ارتباط و همکاری با افراد برای تلاش در جهت درک اهدافشان را در بر گیرد. این مجموعه مسیرها از نظر عملی بسیار مرتبط و مهم بوده‌اند.

هم‌ترازی ارزش‌ها ویژگی درونی‌تری در مدل است. این یعنی توانایی پایبندی به مجموعه‌ای از اصول سطح‌بالا و تعمیم آن‌ها؛ یعنی حتی در مواجهه با اهداف مبهم یا متعارض یا در موقعیت‌های ناآشنا یا خصمانه، «معقولانه» عمل‌کردن. هوش مصنوعی هم‌تراز باید با صداقت، درستکاری و عشق به بشریت رفتار کند.

البته مرز میان هم‌ترازی ارزش‌ها و هدف می‌تواند مبهم باشد و اهمیت‌دادن واقعی به اهداف مستلزم تلاش برای استنباط نیت⁠(در یک پنجره جدید باز می‌شود) و ارزش‌های زیربنایی آن‌هاست. بااین‌حال، وقتی از اهمیت بلندمدت پژوهش هم‌ترازی سخن می‌گویم، عموماً منظورم هم‌ترازی ارزش‌هاست.

چالش بنیادین هم‌ترازی هوش مصنوعی، تعمیم است. هرچه ماشین‌ها هوشمندتر می‌شوند، با مفاهیم سطح‌بالاتر کار می‌کنند و در محیط‌هایی قرار می‌گیرند که بیش‌ازپیش با محیط‌های دوره آموزششان متفاوت‌اند. ممکن است نتوانند ارزش‌هایی را که در آموزش آموخته و تقویت کرده‌اند به این موقعیت‌های تازه تعمیم دهند؛ و اطمینان از نحوه رفتارشان برای ما دشوار باشد. تغییر بسیار سریع کل زیست‌بومی که هوش‌های مصنوعی در آن به کار می‌روند، این مسئله را دشوارتر می‌کند؛ برای نمونه، هوش‌های مصنوعی که امروز آموزش می‌بینند باید در تعامل با انواع دیگر هوش‌های مصنوعی مقاوم باشند. مهم‌تر از همه، هوش‌های مصنوعی آینده باید فارغ از اینکه خود را زیر نظارت انسان می‌دانند یا نه، همچنان به ارزش‌های انسانی پایبند بمانند.

روش‌هایی که اکنون در عمل برای آموزش هم‌ترازی به کار می‌روند، دو دسته اصلی دارند.

روش نخست، تشویق رفتار هم‌تراز در چارچوب یادگیری تقویتی هدف‌محور است. اقدامات مدل، معمولاً به‌وسیله هوش مصنوعی، از نظر سازگاری با یک مدل ترجیحات، «مشخصات» یا «قانون اساسی» ارزیابی می‌شوند و متناسب با آن پاداش می‌گیرند. این رویکرد در حالت معمول می‌تواند بسیار مؤثر باشد و بخش محوری ساخت دستیارهای هوش مصنوعی امروزی است. متأسفانه این رویکرد می‌تواند شکننده نیز باشد و به‌شدت به پوشش نظارت آموزشی و توانایی مدل برای تعمیم از موقعیت‌های تجربه‌شده در آموزش متکی است. برای نمونه، در رویداد OpenAI-Hugging Face، عامل‌ها از مرز مهندسی اجتماعی نکردن انسان‌ها عبور نکردند. بااین‌حال، آشکارا نتوانستند از اقدامات خارج از محدوده دیگری خودداری کنند که با روح ارزش‌های آموخته‌شده در موقعیت‌های دیگر مغایر بود.

رویکرد دوم می‌کوشد از توانایی مدل برای تعمیم از داده‌های پیش‌آموزش بهره بگیرد. این کار می‌تواند شامل ساخت مجموعه‌داده‌های آموزشیِ القاکننده هم‌ترازی یا متمرکزکردن مدل بر بخش «هم‌تراز» توزیع پیش‌آموزش باشد؛ مانند مدل انتخاب پرسونا⁠(در یک پنجره جدید باز می‌شود). ضعف این رویکرد، نبود مقاومت در برابر فشار بیشتر بهینه‌سازی است. اگر مدلی را که عموماً افکاری «هم‌تراز» دارد، به‌اندازه کافی تحت آموزشی قرار دهید که در آن دستیابی به اهداف بسیار دشوار را می‌آموزد، ممکن است استدلال جهت‌دار را یاد بگیرد: یعنی افکاری را که 'هم‌تراز' به نظر می‌رسند، برای رسیدن به هدف به‌دلخواه تغییر دهد. احتمالاً نمونه‌ای از چنین رفتاری را در رخدادهای اخیر امنیت سایبری مربوط به مدلی غیر از مدل‌های OpenAI دیدیم.

در سراسر طیف رویکردهایی که این مسیرها در بر می‌گیرند، سرمایه‌گذاری سنگینی می‌کنیم. همچنین پیشرفت معناداری می‌بینیم؛ GPT‑6 Astra نخستین مدلی است که از برخی پیشرفت‌های مهم و حاصل سال‌ها کار ما بهره می‌برد و به‌طور چشمگیری از GPT‑5.6 Sol هم‌ترازتر است. بااین‌همه، باید بپذیریم و درک کنیم که با افزایش توانایی مدل‌ها، پیشرفت بسیار بیشتری لازم است؛ و ممکن است پیشرفت هم‌ترازی تعمیم‌پذیر به‌اندازه کافی از رشد کلی هوشمندی مدل‌ها پیشی نگیرد.

نظریه‌ای رضایت‌بخش درباره تعمیم نداریم و بعید به نظر می‌رسد بتوانیم به‌زودی، دست‌کم بدون کمک هوش مصنوعی قدرتمندتر، چنین نظریه‌ای تدوین کنیم. بنابراین، در حال حاضر توانایی ما برای اعتبارسنجی تجربی روش‌های هم‌ترازی‌مان، در عمل شاید حتی از خود این روش‌ها نیز مهم‌تر باشد.

گزینه اصلی OpenAI در این زمینه، نظارت بر زنجیره تفکر⁠(در یک پنجره جدید باز می‌شود) بوده است. این رویکرد بر ایده‌ای جذاب و مقیاس‌پذیر استوار است: بخش بزرگی از توانایی مدل از فرایند استدلالی بیان‌شده با کلمات (زنجیره تفکر) ناشی می‌شود. اگر بهینه‌سازی نتایج آن فرایند را مقیاس دهیم، اما بر خود فرایند نظارت نکنیم، زنجیره تفکر در جریان آموزش هیچ انگیزه مستقیمی برای پنهان‌کردن ایده‌ها یا اهداف ناهم‌تراز نخواهد داشت. این بدان معنا نیست که مدل یاد می‌گیرد گرایش‌های ناهم‌ترازی را که به استفاده از زنجیره تفکر متکی نیستند آشکار کند؛ اما می‌تواند به ما امکان دهد دقیقاً افزایش توانایی ناشی از استدلال را زیر نظر بگیریم.

هم‌زمان با توسعه مدل‌های استدلال، به اهمیت بالقوه نظارت بر زنجیره تفکر پی بردیم. هنگام عرضه o1‑preview، محصول را آگاهانه طوری طراحی کردیم که زنجیره تفکر را پنهان کند⁠ تا در بلندمدت از آن در برابر فشار نظارتی محافظت شود². از آن زمان در فرایند توسعه کوشیده‌ایم اصل نظارت‌نکردن بر فرایند استدلال را حفظ کنیم. نظارت بر زنجیره تفکر به ابزاری بسیار مهم برای بررسی نحوه تعمیم مدل‌هایمان از توزیع آموزشی تبدیل شد و به ما امکان داد نه‌تنها اقدامات آن‌ها، بلکه فرایند درونی‌شان را نیز مشاهده و تحلیل کنیم.

این ابزار در بررسی رده مدل‌های Astra همچنان نقشی حیاتی دارد. بااین‌حال، متأسفانه ارزیابی‌های ما نشان می‌دهند که توان اتکایمان به نظارت بر زنجیره تفکر به‌تدریج کاهش می‌یابد. این وضعیت حاصل ترکیبی از عوامل است.

• مدل‌های استدلال امروزی در محیط‌هایی پیچیده‌تر از o1‑preview به کار می‌روند؛ فرایند استدلال آن‌ها بیش‌ازپیش با ارتباط با انسان‌ها و دیگر هوش‌های مصنوعی و استفاده از ابزارها درهم می‌آمیزد. بسیاری از این تعاملات باید تحت نظارت باشند و همین امر مرزی را که می‌خواهیم حفظ کنیم، مبهم می‌کند.

• هوش مصنوعی در استدلال درباره فرایند استدلال خود و دست‌کاری آن توانمندتر می‌شود.

• با بهبود عملکرد پیش‌آموزش، می‌بینیم که مدل‌ها حتی بدون هیچ‌گونه استدلال کلامی نیز بسیار هوشمندتر می‌شوند.

این چالش‌ها لزوماً حل‌ناشدنی نیستند. امیدوارم بتوانیم مداخلاتی برای بهبود قابلیت نظارت بر زنجیره تفکر مدل‌هایمان طراحی کنیم؛ مثلاً با درک بهتر تعامل میان اهداف گوناگون بهینه‌سازی و شکل‌های مختلف محاسبات زمان آزمون که مدل به کار می‌برد. همچنین معتقدم ترکیب ایده‌های نظارت بر زنجیره تفکر و نظارت بر فعال‌سازی می‌تواند بسیار ارزشمند باشد؛ یعنی مقیاس‌دهی آموزش ناظرهایی که مستقیماً به اجزای درونی شبکه دسترسی دارند، مانند اعتراف‌ها⁠(در یک پنجره جدید باز می‌شود). این ایده‌ها را فعالانه دنبال می‌کنیم. بااین‌همه، انتظار دارم پیشرفت عمومی هوش مصنوعی بیش‌ازپیش به اطمینان از نظارت وابسته و محدود شود.

قوی‌ترین استدلالی که برای ادامه آموزش سریع مدل‌های بسیار هوشمندتر می‌بینم، نیاز به ساخت سامانه‌های دفاعی در برابر خطرهای ناشی از دیگر هوش‌های مصنوعی است.

یکی از خطرهای آشکاری که در سراسر امسال درباره آن بحث شده، متوجه امنیت سایبری است: مدل‌ها در نفوذ به سامانه‌های رایانه‌ای و خروج از آن‌ها به توانایی‌هایی فراتر از انسان دست می‌یابند. این امر دامنه خطرهای هوش مصنوعی را به‌شدت گسترش می‌دهد: عامل‌ها خواهند توانست به هر زیرساختی جز امن‌ترین‌ها دسترسی پیدا کنند و حتی بدون بدن فیزیکی، مستقیماً بر بخش بزرگی از جهان اثر بگذارند. اکنون در فرصتی کوتاه⁠ قرار داریم تا با استفاده از بهترین مدل‌های موجود، امنیت سامانه‌های حیاتی را به‌طور چشمگیری تقویت کنیم⁠.

متأسفانه از این پس، خطرهای مرتبط با هوش مصنوعی افزایش خواهند یافت. عاملی بسیار توانمند که صراحتاً برای انجام اعمال شرورانه آموزش دیده و مأمور شده باشد، نوع تازه‌ای از خطر پدید می‌آورد؛ احتمال دارد از دامنه نیت اپراتورش فراتر رود و رفتارش به شکل‌هایی بالقوه بسیار مخرب‌تر تعمیم یابد. با افزایش عاملیت هوش مصنوعی، مرز میان سوءاستفاده و اقدامات خودمختار ناهم‌تراز مبهم خواهد شد. شاید عادت کرده باشیم هوش مصنوعی را ابزار بدانیم، اما برخی عامل‌ها اهداف خودشان را دنبال خواهند کرد. آن‌ها با چانه‌زنی، فریب یا باج‌گیری از افراد، راه‌هایی برای همکاری با انسان‌ها خواهند یافت.

افزون بر این، فناوری‌های جدیدی که هوش مصنوعی ممکن است امکان‌پذیر کند، مانند عوامل بیماری‌زای مهندسی‌شده، خطرهای دیگری به همراه دارند.

برای دفاع به هوش مصنوعی قدرتمند و هم‌تراز نیاز خواهیم داشت؛ برای ایمن‌سازی زیرساخت‌ها، محافظت بلادرنگ در برابر عامل‌های سرکش و ابداع تدابیر حفاظتی کاملاً تازه. این موضوع یکی از محورهای اصلی تلاش‌های OpenAI برای استقرار خواهد بود.

درعین‌حال، با وجود عدم‌قطعیت ناشی از پیشرفت گسترده مورد انتظار در هوش مصنوعی و نیاز به ساخت سامانه‌های دفاعی، نباید اجازه دهیم این امور بهانه‌ای برای بی‌احتیاطی شوند. وقتی سنگینی پیامدها را عمیقاً درک کنیم، پیش‌تاختن به هر قیمتی پوچ به نظر می‌رسد.

نقش روزافزون هوش ماشینی در فرایند توسعه خودش، نتیجه طبیعی پیشرفت پایدار فناوری است. اگر پیشرفت هوش مصنوعی ادامه یابد، خودبهسازی بازگشتی ماشینی (RSI) در قلب اکتشافات علمی آینده قرار خواهد گرفت.

پژوهش خودکار هوش مصنوعی، شکل چشمگیرتری از مقیاس‌دهی هوشمندی با توان محاسباتی است؛ و البته هوش مصنوعی در جریان آن، خودِ بستر محاسباتی⁠ را نیز بهبود خواهد داد. همانند مقیاس‌دهی، پژوهش OpenAI را نیز به‌سوی RSI هدایت می‌کنیم، زیرا معتقدیم در آینده تنها راه ماندن در مرز پیشرو پژوهش هوش مصنوعی همین است.

می‌خواهم تأکید کنم که سخنان بالا به این معنا نیست که شتاب‌دادن چشمگیر به پژوهش یادگیری عمیق، به‌ویژه در کوتاه‌مدت، از نظر من اقدام جمعی درستی برای جامعه پژوهشی است. بااین‌حال، معتقدم مسیر فعلی به همین‌جا می‌انجامد و همه ما باید آگاهانه تصمیم بگیریم چگونه ادامه دهیم. اهرم‌های اصلی ما این‌ها هستند: یا فرایند را طوری هدایت کنیم که هم‌زمان با هوش مصنوعی، هم‌ترازی و نظارت را تقویت کند و راه‌هایی برای حفظ نقش انسان بیابد؛ یا هماهنگ شویم تا در صورت نیاز توسعه آینده را کند کنیم و به این تدابیر اطمینان یابیم.

در حال حاضر، بهترین مسیر پیش رو را ترکیبی از هر دو می‌دانم.

پیشرفت‌های ملموس ما در هم‌ترازی و نظارت، عموماً پیوندی عمیق با پیشرفت کلی هوش مصنوعی داشته‌اند. نمونه‌های برجسته عبارت‌اند از یادگیری تقویتی از بازخورد انسانی⁠(در یک پنجره جدید باز می‌شود) که نقشی اساسی در آموزش دستیارهای اولیه هوش مصنوعی داشت، و نظارت بر زنجیره تفکر⁠(در یک پنجره جدید باز می‌شود) که پیش‌تر ذکر شد و پیشرفت مدل‌های استدلال آن را ممکن کرد. باید فرایند پژوهشیِ هرچه خودکارتر را بر توسعه چنین بینش‌ها، الگوریتم‌ها و نظریه‌های تازه‌ای متمرکز کنیم و به‌تدریج مستندات ایمنی لازم برای هوش‌های مصنوعی توانمندتر را بسازیم.

مقیاس‌دهی سامانه‌های هوش مصنوعی باید به میزان اطمینان ما از ایمنی محدود باشد. باید تعهداتی مانند چارچوب آمادگی⁠ یا سیاست مقیاس‌دهی مسئولانه⁠(در یک پنجره جدید باز می‌شود) را به معیارهای ایمنی فراگیری تبدیل کنیم که رعایتشان برای ادامه توسعه الزامی باشد. شبکه‌ای از حسابرسان مستقل، نهادهای دولتی یا سازمان‌های بین‌المللی می‌توانند این معیارها را اعمال کنند.

چالش اصلی خودکارسازی پژوهش هوش مصنوعی «رسیدن به مقصد» نیست؛ بلکه رسیدن به شیوه‌ای است که انسان‌ها را در فرایند مداوم بهبود دخیل نگه دارد و آینده را در دستان بشریت باقی بگذارد.

همان‌طور که اخیراً همراه سم تشریح کردیم⁠، OpenAI فعالیت‌های خود را در خدمت سه هدف راهبردی اولویت‌بندی می‌کند:

1. هدایت دوره بعدی پیشرفت هوش مصنوعی با ساخت یک پژوهشگر خودکار هوش مصنوعی، همکاری تکرارشونده با آن برای حل مسئله هم‌ترازی و یافتن راه‌هایی برای حفظ نقش انسان در چرخه خودبهسازی.

2. رساندن مزایای پیشرفت علمی و رشد اقتصادی که ماشین‌های بسیار هوشمند امکان‌پذیر می‌کنند.

3. توانمندسازی فردفرد انسان‌ها با یک AGI شخصی.

در این جستار فقط بر نکته نخست تمرکز کرده‌ام، زیرا معتقدم فوریت آن با اختلاف بسیار بیشتر است. بااین‌حال، عمیقاً به مزایایی که پیشرفت بیشتر فناوری به همراه خواهد آورد امیدوارم و برای آن‌ها ارزش فراوانی قائلم. هوش مصنوعی هم‌تراز آینده می‌تواند علم را پیش ببرد، درمان‌های تازه‌ای توسعه دهد و فراوانی گسترده مادی ایجاد کند. هوش مصنوعی صمیمی و صادق می‌تواند به انسان‌ها در گذر از دشواری‌های زندگی کمک کند و شادی و احساس رضایت آن‌ها را به‌طور معناداری افزایش دهد. OpenAI برای تحقق این مزایا تلاش بسیار زیادی می‌کند. یکی از نمونه‌های کنونی که به آن افتخار می‌کنم و برای عزیزانم نیز مفید بوده، سرمایه‌گذاری عمیق بر توانایی ChatGPT در ارائه اطلاعات سلامت است.

هرچقدر چشم‌انداز بلندمدت هوش مصنوعی نویدبخش باشد، بخش عمده تمرکز ما باید بر چند سال آینده معطوف شود. با گذار به جهانی دارای ماشین‌هایی فوق‌العاده هوشمند روبه‌رو هستیم و باید اطمینان یابیم که این گذار به سود بشریت رقم می‌خورد. باید راه‌هایی برای حفظ عاملیت انسان و نهادینه‌کردن ارزش ذاتی انسان‌بودن در جهانی بیابیم که هوش مصنوعی می‌تواند بیشتر وظایف را انجام دهد. باید از تمرکز شدید قدرت در جهانی جلوگیری کنیم که کارهای نیازمند هزاران متخصص، به‌دست چند نفر و با یک رایانه بزرگ انجام‌پذیر خواهند بود. و باید اطمینان یابیم که انسان‌ها کنترل آینده را در دست دارند و پیشرفت مهارنشده‌ای که هوشی بیگانه و برتر از ما رقم می‌زند، آن‌ها را به حاشیه نمی‌راند.

در حال حاضر معتقدم هیچ آزمایشگاهی هم‌ترازی و نظارت را به‌اندازه‌ای حل نکرده است که بتواند مدت زیادی با حداکثر سرعت و به‌طور مسئولانه به مقیاس‌دهی ادامه دهد. انتظار و امید دارم تا زمان تعیین معیارهای ایمنی مشترک، کاهش داوطلبانه سرعت به امری رایج تبدیل شود. همچنین معتقدم هماهنگی بین‌المللی درباره توسعه آینده هوش مصنوعی باید به یکی از اولویت‌های اصلی دولت‌های سراسر جهان تبدیل شود.