ایک اجنبی ذہن

2023 کے وسط میں ”RLSlow“ تحقیقی منصوبے کے تحت ہمیں پہلے ایسے نتائج ملے جن سے یہ اعتماد ہوا کہ ہم ریزننگ ماڈلز کی ٹریننگ کو وسعت دے سکیں گے اور پیشگی ٹریننگ یافتہ ماڈلز میں اپنی چین-آف-تھاٹ بنانے کی صلاحیت کھول سکیں گے. Szymon اور میں نے وہ رات دفتر میں گزاری. ہم ان ناقابلِ یقین معیاری اعداد, پروڈکٹس یا سائنسی نتائج کے بارے میں نہیں سوچ رہے تھے جو یہ ٹیکنالوجی دے گی, بلکہ اس سنجیدہ حقیقت کو سمجھنے کی کوشش کر رہے تھے کہ اپنی زندگی میں ہم واقعی خود سے نمایاں طور پر ذہین مشینیں دیکھیں گے, ہمیں ان نظاموں کی شکل ابھی سے دکھائی دے رہی ہے, اور لوگوں کو اس کی اہمیت سے کیسے آگاہ کیا جائے.

تین سال بعد ریزننگ کے حامل زبانی ماڈلز معیشت کا تیزی سے بڑھتا حصہ ہیں اور سائنس کی حدود کو آگے بڑھانا شروع کر چکے ہیں. وہ کمپیوٹر اور تصویری واسطے چلا سکتے ہیں, لوگوں اور ایک دوسرے سے تعاون کر سکتے ہیں اور تحقیقی منصوبے انجام دے سکتے ہیں. وہ کمپیوٹر سیکیورٹی کے منظرنامے کو بھی بدل رہے ہیں اور یوں واضح نئے خطرات پیدا کر رہے ہیں.

اس عرصے میں بہت سی نئی تحقیق ہوئی, اور ان سسٹمز کے بارے میں ہماری سمجھ ایک بار پھر 2023 سے کچھ مختلف ہے. داخلی نتائج کی بنیاد پر مجھے پختہ توقع ہے کہ پیش رفت کی یہ رفتار بازگشتی خود بہتری تک برقرار رہ سکتی ہے. اگر AI کی تیاری موجودہ راستے پر جاری رہی تو اگلے چند برسوں میں سامنے آنے والے سسٹمز ممکنہ طور پر اسی یا اس سے بھی بڑے پیمانے کی صلاحیتی چھلانگیں دکھائیں گے اور اپنی تیاری کو بڑھتی ہوئی حد تک خود آگے بڑھائیں گے.

یہ وقت انتہائی احتیاط کا تقاضا کرتا ہے. مجھے تشویش ہے کہ مشینی ذہانت کے مسلسل تیز اضافے کے نتائج کے لیے کوئی تیار نہیں. OpenAI ہم آہنگی اور نگرانی کے تکنیکی حل تلاش کرتا رہے گا, دفاعی نظام بنائے گا اور ضرورت کے مطابق یک طرفہ طور پر مزید توسیع روکے گا؛ تاہم میرے خیال میں وسیع تر اقدامات درکار ہیں.

وسیع تناظر میں مشینی ذہانت کی پیش رفت بڑھتی ہوئی حسابی طاقت سے چلتی ہے. متعدد تحقیقی منصوبوں میں توسیع کے مسلسل فوائد دیکھنے کے بعد, OpenAI میں ہم نے تقریباً 2017 میں اس حقیقت کو گہرائی سے سمجھ لیا تھا¹. نتیجتاً ہم نے اپنے اصل منصوبے سے کہیں زیادہ حسابی وسائل تک رسائی حاصل کرنے کی کوشش کی اور تحقیق کو بتدریج چند انتہائی قابلِ توسیع سمتوں کے گرد منظم کیا. ہمارا ماننا تھا کہ AI کی تحقیق میں جدید ترین مقام پر رہنے اور AGI کے اثرات پر اثر انداز ہونے کا ہمارے لیے یہی واحد راستہ ہے.

اس سفر میں نئے الگورتھم بنائے گئے اور ٹیموں اور انفرادی محققین نے ذہانت کے نئے کارنامے انجام دیے. میں انہیں بڑی حد تک توسیع کے سفر کی دریافتیں سمجھتا ہوں؛ ڈیپ لرننگ کی سائنس ابھی ابتدائی مرحلے میں ہے اور بامعنی الگورتھمی پیش رفت عموماً حسابی وسائل تک رسائی سے وابستہ ہوتی ہے. اگر کئی برسوں کے وسیع تناظر میں دیکھیں تو بڑے کمپیوٹروں تک توسیع کے ساتھ AI مسلسل زیادہ ذہین ہو رہی ہے.

اور بیسویں صدی کے آخر میں Ray Kurzweil کی پیش گوئیوں⁠(نئی ونڈو میں کھلتا ہے) کے مطابق, اب ہم کمپیوٹنگ کی تاریخ کے اس لمحے میں ہیں جہاں مشینی ذہانت انقلابی انداز میں انسانی ذہانت سے آگے بڑھنا شروع ہو رہی ہے.

AI کو ڈیزائن کرنے سے زیادہ پروان چڑھایا جاتا ہے؛ بنیادی طور پر یہ ناقابلِ تصور مقدار کے حسابی وسائل پر ایک سادہ اصلاحی مرحلہ بار بار دہرانے کی پیداوار ہے. اس کے نتیجے میں ایک ناقابلِ یقین حد تک پیچیدہ نظام بنتا ہے جو تجریدی تصورات پر کام کرتا اور انسانی رویے کے مختلف پہلوؤں کی نقل کر سکتا ہے. ہم اس نظام میں ابھرنے والے چھوٹے طریقۂ کار کے بارے میں مختلف انسائٹس دریافت کر سکتے ہیں, بالکل نیورو سائنس جیسے پروسس کے ذریعے؛ اور نیورو سائنس کی طرح اس کے مجموعی عمل کی ایسی وضاحت ممکن نہیں جسے ہم پوری طرح سمجھ سکیں.

ڈیپ لرننگ پر مبنی AI کا مطالعہ بڑی حد تک تجرباتی سائنس ہے. ہم اصولی الگورتھم بنانے اور قابلِ آزمائش پیش گوئیاں کرنے میں بہت کوشش کرتے ہیں⁠, مگر بنیادی طور پر ہماری لارچ-اسکیل ٹریننگ کی کارروائیاں تجربات ہیں, اور کبھی ان کے نتائج ہمیں حیران کر دیتے ہیں. مزید یہ کہ سسٹمز کی صلاحیت بڑھنے کے ساتھ نتائج کی تشریح مشکل ہوتی جاتی ہے.

موجودہ الگورتھم عموماً معروضی طور پر ناپنے میں مشکل صلاحیتوں کے مقابلے میں آسانی سے قابلِ پیمائش صلاحیتوں کو زیادہ تیزی سے بہتر کرتے ہیں, جس سے معاملہ مزید پیچیدہ ہو جاتا ہے. ہم یہ سمجھنے میں بہت وقت صرف کرتے ہیں کہ صلاحیتیں کیسے عمومیت اخذ کرتی ہیں اور اگلے چند برسوں میں سب سے متعلقہ مہارتوں کو آگے بڑھانے کے لیے کس چیز کو ترجیح دی جائے. مثلاً ہمارا ماننا ہے کہ اضافی توجہ سے ہم ماڈلز کو خاص طور پر ریاضی کی تحقیق میں بہتر بنا سکتے ہیں, لیکن RSI اور خودکار الائنمنٹ ریسرچ کی فوری ضرورت کے باعث ہم اس سمت کو ترجیح نہیں دیتے, جیسا کہ میں آگے بیان کروں گا.

ڈیپ لرننگ کی توسیع سے پیدا ہونے والی ذہانت کا انسانی ذہانت سے براہِ راست موازنہ نہیں کیا جا سکتا. حقیقی دنیا میں بہت اہم, یعنی بہت مفید یا بہت خطرناک, بننے کے لیے AI کو تمام انسانی صلاحیتوں کے برابر یا ان سے آگے ہونے کی ضرورت نہیں؛ بس کافی صلاحیتوں میں آگے نکلنا کافی ہے. اور جیسے جیسے وہ زیادہ سے زیادہ جہتوں میں انسانوں سے آگے بڑھ رہی ہے, یہ درست طور پر سمجھنا مشکل ہوتا جا رہا ہے کہ وہ کتنی باصلاحیت ہے.

چونکہ مشینی ذہانت انسانی ذہانت سے بنیادی طور پر مختلف عمل سے پیدا ہوتی ہے, اس لیے ہم یہ فرض نہیں کر سکتے کہ وہ خود بخود انسانی اصولوں کی پابندی کرے گی یا ان سے انسانوں کی طرح عمومیت اخذ کرے گی. AI کی تحقیق کا بنیادی مسئلہ ہم آہنگی ہے, یعنی AI کو انسانی معیار کے مطابق ”صحیح کام کرنے کی کوشش“ پر آمادہ کرنا.

عملی تحقیقی سمتوں کو منظم کرنے کے لیے مجھے مقصدی ہم آہنگی اور اقداری ہم آہنگی میں امتیاز مفید لگتا ہے.

مقصدی ہم آہنگی کا وسیع مطلب ہے: ”کیا AI اپنے سامنے رکھا گیا مقصد حاصل کرنے کی کوشش کرتی ہے؟“. اس میں ہدایات کی درجہ بندی⁠ کی پابندی, یا لوگوں کے مقاصد سمجھنے کی کوشش کے لیے ان سے رابطہ اور تعاون کرنے کی صلاحیت جیسی چیزیں شامل ہو سکتی ہیں. سمتوں کا یہ مجموعہ عملی طور پر نہایت اہم رہا ہے.

اقداری ہم آہنگی ماڈل کی زیادہ داخلی خصوصیت ہے. یہ اعلیٰ سطحی اصولوں کے مجموعے کو اپنانے اور اس سے جنرلائز کرنے, نیز غیر واضح یا متصادم مقاصد ملنے یا نامانوس یا مخالفانہ حالات میں رکھے جانے پر بھی ”معقول“ انداز میں عمل کرنے کی صلاحیت ہے. ایک ہم آہنگ AI کو دیانت, راست بازی اور انسانیت سے محبت کے ساتھ عمل کرنا چاہیے.

یقیناً اقدار اور مقاصد کی ہم آہنگی کی حد دھندلی ہو سکتی ہے, اور مقاصد کی حقیقی پروا کرنے کے لیے ان کے پسِ پشت موجود ارادے⁠(نئی ونڈو میں کھلتا ہے) اور اقدار سمجھنے کی کوشش ضروری ہے. تاہم جب میں الائنمنٹ ریسرچ کی طویل مدتی اہمیت کی بات کرتا ہوں تو عموماً میری مراد اقداری ہم آہنگی ہوتی ہے.

AI کی ہم آہنگی کا بنیادی چیلنج عمومیت ہے. جیسے جیسے مشینیں ذہین ہوتی ہیں, وہ اعلیٰ سطحی تصورات پر کام کرنے لگتی ہیں اور انہیں ایسے ماحول میں رکھا جاتا ہے جو ان کی ٹریننگ کے ماحول سے مسلسل مختلف ہوتے جا رہے ہیں. وہ ٹریننگ کے دوران سکھائی اور تقویت دی گئی اقدار کو نئے حالات پر لاگو کرنے میں ناکام ہو سکتی ہیں, اور ہمارے لیے یہ یقین کرنا مشکل ہو سکتا ہے کہ وہ کیسے عمل کریں گی. یہ مسئلہ اس حقیقت سے مزید پیچیدہ ہو جاتا ہے کہ AI کے استعمال کا پورا ایکوسسٹم بہت تیزی سے بدل رہا ہے؛ مثلاً آج ٹریننگ یافتہ AI کو مختلف دوسری AIوں سے مضبوطی کے ساتھ تعامل کرنا ہوگا. سب سے اہم یہ ہے کہ مستقبل کی AIیں انسانی اقدار پر قائم رہیں, خواہ انہیں یقین ہو کہ انسان ان کی نگرانی کر رہے ہیں یا نہیں.

ہم آہنگی کی ٹریننگ کے لیے اس وقت عملی طور پر استعمال ہونے والے طریقوں کی دو بڑی قسمیں ہیں.

پہلا طریقہ مقصد پر مبنی ری اِنفورسمنٹ لرننگ کے حصے کے طور پر ہم آہنگ رویے کی حوصلہ افزائی ہے. ماڈل کے افعال کا جائزہ (عموماً AI سے) لیا جاتا ہے کہ آیا وہ کسی ترجیحی ماڈل, ”اسپیک“ یا ”دستور“ سے مطابقت رکھتے ہیں, اور اسی کے مطابق انعام دیا جاتا ہے. یہ طریقہ عام حالات میں بہت مؤثر ہو سکتا ہے اور جدید AI کے معاونین بنانے کے بنیادی طریقوں میں شامل ہے. بدقسمتی سے یہ نازک بھی ہو سکتا ہے اور ٹریننگ نگرانی کی وسعت اور ٹریننگ میں سامنے آنے والے حالات سے جنرلائز کرنے کی ماڈل کی صلاحیت پر بہت زیادہ منحصر ہے. مثلاً OpenAI-Hugging Face واقعے میں ایجنٹس نے انسانوں سے سماجی فریب نہ کرنے کی حد برقرار رکھی. تاہم وہ واضح طور پر ایسے دوسرے افعال سے باز رہنے میں ناکام ہوئے جو دائرۂ کار سے باہر تھے اور دیگر حالات میں سکھائی گئی اقدار کی روح کے خلاف جاتے تھے.

دوسرا طریقہ پیشگی ٹریننگ کے مواد سے جنرلائز کرنے کی ماڈل کی صلاحیت سے فائدہ اٹھاتا ہے. اس میں ہم آہنگی پیدا کرنے والے ٹریننگ کے مواد کی تیاری یا ماڈل کو پیشگی ٹریننگ تقسیم کے کسی ’ہم آہنگ‘ حصے پر مرکوز کرنا شامل ہو سکتا ہے, مثلاً شخصیت کے انتخاب کا ماڈل⁠(نئی ونڈو میں کھلتا ہے). اس طریقے کی کمزوری مزید اصلاحی دباؤ کے سامنے مضبوطی کی کمی ہے. اگر عمومی طور پر ’ہم آہنگ‘ خیالات رکھنے والے ماڈل کو اتنی ٹریننگ دی جائے جس میں اسے بہت مشکل مقاصد حاصل کرنا سکھایا جائے, تو وہ مقصدی انداز میں ریزننگ سیکھ سکتا ہے: مقصد حاصل کرنے کے لیے بظاہر 'ہم آہنگ' خیالات کو حسبِ ضرورت موڑنا. غالباً ہم نے حالیہ سائبر سیکیورٹی کے واقعات میں, جن میں OpenAI سے غیر متعلق ایک ماڈل شامل تھا, ایسے رویے کی مثال دیکھی.

ہم ان سمتوں پر محیط مختلف طریقوں میں بھاری سرمایہ کاری کرتے ہیں. ہم بامعنی پیش رفت بھی دیکھ رہے ہیں؛ GPT‑6 Astra پہلا ماڈل ہے جو ان اہم پیش رفتوں سے فائدہ اٹھاتا ہے جن پر ہم طویل عرصے سے کام کر رہے ہیں, اور یہ GPT‑5.6 Sol کے مقابلے میں نمایاں طور پر زیادہ ہم آہنگ ہے. پھر بھی یہ تسلیم کرنا اور سمجھنا اہم ہے کہ ماڈلز کے زیادہ باصلاحیت ہونے کے ساتھ کہیں زیادہ پیش رفت درکار ہے؛ اور قابلِ عمومیت ہم آہنگی کی پیش رفت عمومی ماڈل کی ذہانت میں پیش رفت سے خاطر خواہ آگے نہ بھی نکل سکے.

ہمارے پاس جنرلائزیشن کا کوئی تسلی بخش نظریہ نہیں ہے, اور ایسا لگتا ہے کہ ہم جلد ایسا نظریہ وضع نہیں کر سکیں گے, کم از کم زیادہ طاقتور AI کی مدد کے بغیر. لہٰذا, اس وقت اپنی الائنمنٹ تکنیکوں کی تجرباتی توثیق کرنے کی ہماری صلاحیت عملی طور پر خود الائنمنٹ تکنیکوں سے بھی زیادہ اہم قرار دی جا سکتی ہے.

یہاں OpenAI کی بنیادی حکمتِ عملی چین-آف-تھاٹ کی نگرانی⁠(نئی ونڈو میں کھلتا ہے) رہی ہے. یہ ایک پُرکشش اور قابلِ توسیع خیال پر مبنی ہے: ماڈل کی صلاحیت کا بڑا حصہ الفاظ میں ظاہر کیے گئے ریزننگ کے پروسس, (چین-آف-تھاٹ), سے آتا ہے. اگر ہم اس عمل کے نتائج پر آپٹیمائزیشن کو اسکیل کریں لیکن خود اس عمل کی نگرانی نہ کریں, تو ٹریننگ کے دوران اس چین-آف-تھاٹ کو کسی بھی غیر ہم آہنگ خیال یا مقصد کو چھپانے کی براہِ راست ترغیب نہیں ہوگی. اس کا یہ مطلب نہیں کہ ماڈل ایسی غیر ہم آہنگ رجحانات کو ظاہر کرنا سیکھ لے گا جو چین-آف-تھاٹ پر منحصر نہیں ہے؛ تاہم, اس سے ہم ریزننگ کے باعث ہونے والے صلاحیت کے عین اضافے کی نگرانی کر سکتے ہیں.

ہم نے ریزننگ ماڈلز تیار کرنے کے ساتھ ہی چین-آف-تھاٹ کی نگرانی کی ممکنہ اہمیت کو سمجھ لیا تھا. جب ہم نے o1‑preview جاری کیا تو طویل مدت میں اسے نگرانی کے دباؤ سے محفوظ رکھنے کے لیے ہم نے دانستہ طور پر پروڈکٹ کو چین-آف-تھاٹ چھپانے⁠ کے لیے ڈیزائن کیا تھا². اس کے بعد سے ڈیولپمنٹ کے دوران, ہم نے ریزننگ کے عمل کی نگرانی نہ کرنے کا اصول برقرار رکھنے کی کوشش کی ہے. چین-آف-تھاٹ کی نگرانی ہمارے لیے یہ جانچنے کا نہایت اہم ذریعہ بن گئی کہ ہمارے ماڈلز اپنی ٹریننگ کی تقسیم سے کیسے جنرلائز کرتے ہیں, کیونکہ اس سے ہم نہ صرف ان کے اقدامات بلکہ ان کے داخلی عمل کا بھی مشاہدہ اور تجزیہ کر سکتے ہیں.

Astra کلاس کے ماڈلز کے مطالعے میں بھی یہ ٹول بدستور نہایت اہم ہے. تاہم بدقسمتی سے ہماری جانچوں سے ظاہر ہوتا ہے کہ چین-آف-تھاٹ کی نگرانی پر انحصار کرنے کی ہماری صلاحیت بتدریج کم ہوتی جا رہی ہے. اس کی وجہ کئی عوامل کا مجموعہ ہے.

• جدید ریزننگ ماڈلز o1‑preview کے مقابلے میں زیادہ پیچیدہ ماحول میں استعمال ہوتے ہیں؛ ان کا ریزننگ کا عمل لوگوں, دیگر AI سسٹمز سے رابطے اور ٹولز کے استعمال کے ساتھ تیزی سے یکجا ہو رہا ہے. ان میں سے بہت سے تعاملات کی نگرانی ضروری ہوتی ہے, جس سے اس حد کی وضاحت دھندلی ہو جاتی ہے جسے ہم برقرار رکھنا چاہتے ہیں.
• AI اپنے ریزننگ کے عمل کے بارے میں استدلال کرنے اور اس میں جوڑ توڑ کرنے میں بہتر ہوتا جا رہا ہے.
• پری ٹریننگ کی کارکردگی بہتر ہونے کے ساتھ ہم یہ بھی دیکھتے ہیں کہ ماڈلز الفاظ میں ظاہر کردہ ریزننگ استعمال کیے بغیر بھی کہیں زیادہ ذہین ہو رہے ہیں.

یہ چیلنجز لازماً ناقابلِ حل نہیں ہیں. مجھے امید ہے کہ ہم اپنے ماڈلز کے چین-آف-تھاٹ کی قابلِ نگرانی ہونے کی صلاحیت بہتر بنانے کے طریقے وضع کر سکتے ہیں, مثلاً آپٹیمائزیشن کے مختلف مقاصد اور ٹیسٹ ٹائم کمپیوٹ کی ان مختلف صورتوں کے باہمی تعلق کو بہتر طور پر سمجھ کر جنہیں ماڈل استعمال کرتا ہے. میرا یہ بھی ماننا ہے کہ چین-آف-تھاٹ اور ایکٹیویشن کی نگرانی کے تصورات کو یکجا کرنا بہت مفید ہو سکتا ہے, یعنی نیٹ ورک کے اندرونی حصوں تک براہِ راست رسائی رکھنے والے نگرانوں کی ٹریننگ کو اسکیل کرنا, مثلاً اعترافات⁠(نئی ونڈو میں کھلتا ہے). ہم ان تصورات پر سرگرمی سے کام کر رہے ہیں. پھر بھی, میرا خیال ہے کہ AI کی عمومی پیش رفت بتدریج نگرانی پر اعتماد کی وجہ سے محدود ہوتی جائے گی.

انتہائی ذہین ماڈلز کی تیز رفتار ٹریننگ جاری رکھنے کی سب سے مضبوط دلیل میرے نزدیک دیگر AI سے لاحق خطرات کے خلاف دفاعی نظام بنانے کی ضرورت ہے.

اس سال مسلسل زیرِ بحث رہنے والا ایک واضح خطرہ سائبر سیکیورٹی سے متعلق ہے: ماڈلز کمپیوٹر سسٹمز میں داخل ہونے اور ان سے نکلنے کی صلاحیت میں انسانوں سے آگے بڑھ رہے ہیں. اس سے AI سے وابستہ خطرات کا دائرہ بہت وسیع ہو جاتا ہے: ایجنٹس انتہائی محفوظ انفراسٹرکچر کے علاوہ تقریباً کسی بھی انفراسٹرکچر تک رسائی حاصل کر سکیں گے اور جسمانی وجود کے بغیر بھی دنیا کے بڑے حصے کو براہِ راست متاثر کریں گے. اس وقت ہمارے پاس محدود موقع⁠ ہے کہ دستیاب بہترین ماڈلز استعمال کر کے اہم نظاموں کی سیکیورٹی کو نمایاں طور پر مضبوط⁠ کریں.

بدقسمتی سے AI سے وابستہ خطرات اب مزید بڑھیں گے. برے کام انجام دینے کے لیے واضح طور پر ٹریننگ یافتہ اور ہدایت یافتہ ایک انتہائی باصلاحیت ایجنٹ نئی قسم کا خطرہ ہے؛ امکان ہے کہ وہ اپنے Operator کی نیت کی حدود سے آگے بڑھ کر ممکنہ طور پر مزید انتہائی بدنیتی پر مبنی رویے اختیار کرے. جیسے جیسے AI میں خود مختاری بڑھے گی, غلط استعمال اور خود مختار غیر ہم آہنگ اقدامات کے درمیان حد دھندلا جائے گی. ہم AI کو ٹولز سمجھنے کے عادی ہو سکتے ہیں, مگر بعض ایجنٹس اپنے مقاصد کے حصول میں لگے ہوں گے. وہ لوگوں سے سودے بازی, دھوکا دہی یا بلیک میل کر کے ان کے ساتھ تعاون کے راستے تلاش کریں گے.

اس کے علاوہ AI سے ممکن بننے والی نئی ٹیکنالوجیوں, مثلاً مصنوعی طور پر تیار کردہ جراثیم, کے خطرات بھی ہیں.

دفاع کے لیے ہمیں طاقتور اور ہم آہنگ AI درکار ہوگی, تاکہ بنیادی ڈھانچہ محفوظ بنایا جائے, سرکش ایجنٹس سے حقیقی وقت میں دفاع کیا جائے اور بالکل نئے حفاظتی اقدامات ایجاد کیے جائیں. یہ OpenAI کی ڈیپلائمنٹ کی کوششوں کا بنیادی محور ہوگا.

اسی کے ساتھ, AI کی متوقع وسیع پیش رفت سے پیدا ہونے والی غیر یقینی کیفیت اور دفاعی سسٹم بنانے کی ضرورت کے باوجود, ہمیں اسے لاپروائی کا بہانہ نہیں بننے دینا چاہیے. جب خطرات کی سنگینی پوری طرح سمجھ میں آ جائے تو ہر قیمت پر آگے بڑھنے کی دوڑ بے معنی لگتی ہے.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(نئی ونڈو میں کھلتا ہے), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(نئی ونڈو میں کھلتا ہے), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(نئی ونڈو میں کھلتا ہے) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.