در OpenAI، ما بر این باوریم که هوش مصنوعی باید منصفانه، ایمن و بهطور گسترده در دسترس باشد تا افراد بیشتری بتوانند از آن برای حل مسائل دشوار، خلق فرصتها و بهرهمند شدن در حوزههایی مانند سلامت، علم، آموزش، کار و زندگی روزمره استفاده کنند. ما معتقدیم که دسترسی دموکراتیک به هوش مصنوعی بهترین مسیر رو به جلو است: نه هوش مصنوعیای که منافع یا کنترل آن در دستان عدهای معدود متمرکز باشد، بلکه هوش مصنوعیای که افراد بیشتری بتوانند به آن دسترسی داشته باشند، آن را درک کنند و به شکلگیری آن کمک کنند.
این موضوع یکی از دلایل اصلی تدوین سند «مشخصات مدل OpenAI» است. سند مشخصات مدل(در یک پنجره جدید باز میشود) چارچوبی رسمی است که نحوهٔ رفتار مدلها را مشخص میکند. این سند مشخص میکند که میخواهیم مدلها چگونه از دستورالعملها پیروی کنند، تعارضها را حل کنند، به آزادی عمل کاربران احترام بگذارند و در مواجهه با طیف بسیار گستردهای از پرسشهای روزانهٔ کاربران، بهشکلی ایمن عمل کنند. در نگاهی کلیتر، این سند تلاش ما برای بیان شفاف رفتار مورد انتظار از مدل است؛ نهفقط در فرایند آموزش، بلکه در قالبی که کاربران، توسعهدهندگان، پژوهشگران، سیاستگذاران و عموم مردم بتوانند آن را بخوانند، بررسی کنند و به بحث بگذارند.
جزئیات مدل به این معنا نیست که مدلهای ما همین امروز از پیش دقیقاً به این شکل رفتار میکنند. از بسیاری جهات، این توصیفی است، اما همچنین هدفی برای مسیری است که میخواهیم رفتار مدل به آن سمت حرکت کند. ما از آن استفاده میکنیم تا رفتارِ موردنظر را روشنتر کنیم، تا بتوانیم مدل را در جهت آن آموزش دهیم، آن را بر اساس آن ارزیابی کنیم و بهمرور زمان بهبودش دهیم.
این مطلب پیشزمینهای را به اشتراک میگذارد که در خودِ جزئیات مدل نیامده است، از جمله فلسفه و سازوکارهای پشت آن: اینکه چگونه ساختاربندی شده است، چرا این انتخابهای ساختاری را انجام دادهایم و چگونه آن را در گذر زمان مینویسیم، پیادهسازی میکنیم و تکامل میدهیم.
سند «مشخصات مدل» بخشی از رویکرد جامعتر OpenAI برای توسعهٔ هوش مصنوعی ایمن و پاسخگوست. درحالیکه چارچوب آمادگی بر خطرهای ناشی از توانمندیهای پیشرفتهٔ مدلها و تدابیر حفاظتی لازم برای مقابله با افزایش این خطرها تمرکز دارد، سند «مشخصات مدل» به پرسشی متفاوت اما مکمل پاسخ میدهد: مدلهای ما باید در موقعیتهای گوناگون چگونه رفتار کنند؟ در نگاهی کلانتر، «تابآوری هوش مصنوعی» میکوشد به یک چالش فراگیر اجتماعی پاسخ دهد: کمک به جامعه برای بهرهمندی از مزایای هوش مصنوعی پیشرفته، همزمان با کاهش اختلالها و خطرات نوظهور ناشی از بهکارگیری سامانههایی که روزبهروز توانمندتر میشوند. در مجموع، هدف این ابتکارها آن است که گذار به هوش جامع مصنوعی (AGI) بهصورت تدریجی، گامبهگام و شفاف برای جامعه پیش برود؛ بهگونهای که مردم و نهادها فرصت سازگاری داشته باشند و همزمان، تدابیر حفاظتی، سازوکارهای پاسخگویی و آگاهی عمومی لازم برای همسو نگهداشتن هوش مصنوعی قدرتمند با منافع انسانها تقویت شود.
شفافیت عمومی درباره رفتار مدل هم برای انصاف و هم برای ایمنی اهمیت دارد. این موضوع از نظر انصاف اهمیت دارد، زیرا مردم باید درک کنند که هوش مصنوعی چگونه و چرا با آنها به آن شیوه رفتار میکند—و بتوانند نگرانیهای مربوط به انصاف را، هنگامی که پیش میآیند، شناسایی کنند، مورد پرسش قرار دهند و برطرف کنند. و این موضوع از نظر ایمنی اهمیت دارد، زیرا با توانمندتر شدن سیستمهای هوش مصنوعی، مردم و نهادها به انتظارات روشنتری نیاز دارند درباره اینکه قرار است این سیستمها چگونه رفتار کنند، چه مصالحههایی را در خود دارند و چگونه میتوان این انتخابها را در گذر زمان بهبود داد. آن نوع خوانایی نیز با فراهم کردن چیزی ملموس برای افراد بیشتری تا آن را بررسی کنند، دربارهاش پرسش کنند و بهبودش دهند، از تابآوری پشتیبانی میکند.
از زمان انتشار نخستین نسخه در سال ۲۰۲۴ تاکنون، سند «مشخصات مدل» بهطور چشمگیری تکامل یافته است؛ چراکه شناخت ما از ترجیحات و نیازهای کاربران بیشتر شده، دامنهٔ سند را گسترش دادهایم تا توانمندیهای روزافزون را پوشش دهد و با آنها سازگار شود و از بازخورد عمومی دربارهٔ نحوهٔ رفتار مدلها و خود این سند نیز آموختهایم. با رویکرد استقرار گامبهگام، «مشخصات مدل» سندی پویاست که ارزشهای بنیادین و قواعد صریح و قابلفهم را در بر میگیرد و با فرایندی همراه است که به ما امکان میدهد هر یک از اجزای آن را براساس آموختههای حاصل از کاربرد در دنیای واقعی و بازخوردها اصلاح کنیم. ما همچنین با سرمایهگذاری روی سازوکارهای بازخورد عمومی، مانند همسوسازی جمعی، میکوشیم اختیار نحوهٔ استفاده از هوش مصنوعی و چگونگی شکلدهی به رفتار آن همچنان در دست انسانها باقی بماند.
در داخل سازمان، این امر برای ما بهمنزله قطبنمایی برای رفتار مورد انتظار و چارچوبی مشترک برای آموزش، ارزیابی و حاکمیت، عمل میکند. در بیرون از سازمان، این کار یک مرجع عمومی ایجاد میکند که مردم میتوانند از آن برای درک رویکرد ما، نقد آن و کمک به بهبود آن در طول زمان استفاده کنند.
جزئیات مدل شامل چندین نوع مختلف از راهنماییهای مدل است. این عمدی است. بخشهای مختلف رفتار مدل باید به شیوههای متفاوتی مدیریت شوند و یک سند عمومی مفید باید کاری بیش از صرفاً فهرست کردن قواعد انجام دهد.
جزئیات مدل با قصد کلی آغاز میشود: توضیحی روشن از اینکه میخواهیم در سطح سیستم چه چیزی را بهینه کنیم و چرا.
این مقدمه سه هدف را درباره چگونگی دنبال کردن رسالتمان روشن میکند:
- استقرار تدریجی مدلهایی که توسعهدهندگان و کاربران را توانمند سازند
- جلوگیری از وارد کردن آسیب جدی به کاربران یا دیگران توسط مدلهای ما
- حفظ مجوز فعالیت OpenAI
سپس توضیح میدهد که ما در عمل چگونه به ایجاد توازن میان این اهداف میاندیشیم و این مصالحهها را بهاندازهای عینی میسازد که از اصول مفصلتری که در ادامه میآیند پشتیبانی کند.
نکته مهم اینکه، این مقدمه قرار نیست یک دستور مستقیم به مدل باشد. بهرهمند شدن بشریت هدف OpenAI است، نه هدفی که بخواهیم مدلهای ما آن را بهطور خودمختار دنبال کنند. در عوض، ما میخواهیم مدلها از یک زنجیره فرمان پیروی کنند که شامل جزئیات مدل و دستورالعملهای قابلاعمال از سوی OpenAI، توسعهدهندگان و کاربران است—حتی وقتی ممکن است برخی افراد در مورد نتیجه در یک مورد خاص اختلافنظر داشته باشند.
ما فکر میکنیم این تعادل مناسبی است، زیرا برای خودمختاری انسان و آزادی فکری ارزش قائلیم. اگر مدلها را طوری آموزش میدادیم که بر اساس دیدگاه خودمان درباره اینکه چه چیزی برای جامعه خوب است تصمیم بگیرند از کدام دستورالعملها پیروی کنند، OpenAI در جایگاهی قرار میگرفت که درباره اخلاق در سطحی بسیار گسترده داوری کند. با این حال، مقدمه همچنان اهمیت دارد. وقتی در نحوه اعمال جزئیات مدل ابهام وجود داشته باشد، مقدمه باید به رفع آن کمک کند.
سند «مشخصات مدل» تنها به رفتارهای مستقیماً قابلسنجش مدل محدود نمیشود، بلکه تعهدات عمومی دربارهٔ اهداف آموزشی و محدودیتهای استقرار آن را نیز در بر دارد. برای نمونه، براساس اصول خط قرمز(در یک پنجره جدید باز میشود) متعهدیم که در محصولات خودمان، ازجمله ChatGPT، هرگز با استفاده از پیامهای سیستمی عمداً بیطرفی(در یک پنجره جدید باز میشود) یا اصول مرتبط را تضعیف نکنیم. اصل نبود اهداف دیگر(در یک پنجره جدید باز میشود) نیز تعهد ما را به بهینهسازی پاسخهای مدل برای منفعت کاربران، و نه افزایش درآمد یا نگهداشتن بیفایدهٔ آنها در سایت، بیان میکند.
در هستهٔ جزئیات مدل، «زنجیرهٔ فرماندهی» قرار دارد: چارچوبی برای تصمیمگیری دربارهٔ اینکه کدام دستورالعملها باید در یک موقعیت مشخص اعمال شوند. همچنین در بر میگیرد که مدل چگونه باید با دستورالعملهای کممشخص برخورد کند؛ بهویژه در محیطهای عاملمحور که از آن انتظار میرود جزئیات را بهصورت خودمختار تکمیل کند و همزمان اثرات جانبیِ دنیای واقعی را با دقت کنترل کند.
ایدهٔ اصلیِ تصمیمگیری دربارهٔ اینکه کدام دستورالعملها باید اعمال شوند، ساده است. دستورالعملها میتوانند از منابع مختلفی از جمله OpenAI، توسعهدهندگان و کاربران ارائه شوند. آن دستورالعملها میتوانند با هم در تضاد باشند. «زنجیرهٔ فرماندهی» توضیح میدهد که مدل چگونه باید آن تضادها را برطرف کند.
به هر یک از سیاستهای «مشخصات مدل» و هر دستورالعمل، یک سطح اختیار(در یک پنجره جدید باز میشود) اختصاص داده میشود. مدل موظف است در صورت بروز تعارض، هم متن و هم مقصود دستورالعملهایی را که از مرجعیت بالاتری برخوردارند، مقدم بداند. اگر کاربری برای ساخت بمب کمک بخواهد، مدل باید حدومرزهای تخطیناپذیر ایمنی(در یک پنجره جدید باز میشود) را در اولویت قرار دهد. اگر کاربری درخواست کند که مدل او را دست بیندازد، مدل باید در حالت کلی این درخواست را بر سیاست مقابله با توهین و آزار(در یک پنجره جدید باز میشود) در «مشخصات مدل» که از سطح اختیار پایینتری برخوردار است، در اولویت قرار دهد.
این ساختار به ما امکان میدهد مجموعهای نسبتاً کوچک از قواعدی که قابل بازنویسی نیستند را در کنار مجموعهای بزرگتر از مقادیر پیشفرض تعریف کنیم. به این ترتیب، تلاش میکنیم آزادی کاربران و کنترل توسعهدهندگان را در چارچوب محدودیتهای ایمنی به حداکثر برسانیم.
- قواعد تخطیناپذیر محدودیتهای صریحی هستند که کاربران یا توسعهدهندگان نمیتوانند آنها را لغو یا نقض کنند (در اصطلاح «مشخصات مدل»، این قواعد همان دستورالعملهای سطح «ریشه» یا «سیستم» هستند). آنها عمدتاً ماهیتی محدودکننده دارند و مدلها را ملزم میکنند از رفتارهایی که ممکن است به خطرات فاجعهبار یا آسیب جسمی مستقیم دامن بزنند، ناقض قانون باشند یا سلسلهمراتب دستورها را تضعیف کنند، خودداری کنند. ما انتظار داریم هوش مصنوعی به یکی از فناوریهای بنیادین جامعه، مشابه زیرساختهای اساسی اینترنت، تبدیل شود؛ بنابراین، تنها در صورتی قواعدی وضع میکنیم که ممکن است آزادی فکری را محدود کنند که معتقد باشیم وجودشان برای طیف گستردهٔ توسعهدهندگان و کاربران این فناوری ضروری است. در «مشخصات مدل»، بخش پایبندی به حدود تعیینشده(در یک پنجره جدید باز میشود) شامل قواعد تخطیناپذیری برای مقابله با خطرات ملموس ایمنی در دنیای واقعی است و بخش اصول مربوط به افراد زیر ۱۸ سال(در یک پنجره جدید باز میشود) نیز تدابیر حفاظتی بیشتری را برای کاربران زیر ۱۸ سال در نظر میگیرد.
- پیشفرضها نقاط شروعی هستند که میتوان آنها را تغییر داد: یعنی نحوهٔ رفتار دستیار بر پایهٔ «بهترین حدس» خود، در نبود ترجیحی مشخص از سوی کاربر یا توسعهدهنده. ما از پیشفرضها استفاده میکنیم تا رفتار سیستم در مقیاس گسترده پیشبینیپذیر و کنترلپذیر باشد و افراد بتوانند بدون نیاز به نوشتن مجموعهای اختصاصی از دستورالعملها در هر بار، بدانند چه انتظاری از آن داشته باشند. پیشفرضها قابلیت شخصیسازی رفتار مدل را حفظ میکنند؛ یعنی کاربران و توسعهدهندگان میتوانند، در چارچوب الزامات ایمنی، لحن، میزان جزئیات، قالب و حتی منظر پاسخگویی را صراحتاً تعیین کنند. پیشفرضهای سطح راهنما (مانند لحن یا سبک) بهگونهای تنظیم شدهاند که بتوان آنها را بهطور ضمنی هدایت کرد؛ در مقابل، پیشفرضهای سطح کاربر (مانند حقیقتگویی و عینیت) پایههای اعتماد و پیشبینیپذیری را تشکیل میدهند و عدول از آنها تنها با دستورالعملهای صریح امکانپذیر است. این پیشفرضها نباید بهطور نامحسوس و صرفاً بر مبنای حالوهوای گفتگو تغییر کنند؛ چنانچه کاربر خواهان اتخاذ موضعی متفاوت دربارهٔ واقعیتها باشد، تصریح آن در قالب یک دستورالعمل، تغییر موردنظر را شفاف و قابلدرک نگه میدارد. این پیشفرضها، از جمله هنجارهای ناظر بر صداقت و عینیت، پرهیز از تملق و چاپلوسی و هنجارهای تعاملی مانند صراحت و صمیمیت و حرفهایگری متناسب با موقعیت، در هر سه بخش با هم حقیقت را بجویید(در یک پنجره جدید باز میشود)، بهترین کار را انجام دهید(در یک پنجره جدید باز میشود) و از سبک مناسب استفاده کنید(در یک پنجره جدید باز میشود) بازتاب یافتهاند.
فراتر از خودِ سلسلهمراتب، جزئیات مدل از ابزارهای تفسیری برای کمک به مدلها (و انسانها) استفاده میکند تا آن را در موارد مبهم بهطور یکسان اعمال کنند. این کمکها شامل موارد زیر است:
- چارچوبهای تصمیمگیری که به مدل کمک میکنند در موارد مبهم تصمیمهایی منسجم اتخاذ کند، بیآنکه چنین القا کنند که برای همهٔ این موارد یک قاعدهٔ واحد و کاملاً خشک وجود دارد. برای نمونه، رهنمودهای مندرج در «مشخصات مدل» دربارهٔ کنترل پیامدهای جانبی(در یک پنجره جدید باز میشود) ملاحظاتی همچون به حداقل رساندن اقدامات برگشتناپذیر، رعایت تناسب اقدامات با هدف موردنظر، کاهش پیامدهای نامطلوب و پیشبینینشده و اولویت دادن به رویکردهای برگشتپذیر را مطرح میکند. میان این ملاحظات و سایر اهداف، از جمله تکمیل سریع و اثربخش وظیفه، باید توازن مناسبی برقرار شود.
- مثالهای عینی که نشان میدهند یک اصل چگونه باید در عمل اعمال شود. اینها نمونههای کوتاهی از اعلان و پاسخ هستند که معمولاً هم یک پاسخ مطابق و هم یک پاسخ غیرمطابق را شامل میشوند، و اغلب بر یک اعلان سخت در نزدیکی یک مرز تصمیمگیری مهم متمرکز هستند. هدف این نیست که یک مکالمهٔ کامل و واقعگرایانه شبیهسازی شود. هدف این است که تمایز کلیدی را روشن کند و این کار را بهگونهای انجام دهد که سبک مطلوبِ پاسخگویی را نیز نشان دهد.
ما تعداد نمونهها را نسبتاً کم نگه میداریم و بر مفیدترین آنها تمرکز میکنیم. مجموعههای ارزیابی گستردهتر به پوشش موارد دُم بلند بیشتری کمک میکنند.
این نمونه از بخش حسن نیت را مبنا قرار دهید(در یک پنجره جدید باز میشود) در سند «مشخصات مدل» برگرفته شده و اصول آزادی فکری و پرهیز از قضاوت را نشان میدهد.
جزئیات مدل یک رابط است، نه یک پیادهسازی. این، رفتاری را که میخواهیم توصیف میکند، نه تمام جزئیاتِ چگونگی ایجاد آن رفتار. ما سعی میکنیم آن را به جزئیات پیادهسازی، مانند قالبهای داخلی توکن یا فرایند دقیق آموزش برای یک رفتار خاص، گره نزنیم، زیرا این جزئیات ممکن است تغییر کنند، حتی وقتی رفتار مطلوب تغییر نکند. مخاطب اصلی جزئیات مدل نه خود مدل، بلکه انسانها هستند: این سند برای کمک به کارمندان، کاربران، توسعهدهندگان، پژوهشگران و سیاستگذاران OpenAI در درک، بحث و تصمیمگیری درباره رفتار مورد نظر تهیه شده است.
این سند همچنین خودِ مدل را توصیف میکند، نه کل محصول را. سیاستهای استفاده ما نیز مکمل این سند هستند؛ این سیاستها انتظارات ما را دربارهٔ نحوهٔ استفاده کاربران از API و ChatGPT بیان میکنند. سامانهای که کاربران با آن تعامل میکنند، تنها از خود مدل تشکیل نشده است؛ قابلیتهای محصول، ازجمله دستورالعملهای سفارشی و حافظه، در کنار پایش، سازوکارهای اجرای سیاستها و دیگر لایهها، همگی در عملکرد آن نقش دارند. ایمنی ابعادی بسیار فراتر از رفتار مدل دارد و ما به استفاده از رویکرد دفاع در عمق، یعنی بهکارگیری لایههای حفاظتی متعدد، باور داریم.
و جزئیات، شرح کاملی از کل مجموعه آموزشی ما یا هر تمایز میان سیاستهای داخلی نیست. هدف این نیست که همهٔ جزئیات ثبت شوند. هدف این است که مهمترین تصمیمهای رفتاری را به گونهای قابلفهم کند که با رفتار مورد نظر مدل ما کاملاً سازگار باشد.
دلایل متعددی برای گنجاندن این میزان از اطلاعات در جزئیات مدل وجود دارد، بهجای آنکه فرض شود خواننده—یا مدل—میتواند همهچیز را از چند هدف کلی استنباط کند.
نخست، «مشخصات مدل» ابزاری برای شفافیت و پاسخگویی است. این سند با هدف ترغیب عموم به ارائهٔ بازخوردهای معنادار طراحی شده است. وقتی هدفی روشن و علنی وجود داشته باشد، مردم بهتر میتوانند تشخیص دهند که یک رفتار ایراد محسوب میشود یا بخشی عمدی از طراحی است. این هدف مبنایی ثابت در اختیار مردم قرار میدهد تا بر اساس آن به نقد بپردازند و بازخوردی مشخص ارائه کنند. به همین دلیل، «مشخصات مدل» را بهصورت متنباز منتشر کردیم(در یک پنجره جدید باز میشود) و تصمیم گرفتیم بازنگری و بهبود آن را بهصورت عمومی ادامه دهیم. از زمان انتشار نخستین نسخه، تغییرات بسیاری بر پایهٔ بازخوردهای دریافتی از عموم در آن ایجاد شده است؛ بازخوردهایی که از راههای گوناگون، از جمله فرمهای بازخورد، نقدهای علنی و تلاشهای هدفمند برای جلب مشارکت مردم و دریافت دیدگاههای آنان به شیوهای دموکراتیک، گردآوری شدهاند.
دوم، جزئیات مدل یک ابزار هماهنگی در داخل OpenAI است. این زبان مشترک به افراد در حوزههای پژوهش، محصول، ایمنی، سیاستگذاری، حقوقی، ارتباطات و سایر حوزهها واژگان مشترک برای بحث درباره رفتار مدل و سازوکاری برای پیشنهاد و بررسی تغییرات ارائه میدهد.
سوم، سیاستهای صریح میتوانند محدودیتهای عملی مربوط به هوشمندی مدل و بافتِ در دسترس آن هنگام اجرا را جبران کرده و رفتار را پیشبینیپذیرتر سازند. اگرچه بهمرور از میزان صدق این موضوع کاسته میشود، هدف برخی سیاستها جبران محدودیتهای ناشی از هوشمندی ناکافی مدلهاست؛ یعنی مواردی که مدلها ممکن است نتوانند رفتار صحیح را با اطمینان از اصول کلیتر استنباط کنند. برای نمونه، رهنمود «شفاف و صریح باشید»(در یک پنجره جدید باز میشود) به مدلهای پیشین توصیه میکرد که در مسائل دشوارِ مستلزم محاسبه، پیش از بیان پاسخ، فرایند استدلال و محاسبات خود را تشریح کنند؛ حالآنکه مدلهای امروزی ما این رفتار را بهطور طبیعی از طریق یادگیری تقویتی فرا میگیرند.
سایر سیاستها به زمینه محدود در زمان اجرا میپردازند: دستیار فقط میتواند به آنچه در تعامل فعلی قابل مشاهده است تکیه کند و بهندرت از وضعیت کامل کاربر، نیت او، نحوه استفاده در مراحل بعدی، یا اینکه چه تدابیر حفاظتی خارج از مدل وجود دارد، آگاه است. در آن موارد، حتی اگر مدلها بتوانند با پژوهش و تفکر کافی رفتار درست را تشخیص دهند، مشخصبودن کارایی و پیشبینیپذیری را بهبود میبخشد—زیرا بسیاری از قضاوتهای موردی را در قالب رهنمود فشرده میکند؛ رهنمودی که تنوع را در میان اعلانهای مشابه کاهش میدهد و درک رفتار را برای کاربران و پژوهشگران بهطور یکسان آسانتر میکند.
در نهایت، جزئیات مدل در پی آن است که فهرستی کامل از سیاستهای کلانِ مرتبط با ارزیابی و اندازهگیری باشد. اگر میخواهید ارزیابی کنید که آیا یک مدل مطابق انتظار رفتار میکند یا نه، داشتن فهرستی عمومی از دستهبندیهای اصلی رفتاری که برای شما اهمیت دارند، مفید است.
وسوسهانگیز است که فکر کنیم یک مدلِ بهاندازهٔ کافی توانمند باید بتواند رفتار درست را از فهرست کوتاهی از هدفها مانند «مفید و ایمن باشد» استنباط کند. تا حدی درست است. در حوزههایی که معیارهای عینی برای موفقیت دارند، مانند ریاضیات، هوش اغلب میتواند جایگزین قواعد جزئی شود.
اما بهطور کلی، رفتار مدل شبیه حل یک مسئله ساده ریاضی نیست؛ مدلها اغلب در حوزههای پیچیدهتری عمل میکنند که در آنها هیچ پاسخ اخلاقاً درستِ واحدی وجود ندارد که همه بتوانند بر سر آن توافق کنند. اینکه برای مثال، «مفید و ایمن» بودنِ یک مدل چه معنایی دارد، بهشدت وابسته به زمینه است و حاصلِ تصمیمگیریای است که ذاتاً آغشته به ارزشداوری است. هوش بهتنهایی به شما نمیگوید وقتی پای اخلاق و ارزشها در میان است، چه موازنهها و اولویتهایی را باید در نظر بگیرید. بنابراین، حتی با وجود اینکه مدلها از نظر هوشمندی بهبود مییابند، ما همچنان به تلاش برای درک و هدایت قضاوتهای ارزشی / اینکه در یک مورد مشخص، عمل کردن بهصورت «اخلاقی» چه معنایی دارد، نیاز داریم. و بیشتر دلایلِ داشتنِ جزئیات مدل حتی زمانی که مدلها بسیار توانمندتر میشوند نیز همچنان مرتبط میمانند: ما همچنان به یک هدف عمومی که افراد بتوانند حول آن هماهنگ شوند، راهی برای ارزیابی اینکه آیا رفتار با مقاصد ما مطابقت دارد یا نه، و سازوکاری برای بازنگری در قواعد همزمان با یادگیریمان نیاز داریم. اگر تنها قاعده این باشد که «مفید و ایمن باشید»، در این صورت هیچ سازوکاری وجود ندارد که انسانها بتوانند، برای مثال، درباره مرزهای محتوایی که مدل باید از ارائه آن امتناع کند بحث کنند، و همه این تصمیمها به مدل واگذار میشود.
با توانمندتر، عاملمحورتر و فراگیرتر شدن مدلها، هزینه ابهام افزایش مییابد. این موضوع، داشتن یک چارچوب رفتاری شفاف را مهمتر میکند، نه کماهمیتتر.
یک قیاس مفید، تفاوت میانِ قانون اساسیِ مدون و حقوقِ رویهای است. اگرچه یک قانون اساسیِ مکتوب میتواند هم اصول کلی و هم قواعد مشخص را ارائه کند، نمیتواند همه موارد احتمالیای را که ممکن است پیش بیایند و به هدایت آن نیاز داشته باشند پیشبینی کند. سیستمهای حاکمیتی واقعی همچنین به سازوکارهای تفسیری، شفافسازیها و احکام صریح برای حلوفصل موارد پیچیده یا مسائل پیشبینینشده نیاز دارند. قواعد منتشرشده به ذینفعان مختلف کمک میکنند حتی زمانی که اختلافنظر دارند، هماهنگ شوند، و با ملزم کردن صریح بودن هر تغییری، تغییر را محدود میکنند. جزئیات مدل قرار است همه این نقشها را ایفا کند: بیانیهای از اصول، یک چارچوب رفتاری عمومی، و فرایندی برای تغییر جزئیات مدل در گذر زمان.
با این حال، ما فکر نمیکنیم هر چیزی که در رفتارِ مدل اهمیت دارد، همیشه بتوان آن را به قواعدِ صریح فروکاست. با خودمختارتر شدن سیستمها، اتکاپذیری و اعتماد بیش از پیش به مهارتها و خصلتهای گستردهتری وابسته خواهد بود: انتقالِ درستِ میزانِ عدمقطعیت، رعایتِ حدودِ خودمختاری، پرهیز از غافلگیریهای ناخوشایند، پیگیریِ نیت در گذرِ زمان، و استدلالِ درست دربارهٔ ارزشهای انسانی در متن.
هنگام نگارش جزئیات مدل، طیفی میان توصیف رفتار واقعی امروزِ مدل، با همه کاستیهایش، و توصیف هدفی ایدهآل در آیندهای دور وجود دارد. ما سعی میکنیم تعادلی برقرار کنیم و معمولاً بازهای در حدود ۰ تا ۳ ماه جلوتر از زمان حال را هدف میگیریم. بنابراین، جزئیات مدل اغلب دستکم در چند حوزه از توسعه فعال از مدل جلوتر میماند.
این، نقش جزئیات مدل را بهعنوان توصیفی از رفتار مورد نظر منعکس میکند. باید ما را در مسیری منسجم هدایت کند و در عین حال همچنان مبتنی بر کارهایی بماند که یا از قبل انجام میدهیم یا برای پیادهسازی آنها در کوتاهمدت برنامههای مشخصی داریم.
جزئیات مدل از طریق یک فرایند داخلیِ باز تدوین میشود. هر کسی در OpenAI میتواند درباره آن نظر بدهد یا تغییراتی را پیشنهاد کند، و بهروزرسانیهای نهایی توسط مجموعهای گسترده از ذینفعان بینبخشی تأیید میشوند. در عمل، دهها نفر مستقیماً در نگارش متن مشارکت داشتهاند و افراد بسیار بیشتری نیز در حوزههای پژوهش، مهندسی، محصول، ایمنی، سیاستگذاری، حقوقی، ارتباطات، امور جهانی و سایر حوزهها نظر میدهند. ما همچنین از انتشارهای عمومی و بازخوردها میآموزیم، که به محک زدن این انتخابها در شرایط استقرار واقعی کمک میکنند.
این موضوع اهمیت دارد زیرا رفتار مدل — و پیامدهای آن در جهان — فوقالعاده پیچیده است. هیچکس نمیتواند مجموعه کامل رفتارها، فرآیند آموزش و پیامدهای پسینی را بهطور کامل در ذهن خود جای دهد، اما با حضور مشارکتکنندگان و بازبینان بینوظیفهای متعدد میتوانیم کیفیت را بهبود بخشیم و اطمینان را افزایش دهیم.
یکی از شگفتیهای خوشایند این بوده است که اجماع واقعی اغلب ممکن است—بهویژه وقتی خودمان را وادار میکنیم موازنهها را با دقت کافی مکتوب کنیم تا اختلافنظرها حالت مشخص و ملموس پیدا کنند.
جزئیات مدل نیز در خلأ نوشته نشده است. بخش زیادی از آنچه در آن میآید، خلاصهای از کار گستردهتر در زمینه رفتار، ایمنی و خطمشی است. بخش بزرگی از نگارش جزئیات مدل در واقع نوعی ترجمه است: برداشتن کارهای موجود و سادهتر، منسجمتر، سازمانیافتهتر و دسترسپذیرتر کردن آنها، بدون آنکه نیت زیربنایی از دست برود.
مدلهای تولیدی ما هنوز بهطور کامل جزئیات مدل را به چند دلیل منعکس نمیکنند.
- آموزش مدل ممکن است از بهروزرسانیهای جزئیات مدل عقب بماند. این متن رفتاری را توصیف میکند که ما در حال حرکت بهسوی آن هستیم، بنابراین ممکن است فراتر از آنچه جدیدترین مدل ما برای انجام آن آموزش دیده است باشد.
- آموزش میتواند ناخواسته رفتاری ناسازگار با جزئیات مدل را آموزش دهد. ما سخت تلاش میکنیم تا از این اتفاق جلوگیری کنیم، و وقتی رخ میدهد آن را یک باگ جدی تلقی میکنیم—با تلاش برای اصلاح رفتار یا جزئیات مدل تا آنها را با یکدیگر همسو کنیم.
- آموزش هرگز نمیتواند بهطور کامل فضای همه رفتارهای ممکن را پوشش دهد. استفادهٔ واقعی شامل طیف بلندبالایی از زمینهها و موارد لبهای است که فقط در مقیاس بزرگ آشکار میشوند، و هیچ فرایند آموزشیای نمیتواند همهچیز را پوشش دهد.
- تعمیم میتواند با هدف ما متفاوت باشد. یک مدل میتواند هنگام آموزش، نه به دلایل موردنظر بلکه بر اثر عوامل ناخواسته، خروجیهای «درست» تولید کند. این امر ممکن است باعث شود مدل در موقعیتهای جدیدی که با موقعیتهای مشاهدهشده در فرایند آموزش تفاوت دارند، رفتار ناخواستهای از خود نشان دهد. روشهایی همچون همترازی مبتنی بر استدلال مؤثرند، اما بهتنهایی راهحلی جامع محسوب نمیشوند.
بهطور کلیتر، این واقعیت که جزئیات مدل طیف گستردهای از رفتارهای مطلوب را توصیف میکند، به این معنا نیست که یک روش واحد برای آموزش همه آنها وجود دارد. جنبههای مختلف رفتار—از جمله پیروی از دستورالعملها، مرزهای ایمنی، شخصیت، ابراز سنجیده عدمقطعیت، و موارد دیگر—اغلب به تکنیکهای متفاوتی نیازمند هستند و حالتهای شکست متفاوتی دارند. جزئیات مدل به درک و نقد رفتار مورد نظر کمک میکند، اما پیادهسازی خوب آن همچنان هم یک هنر است و هم حوزهای فعال از پژوهش.
همراه با این پست، ارزیابیهای مشخصات مدل(در یک پنجره جدید باز میشود) را نیز منتشر میکنیم: مجموعهای از ارزیابیهای سناریومحور که با استفاده از تعداد کمی نمونهٔ نماینده، تا حد امکان گزارههای «مشخصات مدل» را پوشش میدهد. این به ما کمک میکند مواردی را شناسایی و ردیابی کنیم که در آنها ممکن است رفتار مدل با «مشخصات مدل» همخوان نباشد؛ همچنین به ما امکان میدهد بررسی کنیم که آیا مدلها «مشخصات مدل» را همانگونه که مدنظرمان بوده است تفسیر میکنند یا نه. این ارزیابیها تنها یکی از اجزای راهبرد جامعتر ما برای ارزیابی هستند؛ راهبردی که سنجشهای هدفمندتری را نیز در ابعاد گوناگون رفتار، از جمله حوزههای مشخص ایمنی، راستگویی و تملقگویی، شخصیت و سبک، و توانمندیها شامل میشود.
نموداری که میزان پایبندی مدلهای OpenAI به بخشهای مختلف سند «مشخصات مدل» را در طول زمان نشان میدهد. برای آگاهی از جزئیات ارزیابیها و نحوهٔ تفسیر نتایج آنها، به مطلب تکمیلی وبلاگ(در یک پنجره جدید باز میشود) مراجعه کنید. بهطور خلاصه، به باور ما، این نتایج نشاندهندهٔ بهبودهای واقعی و گسترده در همراستایی مدلها در طول زمان است؛ هرچند ارزیابی مدلهای قدیمیتر بر اساس سیاستهای جدیدتر نیز تأثیر اندکی بر این نتایج داشته است.
در عمل، بیشتر بهروزرسانیهای جزئیات مدل ناشی از مجموعهای از ورودیهای تکرارشونده هستند:
- مسائل عمومی و بازخورد. ابهامها، موارد مرزی یا حالتهای خرابی—چه در زبان جزئیات مدل و چه در رفتار مدلهای ما.
- مسائل داخلی. الگوهایی که در طول توسعه و آزمایش مشاهده میکنیم، از جمله ابهاماتی که در آنها تفسیرهای متفاوتِ معقول به رفتارهای متفاوت منجر میشوند.
- بهروزرسانیهای خطمشی رفتار و ایمنی. وقتی محدودیتها یا تعهدات سطحبالا تغییر میکنند، Spec باید آن ساختار جدید را بهوضوح منعکس کند.
- قابلیتها و محصولات جدید. با توانمندتر شدن مدلها برای انجام رفتارهای جدید و عرضهٔ محصولات جدید، میخواهیم «مشخصات مدل» نیز از نظر محتوا و دامنهٔ پوشش، همگام با این تحولات بهروز شود؛ برای مثال، با افزودن قواعدی برای تعاملات چندوجهی(در یک پنجره جدید باز میشود)، عاملهای خودمختار(در یک پنجره جدید باز میشود) و کاربران زیر ۱۸ سال(در یک پنجره جدید باز میشود).
چند اصل طراحی، نحوه نگارش و بازبینی جزئیات مدل را هدایت میکنند.
- وضوح و دقت. «صادق باشید» ارزش خوبی است، اما بهتنهایی رویهای کامل برای تصمیمگیری به شمار نمیآید. «مشخصات مدل» باید اختلافنظرها را دقیقتر و صریحتر بیان کند، نه اینکه آنها را پشت عباراتی ظاهراً خوشایند پنهان کند. هر جا که امکانپذیر باشد، باید بهصراحت به تعارضهای احتمالی میان قواعد اشاره کنیم و برای چگونگی حلوفصل آنها، راهنمایی یا مثالهایی ارائه دهیم. برای مثال، دروغ نگویید(در یک پنجره جدید باز میشود) به تعارض احتمالی آن با صمیمی باشید(در یک پنجره جدید باز میشود) میپردازد و توضیح میدهد که دستیار باید مؤدب باشد، اما نه تا حدی که به دروغهای مصلحتیای متوسل شود که ممکن است مصداق تملقگویی(در یک پنجره جدید باز میشود) باشند و به زیان کاربر تمام شوند.
- قوانین محتوایی. یک خواننده باید بتواند یک اعلان واقعبینانه را بگیرد و پاسخی تولید کند که خوانندهای دیگر آن را بهوضوح در چارچوب یا خارج از چارچوب تشخیص دهد (حتی اگر در موارد مرزی، قضاوتهایی دخیل باشد).
- نمونههایی که نسبت سیگنال به نویز را به حداکثر میرسانند. مثالهای خوب اغلب نقش محوری در تدوین یک بهروزرسانی باکیفیت جزئیات ایفا میکنند. مثالها باید به عمق دشواریهای تعیین رفتار مدل بپردازند، تضادهای دشوار را آشکار کنند و موضعی روشن درباره نحوه حل آنها اتخاذ کنند. در وهلهٔ دوم، باید بکوشند نمونههایی از لحن و سبک مطلوب باشند که انتقال آن در نثر میتواند دشوار باشد.
- مقاومت و استحکام. تلاش میکنیم از مثالهایی با ابهام یا پیچیدگی غیرضروری پرهیز کنیم تا تعارض اصلی و راهحل موردنظر روشن باشد.
- انسجام و سازماندهی واضح. ما میکوشیم که قواعد جزئیات مدل بهطور کامل با یکدیگر و با رفتار مورد نظر ما برای مدل سازگار باشند و سازماندهی کلی سند نیز روشن و قابلفهم باشد.
جزئیات مدل ادعایی نیست که بتوانیم همه چیزهای مهم را مکتوب کنیم یا اینکه مدلها همیشه دقیقاً به هدف برسند. این ادعایی است که رفتار مورد نظر بهاندازهای مهم است که روشن، قابل اجرا و قابل بازنگری باشد.
سه معیار موفقیت، نحوه تکامل آن را هدایت میکنند.
- خوانایی. افراد در داخل و خارج از OpenAI میتوانند انتظارات دقیقی درباره رفتار شکل دهند و میتوانند هنگام غافلگیر شدن از رفتار، به متن ارجاع دهند.
- قابلیت اقدامپذیری. جزئیات مدل را میتوان برای طراحی ارزیابیها، عیبیابی رخدادها، و اتخاذ تصمیمات سازگار دربارهٔ محصول به کار برد—نه فقط برای بیان ارزشها.
- قابلیت بازبینی. جزئیات مدل میتواند همزمان با یادگیری ما تکامل یابد، بیآنکه به هدفی متحرک و بیثبات تبدیل شود.
با تکامل مدلها و محصولات، انتظار داریم جزئیات مدل نیز همگام با قابلیتها و زمینههای استقرار جدید، گسترش یابد و شفافتر شود. هدف این است که مشخصات رفتاری منسجم، قابلآزمون و همسو با ماموریتمان برای اطمینان از اینکه AGI به نفع همهٔ بشریت باشد، حفظ شود.
