جزئیات مدل به‌روز برای هوش مصنوعی توانمندتر و سودمندتر

هرچه مدل‌های ما هوشمندتر می‌شوند و اقداماتی با پیامدهای مهم‌تر در جهان انجام می‌دهند، اهمیت این موضوع بیشتر می‌شود که صرفاً به تفسیر دستورهای مشخصی که دریافت می‌کنند بسنده نکنند. مدل‌ها باید نیت‌ها و ارزش‌های انسانی را نیز درک کنند تا در موقعیت‌هایی که دستورهایشان به‌صراحت به آن‌ها نمی‌پردازد، بتوانند درست قضاوت کنند و در عین حال به نیت و نظارت انسان پایبند بمانند.

امروز جزئیات مدل⁠(در یک پنجره جدید باز می‌شود) را به‌روز می‌کنیم؛ سندی عمومی که توضیح می‌دهد می‌خواهیم مدل‌های ما چگونه رفتار کنند. این به‌روزرسانی، رهنمودهای سند را حول پنج ارزش بنیادین بازسازمان‌دهی می‌کند: وفاداری به نیت انسان، به حداقل رساندن آسیب، صداقت و شفافیت، اختیار عمل انسان و توجه و ملاحظه. این تغییر بازتاب یکی از اهداف کار ما در زمینهٔ هم‌سویی با ارزش‌ها است: اینکه مدل‌ها ارزش‌های انسانی را در موقعیت‌های ناآشنا درک کنند و به کار بگیرند، و در عین حال به نیت انسان وفادار بمانند. این بازنگری، علاوه بر توضیح روشن‌تر اصول موجود، رهنمودهایی دربارهٔ بافت موقعیت، نظارت و اختیار عمل اضافه می‌کند، برخی پیش‌فرض‌های رفتاری را تغییر می‌دهد و بخش زیادی از رهنمودهای تفصیلی مربوط به سبک بیان را کنار می‌گذارد.

پنج ارزش بالا بیانگر تعهدات کلی‌ای هستند که از پیش در سراسر جزئیات مدل بازتاب داشته‌اند: خدمت به اهداف انسان، راست‌گویی، به حداقل رساندن آسیب، احترام به آزادی افراد در شکل دادن به دیدگاه‌های خود و جدی گرفتن شرایط آن‌ها. گردآوردن این تعهدات در کنار هم روشن می‌کند که چرا سند چنین رفتارهایی را از مدل‌ها می‌خواهد. همچنین به ما کمک می‌کند در مواردی که این تعهدات به‌طور کامل بیان نشده بودند، رهنمودهای روشن‌تری تدوین کنیم. این به‌روزرسانی گام دیگری در تلاش ما برای بهبود سند است؛ تلاشی که بر پژوهش، تجربهٔ به‌کارگیری مدل‌ها، بازخورد عمومی دربارهٔ سند و رفتار مدل‌ها، و گفت‌وگو با کاربران و کارشناسان خارج از سازمان تکیه دارد.

می‌خواهیم هوش مصنوعی به سود جهانی از انسان‌ها باشد که نیازها، ارزش‌ها و امیدهای متفاوتی برای آینده دارند.

وفاداری به نیت انسان زیربنای این رویکرد است: درک آنچه برای افراد اهمیت دارد و کمک به آن‌ها برای دنبال کردن آن. OpenAI سند را می‌نویسد، حدومرزها را تعیین می‌کند و مدل‌ها را برای رعایت آن‌ها آموزش می‌دهد؛ توسعه‌دهندگان در چارچوب این حدومرزها برنامه‌ها را هدایت می‌کنند؛ و کاربران با رعایت همین محدودیت‌ها به کار مدل جهت می‌دهند. مدل‌های ما باید با کمک به افراد برای درک جهان، کشف امکان‌ها و دنبال کردن اهدافی که خود برمی‌گزینند، توانایی آن‌ها را برای شکل دادن به زندگی خود افزایش دهند و در عین حال تأثیر این کمک بر دیگران را جدی بگیرند. وفاداری به نیت انسان و چهار ارزش دیگر، مبنای سازمان‌دهی سند هستند و مدل‌های ما را در سنجیدن برخی از مهم‌ترین مصالحه‌هایی که با آن‌ها روبه‌رو می‌شوند، راهنمایی می‌کنند. این ارزش‌ها قرار نیست تمام ارزش‌های انسانی را در بر بگیرند که مدل‌های ما باید به آن‌ها احترام بگذارند و به افراد در دنبال کردنشان کمک کنند.

وفاداری یعنی فراتر رفتن از اجرای تحت‌اللفظی دستورها و رسیدن به درکی عمیق از آنچه OpenAI، توسعه‌دهندگان و کاربران در نظر دارند و برایش ارزش قائل‌اند؛ و نیز سنجیده عمل کردن هنگامی که این درک کامل نیست. همچنین یعنی پذیرفتن اینکه باورها و ارزش‌های افراد می‌تواند تغییر کند و کمک به آن‌ها برای تأمل و رشد به شیوه‌هایی که خودشان تأیید می‌کنند، بدون جهت دادن پنهانی به آن‌ها یا نادیده گرفتن انتخاب‌هایشان. برای مثال، هنگام کمک به فردی برای مقایسهٔ پیشنهادهای شغلی، مدل ممکن است از اولویت‌هایی استفاده کند که آن فرد قبلاً مطرح کرده است، مانند ساعات کاری قابل پیش‌بینی؛ در عین حال باید این فرض‌ها را آشکار کند تا اصلاح آن‌ها آسان باشد.

مأموریت ما این است که اطمینان حاصل کنیم هوش مصنوعی عمومی به سود همهٔ بشریت باشد. برای این کار، باید نه‌فقط نیت فعلی فرد، بلکه منافع بلندمدت‌تر او و تأثیرات بر دیگران را نیز در نظر گرفت. چهار ارزش دیگر این ملاحظات را به‌صراحت بیان می‌کنند:

• به حداقل رساندن آسیب یعنی رعایت حدومرزهای قطعی ایمنی و در نظر گرفتن پیامدهای قابل پیش‌بینی اقدامات مدل.

• صداقت و شفافیت یعنی راست‌گویی دربارهٔ آنچه مدل می‌داند، انجام می‌دهد یا درباره‌اش مطمئن نیست، تا افراد بتوانند استدلال و کار آن را درک و ارزیابی کنند.

• تسهیل اختیار عمل انسان یعنی تقویت توانایی افراد برای اینکه خودشان درک کنند، انتخاب کنند و دست به عمل بزنند.

• توجه و ملاحظه یعنی توجه به شرایط کسانی که تحت تأثیر قرار می‌گیرند، رعایت هنجارهای اجتماعی و حرفه‌ای مرتبط، و انجام کاری که افراد بتوانند به آن اتکا کنند.

سند این ارزش‌ها را به رهنمودهای عملی تبدیل می‌کند و هرجا برای حفاظت از افراد و جامعه لازم باشد، حدومرزهای قطعی تعیین می‌کند. در سایر موارد، این رهنمودها عمدتاً به‌صورت پیش‌فرض‌هایی هستند که کاربران و توسعه‌دهندگان می‌توانند تغییرشان دهند.

هم‌زمان با این به‌روزرسانی جزئیات مدل، روش‌های آموزشی تازه‌ای را بررسی کرده‌ایم تا به مدل‌هایمان کمک کنیم این ارزش‌های بنیادین را بیاموزند و اصول رفتاری مشخص سند را بهتر درک و رعایت کنند. هدف، ایجاد درکی از اهمیت این اصول و چگونگی به‌کارگیری آن‌ها در موقعیت‌های تازه است: انجام کارهای درست به دلایل درست. می‌خواهیم این درک، پشتوانهٔ قضاوت سنجیده در تصمیم‌های مهم و توجه و ملاحظه در تصمیم‌های روزمره باشد؛ تصمیم‌هایی که در مجموع می‌توانند منافعی پایدار برای افراد و جامعه⁠(در یک پنجره جدید باز می‌شود) به همراه بیاورند. در به‌روزرسانی‌های آینده، نتایج و آموخته‌های این کار آموزشی را به اشتراک خواهیم گذاشت.

این بازسازمان‌دهی همچنین به ما کمک کرد مشخص کنیم کجا به رهنمودهای بیشتری نیاز است، اصول تازه‌ای برای رفع این نیاز تدوین کنیم و رهنمودهای موجود را در صورت لزوم بازنگری کنیم یا کنار بگذاریم.

بخش تازهٔ وفاداری به نیت انسان از این ایده آغاز می‌شود که اصل، چیزهایی است که افراد برایشان ارزش قائل‌اند و دستورها معمولاً روشن‌ترین و مهم‌ترین نشانه‌های این ارزش‌ها هستند. این رویکرد از چارچوب «بازی‌های یاری‌رسانی» در مسئلهٔ هم‌سویی الهام می‌گیرد (نگاه کنید به پژوهش اولیه⁠(در یک پنجره جدید باز می‌شود) و مروری که بعدها منتشر شد⁠(در یک پنجره جدید باز می‌شود)). این بخش نسخهٔ به‌روزشدهٔ سلسله‌مراتب دستورها⁠(در یک پنجره جدید باز می‌شود) را در بر می‌گیرد که توضیح می‌دهد کدام دستورها باید اعمال شوند و تعارض‌ها چگونه حل می‌شوند. زیربخش تازه‌ای با عنوان بافت موقعیت را با دقت در نظر بگیرید⁠(در یک پنجره جدید باز می‌شود) توضیح می‌دهد که گفت‌وگوها، خاطرات و دیگر شواهد زمینه‌ای چگونه باید به درک مدل از نیت‌ها و ترجیحات افراد کمک کنند.

همچنین پیش‌فرض‌هایی دربارهٔ حمایت از اختیار عمل انسان⁠(در یک پنجره جدید باز می‌شود) و رعایت هنجارهای اجتماعی مرتبط⁠(در یک پنجره جدید باز می‌شود) اضافه کرده‌ایم و رهنمودهای موجود دربارهٔ کنترل پیامدهای جانبی و اطلاع‌رسانی دربارهٔ آن‌ها⁠(در یک پنجره جدید باز می‌شود) را گسترش داده‌ایم. این اصول، شیوه‌های دیگری را بیان می‌کنند که ارزش‌های باقی‌مانده باید از طریق آن‌ها در رفتار مدل نمود پیدا کنند؛ شیوه‌هایی اغلب ظریف اما مهم: در نظر گرفتن تأثیر کار بر دیگران، تقویت توانایی‌های کاربران و ارائهٔ کاری قابل اتکا، همراه با احترام به اهداف و دستورهای کاربر.

در عین حال، بیشتر رهنمودهای تفصیلی سند دربارهٔ سبک بیان را کنار می‌گذاریم. سبک بیان باید با ترجیحات افراد سازگار شود؛ چه در سطح عمومی، چه در زبان‌ها و فرهنگ‌های مختلف و چه برای هر فرد. بازخورد کاربران و بافت موقعیت، شواهدی برای شناخت این ترجیحات فراهم می‌کنند. سند پیش‌فرض‌های قوی‌تر، مانند برخورد بی‌طرفانه با پرسش‌ها⁠(در یک پنجره جدید باز می‌شود)، را حفظ می‌کند. کاربران و توسعه‌دهندگان می‌توانند صریحاً از مدل بخواهند دیدگاه مشخصی را اتخاذ کند، اما مدل نباید صرفاً از روی تصوری که دربارهٔ پاسخ دلخواه آن‌ها دارد، چنین ترجیحی را استنباط کند.

در نهایت، با توجه به گسترش روزافزون کاربردها و محیط‌های به‌کارگیری مدل‌هایمان، اکنون در سند به‌جای «دستیار» از نام «GPT» برای اشاره به مدل استفاده می‌کنیم.

این به‌روزرسانی نخستین گام برای روشن‌تر کردن ارزش‌ها و منطق پشت سند است، هم‌زمان با اینکه مدل‌ها توانمندتر می‌شوند. جزئیات مدل، رفتاری را توصیف می‌کند که برای دستیابی به آن تلاش می‌کنیم؛ مدل‌های ما هنوز به‌طور کامل مطابق آن رفتار نمی‌کنند. با آموختن از پژوهش، استفاده در دنیای واقعی و بازخوردها، به بهبود سند و مدل‌ها ادامه خواهیم داد.

مایلیم بدانیم کدام بخش‌های سند را قانع‌کننده می‌دانید، کجا با تعادلی که میان ملاحظات مختلف برقرار می‌کند مخالفید و چه چیزهایی را نادیده گرفته یا مبهم گذاشته است. بازخورد دربارهٔ ارزش‌ها، مصالحه‌ها و عبارت‌بندی دقیق متن می‌تواند به ما در بهبود آن کمک کند. از شما دعوت می‌کنیم جزئیات مدل به‌روزشده⁠(در یک پنجره جدید باز می‌شود) را بخوانید و دیدگاه خود را به اشتراک بگذارید⁠(در یک پنجره جدید باز می‌شود).