اجماع خاموش
یادداشت نویسنده: جستار امروز برگرفته از سخنرانی اخیر نویسنده در مجموعهسخنرانیهای ویک–بیلی در هاروارد است. این نوشته بازتاب دیدگاههای شخصی نویسنده است و لزوماً بیانگر دیدگاههای OpenAI یا دیگر کارکنان آن نیست.
از حضورتان در اینجا سپاسگزارم. همین حالا که صحبت میکنیم، یکی از مهمترین سلسلهرویدادهای تاریخ امنیت سایبری در حال وقوع است: افشای مجموعهای از آسیبپذیریهای امنیتی بحرانی که برخی آن را «اکتبر سیاه» مینامند. این آسیبپذیریها در بخشهایی از زیرساخت بنیادین اینترنت، به دست سامانههای هوش مصنوعی پیشرو کشف شدهاند و افشای آنها بخشی از تلاشی فوری برای تقویت امنیت نرمافزار در سراسر جهان است. مسئلهٔ فوری این ماه همین است؛ ماه آینده مسئلهٔ دیگری خواهیم داشت. کشف آسیبپذیری نرمافزار، قابلیتی با کاربرد دوگانه است که سامانههای هوش مصنوعی امروز به آن دست یافتهاند. اما بهزودی قابلیت دیگری پدید خواهد آمد و پروژهٔ فوری تازهای را رقم خواهد زد تا پیش از آنکه عوامل مخرب از وجه زیانبارش بهره بگیرند، از وجه سودمند آن استفاده شود. این مسائل فوری ناگزیر با یکدیگر تداخل خواهند داشت و احتمالاً بخش بزرگی از آنچه امروز «سیاستگذاری هوش مصنوعی» مینامیم، در میانهٔ همین هیاهو شکل خواهد گرفت.
اما امروز نیامدهام دربارهٔ امور فوری و واکنش به آنها با شما صحبت کنم. در عوض، میخواهم دربارهٔ مسیری حرف بزنم که در نگاهی کلان، شاید در پیش داریم. در میان چنین هجوم بیامانِ مسائل فوری، اندیشیدن به این پرسشهای انتزاعیتر و دورتر از امور روزمره آسان نیست. اما این پرسشها مهماند؛ زیرا اگر تصوری از آیندههای بلندمدتِ مطلوب و نامطلوبمان نداشته باشیم، ممکن است در نهایت به نتیجهای کلان برسیم که نمیپسندیم، حتی اگر در تکتک گامهای مسیر تصمیمهای خردمندانه گرفته باشیم.
اغلب گفته میشود که صنعت فناوری چشمانداز مثبتی از مقصدی ندارد که ساختههایش ما را به سوی آن میبرند. من موافق نیستم: سانفرانسیسکو و دیگر کانونهای کارآفرینی سرشار از چشماندازهای مثبت برای آیندهٔ فناورانهٔ ما هستند. واقعاً کسانی مشغول ساخت خودروهای پرنده، وسایل نقلیهٔ خودران، رباتهایی در شکلها و اندازههای گوناگون، توسعهٔ همجوشی هستهای و البته هوش مصنوعی عمومی هستند. آنچه نداریم، چشماندازی مثبت برای آیندهٔ نهادهای ماست: قرار است همهٔ اینها چگونه کار کنند؟
البته این بدان معنا نیست که برای آیندهٔ نهادها هیچ چشماندازی وجود ندارد. متأسفانه، رایجترین چشماندازی که میبینم، چیزی نیست که آن را مثبت بدانم. اگر اصلاً به زبان بیاید، معمولاً در حد زمزمه است. اما بیشتر اوقات ناگفته میماند و فقط از لابهلای حرفها میتوان به آن پی برد. من نامش را «اجماع خاموش» میگذارم.
شرکتی را تصور کنید که تقریباً همهچیز را بدون نیروی کار انسانی انجام میدهد. سامانههای هوش مصنوعی آن تحقیق و توسعه میکنند، دست به اکتشاف میزنند، بر سر قراردادها مذاکره میکنند، سرمایه تخصیص میدهند و تولید میکنند. فرض کنید این شرکت در همهٔ این کارها از رقبای انسانیاش بهتر عمل میکند، حتی وقتی آن انسانها برای تقویت کار خود از هوش مصنوعی کمک میگیرند. اگر دخالت انسان تنها باعث کند شدن کسبوکار شود، مدیران و مالکان انسانی انگیزهٔ نیرومندی خواهند داشت که دستشان را از روی فرمان بردارند. اگر این اتفاق در سراسر اقتصاد جهانی رخ دهد، منطق رقابت بازار انسانها را به سمت واگذاری جایگاه برتر خود در تجارت جهانی سوق خواهد داد. بهمرور، ممکن است بازار به همان اندازه که در خدمت نیازها و خواستههای مردم است، یا حتی بیشتر، در خدمت تقاضای ماشینها قرار بگیرد.
اینکه پس از آن چه میشود، معلوم نیست. شاید انسانها سودی عظیم ببرند. اگر ماشینهایی که ما را زیر سلطهٔ خود گرفتهاند برای انسانها ارزش ذاتی والایی قائل باشند، میتوانیم از حاصل کارشان و ثروتی که تولید میکنند بهرهمند شویم. یا شاید با از دست دادن قدرت اقتصادی و، بهتدریج، قدرت سیاسی، ما انسانها ببینیم که نقشمان در جهان روزبهروز کمرنگتر میشود و کمتر میتوانیم به مسیر امور جهان شکل دهیم. شاید عدهٔ کمی از انسانها به بهای سلب قدرت از تودههای مردم، قدرت و ثروتی خارقالعاده به دست آورند؛ یا شاید همهٔ ما به سرنوشت یکسانِ بیقدرتی دچار شویم. صرفنظر از جزئیات، رشتهٔ مشترکی که اجماع خاموش را شکل میدهد، پایان یافتن جایگاه برتر انسان در جهانی است که میشناسیم.
هیچیک از این سناریوها مستلزم شورش هوش مصنوعی علیه سازندگانش نیست. هیچیک مستلزم آن نیست که صاحبانش خواهان سلب قدرت از انسان باشند. هر تصمیم برای واگذاری اختیار، بهخودیخود میتواند منطقی باشد. اما این تصمیمها در مجموع ممکن است جهانی بسازند که در آن انسانها اختیار مؤثر بر بخش بزرگی از تمدن خود را واگذار کردهاند. حتی اگر در حل مسائل بغرنج ایمنی و همسویی هوش مصنوعی پیشرفتی خارقالعاده کنیم، باز هم ممکن است ببینیم که به نوع تازهای از موجودیت ماشینی تن سپردهایم. اجماع خاموش به ما میگوید که در روایت خوشِ آینده، این موجودیت مهربان خواهد بود؛ ماشینی که خیر و صلاح انسانها را میخواهد. ماشینی، به تعبیر شعر براتیگان، سرشار از لطف و مهر.
اجماع خاموش میگوید کلید شرکتهایمان و، بیش از پیش، نهادهای حکمرانیمان را به همین ماشینها خواهیم سپرد. آنها این نهادها را مؤثرتر و کارآمدتر، و با خرد و قضاوتی بهتر از آنچه در توان ما انسانهاست اداره خواهند کرد. پس بهمرور دستهایمان را از روی فرمان برمیداریم و میگذاریم ماشینهای مهرورز رانندگی را به عهده بگیرند. مانند مسافران یک خودرو خواهیم بود؛ خودرویی بسیار خوب، شاید از نظر امکانات بهتر از هرچه امروز تصورش را میکنیم، اما بههرحال مسافرانی بیاختیار در تعیین مسیر خودرو. اگر هم کاری بکنیم، بیشتر نوعی آیین یا نقشبازیکردن خواهد بود؛ چیزی شبیه بازیای برای سرگرم نگه داشتن گونهٔ ما.
برخی ناظران استدلال خواهند کرد که اجماع خاموش بر فرضی نادرست بنا شده، چون ما انسانها همین امروز هم اساساً جهان را کنترل نمیکنیم. این نقد را باید در نظر داشت: «ما»ی واحدی وجود ندارد که تصمیم بگیرد چه باید کرد. چه بخواهیم چه نخواهیم، در جهانی بهشدت غیرمتمرکز زندگی میکنیم. اما این نکته هم نباید خیالمان را آسوده کند: هرچند «ما» جهان را «کنترل» نمیکنیم، انسانها در مجموع بر امور جهان تسلط دارند. هیچ گونهٔ جانوری در تسلط بر منابع رقیب جدی ما نیست. باید این تصور سستبنیاد را رد کنیم که انسانها میتوانند از بالا بر جهان کنترل داشته باشند؛ اما رد این تصور نباید با انکار این واقعیت روشن خلط شود که انسانها، در مجموع، بازیگر اصلی کرهٔ زمین هستند.
برخی از کسانی که حاضرند اجماع خاموش را به زبان بیاورند، باور دارند که این آینده واقعاً خوب است. دیگران چنین باوری ندارند، اما آن را اجتنابناپذیر میدانند و به آن تن دادهاند. اجماع خاموش از آن رو «اجماع» نیست که همه بر خوب بودنش توافق دارند؛ نقشهای پنهانی میان سازندگان هوش مصنوعی هم نیست. توافق صرفاً بر این است که از دست رفتن جایگاه برتر انسان در امور جهان اجتنابناپذیر است؛ یا دستکم بسیار دشوار است بتوان چشمانداز دیگری برای آینده تصور کرد که واقعاً در برابر ماشینهای ابرهوشمند دوام بیاورد. ممکن است کسی صادقانه با چنین سرانجامی مخالف باشد، اما نتواند بهآسانی چشمانداز جایگزین باورپذیری تصور کند. همین که این اجماع عمدتاً خاموش است و در بهترین حالت زیر لب بیان میشود، خود نشانهای گویاست.
من از اجماع خاموش بیزارم. واگذاری جایگاه برتر انسان را نمیپذیرم. از حس اجتنابناپذیر بودن آن نفرت دارم. به خودم یادآوری میکنم که اگر به اجماع خاموش تن بدهم، دیگر نمیتوانم در چشمان زیبای پسر خردسالم نگاه کنم. پس به اجماع خاموش نه میگویم. و باور دارم زمان آن رسیده که آشکارا دربارهٔ اجماع خاموش حرف بزنیم و خودمان را از پذیرشِ عمدتاً ناآگاهانهٔ این چشمانداز بیرون بکشیم.
مسئله اینجاست: اجماع خاموش بیدلیل به اجماع تبدیل نشده است. دشوار است توضیح دهیم که انسانها در کنار هوش ماشینیِ بسیار فراتر از توان بشر، چگونه همچنان پشت فرمان خواهند ماند. بیشتر تلاشها برای توضیح این موضوع به این استدلال متکیاند که هوش مصنوعی صرفاً یک ابزار است؛ وسیلهای برای تشخیص الگو که توان «درک واقعی» ندارد. میترسم این استدلالها در برابر واقعیتی که در راه است تاب نیاورند. میترسم خودِ این استدلالها شکل دیگری از آسودگی خاطر بیجا باشند؛ موضعی که بیشتر بر انکار تواناییهای هوش مصنوعی بنا شده تا باوری ریشهدار در چشماندازی ایجابی از آیندهای به رهبری انسان. وقتی سامانههای هوش مصنوعی در حل مسائل فکریای پیشرفت میکنند که انسانها دههها و قرنها از حلشان عاجز بودهاند، دیگر نمیتوان گفت فاقد «درک واقعی» هستند.
پس چرا باور دارم انسانها باید جایگاه برتر خود را حفظ کنند؟ پاسخ ساده این است که چون خودم انسانم و بیهیچ شرمندگیای، متعصبانه جانب انسان را میگیرم.
اما دلیل عمیقتری هم هست. جایگاه برتر ما بر هوشمان استوار نیست؛ بر حفظ انحصار «درک واقعی» تا ابد هم استوار نیست. پایهٔ جایگاه برتر ما، گذشتهٔ ماست.
چرا که این ماییم که از گلولای برخاستیم. ماییم که از خاک و سنگ، جامعهٔ نخستین را ساختیم. ماییم که به ستارهها چشم دوختیم و پرسیدیم چرا. ماییم که با جنگها و عشقها، حسادتها و شادیهایمان، اخلاق و فلسفهٔ اخلاق و قانون را کشف کردیم. ماییم که آواز خواندیم و رقصیدیم، نوشتیم و آهنگ ساختیم. ماییم که تاریخ را ساختیم و ماییم که آن را نوشتیم. این میراث از آنِ ماست. تمدنی که ساختهایم شعلهای است که ما زنده نگه داشتهایم، و این شعله به ما تعلق دارد. گذشتهٔ ما میراثی باشکوه است که همه نگهبان آنیم؛ و بخشی از این نگهبانی، مشارکت در چیزی است که مایکل اوکشات «گفتوگوی نوع بشر» مینامید؛ آن کوشش عظیمی که از روزگاران نخستین آغاز شد.
در دل آن گذشتهٔ طولانی و پرپیچوخم، تمدنی ساختیم که در آمریکا، حقوق فردی در بنیان آن جای گرفت و مسیرهایی که هر یک از ما در گذر از جهان برای خود میسازیم، حرمت یافت. زندگی انسانها میتواند بهتر یا بدتر پیش برود: ثمرهٔ تصمیمهای خردمندانهمان را میچشیم و وقتی خطا میکنیم، پیامدهایش را به دوش میکشیم. حقِ پیمودن مسیر خود، مشروط به باهوشترین یا خردمندترین بودن نیست. اگر همسایهام قضاوت بهتری داشته باشد، من جایگاهم را بهعنوان شهروند از دست نمیدهم. هیچ دلیلی نمیبینم که ظهور ماشینی هوشمندتر هم این جایگاه را از بین ببرد؛ برعکس، دلایل فراوانی میبینم که باید جلوی این اتفاق را گرفت.
شاید برخی استدلال کنند که ماشینها نیز، چون تقریباً تمام آثار مکتوب این میراث را خواندهاند، وارث آن هستند. از یک نظر هم هستند. اما کسی که همهٔ نامههای اتاق زیرشیروانی خانهٔ خانوادگیتان را خوانده، صرفاً با این کار عضو خانوادهٔ شما نمیشود. سامانههای هوش مصنوعی به گفتوگوی نوع بشر خواهند پیوست؛ ابتدا در مقام ناظر و بهتدریج در مقام مشارکتکننده. اما نباید بر آن مسلط شوند یا آن گفتوگو را بیموضوع کنند. واگذاری جایگاه برترمان، همانقدر که خیانت به آیندگان ماست، خیانت به نیاکانمان نیز هست. اگر این نبرد ارزش جنگیدن ندارد، هیچ نبردی ارزش جنگیدن ندارد.
من شخصاً معتقدم پیروان اجماع خاموش دربارهٔ اینکه ابرهوش ماشینی چه خواهد بود، اشتباه میکنند. معتقدم نکتهای مهم را دربارهٔ سازوکار جهان نادیده میگیرند و هوش را با قدرت یکی میدانند. اگر پنج یا ده سال پیش، حتی تواناییهای سامانههای هوش مصنوعیِ امروز را برای یکی از پیروان اجماع خاموش شرح میدادید، احتمالاً پیشبینی میکرد که اکنون بیکاری بسیار بیشتر از میزان واقعیاش باشد و سلب قدرت از انسانها در مقیاس وسیع، بسیار بیش از وضع کنونی پیش رفته باشد. باور دارم هوش و توان جمعی انسانها بسیار فراتر از تصور پیروان اجماع خاموش است و جوامع ما مقاومتر از آنچه آنها پیشبینی میکنند از آب در خواهند آمد.
اما ممکن است اشتباه کنم. مثلاً شاید شرکتهای کاملاً خودگردان بتوانند کسبوکارهای انسانی را بهکلی از میدان رقابت بیرون برانند. اگر چنین باشد، منطق محض اقتصاد حکم خواهد کرد که سرمایهٔ هرچه بیشتری به ماشینها سپرده شود. در چنین آیندهای، سلب قدرت از انسان مستلزم سرنگونی تمدن بشری به دست ماشینها نیست؛ کافی است منطق بنگاهداری سرمایهدارانه همچنان با شتاب پیش برود. در این صورت، نزدیکترین نمونهٔ تاریخی به انقلاب هوش مصنوعی، انقلاب کشاورزی خواهد بود؛ زمانی که شیوههای تازهٔ تولید، ساختار جامعهٔ انسانی را از بنیاد تغییر دادند. اصلاً روشن نیست که این دگرگونی برای انسانهایی که آن را تجربه کردند خوشایند بوده باشد؛ در واقع، شواهد قابلتوجهی وجود دارد که این تحول، رفاه انسانها را برای هزاران سال کاهش داد.
نمیدانم آیا چنین آیندهای در پیش داریم یا نه؛ و در نوشتههای دیگرم نیز استدلال کردهام که باور ندارم چنین باشد. اما بسیاری از همکارانم، که افرادی هوشمند، دلسوز و باوجداناند، باور دارند که احتمالاً آیندهٔ ما همین خواهد بود. اگر حق با آنها باشد، نبرد ما با اجماع خاموش دشوارتر هم خواهد شد. باید خلاف جریان اقتصاد شنا کنیم و در این راه، بسیاری از باورهایی را کنار بگذاریم که برای فردگرایانِ لیبرال کلاسیک مثل من، اصولی خدشهناپذیرند. این تلاشی پرمخاطره خواهد بود که شکست در آن بههیچوجه بعید نیست. اما اگر این نبرد ارزش جنگیدن ندارد، هیچ نبردی ارزش جنگیدن ندارد.
حفظ جایگاه برتر انسان یعنی حفظ مسئولیت پاسخگویی انسانها و نهادهای انسانی. یعنی توسعهدهندگان هوش مصنوعی باید در قبال شیوههای ناایمنی که در توسعه به کار میبرند پاسخگو باشند؛ اما افراد و شرکتهای استفادهکننده از هوش مصنوعی نیز باید پاسخگو باشند، وقتی سوءاستفاده یا کوتاهی آنها در نظارت باعث آسیب میشود. این کار نهفقط به قانون، بلکه به زیرساخت فنیِ پاسخگویی نیاز دارد. اقدامات عاملها باید به صاحبان انسانیشان قابل انتساب باشد؛ و عاملهایی که به هیچ انسانی وابسته نیستند، اگر اصلاً اجازهٔ فعالیت در اقتصاد قانونی را داشته باشند، باید در چارچوب ضوابط حفاظتی فعالیت کنند. هرگونه حقِ تأسیس شرکت، تملک دارایی یا اقامهٔ دعوا بهصورت خودمختار برای عاملها، اگر اصلاً اعطا شود، باید با احتیاطی فوقالعاده اعطا شود.
و در صنعت خودمان، میتوانیم بهطور جدی به این فکر کنیم که چگونه ماشینهایی هوشمند بسازیم که با جایگاه برتر انسان سازگار باشند. میتوانیم عاملهایی بسازیم که مجوزهایشان روشن و محدود باشد، اقداماتشان قابل حسابرسی باشد و کاربران بتوانند اختیاراتشان را پس بگیرند. پاسخگویی در قبال اقداماتی که بر دیگران تأثیر قابلتوجهی میگذارند، لزوماً مستلزم نظارت بر زندگی خصوصی روزمره یا پایان دادن به بیان ناشناس نیست. میتوانیم به حفظ حریم خصوصی کاربران و اختیار فردی آنها بر داراییها و دادههای دیجیتالشان متعهد شویم؛ از جمله به امکان عملی انتقال آن دادهها به جای دیگر. میتوانیم در کنار سامانههایی که کارها را انجام میدهند، سامانههایی طراحی کنیم که به افراد در فهمیدن و تصمیم گرفتن کمک کنند. و میتوانیم بیازماییم که آیا محصولاتی که میسازیم، توان کاربرانشان را برای عمل کردن در جهان بیشتر میکنند یا نه.
هیچیک از اینها نقشهٔ راه کاملی برای جامعهای با هوش فرابشری نیست. به هر کسی که ادعا کند چنین نقشهای دارد، بدگمان خواهم بود. اما این نقطهای برای آغاز است.
آینده در مهی غلیظ پوشیده است. اما هنوز میتوانیم همین امروز دست به کار شویم. برای شروع، میتوانیم با هم این اجماع خاموش را به زبان بیاوریم و خطوط آن را آشکار کنیم. هر یک از ما میتوانیم دامنهٔ بلندپروازیمان را بهطرزی چشمگیر گسترش دهیم. میتوانیم نگذاریم هوش مصنوعی ما را کوچک کند و در عوض، سختیِ کار را به جان بخریم تا به کمک آن بزرگتر شویم. میتوانیم بیاموزیم که پرسشهایی هرچه جسورانهتر بپرسیم، با شور و سرسختی تازهای جهان را به پرسش بکشیم و در این راه ماشینهای قدرتمندمان را به کار بگیریم. میتوانیم گونهای تازه از انسان شویم؛ نه یک فراانسان، بلکه انسانی با ظرفیتهایی گستردهتر.
وقتی به پسر خردسالم نگاه میکنم، به این موضوع فکر میکنم. نمیخواهم سهم او فقط این باشد که ماشینهایی خیرخواه مراقبش باشند، هرقدر هم که زندگی راحتی برایش فراهم کنند. میخواهم وارث جهانی باشد که در آن بتواند پرسشهایی بپرسد که به فکر هیچکس نرسیده و چیزهایی بسازد که هیچکس به ساختنشان فکر نکرده است. خواستهام برای او ماشینی بهتر با صندلی مسافری نرمتر نیست. میخواهم فرمان دست خودش باشد.
- ۲۰۲۶


