Konsensus Tak Terucapkan
Catatan penulis: Esai hari ini diadaptasi dari ceramah yang baru-baru ini disampaikan penulis dalam rangkaian Kuliah Vik-Bailey di Harvard. Tulisan ini mencerminkan pandangan pribadi penulis, dan tidak selalu mencerminkan pandangan OpenAI atau karyawan lainnya.
Terima kasih atas kehadiran Anda hari ini. Saat kita berbicara, salah satu rangkaian peristiwa keamanan siber terpenting dalam sejarah sedang berlangsung: pengungkapan serangkaian kerentanan keamanan kritis yang oleh sebagian orang disebut “Oktober Hitam”. Kerentanan dalam sejumlah infrastruktur inti internet ini ditemukan oleh sistem AI terdepan, dan pengungkapannya merupakan bagian dari upaya mendesak untuk memperkuat keamanan perangkat lunak di seluruh dunia. Inilah persoalan mendesak bulan ini; bulan depan akan ada persoalan lain. Penemuan kerentanan perangkat lunak adalah kemampuan bermata dua yang kini telah dicapai sistem AI. Namun, tak lama lagi akan muncul kemampuan lain, yang akan memicu proyek mendesak tersendiri untuk memanfaatkan sisi baiknya sebelum pihak berniat jahat memanfaatkan sisi buruknya. Semua persoalan mendesak ini pasti akan saling bertumpang tindih, dan sebagian besar dari apa yang kini kita sebut “kebijakan AI” kemungkinan akan disusun di tengah hiruk-pikuk ini.
Namun, saya datang hari ini bukan untuk membicarakan hal-hal reaktif dan mendesak itu. Sebaliknya, saya ingin membicarakan ke mana semua ini mungkin mengarah dalam gambaran besarnya. Di tengah rentetan persoalan mendesak seperti ini, sulit untuk memikirkan pertanyaan-pertanyaan yang lebih abstrak dan terasa jauh dari kenyataan. Namun, pertanyaan-pertanyaan ini penting. Tanpa gambaran tentang masa depan jangka panjang yang ingin kita wujudkan—dan yang ingin kita hindari—kita bisa berakhir pada hasil keseluruhan yang tidak kita inginkan, meski telah mengambil keputusan bijak di setiap langkah.
Sering dikatakan bahwa industri teknologi tidak memiliki visi positif tentang ke mana hasil pengembangannya akan membawa kita. Saya tidak setuju: San Francisco dan pusat-pusat kewirausahaan lainnya penuh dengan visi positif tentang masa depan teknologi kita. Orang-orang benar-benar sedang mengembangkan mobil terbang, kendaraan otonom, robot dengan beragam ukuran dan bentuk, fusi nuklir, dan, tentu saja, kecerdasan umum buatan. Yang justru belum kita miliki adalah visi positif tentang masa depan kelembagaan kita: bagaimana semua ini akan berjalan?
Namun, itu bukan berarti tidak ada visi kelembagaan untuk masa depan. Sayangnya, visi yang paling sering saya temui bukanlah visi yang bisa saya sebut positif. Kalaupun diungkapkan, biasanya hanya lewat bisikan. Namun, lebih sering visi itu dibiarkan tak terucapkan, hanya bisa ditangkap secara tersirat. Saya menyebutnya konsensus tak terucapkan.
Bayangkan sebuah perusahaan yang bisa melakukan hampir segalanya tanpa tenaga manusia. Sistem AI-nya melakukan riset dan pengembangan, menghasilkan penemuan, menegosiasikan kontrak, mengalokasikan modal, dan memproduksi barang. Anggaplah perusahaan itu lebih unggul dalam semua hal tersebut daripada pesaingnya yang dijalankan manusia, bahkan ketika manusia-manusia itu memperkuat upaya mereka dengan AI. Jika keterlibatan manusia hanya memperlambat bisnis, para manajer dan pemilik akan memiliki dorongan kuat untuk melepaskan tangan dari kemudi. Jika hal ini terjadi di seluruh perekonomian global, logika persaingan pasar akan mendorong manusia untuk melepaskan kedudukan utamanya dalam perdagangan dunia. Seiring waktu, pasar mungkin akan melayani permintaan mesin sama besarnya, atau bahkan lebih besar, daripada melayani kebutuhan dan keinginan manusia.
Apa yang terjadi setelah itu, tak seorang pun tahu pasti. Mungkin manusia akan mendapat manfaat yang luar biasa. Jika mesin-mesin yang telah mengambil alih peran kita itu menganggap manusia berharga pada dirinya sendiri, kita bisa menjadi penerima manfaat dari kerja dan kekayaan yang mereka hasilkan. Atau mungkin, setelah kehilangan kekuatan ekonomi dan kian kehilangan kekuatan politik, kita manusia akan makin tidak relevan di dunia, makin tidak mampu menentukan arah perkembangan dunia. Mungkin segelintir manusia akan memegang kekuasaan dan kekayaan luar biasa dengan mengorbankan sebagian besar masyarakat yang kehilangan daya, atau mungkin kita semua akan mengalami nasib yang sama: kehilangan daya. Apa pun rinciannya, benang merah yang membentuk konsensus tak terucapkan itu adalah berakhirnya kedudukan utama manusia di dunia sebagaimana yang kita kenal.
Tak satu pun dari skenario ini mengharuskan AI memberontak terhadap penciptanya. Tak ada pula yang mengharuskan pemiliknya menginginkan manusia kehilangan daya. Setiap keputusan untuk mendelegasikan tugas bisa masuk akal jika dilihat secara terpisah. Namun, jika digabungkan, keputusan-keputusan itu bisa menghasilkan dunia tempat manusia telah melepaskan kendali nyata atas sebagian besar peradaban kita. Sekalipun kita mencapai kemajuan luar biasa dalam persoalan pelik seputar keselamatan AI dan penyelarasannya dengan nilai manusia, kita tetap bisa berakhir tunduk kepada entitas mesin jenis baru. Menurut konsensus tak terucapkan itu, dalam versi masa depan yang bahagia, entitas tersebut akan baik hati, sebuah mesin yang sungguh-sungguh mengutamakan kepentingan manusia. Mesin yang, seperti dalam puisi Brautigan, penuh kasih dan karunia.
Menurut konsensus tak terucapkan itu, kepada mesin-mesin inilah kita akan menyerahkan kunci perusahaan-perusahaan kita, dan makin lama, lembaga-lembaga pemerintahan kita. Mesin-mesin itu akan mengelolanya dengan lebih efektif, lebih efisien, serta dengan kebijaksanaan dan pertimbangan yang melampaui kemampuan kita sebagai manusia. Maka, seiring waktu, kita akan melepaskan tangan dari kemudi dan membiarkan mesin-mesin penuh kasih itu mengambil alih. Kita akan menjadi seperti penumpang mobil—mobil yang sangat bagus, mungkin secara materi jauh lebih bagus daripada yang bisa kita impikan hari ini—tetapi tetap saja penumpang, tanpa kendali atas arah tujuan kendaraan itu. Kalaupun kita bekerja, pekerjaan itu sebagian besar hanyalah semacam ritual atau sandiwara, lebih mirip permainan untuk menghibur spesies kita.
Sebagian pengamat akan berpendapat bahwa konsensus tak terucapkan itu bertumpu pada premis yang keliru, karena sejak awal kita manusia memang tidak mengendalikan dunia saat ini. Kritik ini patut diingat: tidak ada satu kesatuan bernama “kita” yang memutuskan apa yang harus dilakukan. Suka atau tidak, kita hidup di dunia yang sangat terdesentralisasi. Namun, hal ini juga tidak boleh membuat kita terlena: meski “kita” tidak “mengendalikan” dunia, secara kolektif manusia memang memegang kedudukan utama dalam urusan dunia. Tidak ada spesies hewan yang sungguh-sungguh mampu menyaingi kita dalam penguasaan sumber daya. Kita harus menolak anggapan yang ceroboh secara intelektual bahwa manusia bisa mengendalikan dunia dari atas. Namun, penolakan itu tidak boleh disamakan dengan penyangkalan atas kenyataan yang jelas: secara kolektif, manusia adalah pelaku utama di Bumi.
Sebagian orang yang bersedia mengungkapkan konsensus tak terucapkan itu meyakini bahwa masa depan tersebut sungguh baik. Yang lain tidak sependapat, tetapi pasrah karena menganggapnya tak terelakkan. Konsensus tak terucapkan itu disebut konsensus bukan karena semua orang sepakat bahwa masa depan itu baik, dan bukan pula karena ada rencana rahasia di antara para pengembang AI. Kesepakatannya hanyalah bahwa hilangnya kedudukan utama manusia dalam urusan dunia tak terelakkan, atau setidaknya sangat sulit membayangkan visi masa depan lain yang benar-benar mampu bertahan menghadapi mesin supercerdas. Seseorang bisa sungguh-sungguh menentang hasil akhir itu sekaligus kesulitan membayangkan visi alternatif yang masuk akal. Fakta bahwa konsensus ini sebagian besar tak terucapkan, paling jauh hanya dibisikkan, justru mengungkap banyak hal.
Saya membenci konsensus tak terucapkan itu. Saya menolak pelepasan kedudukan utama manusia. Saya muak dengan anggapan bahwa semua itu tak terelakkan. Saya mengingatkan diri sendiri bahwa saya tak akan sanggup menatap mata indah putra saya yang masih bayi jika saya tunduk pada konsensus tak terucapkan itu. Maka, terhadap konsensus tak terucapkan itu, saya berkata tidak. Dan saya yakin sudah waktunya kita membicarakan konsensus tak terucapkan itu secara terbuka, menyadarkan diri dari penerimaan atas visi ini yang sebagian besar terjadi tanpa kita sadari.
Masalahnya begini: ada alasan mengapa konsensus tak terucapkan itu menjadi kesepakatan bersama. Sulit menjelaskan bagaimana manusia akan tetap memegang kemudi di tengah keberadaan kecerdasan mesin yang jauh melampaui manusia. Sebagian besar upaya untuk menjelaskannya bertumpu pada argumen bahwa AI hanyalah alat, instrumen pengenalan pola yang tidak mampu memiliki “pemahaman sejati”. Saya khawatir argumen-argumen ini tidak akan bertahan menghadapi kenyataan yang akan datang. Saya khawatir argumen-argumen itu juga merupakan bentuk sikap terlena—pendirian yang lebih banyak bertumpu pada penyangkalan atas kemampuan AI daripada keyakinan yang berakar pada visi nyata tentang masa depan yang dipimpin manusia. AI tidak bisa dikatakan tak memiliki “pemahaman sejati” ketika AI mulai membuat kemajuan dalam persoalan intelektual yang solusinya tak kunjung ditemukan manusia selama puluhan bahkan ratusan tahun.
Lalu, mengapa saya yakin manusia harus mempertahankan kedudukan utamanya? Jawaban sederhananya adalah karena saya manusia, dan saya memang seorang pendukung keutamaan manusia yang tak merasa perlu meminta maaf atas keyakinan itu.
Namun, ada pula alasan yang lebih mendalam. Kedudukan utama kita tidak bertumpu pada kecerdasan kita, bukan pula pada upaya mempertahankan monopoli atas “pemahaman sejati” untuk selamanya. Kedudukan utama kita justru bertumpu pada masa lalu kita.
Sebab kitalah yang bangkit dari lumpur. Kitalah yang membangun masyarakat purba dari tanah dan batu. Kitalah yang menatap bintang-bintang dan bertanya mengapa. Kitalah, dengan pertikaian, cinta, iri hati, dan sukacita kita, yang menemukan moralitas, etika, dan hukum. Kitalah yang bernyanyi dan menari, menulis dan menggubah musik. Kitalah yang menciptakan sejarah, dan kitalah yang menuliskannya. Warisan itu milik kita. Peradaban yang kita bangun adalah nyala api yang kita rawat, dan nyala api itu milik kita. Masa lalu kita adalah warisan agung yang kita semua bertanggung jawab menjaganya. Sebagian dari tanggung jawab itu adalah keikutsertaan kita dalam apa yang disebut Michael Oakeshott sebagai “percakapan umat manusia”, ikhtiar besar yang bermula sejak zaman purba.
Melalui masa lalu yang panjang dan berliku itu, kita membangun peradaban yang, di Amerika, digagas dengan hak-hak individu sebagai landasannya, dengan penghormatan terhadap jalan yang kita masing-masing rintis dalam menjalani kehidupan di dunia. Kehidupan manusia bisa membaik atau memburuk: kita memetik buah dari keputusan bijak kita, dan kita menanggung konsekuensi ketika berbuat salah. Hak untuk menempuh jalan sendiri tidak bergantung pada apakah seseorang paling pandai atau paling bijaksana. Saya tidak kehilangan kedudukan sebagai warga negara hanya karena tetangga saya lebih baik dalam mengambil keputusan. Saya juga tidak melihat alasan mengapa kehadiran mesin yang lebih cerdas harus menghapus kedudukan itu. Justru, saya melihat begitu banyak alasan untuk mencegahnya terhapus.
Sebagian orang mungkin berpendapat bahwa mesin, setelah membaca hampir seluruh catatan tertulis dari warisan ini, juga merupakan ahli warisnya. Dalam arti tertentu, memang demikian. Namun, seseorang yang telah membaca setiap surat di loteng rumah keluarga Anda tidak serta-merta menjadi anggota keluarga Anda. Sistem AI kelak akan bergabung dalam percakapan umat manusia, mula-mula sebagai pengamat dan makin lama sebagai peserta. Namun, sistem-sistem itu tidak boleh mendominasinya, apalagi membuat percakapan itu kehilangan makna. Menyerahkan kedudukan utama kita berarti mengkhianati leluhur kita sekaligus anak cucu kita. Jika ini tidak layak diperjuangkan, tidak ada apa pun yang layak diperjuangkan.
Saya sendiri meyakini bahwa para penganut konsensus tak terucapkan itu keliru tentang seperti apa kecerdasan super mesin kelak. Bahwa mereka melewatkan sesuatu yang penting tentang cara dunia bekerja, bahwa mereka menyamakan kecerdasan dengan kekuasaan. Jika lima atau sepuluh tahun lalu Anda menjelaskan kemampuan sistem AI yang bahkan baru ada saat ini kepada seorang penganut konsensus tak terucapkan, dia mungkin akan meramalkan bahwa pengangguran sekarang jauh lebih tinggi daripada kenyataannya, dan bahwa hilangnya daya manusia secara luas sudah berlangsung jauh lebih parah daripada yang sebenarnya terjadi. Saya yakin kecerdasan dan kemampuan kolektif manusia jauh lebih besar daripada yang dibayangkan para penganut konsensus tak terucapkan, dan masyarakat kita akan terbukti lebih tangguh daripada perkiraan mereka.
Namun, saya bisa saja salah. Bisa saja, misalnya, perusahaan yang sepenuhnya otonom benar-benar mengalahkan usaha yang dijalankan manusia dalam persaingan. Jika itu benar, logika ekonomi semata akan menuntut agar makin banyak modal diserahkan kepada mesin. Dalam masa depan ini, hilangnya daya manusia tidak memerlukan penggulingan peradaban manusia oleh mesin; cukup dengan terus berjalannya logika usaha kapitalistis. Dalam hal ini, padanan terdekat revolusi AI adalah revolusi pertanian, ketika cara-cara produksi baru mengubah struktur masyarakat manusia secara mendasar. Sama sekali tidak jelas apakah perubahan ini menyenangkan bagi manusia yang mengalaminya; bahkan, ada banyak bukti bahwa perubahan ini memperburuk kesejahteraan manusia selama ribuan tahun.
Saya tidak tahu apakah inilah masa depan yang kita hadapi, dan di kesempatan lain saya justru telah berargumen bahwa saya tidak meyakininya. Namun, banyak rekan saya—orang-orang yang cerdas, peduli, dan penuh tanggung jawab—meyakini bahwa kemungkinan besar inilah masa depan kita. Jika mereka benar, perjuangan kita melawan konsensus tak terucapkan akan makin sulit. Kita harus berenang melawan arus ekonomi, dan dalam prosesnya, menolak banyak hal yang menjadi dogma bagi kaum individualis liberal klasik seperti saya. Ini akan menjadi upaya yang penuh bahaya, dengan kemungkinan gagal yang sama sekali tidak kecil. Namun, jika ini tidak layak diperjuangkan, tidak ada apa pun yang layak diperjuangkan.
Mempertahankan kedudukan utama berarti tetap menuntut pertanggungjawaban dari manusia dan lembaga-lembaganya. Artinya, pengembang AI harus bertanggung jawab ketika menerapkan praktik pengembangan yang tidak aman. Namun, orang dan perusahaan pengguna AI juga harus dimintai pertanggungjawaban ketika penyalahgunaan atau kurangnya pengawasan mereka menimbulkan kerugian. Hal ini membutuhkan bukan hanya hukum, melainkan juga infrastruktur teknis untuk memastikan akuntabilitas. Harus ada manusia yang bertanggung jawab atas tindakan agennya. Agen yang tidak terikat pada seorang manusia—jika memang diizinkan terlibat dalam kegiatan ekonomi yang sah—harus beroperasi dengan batasan pengaman. Kewenangan bagi agen untuk secara otonom mendirikan perusahaan, memiliki properti, atau berperkara di pengadilan harus diberikan dengan kehati-hatian luar biasa, itu pun jika perlu diberikan sama sekali.
Di industri saya, kita bisa mulai memikirkan secara serius cara membangun mesin cerdas yang tetap sejalan dengan kedudukan utama manusia. Kita bisa membangun agen dengan izin yang mudah dipahami dan terbatas, tindakan yang bisa diaudit, serta kewenangan yang bisa dicabut oleh pengguna. Pertanggungjawaban atas tindakan yang berdampak nyata pada orang lain tidak harus berarti mengawasi kehidupan pribadi sehari-hari atau mengakhiri kebebasan berbicara secara anonim. Kita bisa berkomitmen melindungi privasi pengguna dan kedaulatan individu atas properti serta data digital mereka, termasuk kemampuan nyata untuk membawa data tersebut ke tempat lain. Kita bisa merancang sistem yang membantu orang memahami sesuatu dan mengambil keputusan, selain sistem yang menjalankan tugas. Dan kita bisa menguji apakah produk yang kita bangun membuat penggunanya lebih mampu bertindak di dunia.
Semua ini belum merupakan cetak biru lengkap bagi masyarakat yang hidup bersama kecerdasan yang melampaui manusia. Saya justru akan meragukan siapa pun yang mengaku memilikinya. Namun, ini bisa menjadi titik awal.
Masa depan terselubung kabut tebal. Namun, kita masih bisa bertindak hari ini. Bersama-sama, kita bisa mulai dengan menyuarakan konsensus tak terucapkan itu, memperjelas wujudnya agar terlihat oleh semua orang. Kita masing-masing bisa memperluas cakupan ambisi kita secara radikal. Kita bisa memilih untuk tidak membiarkan AI mengerdilkan diri kita, dan sebaliknya berusaha keras agar AI memperluas kemampuan kita. Kita bisa belajar mengajukan pertanyaan yang makin berani, menyelidiki dunia dengan semangat dan kegigihan baru, serta memanfaatkan mesin-mesin canggih kita untuk melakukannya. Kita bisa menjadi manusia jenis baru—bukan manusia transhuman, melainkan manusia yang kemampuannya diperluas.
Saya memikirkan hal ini saat memandang putra saya yang masih bayi. Saya tidak ingin dia sekadar berada dalam asuhan mesin-mesin yang baik hati, senyaman apa pun kehidupan yang bisa diberikan mesin-mesin itu. Saya ingin dia mewarisi dunia tempat dia bisa mengajukan pertanyaan yang belum pernah terpikirkan siapa pun, membangun hal-hal yang belum pernah terbayangkan siapa pun. Saya tidak ingin dia sekadar memiliki mobil yang lebih bagus dengan kursi penumpang yang lebih empuk. Saya ingin dialah yang memegang kemudi.
- 2026


