Memajukan penyelidikan bebas tentang penjajaran AI

Apabila sistem AI menjadi lebih berkebolehan dan lebih autonomi, penyelidikan penjajaran perlu seiring dan memperluaskan kepelbagaian. Di OpenAI, kami melabur dengan banyak dalam penyelidikan penjajaran dan keselamatan perbatasan kerana ia adalah kritikal untuk misi kami. Kami juga percaya bahawa memastikan AGI selamat dan bermanfaat untuk semua orang tidak dapat dicapai oleh mana-mana organisasi tunggal dan kami ingin menyokong penyelidikan bebas serta pendekatan konseptual yang boleh dijalankan di luar makmal perbatasan.

Hari ini, kami mengumumkan geran sebanyak $7.5 juta kepada The Alignment Project⁠(dibuka dalam tetingkap baru), sebuah dana global untuk penyelidikan penjajaran bebas yang diwujudkan oleh Institut Keselamatan AI UK (UK AISI). Renaissance Philanthropy menyokong pentadbiran geran tersebut. Sumbangan ini membantu menjadikan The Alignment Project salah satu usaha pembiayaan khusus terbesar untuk penyelidikan penjajaran bebas setakat ini dan mengukuhkan ekosistem bebas yang lebih luas.

Makmal perbatasan seperti OpenAI berada dalam kedudukan unik untuk meneruskan penyelidikan penjajaran yang bergantung pada akses kepada model perbatasan dan pengkomputeran yang signifikan—kerja yang sering sukar diterokai oleh penyelidik bebas. Kami menumpukan sebahagian besar usaha penjajaran dalaman kami untuk membangunkan kaedah yang boleh diskalakan supaya kemajuan penjajaran seiring dengan kemajuan keupayaan. Kami percaya pelaksanaan berulang—meningkatkan keupayaan secara beransur-ansur sambil memperkukuh langkah perlindungan—membantu menonjolkan masalah lebih awal dan memberikan kami bukti konkrit tentang apa yang berkesan dalam amalan, dan bahawa pembangunan yang bertanggungjawab memerlukan penjajaran dan kerja keselamatan yang signifikan yang diintegrasikan dengan rapat dengan pembinaan dan pelaksanaan model.

Secara selari, bidang ini mendapat manfaat daripada pelaburan berterusan dalam penyelidikan bebas dan penerokaan—yang boleh memperluas ruang idea dan menemui hala tuju baharu. Penyelidikan bebas tetap penting; dalam banyak jenis penyelidikan yang berguna, makmal tidak mengekalkan kelebihan perbandingan. Ekosistem penjajaran yang sihat bergantung pada pasukan bebas yang menguji pelbagai andaian, membangunkan rangka kerja alternatif, dan meneroka idea konseptual, teori, dan 'blue-sky' yang mungkin tidak selaras dengan pelan hala tuju mana-mana organisasi.

Dan kerana kemajuan ke arah AGI mungkin akhirnya bergantung pada penemuan asas yang mengubah bentuk masalah penyelarasan dan pendekatan mana yang paling berguna, adalah penting untuk menyokong penyelidikan yang akan tetap relevan walaupun kaedah dominan hari ini ternyata tidak dapat diskalakan seperti yang kita jangkakan. Dalam dunia tersebut, adalah sangat penting untuk mempunyai ekosistem luaran yang kukuh yang menjalankan kerja asas, konseptual, dan tidak berkorelasi. Masalah penjajaran dan keselamatan AI adalah sangat penting yang belum pernah berlaku sebelum ini, dan kami memerlukan semua pihak untuk turut serta kerana kami masih belum tahu pendekatan mana yang akan terbukti paling tahan lama apabila keupayaan terus berkembang.

Geran kami—kira-kira £5.6 juta pada kadar pertukaran semasa—akan turut membiayai The Alignment Project⁠(dibuka dalam tetingkap baru) bersama penyokong awam, dermawan, dan industri yang lain. Jumlah dana melebihi £27 juta dan direka untuk menyokong portfolio luas projek penyelidikan penjajaran di seluruh dunia, merangkumi topik-topik yang pelbagai seperti teori kerumitan pengiraan, teori ekonomi dan teori permainan, sains kognitif, serta teori maklumat dan kriptografi. Projek individu biasanya dibiayai pada £50,000 hingga £1 juta, dan juga mungkin menerima akses pilihan kepada sumber pengkomputeran dan sokongan pakar.

Pembiayaan kami tidak mewujudkan program atau proses pemilihan baharu, dan juga tidak mempengaruhi proses sedia ada; ia meningkatkan bilangan projek⁠(dibuka dalam tetingkap baru) berkualiti tinggi yang telah disaring yang boleh dibiayai dalam pusingan semasa.

UK AISI berada dalam kedudukan yang baik untuk mengarahkan pembiayaan penjajaran pada skala dan julat ini. Ia membawa gabungan rentas sektor yang telah mantap merangkumi kerajaan, akademik, kedermawanan, dan industri, bersama-sama saluran pemberian geran yang sudah pun berjalan serta kumpulan besar cadangan yang telah melalui semakan pakar. Sebagai sebuah organisasi penyelidikan kerajaan UK dalam Jabatan Sains, Inovasi dan Teknologi (DSIT), ia juga mempunyai mandat yang memfokuskan pada risiko AI yang serius dan berpengalaman dalam menjalankan program pembiayaan penyelidikan.

Oleh sebab masa depan AI tidak akan berkembang tepat seperti yang diramalkan oleh sesiapa pun—dan mungkin maju dengan sangat cepat—kami percaya pendemokrasian, “daya tahan AI”, dan pelaksanaan berulang adalah penting. Sambil kami terus memajukan penyelidikan penjajaran dan keselamatan perbatasan di OpenAI, kemajuan akan mendapat manfaat daripada ekosistem yang kukuh, pelbagai dan bebas yang meneruskan pendekatan pelengkap seiring dengan kemajuan keupayaan. Geran ini adalah satu langkah ke arah matlamat tersebut. Kami berharap dapat terus bekerjasama dengan komuniti penyelidikan yang lebih luas selaras dengan kemajuan bidang ini.