Memajukan penelitian independen tentang penyelarasan AI

Seiring sistem AI menjadi lebih mampu dan lebih otonom, riset penyelarasan perlu mengikuti perkembangan dan meningkatkan keberagaman. Di OpenAI, kami berinvestasi besar-besaran dalam riset penyelarasan dan keamanan terdepan karena hal ini sangat penting bagi misi kami. Kami juga meyakini bahwa memastikan AGI aman dan bermanfaat bagi semua orang tidak dapat dicapai oleh satu organisasi saja, sehingga kami ingin mendukung riset independen serta pendekatan konseptual yang dapat dikembangkan di luar laboratorium terdepan. Kami percaya bahwa masa depan AI tidak akan berkembang persis seperti yang diprediksi siapa pun, dan bahwa lebih banyak pihak perlu memiliki peran dalam membentuk hasil akhirnya.

Hari ini, kami mengumumkan hibah sebesar $7,5 juta kepada The Alignment Project⁠(terbuka di jendela baru), sebuah dana global untuk penelitian alignment independen yang dibentuk oleh UK AI Security Institute (UK AISI). Renaissance Philanthropy mendukung pengelolaan hibah tersebut. Kontribusi ini menjadikan The Alignment Project sebagai salah satu upaya pendanaan terbesar yang secara khusus ditujukan bagi riset alignment independen hingga saat ini, sekaligus memperkuat ekosistem independen yang lebih luas.

Laboratorium frontier seperti OpenAI berada pada posisi unik untuk melakukan riset alignment yang bergantung pada akses ke model terdepan dan komputasi berskala besar—sesuatu yang sering kali sulit dijangkau oleh peneliti independen. Kami mencurahkan sebagian besar upaya alignment internal untuk mengembangkan metode yang dapat diskalakan agar kemajuan penyelarasan tetap sejalan dengan perkembangan kemampuan. Kami percaya pada penerapan iteratif—secara bertahap meningkatkan kemampuan sambil memperkuat langkah-langkah pengamanan—membantu mengungkap masalah sejak dini dan memberikan bukti nyata tentang apa yang efektif dalam praktik, serta bahwa pengembangan yang bertanggung jawab memerlukan upaya penyelarasan dan keselamatan yang signifikan dan terintegrasi erat dengan proses pembangunan serta penerapan model.

Secara paralel, bidang ini mendapat manfaat dari investasi berkelanjutan dalam penelitian independen yang bersifat eksploratif—yang dapat memperluas ruang ide dan menemukan arah baru. Penelitian independen tetap penting; dalam banyak jenis penyelidikan yang berguna, laboratorium tidak memiliki keunggulan komparatif. Ekosistem alignment yang sehat bergantung pada tim-tim independen yang menguji beragam asumsi, mengembangkan kerangka alternatif, serta mengeksplorasi gagasan konseptual, teoretis, dan visioner yang mungkin tidak sepenuhnya selaras dengan peta jalan organisasi tertentu.

Dan karena kemajuan menuju AGI pada akhirnya dapat bergantung pada terobosan fundamental yang mengubah bentuk permasalahan penyelarasan serta pendekatan mana yang paling efektif, penting untuk mendukung riset yang tetap relevan bahkan jika metode dominan saat ini tidak berkembang sesuai harapan. Dalam skenario seperti itu, keberadaan ekosistem eksternal yang kuat yang melakukan pekerjaan fundamental, konseptual, dan tidak saling berkorelasi menjadi semakin penting. Masalah penyelarasan dan keselamatan AI memiliki tingkat kepentingan yang belum pernah terjadi sebelumnya, dan kita memerlukan keterlibatan semua pihak karena kita belum mengetahui pendekatan mana yang akan paling bertahan seiring terus berkembangnya kemampuan.

Hibah kami—sekitar £5,6 juta pada nilai tukar saat ini—akan mendanai bersama The Alignment Project⁠(terbuka di jendela baru) bersama pendukung publik, filantropi, dan industri lainnya. Total dana tersebut melebihi £27 juta dan dirancang untuk mendukung portofolio luas proyek riset penyelarasan di seluruh dunia, yang mencakup topik beragam mulai dari teori kompleksitas komputasi, teori ekonomi dan teori permainan, hingga ilmu kognitif serta teori informasi dan kriptografi. Proyek individu biasanya didanai antara £50.000 hingga £1 juta, dan juga dapat menerima akses opsional ke sumber daya komputasi serta dukungan pakar.

Pendanaan kami tidak menciptakan program atau proses seleksi baru, maupun memengaruhi proses yang ada; pendanaan ini meningkatkan jumlah proyek⁠(terbuka di jendela baru) berkualitas tinggi yang sudah diseleksi yang dapat didanai dalam putaran saat ini.

UK AISI berada dalam posisi yang baik untuk mengarahkan pendanaan penyelarasan pada skala dan jangkauan ini. UK AISI menghadirkan koalisi lintas sektor yang mapan, mencakup pemerintah, akademisi, filantropi, dan industri, bersama dengan jalur penyaluran hibah yang sudah berjalan dan kumpulan besar proposal yang telah ditinjau oleh pakar. Sebagai organisasi penelitian pemerintah Inggris di bawah Departemen untuk Sains, Inovasi, dan Teknologi (DSIT), organisasi ini juga memiliki mandat yang berfokus pada risiko AI yang serius dan berpengalaman dalam menjalankan program pendanaan penelitian.

Karena masa depan AI tidak akan terungkap persis seperti yang diprediksi siapa pun—dan mungkin berkembang sangat cepat—kami percaya bahwa demokratisasi, “ketahanan AI,” dan penerapan iteratif adalah penting. Sambil terus memajukan riset alignment dan keselamatan terdepan di OpenAI, kemajuan akan semakin terbantu oleh ekosistem independen yang kuat, beragam, dan mengembangkan pendekatan yang saling melengkapi seiring meningkatnya kemampuan. Hibah ini adalah satu langkah menuju tujuan tersebut. Kami sangat menantikan untuk terus berkolaborasi dengan komunitas riset yang lebih luas seiring bidang ini berkembang.