隨著 AI 系統變得更強大和自主,對齊研究需要跟上步伐並擴大多樣性。在 OpenAI,我們大力投資於前沿對齊和安全研究,因為這對我們的使命至關重要。我們也相信,確保 AGI 安全且能造福所有人,並非任何單一機構可以達成,因此我們希望支持可在前沿實驗室以外推進的獨立研究與概念性方法。我們相信,人工智能的未來不會完全如任何人所預測般發展,應該有更多人參與塑造結果。
今天,我們宣佈向 The Alignment Project(在新視窗中開啟) 提供一筆 750 萬美元的撥款,該項目是由英國 AI 安全研究所 (UK AISI) 設立的全球基金,用於支持獨立對齊研究。Renaissance Philanthropy 正在支援該資助的管理工作。這項捐助有助於使 The Alignment Project 成為迄今為止最大規模的獨立對齊研究專項資助之一,並加強更廣泛的獨立生態系統。
像 OpenAI 這樣的前沿實驗室處於獨特位置,能夠進行依賴於前沿模型和大量計算資源的對齊研究——這類工作通常難以由獨立研究人員開展。我們將內部的大部分對齊研究工作用於開發可擴展的方法,以確保對齊進展能跟上能力進展。我們相信迭代部署——即在逐步增強能力的同時加強保障措施——有助及早發現問題,有助於及早發現問題,並為我們提供關於實踐中有效方法的具體證據;同時,負責任的發展需要與模型構建和部署緊密結合的大量對齊與安全工作。
與此同時,該領域受惠於持續投資於獨立和探索性研究,這能擴展構思空間並發掘新方向。獨立研究仍然不可或缺;在許多類型的有用探究中,實驗室並不具備比較優勢。健康的對齊生態系統依賴於獨立團隊測試多樣化的假設、開發替代框架,並探索可能不完全符合任何單一組織路線圖的概念性、理論性和天馬行空的想法。
而且,由於邁向 AGI 的進展最終可能取決於一些根本性的突破,這些突破會改變對齊問題的樣貌,以及哪些方法最有用,因此,支持那些即使今日主流方法最終證明無法如我們預期般擴展也仍然重要的研究,至關重要。在那些世界中,擁有一個強大的外部生態系統來進行基礎性、概念性和不相關的工作變得尤為重要。AI 對齊性與安全性的問題具有前所未有的重要性,而我們需要全員投入,因為我們尚未知道在能力持續提升之際,哪些方法將證明最為持久。
我們的資助(按目前匯率計算約為 5.6 百萬英鎊)將與其他公共、慈善及業界支持者一同共同資助 The Alignment Project(在新視窗中開啟)。總基金超過 2700 萬英鎊,旨在支援全球各地一系列廣泛的對齊研究項目,涵蓋的主題多元,包括計算複雜性理論、經濟理論與博弈論、認知科學,以及資訊理論與密碼學。個別項目通常可獲 £50,000 至 100 萬英鎊的資助,並且亦可選擇獲得運算資源及專家支援。
我們的資助不會創建新的計劃或選擇過程,也不會影響現有過程;而是增加在本輪中可資助的已審核高質量項目(在新視窗中開啟)的數量。
UK AISI 處於有利位置,可在此規模和範圍內引導對齊資金。它帶來了一個已建立的跨界聯盟,涵蓋政府、學術界、慈善界和工業界,並且已經有一個正在運作的撥款管道,以及大量經過專家審閱的提案。作為英國政府科學、創新及科技部 (DSIT) 轄下的研究機構,它亦肩負聚焦重大 AI 風險的職責,並具備推行研究資助計劃的經驗。
由於 AI 的未來不會完全按照任何人的預測展開——並且可能發展得非常迅速——我們相信民主化、「AI 韌性」以及迭代式部署至關重要。當我們在 OpenAI 繼續推進前沿對齊與安全研究的同時,隨著能力不斷提升,整個領域的進步也將受益於一個追求互補方法的強健、多元、獨立的生態系統。這筆資助是邁向該目標的一步。我們期待隨著該領域的發展,繼續與更廣泛的研究社群合作。


