隨著 AI 系統變得更強大且更具自主性,對齊研究需要跟上發展並擴大多樣性。在 OpenAI,我們在前沿對齊和安全研究上投入大量資源,因為這對我們的使命至關重要。我們也相信,確保 AGI 對每個人都安全且有益,無法由任何單一組織達成,我們希望支援可在前沿實驗室之外推動的獨立研究與概念性方法。我們相信,AI 的未來不會完全如任何人所預測般發展,應該有更多人能在塑造結果的過程中擁有一席之地。
今天,我們宣布向 The Alignment Project(在新視窗中開啟) 提供 750 萬美元的補助金,這是一個由英國 AI 安全研究所(UK AISI)創立的全球基金,旨在支持獨立的對齊研究。Renaissance Philanthropy 支援補助金的管理。這項捐助有助於使 The Alignment Project 成為迄今為止最大規模的獨立對齊研究專項資助之一,並加強更廣泛的獨立生態系統。
像 OpenAI 這樣的前沿實驗室處於獨特的地位,能夠進行依賴於前沿模型和大量計算資源的對齊研究——這類工作通常難以由獨立研究人員探索。我們投入大量內部對齊工作於開發可擴展的方法,以確保對齊進展能與能力進展同步。我們相信逐步部署,在強化防護措施的同時逐步提升能力,有助於及早發現問題,並為我們提供關於哪些做法在實務中有效的具體證據。負責任的開發需要大量的對齊與安全工作,且必須與模型建置與部署緊密整合。
同時,該領域受益於持續投入於獨立和探索性研究,這能擴展想法的空間,並開闢新的方向。獨立研究仍然是不可或缺的;在許多有用的研究中,實驗室並不具備比較優勢。健全的對齊生態系仰賴獨立團隊測試多元假設、發展替代性框架,並探索概念性、理論性與藍天式的想法,這些想法未必能與任何單一組織的路線圖整齊對應。
由於邁向 AGI 的進展最終可能取決於根本性的突破,這些突破會改變對齊問題的樣貌及最有用的方法,因此,支持那些即使今日主流方法無法如預期擴展也仍然重要的研究是很重要的。在那些世界中,擁有一個強大的外部生態系統來進行基礎性、概念性且不相關的工作變得尤其重要。AI 對齊與安全問題的重要性前所未有,我們需要全員投入,因為隨著能力的持續進步,我們尚不清楚哪些方法最能持久。
我們的補助金(按目前匯率約為 560 萬英鎊)將與其他公共、慈善及產業支持者共同資助 The Alignment Project(在新視窗中開啟)。總基金超過 2,700 萬英鎊,旨在支持全球各地廣泛的對齊研究專案組合,涵蓋的主題多元,如計算複雜度理論、經濟理論與博弈論、認知科學,以及資訊理論與密碼學。個別專案通常可獲得 5 萬至 100 萬英鎊的資助,並且也可能獲得選擇性使用運算資源與專家支援。
我們的資金不會創建新的計畫或選拔流程,也不會影響現有流程;而是增加在本輪中可獲得資助的、已審核通過的高品質專案(在新視窗中開啟)數量。
UK AISI 處於有利位置,能在此等規模與範圍下有效地引導對齊資金。它匯集了橫跨政府、學術界、慈善界與產業界的既有跨領域聯盟,並具備已在運作中的補助金發放管道,以及一大批已經過專家審查的提案。作為英國政府隸屬於科學、創新與科技部(DSIT)的研究機構,其職責也聚焦於重大 AI 風險,並具備執行研究資助計畫的經驗。
由於 AI 的未來發展不會完全如任何人所預測,而且可能進展得非常快,我們認為普及化、「AI 韌性」以及迭代式部署至關重要。在 OpenAI 持續推進我們的前沿對齊與安全研究之際,隨著能力不斷進步,進展將受益於一個強健、多元且獨立的生態系統,該系統採取互補的方法來推動發展。這項補助是朝著該目標邁進的一步。我們期待隨著該領域的進展,繼續與更廣泛的研究社群合作。


