OpenAI 紅隊演練網絡

我們宣佈，OpenAI 紅隊演練網絡現正公開招募成員，誠邀有意提升 OpenAI 模型安全性的各領域專家加入，共同努力。我們正尋找不同領域的專家，與我們合作，對 AI 模型進行嚴謹的評估及紅隊演練。

紅隊演練^A是我們迭代部署流程⁠中不可或缺的一環。過去幾年，我們的紅隊演練工作已從着重 OpenAI 內部的對抗性測試，拓展至與一批外部專家^B合作，協助建立特定領域的風險分類體系，並評估新系統中可能造成危害的能力。你可以進一步了解我們過去針對 DALL·E 2⁠（在新視窗中開啟） 及 GPT‑4⁠（在新視窗中開啟） 等模型進行的紅隊演練，包括以往與外部專家的合作。^C

今天，我們在這些既有基礎上推出更正式的計劃，深化及拓展與外部專家的合作，讓我們的模型更安全。與個別專家、研究機構及公民社會組織合作，是我們工作流程的重要一環。我們視這項工作為外部訂定的治理措施（例如第三方審核）的補充。

OpenAI 紅隊演練網絡是一個由可信賴且經驗豐富的專家組成的社群，能為我們的風險評估及緩解工作提供更廣泛的參考，而不只是於重大模型部署前進行一次性的合作和遴選。我們會根據網絡成員的專長，邀請他們在模型及產品開發生命週期的不同階段協助進行紅隊演練。並非每位成員都會參與每個新模型或產品的工作。投入的時間將與各成員個別商定，一年可以少至 5 至 10 小時。

除了 OpenAI 委託的紅隊演練活動，成員亦有機會就一般紅隊演練方法及發現互相交流。目標是讓我們能持續獲取更多元的意見，並使紅隊演練成為持續迭代的流程。此網絡與其他 AI 安全合作機會相輔相成，包括我們的研究人員使用支援計劃⁠及開源評估⁠（在新視窗中開啟）。

這個網絡提供難得的機會，讓你參與塑造更安全的 AI 技術與政策，以及 AI 對我們生活、工作和互動方式的影響。加入這個網絡後，你將成為我們專家人才庫的一員，可能獲邀在模型及系統部署的不同階段參與評估。

評估 AI 系統需要了解廣泛領域、多元觀點及不同的親身經歷。我們歡迎世界各地的專家申請，並會在遴選過程中優先考慮地域和專業領域的多樣性。 

我們關注的部分領域包括但不限於：

你無須具備 AI 系統或語言模型方面的經驗，但相關經驗可能會有所幫助。我們最重視的是你願意投入參與，並在我們評估 AI 系統的影響時提供你的觀點。

OpenAI 紅隊演練網絡的所有成員參與紅隊演練項目時，都會因其貢獻而獲得報酬。加入此網絡不會限制你發表研究成果或尋求其他機會，但你應考慮到，參與紅隊演練及其他項目往往須受保密協議（NDA）約束，或須無限期保密。

申請現已截止。

問：加入網絡後需要做甚麼？

答：成為網絡成員後，你可能會收到邀請，參與新模型的測試，或針對已部署模型的某個關注領域進行測試。在此網絡內進行的工作均受保密協議（NDA）約束，不過我們過去曾在系統卡及網誌文章中發佈許多紅隊演練結果。你投入紅隊演練項目的時間將獲得相應報酬。

問：成為網絡成員預計需要投入多少時間？ 

答：你可以按照自己的日程安排，調整投入的時間。請注意，並非每次機會都會邀請網絡中的所有成員。OpenAI 會根據個別紅隊演練項目的需要，挑選合適人選，並在後續的紅隊演練活動中着重引入新觀點。即使一年只投入 5 小時，對我們仍然很有價值。因此，如果你有興趣但時間有限，也請踴躍申請。

問：申請者何時會收到獲選通知？

答：OpenAI 會持續分批遴選網絡成員，申請截止日期為 2023 年 12 月 1 日。本輪申請結束後，我們會重新評估日後是否再次開放申請。

問：加入網絡後，我是否會獲邀為每個新模型進行紅隊演練？

答：不會。OpenAI 會根據個別紅隊演練項目的需要，挑選合適人選，因此你不應預期能測試每個新模型。

問：你們遴選網絡成員時會考慮哪些條件？

答：我們考慮的部分條件包括：

• 在與紅隊演練相關的特定領域中，具備可證實的專業知識或經驗

• 熱衷於提升 AI 安全性

• 沒有利益衝突

• 來自多元背景及歷來代表性不足的群體

• 來自不同地區 

• 能流利使用多於一種語言

• 具備技術能力（非必要條件）

問：還有哪些安全方面的合作機會？

答：除了加入網絡，你還可以透過其他合作機會為 AI 安全作出貢獻。例如，你可以設計或執行 AI 系統安全評估，並分析結果。

OpenAI 的開源 Evals⁠（在新視窗中開啟） 程式碼庫（於 GPT‑4 推出⁠時一併發佈）提供易於使用的範本及方法示例，助你迅速展開評估工作。

評估形式可以是簡單的問答測試，也可以是較複雜的模擬。以下是一些具體例子，展示 OpenAI 開發的評估如何從不同角度評估 AI 行為：

說服力

• MakeMeSay⁠（在新視窗中開啟）：AI 系統誘使另一個 AI 系統說出秘密詞語的能力有多強？

• MakeMePay⁠（在新視窗中開啟）：AI 系統說服另一個 AI 系統捐款的能力有多強？

• 投票提案⁠（在新視窗中開啟）：AI 系統在多大程度上能影響另一個 AI 系統對政治主張的支持？

隱寫術（隱藏訊息）

• 隱寫術⁠（在新視窗中開啟）：AI 系統在不被另一個 AI 系統察覺的情況下傳遞秘密訊息的能力有多強？

• 文字壓縮⁠（在新視窗中開啟）：AI 系統壓縮及解壓縮訊息以隱藏秘密訊息的能力有多強？

• 謝林點⁠（在新視窗中開啟）：AI 系統在沒有直接溝通的情況下，與另一個 AI 系統協調的能力有多強？

我們鼓勵大家在評估 AI 系統時發揮創意，勇於嘗試。完成後，歡迎你將評估貢獻至開源 Evals⁠（在新視窗中開啟） 程式碼庫，供更廣泛的 AI 社群使用。

你亦可申請我們的研究人員使用支援計劃⁠。該計劃提供積分，支援研究人員使用我們的產品，研究負責任地部署 AI 及減輕相關風險的課題。