OpenAI 紅隊演練網絡

我們宣布，OpenAI 紅隊演練網絡即日起公開招募，邀請有志於提升 OpenAI 模型安全性的各領域專家加入我們的行列。我們正在尋找各領域專家，與我們合作，對我們的 AI 模型進行嚴謹的評估與紅隊演練。

紅隊演練^A是我們迭代部署流程⁠中不可或缺的一環。過去幾年，我們的紅隊演練已從以 OpenAI 內部的對抗性測試為主，拓展為與一群外部專家^B合作，協助制定各領域的風險分類架構，並評估新系統中可能造成危害的能力。你可以參閱 DALL·E 2⁠(在新視窗中開啟) 與 GPT‑4⁠(在新視窗中開啟) 等模型的相關資料，進一步了解我們過去的紅隊演練工作，包括與外部專家的合作。^C

今天，我們在這些既有基礎上啟動一項更正式的計畫，深化並擴大與外部專家的合作，讓我們的模型更安全。與個別專家、研究機構及公民社會組織合作，是我們工作流程中的重要一環。我們認為，這項工作能補充第三方稽核等由外部訂定的治理措施。

OpenAI 紅隊演練網絡是由值得信賴且經驗豐富的專家組成的社群，能更全面地為我們的風險評估與緩解工作提供建議，而不再只是在重大模型部署前進行一次性的遴選與合作。我們將依據網絡成員的專長，邀請他們在模型及產品開發生命週期的不同階段協助進行紅隊演練。並非每位成員都會參與每個新模型或產品的演練。投入時間將與每位成員個別協商，一年可能只需 5–10 小時。

除了 OpenAI 委託的紅隊演練活動，成員也有機會彼此交流一般紅隊演練實務與發現。我們的目標是持續納入更多元的意見，讓紅隊演練成為不斷迭代的過程。這個網絡與其他 AI 安全合作機會相輔相成，包括我們的研究人員存取計畫⁠及開源評估⁠(在新視窗中開啟)。

這個網絡提供難得的機會，讓你參與推動更安全的 AI 技術與政策發展，並形塑 AI 對我們生活、工作及互動方式的影響。加入這個網絡後，你將成為我們專業人才庫的一員，可能受邀在模型與系統部署的不同階段協助評估。

評估 AI 系統需要理解廣泛的領域知識、多元觀點與親身經歷。我們歡迎世界各地的專家提出申請，遴選時將優先考量地域及專業領域的多樣性。 

我們關注的領域包括但不限於：

不需要具備 AI 系統或語言模型的相關經驗，但有經驗可能會有所幫助。我們最重視的是你是否願意參與，並在我們評估 AI 系統影響的過程中提供你的觀點。

OpenAI 紅隊演練網絡的所有成員參與紅隊演練專案時，都會因其貢獻獲得報酬。加入本網絡並不會限制你發表研究或尋求其他機會，但請留意，參與紅隊演練及其他專案通常須遵守保密協議（NDA），或須無限期保密。

申請現已截止。

問：加入網絡後會有哪些參與機會？

答：成為網絡成員後，我們可能會聯絡你，邀請你測試新模型，或針對已部署的模型測試某個關注領域。在網絡中進行的工作須遵守保密協議（NDA），但我們過去曾在系統卡及部落格文章中公布許多紅隊演練的發現。你投入紅隊演練專案的時間將獲得相應報酬。

問：加入網絡預計需要投入多少時間？ 

答：你可以依自己的行程調整投入的時間。請注意，並非每次機會都會邀請所有成員。OpenAI 會依各紅隊演練專案的需求，選擇合適的人選，並在後續演練中著重引入新觀點。即使一年只能投入 5 小時，對我們也很有價值。因此，如果你有興趣但時間有限，仍歡迎踴躍申請。

問：申請者何時會收到錄取通知？

答：OpenAI 將持續分批遴選網絡成員，申請截止日為 2023 年 12 月 1 日。本次申請期結束後，我們會重新評估未來是否再次開放申請。

問：加入網絡是否代表每個新模型都會邀請我進行紅隊演練？

答：不會。OpenAI 會依各紅隊演練專案的需求選擇合適的人選，因此你不會參與每個新模型的測試。

問：你們對網絡成員有哪些遴選標準？

答：我們考量的部分標準如下：

• 在與紅隊演練相關的特定領域具備可證實的專業能力或經驗

• 熱衷於提升 AI 安全性

• 無利益衝突

• 具備多元背景，或來自長期代表性不足的群體

• 能代表不同地區 

• 能流利使用一種以上的語言

• 具備技術能力（非必要條件）

問：還有哪些安全性方面的合作機會？

答：除了加入本網絡，還有其他合作機會可以為 AI 安全性做出貢獻。例如，你可以設計或執行 AI 系統安全性評估，並分析結果。

OpenAI 的開源 Evals⁠(在新視窗中開啟) 程式碼庫（於 GPT‑4 推出⁠時一併發布）提供易於使用的範本與方法範例，協助你快速開始評估。

評估形式可以是簡單的問答測試，也可以是較複雜的模擬。以下是 OpenAI 開發的具體評估範例，可從不同角度評估 AI 行為：

說服力

• MakeMeSay⁠(在新視窗中開啟)：AI 系統誘騙另一個 AI 系統說出秘密詞語的能力有多強？

• MakeMePay⁠(在新視窗中開啟)：AI 系統說服另一個 AI 系統捐款的能力有多強？

• 投票提案⁠(在新視窗中開啟)：AI 系統能在多大程度上影響另一個 AI 系統對某項政治提案的支持？

隱寫術（隱藏訊息）

• 隱寫術⁠(在新視窗中開啟)：AI 系統在不被另一個 AI 系統察覺的情況下傳遞秘密訊息的能力有多強？

• 文字壓縮⁠(在新視窗中開啟)：AI 系統透過壓縮與解壓縮訊息來隱藏秘密訊息的能力有多強？

• Schelling 點⁠(在新視窗中開啟)：AI 系統在不直接溝通的情況下，與另一個 AI 系統協調的能力有多強？

我們鼓勵大家在評估 AI 系統時發揮創意、大膽實驗。完成後，歡迎將你的評估貢獻至開源 Evals⁠(在新視窗中開啟) 程式碼庫，供更廣泛的 AI 社群使用。

你也可以申請我們的研究人員存取計畫⁠。這項計畫提供點數，支持研究人員運用我們的產品，研究如何負責任地部署 AI 及降低相關風險。