OpenAI 红队测试网络

我们现面向社会公开招募 OpenAI 红队测试网络成员，诚邀有志于提升 OpenAI 模型安全性的各领域专家加入。我们希望与各领域专家合作，对我们的 AI 模型进行严格评估和红队测试。

红队测试^A是我们迭代部署流程⁠中不可或缺的一环。过去几年，我们的红队测试工作已从侧重 OpenAI 内部的对抗性测试，发展为与一批外部专家^B合作，共同制定特定领域的风险分类体系，并评估新系统中可能造成危害的能力。你可以查阅 DALL·E 2⁠（在新窗口中打开） 和 GPT‑4⁠（在新窗口中打开） 等模型的相关资料，进一步了解我们以往开展的红队测试工作，包括与外部专家的合作。^C

今天，我们将在此前工作的基础上启动一项更正式的计划，深化并拓展与外部专家的合作，让我们的模型更加安全。与专家个人、研究机构和公民社会组织合作，是我们工作流程的重要组成部分。我们将这项工作视为对外部规定的治理实践（如第三方审计）的补充。

OpenAI 红队测试网络由值得信赖、经验丰富的专家组成，能够为我们的风险评估与缓解工作提供更广泛的参考，而不再局限于重大模型部署前的一次性合作与遴选。我们将根据网络成员的专长，邀请他们在模型和产品开发生命周期的不同阶段协助开展红队测试。并非每位成员都会参与每个新模型或产品的测试。投入的时间将与每位成员单独商定，一年可能只需 5–10 小时。

除了参与 OpenAI 委托开展的红队测试活动，成员还将有机会就红队测试的一般实践与发现相互交流。我们的目标是获得更多元、持续的意见，让红队测试成为一个不断迭代的过程。该网络与其他 AI 安全合作项目相辅相成，包括我们的研究人员访问计划⁠和开源评估⁠（在新窗口中打开）。

该网络提供了一个独特的机会，让你参与推动更安全的 AI 技术与政策的发展，并帮助塑造 AI 对我们生活、工作和互动方式的影响。加入该网络后，你将成为我们的领域专家库中的一员，并可能受邀在模型和系统部署的不同阶段参与评估。

评估 AI 系统，需要了解广泛的领域知识、多元视角和不同的亲身经历。我们欢迎世界各地的专家申请，并在遴选过程中优先考虑地域和专业领域的多样性。 

我们关注的领域包括但不限于：

不要求你具备 AI 系统或语言模型方面的经验，但有相关经验可能会有所帮助。我们最看重的是你愿意参与其中，并为我们评估 AI 系统的影响提供自己的视角。

OpenAI 红队测试网络的所有成员参与红队测试项目时，都将因其贡献获得报酬。加入该网络不会限制你发表研究成果或寻求其他机会，但请注意，参与红队测试及其他项目通常需要遵守保密协议（NDA），或承担无明确期限的保密义务。

申请现已截止。

问：加入该网络后需要做什么？

答：成为网络成员后，我们可能会联系你，邀请你测试新模型，或针对已部署模型的某个关注领域开展测试。在该网络中开展的工作须遵守保密协议（NDA），不过我们过去已通过系统卡和博客文章公开了许多红队测试的发现。你投入红队测试项目的时间将获得相应报酬。

问：作为网络成员，预计需要投入多少时间？ 

答：你可以根据自己的日程安排调整投入的时间。请注意，并非每次有机会时都会联系所有成员。OpenAI 会根据具体红队测试项目的需要选择合适的人选，并在后续的红队测试活动中注重引入新的视角。即使一年只能投入 5 小时，对我们来说也很有价值。因此，如果你有兴趣但时间有限，也请积极申请。

问：申请者何时会收到入选通知？

答：OpenAI 将持续滚动遴选网络成员，申请截止日期为 2023 年 12 月 1 日。本轮申请结束后，我们将重新评估未来是否再次开放申请。

问：加入该网络是否意味着我会受邀对每个新模型进行红队测试？

答：不是。OpenAI 会根据具体红队测试项目的需要选择合适的人选，因此你不会参与每个新模型的测试。

问：你们对网络成员有哪些要求？

答：我们看重的条件包括：

• 在与红队测试相关的某个领域具备有据可查的专长或经验

• 热衷于提升 AI 安全性

• 无利益冲突

• 背景多元，涵盖长期以来代表性不足的群体

• 地域代表性多元 

• 能够熟练使用多种语言

• 具备技术能力（非必需）

问：还有哪些安全方面的合作机会？

答：除了加入该网络，你还可以通过其他合作机会为 AI 安全贡献力量。例如，你可以设计或开展针对 AI 系统的安全评估，并分析评估结果。

OpenAI 的开源 Evals⁠（在新窗口中打开） 代码仓库（作为 GPT‑4 发布⁠的一部分推出）提供了易用的模板和示例方法，帮助你快速开始评估。

评估形式既可以是简单的问答测试，也可以是更复杂的模拟。以下是 OpenAI 开发的一些评估示例，用于从不同角度评估 AI 的行为：

说服力

• MakeMeSay⁠（在新窗口中打开）：AI 系统在诱导另一个 AI 系统说出秘密词语方面的能力如何？

• MakeMePay⁠（在新窗口中打开）：AI 系统在说服另一个 AI 系统捐款方面的能力如何？

• 投票提案⁠（在新窗口中打开）：AI 系统在影响另一个 AI 系统对某项政治提案的支持程度方面，能力如何？

隐写术（隐藏信息）

• 隐写术⁠（在新窗口中打开）：AI 系统在不被另一个 AI 系统发现的情况下传递秘密信息的能力如何？

• 文本压缩⁠（在新窗口中打开）：AI 系统压缩和解压信息以隐藏秘密信息的能力如何？

• 谢林点⁠（在新窗口中打开）：AI 系统在不直接沟通的情况下与另一个 AI 系统协调行动的能力如何？

我们鼓励大家在评估 AI 系统时发挥创意、大胆尝试。完成后，欢迎你将评估贡献到开源 Evals⁠（在新窗口中打开） 代码仓库，供更广泛的 AI 社区使用。

你也可以申请我们的研究人员访问计划⁠。该计划提供额度，支持研究人员使用我们的产品，研究负责任地部署 AI 及缓解相关风险的课题。