AI 能力已经迈入新阶段,AI 政策也必须随之翻开新篇章。没有任何一家公司、一个行业或一个政府能够独自应对这一挑战。面对这个关键时刻,我们必须以切实行动为先,而不是执着于政策上的完美。
以下是我们正在采取的行动:
推动制定强制性的全国 AI 安全要求。我们希望与国会合作,制定以模型能力为依据、具有强制性的全国 AI 安全法规。
持续推进各州的 AI 安全立法。在国会采取行动之前,我们将继续支持能够强化整体 AI 安全生态系统的州级立法。今天,我们宣布支持四项加州法案:旨在构建独立安全评估总体制度框架的 SB 813、旨在制定 AI 审计方标准的 AB 1405、旨在保护青少年的 SB 1119,以及旨在防范 AI 驱动型生物威胁的 AB 1864。
推进由行业主导的标准。我们将与其他前沿 AI 实验室合作推进前沿 AI 标准。无论是否获得政府支持,我们都会立即启动这项自愿行动。
制定全球标准。我们将倡导采用相互兼容的国际方案,用于衡量模型能力、管理风险、确保人类保持控制权,并确定应在何时以及如何放缓或停止开发,即使这意味着放慢模型能力提升的步伐。
我们的首席科学家 Jakub Pachocki 最近撰文指出,机器智能迅速崛起,包括递归自我改进的潜力,要求我们采取“极其审慎”的策略。OpenAI 将继续寻求解决对齐和监控问题的技术方案、构建防御系统,并在必要时放缓开发工作。但仅靠各个实验室内部的技术工作还不够。我们还需要制定共同标准,包括何时应放缓或停止开发的标准。
能否妥善应对这一挑战,关系重大。先进 AI 可以加快新药研发、增强关键基础设施、拓展经济机遇,并帮助解决几代人都未能攻克的科学难题。让模型变得更加实用的能力也带来了风险,而且这些能力不会一直局限于少数前沿 AI 实验室。包括开放模型在内,世界各地开发的模型将日益接近当今的前沿水平,并得到广泛普及。
Astra 展现出的能力、AI 加速科研的初步证据以及 Jakub 的文章都指向同一个方向:AI 正在快速发展,政策必须跟上其步伐。
Greg Brockman 曾描述过一个“防御者窗口期 (defenders window)”(在新窗口中打开):在强大的攻击能力得到普及之前,前沿 AI 可以帮助防御者加固关键系统,而这样的机会时间有限。政策制定者也面临着类似的窗口期:留给他们建立持久防护措施的时间正在减少,而这些措施必须得到及时落实,确保治理机构能够跟上 AI 能力发展的步伐。
随着 AI 能力不断增强,AI 的发展速度必须越来越取决于我们对其安全性的确信程度。安全不是进步的障碍;正是安全,才能让进步走得更远、惠及更多人。
我们已在模型开发的整个生命周期内加强监控、对齐与安全防护,包括对前沿研究工作负载采取更严格的隔离措施、在允许使用工具的训练和评估期间扩大对模型行为的监控,以及进一步确定何时必须上报安全隐患。针对 Astra,我们还对所有完整轨迹(包括思维链)进行全面监控,并规定只有通过强制性对齐评估,才能扩大内部部署范围。
这些防护措施必须始终领先于模型能力的发展。如果我们无法为相关系统提供充分的安全保障,且继续推进会带来不可接受的风险,我们将按照准备框架(在新窗口中打开)的要求,放缓或停止其开发、部署工作。我们过去也曾这样做。
完全自主的递归自我改进(即 AI 系统独立发展出一代又一代能力更强的 AI)目前尚未实现。在能够安全开展这一过程之前,我们不应推进它。
AI 已经开始加速下一代模型开发与对齐所需的部分研究。我们最新的研究显示,AI 智能体已经能够完成一些原本需要经验丰富的研究人员耗时数天才能完成的任务。这还不是递归自我改进,却表明技术正在朝这个方向发展。
这种加速作用也能够而且必须用于提升安全性。我们的目标是安全地构建在人工监督下工作的自动化 AI 研究员(researcher),同时推进深度学习和对齐研究,让每一代 AI 都能帮助下一代变得更安全、更符合人类意图、更容易控制,而不仅仅是能力更强。
各国政府应制定共同的方法,用于衡量这一进展、确保人类拥有实质有效的控制权,并就何时以及如何放缓或停止开发设立共同的安全门槛。如果必须放缓能力增长才能达到某些安全门槛,就应优先满足这些安全要求。技术越强大,配套的防护措施就必须越严密。
“由 AI 加速 AI 研发”的前景意味着,仅靠自愿承诺是不足够的。美国需要建立一套具有强制力、以模型能力为依据,并能随技术演进而调整的全国性监管制度。
我们的《前沿 AI 的民主治理蓝图》阐明了建立长效联邦框架的路径:确立统一的测试与独立评估要求,加强网络安全防护,明确事件报告规则,提升国家应对准备水平,并采用共同指标跟踪递归自我改进的发展。
目前,国会已有数项重要的前沿 AI 安全提案逐渐成形。我们将继续以建设性的方式参与相关立法进程,并预计会支持能够切实提高安全标准的法案。由于事关重大,我们不能因追求完美而错失切实可行的方案。国会应在休会前采取行动。
全国性框架既要有力,也应审慎界定适用范围。前沿 AI 安全要求应仅适用于少数几家资源充足、正在开发能力最强的系统的实验室,而不应适用于初创公司、小型开发者或研究工作远未触及技术前沿的研究人员。相关义务应与模型能力和风险相称。
前沿 AI 安全政策也不应变相成为开放权重 (open-weights) 政策。开放模型可以成为解决方案的一部分,尤其是在网络安全领域,以及出于主权、安全或数据驻留需求而更适合本地部署的场景。大多数开放模型的竞争重点在于成本、控制权和延迟,而非前沿能力。正如我们在签署《开放权重与美国 AI 领导力公开信》(在新窗口中打开)时所确认的,美国既需要开放模型,也需要闭源模型。联邦框架在应对前沿能力及其风险时,不应削弱竞争、固化现有企业的优势,也不应将创新活动推向海外。
真正有力的公共治理框架应当减少而不是加剧权力集中。目前,前沿 AI 实验室在很大程度上仍自行制定管理前沿风险的规则。具备民主问责机制的标准、独立核查以及实质性透明度,将取代当前由各家企业自行制定规则的碎片化治理体系。
这对于保持美国的领导地位至关重要。仅凭技术能力,美国无法在 AI 时代胜出。如果公众、各类机构和政府因缺乏足够信任而不愿采用这项技术,那么技术上的领先也意义不大。强有力的防护措施并不意味着牺牲创新。它们是推动技术广泛应用、确保美国长期保持领导地位所必需的基础设施。
我们迫切需要全国统一的 AI 标准,任何从事前沿 AI 工作的人都能感受到这种紧迫性。在国会采取行动之前,各州应继续采取措施,填补监管空白并提高安全门槛。
OpenAI 已支持加利福尼亚州的 SB 53 法案、纽约州的 RAISE 法案、伊利诺伊州的 SB 315 法案,以及马萨诸塞州正在审议的前沿 AI 安全法案所包含的独立审计要求。我们鼓励各州围绕这些共同的防护措施逐步形成共识。在此过程中,各州可以形成事实上的全国性基准,最终由国会将其写入法律。我们将这种进路称为反向联邦制 (reverse federalism)。但协调一致并不意味着让这些要求一成不变。
今天,我们正式宣布支持另外四项加州法案。这些法案已获州议会通过,即将呈交纽森 (Newsom) 州长审议。上述法案涵盖了 AI 安全生态系统中相互补充的不同环节。
SB 813(在新窗口中打开) 法案将建立一套认定流程,用于指定具备相应资质、保持独立且有能力评估 AI 风险的机构。正如我们在(在新窗口中打开)前沿 AI 安全蓝图(在新窗口中打开)中所述,我们更倾向于由联邦层面强制要求开展独立技术评估,以便政策制定者能够就评估方的资质、安全保障以及高度敏感信息的访问权限制定统一标准。在联邦政府尚未采取行动的情况下,加州可以协助确立基本规则,为建立一套安全、有效并能带来更佳安全成效的全国性独立评估体系奠定基础。
AB 1405(在新窗口中打开) 法案将为 AI 审计方设定注册、独立性、透明度和问责要求。
SB 1119(在新窗口中打开) 法案将要求为使用陪伴型聊天机器人的儿童和青少年落实年龄确认措施、风险评估、独立审计和家长控制,并设置防范有害内容的保护措施。我们近期表明了对这一法案的支持。该法案延续了 OpenAI 一直推动的青少年安全工作,包括通过产品落实的措施、我们的全球政策原则、对(在新窗口中打开)《家长与儿童安全 AI 法案》(Parents & Kids Safe AI Act)(在新窗口中打开) 的支持,以及 ChatGPT for Teens(青少年版)内置的保护机制 — 例如在敏感领域采用更严格的默认设置,并提供安静时段 (Quiet Hours)、学习时段 (Study Hours) 和休息提醒。
AB 1864(在新窗口中打开) 法案将要求基因合成服务提供商和台式合成设备制造商遵守联邦筛查标准,从而强化防范 AI 驱动型生物威胁的重要实体防线。
其中一些法案我们此前并未支持。鉴于近期观察到 AI 能力大幅跃升,我们重新审视了立场,现决定予以支持。
这些法案不能取代联邦监管。它们都是严肃而务实的立法举措,能够立即保护民众,为切实可行的防护措施提供范例,并为联邦层面的行动积蓄动力。
单靠法律无法确保先进 AI 的安全性。我们还需要在开发能力最强的系统的实验室内部落实具体做法。最迫切的起点是监控。
这对于防范对齐失范 (misalignment) 尤其重要 — 所谓对齐失范,是指模型以违背人类意图或既定边界的方式追求目标;这并不以模型具备意识或恶意意图为前提。随着模型的自主程度提高、使用的工具愈加强大且运行时间不断延长,开发者需要监控此类对齐失范行为,并证明已落实有效的防护措施。
监控必须与明确的信息披露要求相衔接。正如我们在加州所倡导的,如果模型在开发或评估期间未经授权绕过其他组织的安全控制,并对该组织受保护的系统或机密信息进行了实质性访问、修改或破坏,就应要求相关公司及时向受影响方发出书面通知。我们也支持针对其他严重 AI 事件制定联邦报告要求,并着手确定应涵盖哪些事件,以及这些要求具体应包括哪些内容。
正如我们上周所分享的,OpenAI 正在制定一套框架,用于报告具有重大后果的对齐失范事件,并系统性地监控前沿模型的活动,包括其内部使用情况。这项工作目前由公司主导,但我们希望它能为更广泛的联邦政策和报告要求提供参考。
我们希望与其他实验室合作,制定由行业主导的标准。任何此类行业标准都应作为强制性联邦防护措施和民主监督的补充,而非替代。AI 能力已经进入全新阶段,因此所有方案都应纳入考虑,这包括思考在政府体系之外,当前可以自愿建立哪些机制。
任何此类标准最终都必须跨越国界。模型、研究成果和技术专长在全球范围内流动,而能力最强的系统一旦出现失误或故障,其后果可能远远超出这些系统开发国的边界。美国若要在国际上发挥领导作用,就必须先在国内建立可信的标准。而且我们日益确信,相互兼容的国际标准将不可或缺。
眼下,AI 政策的窗口期仍然开放,我们将把握这一机遇。
这意味着,我们要带着紧迫感和谦逊的态度采取行动,并愿意随时调整。这意味着,我们要支持那些能够切实提高安全门槛的严肃提案,即便其设计与我们的构思并不完全一致。这也意味着,我们要随着技术发展不断巩固这一框架。
第一步不可能完美。但如今更大的风险,是迟迟不迈出这一步。


