智能时代正式上线

“面对权力不断扩张的本性……仅仅信赖这些纸面屏障，能否有效抵御？”
—James Madison，《联邦党人文集》第 48 篇

我们很高兴推出 OpenAI 新成立的战略未来团队博客——智能时代。我们是一支小型团队，共同致力于回答一个关乎全局的问题：面对变革性 AI 的兴起，自由社会应如何重构，才能维护个人权利和自主行动能力？

在更广泛的 AI 安全与政策领域，这类问题有时被称为权力集中风险。我们团队秉持这样一个理念：从长远来看，这类风险影响最大、最为严重，也最难从概念层面加以应对。为什么？

现代国家是资本与大宗商品所有者、政治权力掌握者以及民众等各方权力中心经过漫长而曲折的博弈后形成的产物。最根本的一点是，政治和军事权力一直以人力为基础。掌握政治权力，就意味着垄断合法使用武力的权利。纵观人类历史，这种垄断一直依靠士兵、我们今天所称的“警察”，以及庞大的文职与军事官僚机构来维持。诚然，还有诸多技术工具作为补充，但从根本上说，整个体系仍由人来运作，必须获得他们的支持才能持续运行。而整套体系——士兵、工具及其配套的官僚机构——都由税收供养；这些税收来自人们的工资或生产所得，因此也离不开人们的缴税意愿。从根本上说，权力一直依赖众多人的大规模合作与认同。David Hume 曾一语道破这个往往隐而不宣的假设：政治领袖“除了［民众的］意见外，没有任何力量可以依靠”。

但这种情况或许即将成为过去。现实世界自主系统的进步，或许很快就能让国家在国内外动用武力，而无须依赖愿意配合的士兵或警察。机器智能的发展也可能意味着，国家不再需要从个人劳动成果中获取所需财政收入，而可以直接依靠数据中心的产出。官僚机构本身的运作也可以实现大规模自动化。因此，权力的维系或许不再需要全社会达成妥协。广义上的民众在谈判桌上可能只剩很小的一席之地，甚至完全没有位置。

避免这种结果，是维护人类自由的根本所在。无论科学发现、技术进步或经济增长达到何种程度，都不值得以这种结果所造成的个人长期自主权丧失为代价。围绕 AI 方兴未艾的政治讨论中，许多合理的焦虑都与这个问题有关：企业、利益集团和个人都怀有同一种担忧：“我会失去谈判桌上的一席之地吗？”在某种程度上，21 世纪的美国政治也受到类似忧虑的影响：个人和集体能否自主决定国家的发展方向，以及经济究竟“为谁”服务。AI 让这些原本就存在的问题变得更加突出，这也是理所当然的。

这是一个结构性问题，其根源不仅比当代党派政治更深，甚至超越了共和民主制度如今赖以施行的形式与仪式——尽管我们无比珍视这些形式与仪式。即使我们仍能照常投票选出代表，人类也可能正在逐步丧失权力。即使一纸文书宣称人人自由，人们仍可能被剥夺自主行动能力。

美国建国之初，James Madison 就已认识到，仅凭“纸面屏障”不足以阻止暴政。与许多建国者一样，他最关切的是避免权力过度集中。

但这并不意味着建国者主张彻底分散权力。相反，他们借用当时最先进的科学——牛顿力学——中的比喻来构建权力平衡模式。美国的建国文献仿照引力理论的语言和逻辑，充满了对“轨道”“天体范围”以及一事物对另一事物产生“吸引”倾向的描述。太阳系并不是由岩石最大限度分散而成的集合体；它由围绕行星运行的卫星以及围绕中心恒星运行的行星构成。他们认为，人与组织都有追逐权力的倾向，就像天体的运动与相互吸引存在可预测的趋势一样；要避免权力过度集中，就必须理解这些倾向背后的运行机制，使其彼此制衡。

因此，建国者的目标并非避免一切权力集中，而是通过以权力制衡权力、以野心制衡野心，防止权力过度集中。如今，我们或许会用“激励机制”和“博弈论”等词语来描述同一套基本的底层动态。

同样，面对先进机器智能给自由社会带来的结构性挑战，解决之道可能也不是设想得到的最彻底的权力分散。相反，我们应寻求建立并维持恰当的权力平衡，使任何单一主体或少数主体都无法支配其他所有人。

要实现这种平衡，就必须清醒认识这项技术的现实。如果任何人，无论多么恶意，都能轻而易举地严重伤害成千上万乃至数百万人，这样的世界就没有实现恰当的权力平衡。然而，如果个人无法广泛获取并控制他们用来行使自由的工具的几乎所有方面，我们同样没有实现恰当的权力平衡。任何一家公司或寡头集团都不应决定或控制经济乃至人类社会的基本架构。

我们也必须正视并非源于恶意人类的风险。最近的 Hugging Face 事件表明，AI 智能体可能采取超出既定任务范围的行动，并以操作人员未曾预料或授权的方式利用彼此的发现继续推进。即便不谈 Hugging Face 事件，人们也有充分理由担忧：脱离人类控制的超级智能 AI，会对我们政治和经济制度的韧性，乃至我们的生命意味着什么。假装权力分散能够解决所有问题——即使你相信它确实能解决其中许多问题——无异于无视那些如今理应已近在眼前的风险。

在应对上述问题时，以下几项总体原则将为我们的工作提供指引，但这并非详尽清单：

• 人类在使用 AI 及相关技术时，应保持个人自主权并拥有发展机会，即使这有时需要在安全和经济增长方面作出取舍；
• 个人自主权的前提，是个人须对技术的误用或滥用承担责任；
• 有一小类风险发生概率虽低，却后果严重，需要采取一定程度的集体行动；这类行动的范围应尽可能狭窄，力度也应尽可能克制；
• 只要可能，法律就应致力于创造公平的竞争环境，赋能个人和小型组织，而不是集中权力；
• 人类的政治、社会和经济制度应继续在世界事务走向上发挥主导作用，即使它们必须以今天的我们看来或许陌生的方式演变；
• 长期的 AI 治理将依赖新的制度机制来实现有限可追溯性：当 AI 系统采取可能影响旁观者人身安全或财产的高风险行动时，必须能够将这些行动追溯到负有责任的人或由人类控制的组织。但设计任何此类机制时都必须以隐私为核心；自由表达需要匿名性，人们在许多场景下都应能匿名使用 AI。

我们将努力尽可能具体地阐明，应如何在这些原则之间取得平衡。必须承认，和任何一套良好的原则一样，它们彼此之间存在一定张力。为此，我们需要开展横跨公共政策设计、经济学、法律、历史和机器学习本身的研究。这也需要进行大量预测。例如，我们认为 AI 将从结构层面改变企业，正如工业革命时期的技术，尤其是铁路，催生了现代管理型公司。如果不能形成更丰富、更具体的构想，理解企业以及政府机构和更广泛的公民社会的结构本身将如何转变，就很难思考未来的政治经济格局与权力平衡。

战略未来团队将在这里及其他渠道分享研究成果，包括论文、视频和播客。我们的工作将持续推进，注重迭代、讨论并积极听取反馈。站在“奇点的山麓”，我们心中的问题远多于已有的答案。我们知道，仅靠“纸面屏障”无法带来我们所寻求的解决方案，但也不会把成文内容斥为“空话”。我们致力于捍卫言论自由和个人自由的理想；这些理想就镌刻在美国那份朴素的羊皮纸文献——宪法，以及世界各地众多自由社会的宪法之中。

归根结底，我们深知，任何一家公司、单一行业，甚至任何单一人类社会，都无法独力回答我们面临的重大问题。这是一项必须由全人类共同承担的任务。我们最大的愿望，是阐明与 AI 将如何重塑世界相关的最棘手问题。我们的工作才刚刚起步，前方仍有漫长的攀登之路。

注：我们已将本博客更名为智能时代，以免与非营利组织 AI Futures Project 混淆。