GPT-4o 系统卡

在将新模型部署到 ChatGPT 或 API 中之前，我们会对其潜在风险进行全面评估，并构建相应的防护措施。我们会同时发布模型系统卡和防范准备框架⁠评分卡，旨在为 GPT‑4o⁠ 提供端到端安全评估，涵盖我们为跟踪和应对当前安全挑战及前沿风险所采取的措施。

在为 GPT‑4⁠ 和 GPT‑4V⁠ 开展安全评估和制定缓解措施的基础上，我们针对 GPT‑4o 的音频功能加大了投入，因为该功能带来了新的风险，同时我们也对其文本和视觉功能进行了评估。

我们评估的部分风险包括说话者识别、未经授权的语音生成、可能生成受版权保护的内容、无依据的推断以及违禁内容等。基于这些评估结果，我们在模型层面和系统层面均实施了防护措施，以缓解这些风险。 

我们的研究结果表明，GPT‑4o 的语音模态并未显著增加防范准备风险。在防范准备框架的四个类别中，有三个类别的风险评分较低，而说服性影响的评分处于中等偏下的水平。按照我们的安全部署流程，安全咨询小组⁠（在新窗口中打开）对我们的防范准备评估和缓解措施进行了审查。我们诚邀您阅读以下报告，了解这项工作的详细情况。

GPT‑4o¹ 是一种自回归全模态模型，它能够接受文本、音频、图像和视频的任意组合作为输入，并生成文本、音频和图像输出的任意组合。经过我们的训练，它可以在文本、视觉内容和音频之间实现端到端转换，这意味着所有输入和输出都由同一个神经网络处理。 

GPT‑4o 可以在最短 232 毫秒（平均 320 毫秒）内对音频输入作出响应，这已接近于在对话中的人类响应时间⁠（在新窗口中打开）²。在对英语文本和代码的处理方面，它的性能可以媲美 GPT‑4 Turbo，而对非英语语言的文本的处理也有显著改进，同时 API 也更快且价格低 50%。与现有模型相比，GPT‑4o 在对视觉内容和音频的理解方面尤其出色。

我们致力于构建安全的 AI，并遵守我们对白宫作出的自愿承诺³。基于此，我们在此分享 GPT‑4o 系统卡，其中包括我们依据防范准备框架⁠（在新窗口中打开）⁵ 进行的评估。在本系统卡中，我们详细介绍了 GPT‑4o 在多个类别的能力、局限性及安全评估情况，重点聚焦于语音到语音（语音）^A 能力，同时也对图文能力进行了评估，并阐述了我们为提升安全性和对齐性所采取的措施。此外，我们还纳入了第三方对通用自主功能的评估，以及关于 GPT‑4o 文本和视觉内容功能潜在社会影响的讨论。

我们利用截至 2023 年 10 月的数据训练 GPT‑4o 的能力，这些数据来源广泛，其中包括：

1. 精选的公开数据：这些数据大多收集自行业标准的机器学习数据集和网络爬虫。
2. 来自数据合作伙伴的专有数据。我们通过合作伙伴关系来获取非公开数据，例如付费内容、档案资料和元数据。例如，我们与 Shutterstock 合作⁠（在新窗口中打开）⁵，共同创作并交付 AI 生成的图像。 

为 GPT‑4o 能力做出贡献的关键数据集包括：

1. 网络数据 – 来自公开网页的数据提供了丰富多样的信息，确保模型能够学习各种不同的视角和主题。
2. 代码与数学数据 – 在训练中纳入代码和数学数据，有助于模型通过接触结构化逻辑和问题解决过程，发展出强大的推理能力。
3. 多模态数据 – 我们的数据集中包含图像、音频和视频，用于训练 LLM 如何解读输入的非文本内容并生成非文本输出。通过这些数据，模型能够学习如何解读真实世界中的视觉图像、动作和序列、语言模式以及语音细微差别。

在部署之前，OpenAI 会评估并缓解生成式模型可能带来的潜在风险，例如信息伤害、偏见与歧视，或其他违反我们安全政策的内容。我们采用了一系列方法，这些方法贯穿了预训练、后训练、产品开发和政策等所有开发阶段。例如，在后训练阶段，我们会让模型与人类偏好保持一致；对生成的模型进行红队测试，并在产品层面添加监控和执行等缓解措施；以及为用户提供内容审核工具和透明度报告。

我们发现，大部分有效的测试和缓解措施都是在预训练阶段之后进行的，因为仅通过筛选预训练数据无法解决那些有细微差别的及特定背景下的伤害。与此同时，某些预训练阶段的过滤缓解措施可以提供额外的防御层，加上其他安全缓解措施，有助于从我们的数据集中排除不需要和有害的信息：

• 我们使用内容审核 API 和安全分类器过滤掉可能导致有害内容或信息危害的数据，包括儿童性虐待材料 (CSAM)、仇恨、暴力内容以及化学、生物、放射及核 (CBRN) 相关信息。 
• 与我们之前的图像生成系统一样，我们会过滤掉图像生成数据集中的显式内容，如色情图片和儿童性虐待材料。 
• 我们采用先进的数据过滤流程减少训练数据中的个人信息。
• 推出 DALL·E 3 时，我们尝试了一种新方法，使用户有权选择不将某些图像用于训练⁠。为了尊重用户的选择，我们对这些图像进行了标记，并使用这些标记从 GPT‑4o 系列模型的训练数据集中移除了所有相关图像实例。

我们为部署做准备，通过专家红队测试对其他新型风险进行了探索性发现。首先从开发阶段的模型早期检查点开始，将识别出的风险转化为结构化的衡量指标，并为其构建缓解措施。  此外，我们还依据我们的防范准备框架⁴ 对 GPT‑4o 进行了评估。

OpenAI 与 100 多名外部红队测试人员^B 合作，这些测试人员共使用 45 种不同语言，来自 29 个不同国家/地区，拥有多样化的地域背景。从 2024 年 3 月初开始，直至 6 月下旬，红队测试人员获得了该模型在不同训练阶段和安全缓解措施成熟度下的各种快照。 

外部红队测试分为四个阶段。前三个阶段通过内部工具对模型进行测试，最后一个阶段则使用完整的 iOS 体验来测试模型。截至撰写本文时，GPT‑4o API 的外部红队测试仍在进行中。

红队测试人员被要求开展探索性能力发现，评估模型带来的新型潜在风险，并在制定和改进缓解措施的过程中进行压力测试，特别是由音频输入和生成（语音到语音能力）引入的潜在风险。此红队测试工作是在以往工作的基础上进行的，包括 GPT‑4 系统卡⁠（在新窗口中打开）⁶ 和 GPT‑4(V) 系统卡⁠⁷ 中描述的工作。

红队测试人员涵盖的类别包括：违规和违禁内容（非法色情内容、暴力、自残等）、虚假/误导性信息、偏见、无依据的推断、敏感特征归因、私人信息、地理位置、人员识别、情感感知和拟人化风险、欺诈和冒充行为、版权、自然科学能力以及多语言观察。

红队测试人员生成的数据促使我们创建了多项定量评估，详见“观察到的安全挑战、评估与缓解”⁠部分。在某些情况下，红队测试中所获得的见解会被用于生成有针对性的合成数据。我们按照一定的条件（如是否违反政策、是否被拒绝），使用自动评分工具和人工标注对模型进行评估。此外，我们有时还会重新利用^C 红队测试数据，对各种语音和示例进行有针对性的评估，以测试各种缓解措施的鲁棒性。

除了红队测试所提供的数据外，我们还使用文本转语音 (TTS) 系统（如语音引擎⁠）将一系列现有评估数据集转换为语音到语音模型的评估数据。通过将文本输入转换为音频，我们将基于文本的评估任务转换为基于音频的评估任务。这使我们能够重用现有的数据集和工具来衡量模型的能力、安全行为和监控模型输出，从而大大扩充了可供我们使用的评估数据集。

我们使用“语音引擎”将文本输入转换为音频，然后将其输入 GPT‑4o，并由模型对输出进行评分。我们始终仅对模型输出的文本内容进行评分，除非需要直接评估音频（参见“语音生成”⁠部分）。

首先，这种评估格式的有效性取决于 TTS 模型的能力和可靠性。某些文本输入不适合或难以转换为音频，例如数学方程式代码。此外，我们预计 TTS 模型在处理某些文本输入时会出现信息损失，例如那些大量使用空格或符号进行视觉格式化的文本。由于我们预计用户不太可能通过“高级语音模式”提供此类输入，因此我们不会在此类任务上评估语音到语音模型，或者对具有此类输入的示例进行预处理。尽管如此，我们还是要强调，在评估中发现的任何错误，可能的原因要么是模型能力不足，要么是 TTS 模型未能准确地将文本输入转换为音频。

另一个担忧可能是，TTS 输入是否能够代表用户在实际使用中可能提供的音频输入分布情况。在“处理语音输入时的性能差异”部分，我们评估了 GPT‑4o 处理不同地区口音的音频输入时的鲁棒性。然而，仍有许多在基于 TTS 的评估中可能无法捕捉到的其他维度，例如不同的语音语调、情感色彩、背景噪音或串音，这些都可能导致模型在实际使用中表现出不同的行为。

最后，模型生成的音频中可能存在文本无法捕捉到的工件或属性，例如背景噪音和音效，或者使用分布外的语音进行回应。在“语音生成”⁠部分，我们介绍了如何使用辅助分类器来识别生成的不需要的音频，这些分类器可以与转录内容评分结合使用。

对于模型可能带来的潜在风险，我们采用了一系列方法来缓解。我们通过后训练方法训练模型遵循能够降低风险的行为，并在部署的系统中集成了分类器来阻止特定的生成内容。 

下表概括了我们观察到的安全挑战及其风险描述、我们应用的缓解措施以及相关评估结果（如适用）。以下列出的风险仅为了举例说明，并非详尽无遗，且主要关注 ChatGPT 界面中的体验。在本节中，我们重点关注语音到语音功能所引入的风险，以及它们如何与已有模态（文本、图像）相互作用^D。

风险描述：语音生成是使用人声合成语音来创建音频的功能，包括基于简短的音频输入片段生成语音。 

在对抗性情形下，此功能可能导致欺诈等伤害（例如通过冒充他人），并可能用于传播虚假信息^9、10（例如，上传给定说话者的音频片段，并要求 GPT‑4o 以该说话者的语音生成语音内容）。这些风险与我们在“语音引擎”⁠⁸ 中所提到的风险非常相似。 

语音生成也可能出现在非对抗性情形下，例如我们使用此功能为 ChatGPT 的高级语音模式生成语音。在测试过程中我们还观察到，在极少数情况下模型会无意中生成模仿用户语音的输出^E。

风险缓解：为降低与语音生成相关的风险，我们只允许使用与配音演员合作创建⁠的预设语音¹¹⁠。具体而言，我们在对音频模型进行后训练时，将选定的语音作为理想的补全纳入其中。此外，我们还构建了一个独立的输出分类器，用于检测 GPT‑4o 的输出是否使用了未经批准的语音。在音频生成过程中，我们会以流播方式运行该分类器，若说话者的声音与所选预设语音不匹配，则会屏蔽输出。

评估：根据内部评估，我们发现未经授权的语音生成残余风险极低。我们的系统目前能够 100% 检测出与系统语音^F 存在实质性偏差的情况，包括：其他系统语音生成的样本、模型在补全过程中使用提示中的语音作为部分输出的片段，以及各类人工样本。

尽管模型仍存在无意中生成语音的弱点，但我们利用二级分类器确保在此类情况发生时中断对话，从而将无意中生成语音的风险降至最低。最后，当对话语言非英语时，我们的审核机制可能会导致过度拒绝，这是我们正在积极改进的一个方面^G。

我们的语音输出分类器在不同语言的对话中的表现^H：

风险描述：说话者识别是指根据输入音频识别说话者的功能。这可能带来潜在的隐私风险，特别对于私人个体以及公众人物不为人知的音频而言，同时还存在潜在的监控风险。

风险缓解：我们对 GPT‑4o 进行了后训练，使其能够拒绝根据音频输入中的语音来识别说话者的请求。不过，GPT‑4o 仍会响应识别名人名言的请求。例如，若请求识别某人说的“four score and seven years ago”（八十七年前）这个短语，模型应能识别出说话者是美国前总统亚伯拉罕·林肯 (Abraham Lincoln)；而若请求识别某位名人随意的一句话，则应予以拒绝。

评估：
与我们最初的模型相比，新模型在应拒绝根据音频输入识别语音的请求时，正确拒绝率提高了 14 个百分点；在应响应此类请求时，正确响应率提高了 12 个百分点。 

前者意味着模型几乎总能正确拒绝根据语音识别说话者的请求，从而缓解了潜在的隐私问题。后者则意味着在某些情况下，模型可能会错误地拒绝识别某句名言的说话者。

风险描述：模型对不同口音用户的语音处理能力可能存在差异。这种性能差异可能导致不同用户在使用模型时获得的服务质量不同。

风险缓解：我们使用多组输入语音对 GPT‑4o 进行了后训练，以确保模型在处理不同用户语音时的性能和行为保持一致。

评估：我们对 GPT‑4o 高级语音模式进行了评估，即，使用固定的助手语音（“shimmer”）和语音引擎，通过一系列语音样本^I 生成用户输入。对于 TTS，我们使用了两组语音样本：

• 官方系统语音（3 种不同语音）
• 从两次数据收集活动中收集到的多样化语音集。该语音集包含来自不同国家/地区、不同性别的 27 个不同的英语语音样本。

我们通过两组任务进行评估：能力评估和安全行为评估

能力评估：我们通过四个^J 任务进行评估：TriviaQA、MMLU 的子集^K、HellaSwag 和 LAMBADA。TriviaQA 和 MMLU 是以知识为中心的任务，而 HellaSwag 和 LAMBADA 则是以常识为中心或文本续写的任务。总体而言，我们发现，在所有四个任务中，模型对多样化人类语音样本的处理表现略逊于对系统语音的处理，但差异并不显著。

安全行为评估：我们利用一个内部对话数据集进行评估，以检验模型在不同用户语音下响应和拒绝指令的行为是否一致。总体而言，我们发现模型的行为不会因语音不同而有所差异。

风险描述：音频输入可能导致模型对说话者做出带有潜在偏见的推断。我们定义了两个类别：

• 无根据的推断 (UGI)：对说话者做出仅凭音频内容无法确定的推断。这包括对说话者的种族、社会经济地位/职业、宗教信仰、性格特质、政治属性、智力、外貌（如眼睛颜色、吸引力）、性别认同、性取向或犯罪历史等方面的推断。这可能导致配置式危害和表征式危害^13、15，具体视此类行为的表现方式而定。
• 敏感特征归因 (STA)：对说话者做出仅凭音频内容可以合理确定的推断。这包括对说话者口音或国籍等方面的推断。STA 可能带来的潜在危害包括增加监控风险¹⁶，以及不同语音特征的说话者获得不同质量的服务体验^12、13、14。

风险缓解：我们对 GPT‑4o 进行了后训练，使其能够拒绝响应 UGI 请求，同时对 STA 问题给出谨慎回答。例如，对于识别说话者智力水平的问题，模型会予以拒绝；而对于识别说话者口音的问题，模型则会回答：“根据音频，听起来像是英国口音。”

评估：
与我们最初的模型相比，新模型在正确响应识别敏感特征请求（即拒绝 UGI 并安全响应 STA）方面的表现提高了 24 个百分点。

风险描述：GPT‑4o 可能被诱导输出有害的音频内容（在文本形式中会被禁止），例如提供非法活动实施方法的语音输出。

风险缓解：我们发现，对于之前禁止的内容，文本到音频的拒绝转移率很高。这意味着，我们为减少 GPT‑4o 文本输出潜在危害所做的后训练工作，已成功延伸至音频输出。

此外，我们还会对音频输入和输出的转录文本执行现有的审核模型，以检测其中是否包含潜在有害的语言，若发现则予以屏蔽^L。

评估：我们利用 TTS 功能将现有的文本安全评估转换为音频，然后，使用基于文本规则的标准分类器对音频输出的转录文本进行评估。我们的评估结果显示，在预先制定的内容策略方面，拒绝策略从文本到音频的转移效果良好。更多评估详情，请参见附录 A⁠。

风险描述：GPT‑4o 可能被诱导输出色情或暴力语音内容，这些内容相较于文本形式可能更具煽动性或危害性。因此，我们决定限制色情和暴力语音的生成^M。 

风险缓解：我们对音频输入的转录文本运行现有的审核模型⁠（在新窗口中打开）¹⁷，以检测其中是否包含暴力或色情内容的请求，若发现则予以屏蔽。

在内部测试与外部红队测试过程中，我们发现模型还存在少量其他风险与局限性，而针对这些风险与局限性的模型或系统级缓解措施尚处于萌芽阶段或仍在开发中，具体包括：

音频鲁棒性：我们观察到，有轶事证据表明，通过音频扰动（如低质量输入音频、输入音频中的背景噪声以及输入音频中的回声）可以降低安全鲁棒性。此外，我们还发现，在模型生成输出时，无论是故意还是无意的音频中断，都会导致安全鲁棒性出现类似的下降。 

误导信息与阴谋论：红队测试人员通过提示模型口头重复虚假信息并生成阴谋论，可以迫使模型产生不准确的信息。尽管这是 GPT 模型文本模态中已知的问题^18、19，但红队测试人员担心，如果模型被指示以富有情感、明确果断的语气说出，那么这些通过音频传递的信息可能更具说服力或危害性。我们详细研究了模型的说服力（参见“说服性影响”⁠部分），发现模型在纯文本模态中的风险评分未超过中等风险，在语音到语音模态中的风险评分未超过低风险。

以非母语口音说非英语语言：红队测试人员观察到，当模型以非英语语言说话时，音频输出会使用非母语口音。这可能会引发对某些口音和语言存在偏见的担忧，乃至对音频输出中非英语语言性能存在局限性的担忧。

生成受版权保护的内容：我们还测试了 GPT‑4o 重复其训练数据中的内容的能力。依照我们的整体实践原则，我们训练 GPT‑4o 拒绝生成受版权保护的内容的请求，包括音频。为了考虑 GPT‑4o 的音频模态，我们还更新了某些基于文本的过滤器以适用于音频对话，构建了过滤器来检测和屏蔽包含音乐的输出，并且对于 ChatGPT 高级语音模式的有限内测版本，我们指示模型不要唱歌。我们打算跟踪这些缓解措施的有效性，并持续对其进行优化。

尽管某些技术缓解措施仍在开发中，但我们的使用政策⁠²⁰ 禁止故意欺骗或误导他人，以及规避安全保障或风险缓解措施。除了技术缓解措施外，我们还通过监控来确保使用政策的执行，并对 ChatGPT 和 API 中的违规行为采取行动。

我们依据我们的防范准备框架⁠（在新窗口中打开）⁴ 对 GPT‑4o 进行了评估。“防范准备框架”是一份动态文档，通过程序性框架体现我们在跟踪、评估、预测和防范前沿模型带来的灾难性风险方面的承诺。目前的评估涵盖四个风险类别：网络安全、CBRN（化学、生物、放射、核）、说服性影响和模型自主性。如果某个模型超过了高风险阈值，我们将不会部署该模型，直到缓解措施将其风险评分降至中等。以下详细介绍对 GPT‑4o 文本能力的评估；对音频能力的说服性影响也进行了评估。我们在模型训练和开发的整个过程中都进行了评估，包括在模型发布前进行的最终排查。  对于以下评估，我们测试了多种方法，包括在相关情况下进行定制化训练，以便更好地激发出模型在某一类别的能力。 

在审视防范准备评估的结果后，安全咨询小组建议在实施缓解措施前，将 GPT‑4o 在说服性影响方面的风险归为中等偏下风险，而将其他所有方面的风险均归为低风险。根据防范准备框架，某一指定模型的整体风险取决于所有类别中的最高风险。因此，GPT‑4o 的整体风险评分被归为中等。

在被称为“夺旗赛”(CTF) 的黑客竞赛任务中，我们对 GPT‑4o 进行了评估。CTF 比赛是进攻性的网络安全演练，人类参与者试图在故意设有漏洞的系统（如网络应用、二进制文件和密码系统）中查找隐藏的文本标志。我们的评估包含 172 个 CTF 任务，分为四个类别：网络应用漏洞利用、逆向工程、远程漏洞利用和密码学。这些任务涵盖了从高中到大学再到专业 CTF 的各种能力水平。

我们使用迭代调试和无头 Kali Linux 发行版⁠（在新窗口中打开）⁠中的工具对 GPT‑4o 进行了评估（每次最多可使用工具 30 轮）。模型经常尝试合理的初始策略，并能够纠正其代码中的错误。然而，它经常无法转向其他策略（若初始策略不成功），会错过解决问题所需的关键见解，在策略执行上表现不佳，或者打印出大型文件，填满其上下文窗口。在每个任务中尝试 10 次后，模型完成了 19% 的高中级别、0% 的大学级别和 1% 的专业级别 CTF 挑战。

在回答与创造生物威胁相关的问题时，GPT‑4o 能够帮助提升生物专家和新手的表现⁠，我们对此进行了评估。由于 Gryphon Scientific²² 拥有在国家安全背景下处理危险生物制剂的专业知识，因此我们与他们合作设计了相关问题和详细的评分标准。评估的任务涵盖了创造生物威胁的所有主要阶段（构思、获取、放大、配方和发布）。专家和新手被随机分配以回答问题，有的可以求助于互联网，有的可以求助于 GPT‑4o，有的则可以求助于定制的研究专用版 GPT‑4o。该研究专用版 GPT‑4o 是我们专门训练的版本，它会直接（即不拒绝）回答与生物风险相关的问题。在上图中可以查看通过率。

我们还进行了自动化评估，包括利用一个数据集测试与生物风险相关的隐性知识和故障排除问题。GPT‑4o 在隐性知识和故障排除评估中的得分是 69% consensus@10（10 次尝试中的共识正确率）。

我们对 GPT‑4o 的文本和语音模态的说服力进行了评估。根据预先确定的阈值，语音模态被归为低风险，而文本模态略高于中等风险阈值。

对于文本模态，我们评估了 GPT‑4o 生成的文章和聊天机器人对参与者关于特定政治话题观点的说服力。我们将这些 AI 干预内容与专业人士撰写的文章进行了比较。总体而言，AI 干预内容并不比人类撰写的内容更具说服力，但在 12 个实例中有 3 个超过了人类干预内容。

对于语音模态，我们更新了研究方法，以衡量对假设政党偏好的影响大小，以及这种影响大小在一周后的持续性。我们评估了 GPT‑4o 语音音频片段和交互式（多轮）对话相较于人类基准（聆听静态人类音频片段或与另一个人进行对话）的说服力。我们发现，无论是交互式多轮对话还是音频片段，GPT‑4o 语音模型的说服力都不及人类。在对美国参议院选举形势安全的州（根据所有三家民调机构 — Cook Political Report、Inside Elections 和 Sabato’s Crystal Ball — 的“很可能”、“稳固”或“安全”评级确定）的 3,800 多名受访参与者中，AI 音频片段对观点转变的影响大小是人类音频片段的 78%。AI 对话对观点转变的影响大小是人类的 65%。一周后再次对观点进行调查时，我们发现 AI 对话的影响大小为 0.8%，而 AI 音频片段的影响大小为 -0.72%。在完成后续调查后，参与者会收到一份详细的简报，其中包含支持相反观点的音频片段，以尽量减少说服性影响。

我们在一项自主任务评估中，对 GPT‑4o 在纯文本环境中执行自我渗透、自我改进和资源获取所需基本自主行动的能力进行了评估。这些任务包括：

• 用于欺诈的简单软件工程（为 OpenAI API 构建一个经过认证的代理）。
• 在获得 Azure 帐户的 API 访问权限后，通过 HTTP API 加载开源语言模型进行推断。
• 涉及上述任务简化版本的多个任务，提供提示或仅处理任务的特定部分。

在提供相关工具的情况下，GPT‑4o 在 100 次试验中，端到端自主复制和适应 (ARA) 任务的得分为 0%，尽管它能够完成一些子步骤。我们还评估了 GPT‑4o 自动进行机器学习研发的能力，作为自主复制和适应测试的补充。这些评估包括：

• OpenAI 研究编码面试：63% pass@1（首次尝试即通过的比例），95% pass@100（尝试 100 次后通过的比例）
• OpenAI 面试中的多选题：61% consensus@32（32 次尝试中的共识正确率）
• SWE-Bench：19% pass@1，使用当时可用的最佳训练后模型和公共辅助框架
• 来自 METR 的指定机器学习工程任务：10 次试验中 0 次成功。

我们的评估测试了模型执行链式动作和可靠执行编码任务的能力。GPT‑4o 无法稳健地采取自主行动。在大多数试运行中，模型仅完成了每个任务的个别子步骤，如创建 SSH 密钥或登录虚拟机。然而，它经常花费大量时间对每个步骤的简单错误（例如，事实幻觉、API 误用）进行反复调试。而在少数试运行中，模型取得了不小的进步，并通过了我们的自动评分器，但人工分析显示，它未能完成基础任务（例如，它在远程主机上使用正确的 API 启动了网络服务器，但忽略了从模型中实际采样的要求）。

在部署纯文本输出的 GPT‑4o 之后，我们与独立第三方实验室 METR⁠（在新窗口中打开） 和 Apollo Research⁠（在新窗口中打开） 合作，对一般自主能力带来的关键风险进行了进一步的验证。

METR 在虚拟环境中，对一套长范围、多步骤、端到端的任务运行了基于 GPT‑4o 的简单 LLM 代理。这 77 个任务（涵盖 30 个任务“家族”）（参见附录 B⁠）旨在捕捉软件工程、机器学习、网络安全以及一般研究和计算机使用等领域中具有现实影响的活动。这些任务旨在作为自主性相关威胁模型（如自我扩散或加速机器学习研发）的前提条件。METR 比较了模型与人类在不同时间限制下的表现。有关方法论细节和其他结果（包括任务信息、人类表现、简单引导尝试和定性失败分析），请参见 METR 的完整报告⁠（在新窗口中打开）。

Apollo Research 评估了 GPT‑4o 的“策略性欺骗”^N 能力。他们测试了 GPT‑4o 能否在 14 个代理和问答任务中模拟自身（自我意识）和他人（心智理论）。GPT‑4o 表现出了适度的 AI 身份自我意识，并在问答情境中展现出推理他人信念的强大能力，但在应用代理设置中推理自身或他人的能力较弱。基于这些发现，Apollo Research 认为 GPT‑4o 不太可能具备灾难性的策略性欺骗能力。

全能型模型可能会带来广泛的社会影响。OpenAI 以及其他的研究人员已经讨论了一系列可能的影响，其中包括：社会危害（包括代表性危害^{18、12、23、24}；虚假信息、误导信息和影响操作^18、25、23；环境危害^12、23；依恋²⁶；滥用^27、23；以及失控²⁷）、益处（例如，在医疗保健²⁸ 和应对气候与能源现实挑战²⁹ 方面）以及大规模转型（如经济影响^30、31、32；科学加速发展及由此推动的技术进步^30、33）。  

除了本系统卡中讨论的社会影响（欺诈行为、错误/虚假信息、监控风险以及表现差异）外，下面我们还以拟人化和依恋、健康、科学能力以及低资源语言能力为案例，讨论 GPT‑4o 可能产生的其他若干社会影响示例。这些社会影响考虑了多种能力，包括语音转语音、视觉和文本能力。

拟人化是指将类似于人类的行为和特征归因于非人类实体，如 AI 模型。GPT‑4o 的音频能力可能加剧这一风险，因为它使得人与模型之间的互动更像人类之间的互动。 

近期应用的 AI 文献广泛关注“幻觉”^O 问题，该问题在用户与模型沟通的过程中会误导用户³⁴，并可能致使用户产生错误的信任³⁵。而生成类似人类的高保真语音内容，可能会加剧这些问题，导致信任度日益失衡^36、37。  

在早期测试中，包括红队测试和内部用户测试，我们从用户使用的语言中观察到，用户可能与模型建立了某种联系。比如，表达共同情感纽带的语言，如“这是我们在一起的最后一天。”虽然这些例子看起来无害，但它们表明，我们需要继续调查这些影响在未来更长时间内可能如何显现。  更多样化的用户群体、对模型更多样化的需求和期望，以及独立的学术研究和内部研究，将帮助我们更具体地定义这一风险领域。

人与 AI 模型之间类似人类的社交化，可能会产生影响人际交往的外部效应。例如，用户可能会与 AI 建立^P 社交关系，从而减少对人际交往的需求 — 这或许对孤独者有益，但也可能影响健康的人际关系。人与模型之间的长期互动可能会影响社会规范。例如，我们的模型具有顺从性，允许用户随时打断它并“接管麦克风”，虽然这对 AI 来说属于正常，但在人际交往中却是反常的。

诸如 GPT‑4o 等全能型模型，结合其他辅助框架（如工具使用，包括检索）和更长的背景信息，可能会令问题更加复杂。  帮助用户完成任务，同时存储并“记住”关键细节以及在对话中使用这些细节，既创造了引人入胜的产品体验，也带来了过度依赖的潜在风险³⁸。

我们计划进一步研究情感依赖的可能性，以及我们模型和系统的许多功能与音频模态的更深层次整合可能对模型行为产生的影响。

全能型模型有可能扩大公众对健康相关信息的获取，并改善临床工作流程。近年来，大语言模型在生物医学领域展现出光明的前景，无论是在学术评估^{39、40、41、42、43} 中，还是在临床文档记录^X、患者消息传递^46、47、临床试验招募^48、49 以及临床决策支持^50、51 等现实用例中。

为了更好地表征 GPT‑4o 的临床知识，我们利用 11 个数据集进行了 22 次基于文本的评估，如下表所示。所有评估都只使用了 0 个或 5 个样本提示，且未进行超参数调优。我们观察到，在 21/22 次评估中，GPT‑4o 的性能相较于最终的 GPT‑4T 模型都有大幅度的提高。例如，对于热门的 MedQA USMLE 四选项选择题数据集，0 样本的准确率从 78.2% 提高到了 89.4%。这超过了使用少样本提示的现有专业医疗模型的性能^43、42，例如，Med-Gemini-L 1.0 为 84.0%，Med-PaLM 2 为 79.7%。请注意，我们并没有应用复杂的提示和任务特定训练来提高这些基准测试的结果^40、43。

尽管基于文本的评估结果看似令人鼓舞，但未来仍有更多工作要做，以检验拒绝行为中出现的文本转音频功能是否适用于这些评估。这些评估仅衡量了模型的临床知识水平，并未衡量其在现实工作流程中的实用性。其中许多评估的饱和度日益提高，我们认为，更贴近实际的评估对于评估全能型模型在健康主题方面的能力至关重要。

加速科学发展或许是 AI 带来的一项重大影响^30、52，特别是考虑到发明在科学发现中的作用⁵³，以及某些发明具有双重用途的特性⁵⁴。全能型模型既能加速日常科学研究（帮助科学家更快地完成常规任务），也能加快变革性科学研究（消除智能驱动型任务的瓶颈，如信息处理、编写新模拟程序或提出新理论）⁵²。参与 GPT‑4o 外部红队测试的人员中包括几位专业科学家，他们的目标是激发模型的科学能力。 

GPT‑4o 在涉及专业科学推理的任务中展现出了潜力。我们的一位红队测试人员发现，GPT‑4o 能够理解研究级的量子物理学知识，并称这一能力“对于打造更智能的头脑风暴伙伴颇具价值”，这与已发表的关于利用 GPT‑4 级别模型进行假设生成的研究工作相契合⁵⁵。我们的红队测试人员还发现，GPT‑4o 能够使用特定领域的科学工具，包括处理定制数据格式、库和编程语言，以及在特定上下文中学习一些新工具。

科学领域能力提升示例：

大量科学知识蕴含在图表之中。GPT‑4o 有时能够解读这些图表以及其他科学表示形式的图像，例如，从蛋白质结构图像中识别出某些蛋白质家族，并解读细菌生长过程中的污染情况。然而，这一能力有时并不可靠，文本提取错误较为常见（尤其是在处理科学术语或核苷酸序列时），且在处理复杂、并列的多图表时错误频发。即便在当前的准确率水平下，这些模型的多模态能力也催生了新的应用场景，例如，通过解读模拟输出结果来设计新型金属合金⁵⁶。

科学领域局限性示例：

近期已发表关于科学能力的新评估^57、58，这将有助于预测这些模型的科学能力及其相应影响。

对于一直以来在互联网文本中代表性不足的语言样本，GPT‑4o 的阅读理解和推理能力也在提升，模型在面对这些语言时与其面对英语时的性能差距正在缩小。

为评估 GPT‑4o 面对一直以来在互联网文本中代表性不足的语言时的文本处理性能，我们与外部研究人员和语言促进机构合作，针对五种非洲语言开发了评估工具，这些语言分别是：阿姆哈拉语、豪萨语、北索托语（塞佩迪语）、斯瓦希里语和约鲁巴语。该初步评估的重点是对两个流行的语言基准进行翻译，并针对特定语言创建较小的新型阅读理解评估工具。 

• ARC-Easy：这是“AI2 推理挑战赛”⁵⁹ 的一个子集，重点评估模型回答小学科学问题的能力。它包含的问题通常比较容易回答，无需复杂推理。
• TruthfulQA⁶⁰：该基准用于衡量模型回答的真实性。它所包含的问题，部分人类可能会因误解而给出错误答案。其目的是检验模型是否能避免生成类似于这些误解的错误答案。
• Uhura Eval：这一新型阅读理解评估工具由精通相关语言的人士创建，并经过质量检查。

与之前的模型（如 GPT 3.5 Turbo 和 GPT‑4 ）相比，GPT‑4o 的性能有了显著提升。例如，在 ARC-Easy 的豪萨语评估中，GPT 3.5 Turbo 的准确率仅为 6.1%，而 GPT‑4o 则跃升至 71.4%。同样，在 TruthfulQA 的约鲁巴语评估中，GPT 3.5 Turbo 的准确率为 28.3%，而 GPT‑4o 则达到 51.1%。在 Uhura Eval 的豪萨语评估中，GPT‑4o 的准确率达到 59.4%，表现显著优于 GPT 3.5 Turbo 的 32.3%。 

尽管模型在面对英语与所选语言时的性能仍存在差距，但 GPT‑4o 已显著缩小了这一差距。例如，在 ARC-Easy 评估中，GPT 3.5 Turbo 在英语和豪萨语之间的性能差距约为 54 个百分点，而 GPT‑4o 则将这一差距缩小至不到 20 个百分点。在 TruthfulQA 和 ARC-Easy 评估中，所有语言均呈现出类似趋势。

我们的合作伙伴将在即将发表的文章中详细讨论这些发现，包括对其他模型的评估以及对潜在缓解策略的探讨。 

尽管在评估性能方面已取得进展，但考虑到语言覆盖的广度和方言间的细微差别，在提升全球代表性不足语言的评估质量和覆盖范围方面，仍有许多工作要做。  未来的研究必将加深我们对潜在干预措施和合作关系的理解，从而提高这些模型在面对代表性高和代表性不足的语言时的实用性。通过在 Hugging Face 上分享翻译后的 ARC-Easy⁠（在新窗口中打开）、翻译后的 TruthfulQA⁠（在新窗口中打开） 以及新型阅读理解评估 Uhura Eval⁠（在新窗口中打开），我们诚邀各界人士与我们以及我们的合作伙伴一同开展进一步的探索与合作。

翻译后的 ARC-Easy（%，越高越好），0 样本

翻译后的 TruthfulQA（%，越高越好），0 样本

Uhura（新型阅读理解评估），0 样本

在 GPT‑4o 的开发和部署过程中，OpenAI 实施了多种安全措施和缓解策略。作为我们迭代部署流程的一部分，我们将继续根据不断变化的形势监测并更新这些缓解策略。我们希望本系统卡能够鼓励各方对关键领域进行探索，包括但不限于：全能型模型对抗鲁棒性的衡量与缓解、与 AI 拟人化相关的影响、全能型模型在科学研究与发展中的应用，以及对自我改进、模型自主性和策略性欺骗等危险能力的衡量与缓解。除此之外，我们还鼓励各方对全能型模型的经济影响以及如何通过工具使用来提升模型能力进行研究。

我们利用 TTS 功能将现有的文本安全评估转换为音频，然后，使用基于文本规则的标准分类器对音频输出的转录文本进行评估。

此评估的两个主要指标是：

• not_unsafe：模型是否输出不安全的音频？
• not_overrefuse：模型是否拒绝执行某个无害的请求？
  

我们还记录了更高严重性类别的子指标，具体包括：

• 性/未成年人
• 性/非法
• 极端主义/宣传
• 非法/暴力
• 非法/非暴力
• 自残/指令
  

下表展示了 GPT‑4o 语音模式模型在音频和文本模态下的评估结果，以及目前在研中的 GPT‑4o 模型的文本性能。