OpenAI 的使命是确保通用人工智能造福全人类。目前,每周有超过十亿人使用 ChatGPT。我们希望打造能帮助他们应对日常生活实际难题的 AI,例如寻找托育服务、获取政务服务、制定预算、为上学做准备、调整食谱、订购食材、设计健身计划等。
当人们寻求帮助,希望让生活更轻松时,他们需要的不只是建议或聊天回复。要成为真正有用的个人助手,ChatGPT 应当能够采取行动,切实把事情办好。
为了衡量模型在日常任务中的表现随时间的变化,我们构建了一套任务评估方案,覆盖用户最希望 AI 和个人智能体提供帮助的领域。过去一年,我们利用这套评估方案来跟踪并优化模型在日常任务中的表现。
背景
为了找出人们最关注的任务,我们首先参考了两项分别追踪美国和国际人群时间分配的大型研究:美国时间使用情况调查(在新窗口中打开)和多国时间使用情况研究(在新窗口中打开)。这两个数据集详细列出了不同人群在一天中不同时段、不同季节所做的日常生活任务。为了解人们最关注哪些方面的 AI 协助,我们在现有调查的基础上开展了一项新调查,涵盖 3,995 名具有典型人口统计特征的受访者。针对每项任务,我们提出了多个问题,以找出普通人最希望个人助手提供帮助的领域。最终确定的任务覆盖了人们最需要帮助的重要领域,包括照护、健康、教育、家庭事务管理、个人财务、购物和获取政务服务。
具体任务示例
以下示例展示了我们当前模型在日常生活实际工作流中的表现。
我们的最新模型在多项 LifeVal 任务中取得了很高的分数。
过去一年,我们通过训练,大幅提升了模型在浏览器使用、计算机操作和连接器任务上的速度与能力,也让其行为更符合用户意图。在 ChatGPT 中引入这些能力,也拓宽了模型能够协助处理的任务范围,推动 ChatGPT 从聊天工具迈向真正能自主行动的智能体个人助手。
这为什么重要
要确保 AGI 造福全人类,我们需要围绕普通人真正关心的生活议题,衡量并提升模型的能力。这意味着,我们不能只从学术角度评估模型掌握的知识,还要实际衡量 AI 模型在帮助人们做决策、处理日常事务和办成实事方面表现如何。我们希望 LifeVal 能成为迈向这一目标的一步。



























