科学数据很少自带说明书。研究人员必须判断某个模式反映的是生物学现象还是干扰项，数据能否支撑所提出的问题，以及每个结果应如何改变下一步行动。AI 智能体越来越能够执行复杂分析，但真实的科学研究并不只是回顾事实或遵循预定义工作流，还依赖于作出这些更高层次的判断。
今天，我们正式推出 GeneBench-Pro — 一个具有挑战性的研究级基准，用于测试模型能否处理真实计算生物学所需的判断密集型分析。它在 GeneBench（在新窗口中打开） 的基础上扩展，覆盖基因组学、定量生物学和转化医学中更困难、更贴近现实的任务，捕捉计算生物学中科学研究的复杂性、迭代性和不确定性。
迄今为止，对于加大现实世界计算研究难度的系统级判断，令人信服的评估仍然很少。这些判断包括处理模糊性、修正假设、选择正确的分析路径，以及了解结果何时足以支持决策。由于这些技能难以统一规范，即便它们的短板越来越制约 AI 的整体表现，也同样难以被严格评估。
GeneBench-Pro 旨在精确衡量这些更高层次的能力。在 GeneBench-Pro 中，我们把“研究品味”定义为塑造分析的一系列判断决策：数据能够支持哪些问题，早期诊断应如何改变模型或估计量，以及初始计划何时需要修订。每个 GeneBench-Pro 问题都会给模型一个真实而混乱的数据集、简短的实验背景，以及一个与下游决策相关的目标估计量。要正确回答，模型必须探索数据、选择合适的分析方法，经历迭代式实验过程，并给出最终答案。
在生物学中，数据生成（例如基因组测序）的成本已大幅下降，一些研究人员如今认为（在新窗口中打开），限制因素不再是样本采集，而是下游计算和分析。GeneBench-Pro 旨在评估解决这一瓶颈的进展，其中涉及 129 个覆盖一系列计算生物学场景和方法的问题。
域图谱：共 10 个域、21 个子域，包含 129 个问题
点击上方圆点，了解基准测试问题。
这份图谱提供了 GeneBench-Pro 覆盖广度的预览。访问案例研究页面，深入了解 10 个代表性问题。
GeneBench-Pro 还旨在避免常见的基准失效。许多长期生物学基准围绕混乱的历史数据集构建多步骤问题，而这些分析可能并不存在唯一正确路径。一个智能体可能选择某个合理的截断值，另一个智能体可能选择不同但同样合理的选项，这更多反映了基准创建者的任意选择，而不是模型性能的根本差异。相反的情况也可能发生：如果问题对数值不够敏感，智能体即使在分析中犯下根本性错误，仍可能得到通过结果。
为避免这些失效模式，每个 GeneBench-Pro 问题都是合成构建的：我们知道完整的因果结构，并直接模拟数据生成过程。这使我们能够调节每个问题的复杂度，确保主观分析选择中的合理差异仍能产生可接受的数值结果，并通过消融实验来验证，而看似合理但实际错误的分析则会被判定为失效。随后，我们通过详细的轨迹分析审核问题草稿，检查信息泄漏和非预期解题路径。这让我们确信，得到正确答案取决于选择正确的分析路径，而不是利用捷径或迎合创建者的任意偏好。
我们将 129 个 GeneBench-Pro 问题中的 82 个发送给外部领域专家，包括研究生、博士后研究人员、行业科学家和教授。评审者评估了每个问题的真实性、目标答案是否可识别，以及方法和估计值是否合适。反馈被用于改进问题。
“如果没有经验丰富的导师反复反馈，我审阅的这些问题对研究生来说也会很有挑战性。数据中包含技术和质量控制问题，需要在分析时深思熟虑、反复审视，并结合对潜在陷阱的充分认知，才能成功完成；这并不是简单地把某个现成方法套用到已完成清洗且整理妥当的数据上。”
“即使当前模型还不能从头到尾稳定独立地完成分析，那些在 GeneBench-Pro 问题上表现出色的模型显然也能帮助研究人员确定正确的工作流并探索数据。我认为这会大幅提升研究的速度、全面性和可复现性。”
每个 GeneBench-Pro 问题都是一项独立的科学分析。智能体可访问一个隔离工作空间，其中包含简短提示、数据文件，以及标准生物信息学栈，包括 Python、科学计算库和 PLINK 2.0 等基础基因组学软件包（尽管这些问题并不要求使用领域专用工具）。
结构变异指导的肿瘤治疗获益-风险决策
由于我们控制完整的数据生成过程，可以根据已知目标对准确性进行确定性评分，避免基于标准评估规则中常见的模型选择差异和冗余性影响。
每个问题还附带丰富元数据，包括预期分析结构、所附数据文件、详细的多页案例研究，以及专家审阅结果。我们将在 Hugging Face（在新窗口中打开） 上完全开放 10 个代表性 GeneBench-Pro 问题的源代码，并提供一个交互式网页界面用于浏览这些问题。最后，我们将在不久后向 Artificial Analysis（在新窗口中打开） 提供一个包含 50 个问题的子集，用于独立的第三方基准测试。
我们最强的模型 GPT‑5.6 Sol 在最高推理级别下达到 28.7% 的通过率（启用 Pro 模式时为 31.5%）。这比我们开始构建最初的 GeneBench 时有了大幅提升；当时我们最好的前沿模型 GPT‑5 得分低于 5%。这一基准测试的进展表明，即使是在较为抽象的系统级科学推理方面，前沿模型也在快速改进。按照目前速度，这一基准可能在年底前达到饱和状态。
结果还显示了扩大测试时计算规模的影响。在最低推理级别下，GPT‑5.6 Sol 的通过率只有个位数。在最高推理级别下，GPT‑5.6 Sol 解决的问题数量接近 GPT‑5.2 的六倍，同时 Token 的消耗量约为后者的三分之二。
跨模型家族的比较表明，在定量不确定性下进行高层次科学推理时，GPT 模型是最强的系统之一。GPT‑5.6、GPT‑5.5 与 GLM 5.2 等领先开源模型之间的性能差距，远大于我们根据编码基准（在新窗口中打开）外推所预期的差距，这表明开源模型相比更广泛的推理能力，专门针对编码进行了优化。
在开发过程中，我们使用前沿 GPT 模型来评估并加固问题。因此，我们曾怀疑 GeneBench-Pro 相对于其他模型家族可能会对 GPT 模型存在不利偏差。然而，竞品模型最多也只是追平对应 GPT 模型发布时的表现，并且往往明显落后。
考虑到 GeneBench-Pro 问题的难度，这些评测结果 — GPT‑5.6 Sol（Pro）最高达到 31.5% 十分惊人。在一项调查中，我们的评审者估计，一个典型 GeneBench-Pro 问题需要人类专家耗费约 20–40 小时完成。按保守的每小时 200 美元计算，单个问题的人力成本就达到数千美元。当前 AI 智能体仍不够可靠，无法取代人类专家，但成本差距很大，每个问题的推理成本仅为数美元。这意味着，即便以当前能力实现部分自动化，也可能创造有意义的经济和科学价值。
“这些基准受到多种生物学问题的启发，但…真正的挑战来自探索性数据分析以及基于这些发现进行推理：识别模式和伪影，并决定数据是应剔除还是调整。这很像真实生物数据集的混乱特性。审核这些评估数据让我意识到，对于基于智能体的科学问题求解，清晰的求解器契约有多么重要。不同的提示措辞或任务说明会显著影响哪些分析应视为可行。”
“我总体上很喜欢这些问题。它们通常融合了以下要素：(1) 对学科知识的要求，例如古 DNA 中的 C>T 偏好性；(2) 数据差异，例如祖源互换；(3) 了解完成任务所需的正确分析工具及其实现方法。看起来大多数智能体在第 (2) 点上表现不佳。它们对数据中存在的问题不够谨慎。这或许凸显了当前模型的一个弱点，毕竟大量的生物学数据都存在不规则性。”
不过，前沿模型仍然只能解决不到三分之一的问题，这说明改进空间仍然很大。模型可以在挑战性问题上取得部分进展，但很难闭合推断链条。这种失败模式印证了人类专家与新手之间的差异。专家会利用经验界定问题并调整方法，而新手能够作出观察，却难以将这些观察融入问题的整体脉络中。
问题：时变治疗下的药物基因组学事件时间响应
GPT-5.5 模式
GPT-5.6 Sol 模式
要实现接近完美的表现，需要既能可靠衡量进展、又能指出模型具体失效环节的评估。像 GeneBench-Pro 这样的基准测试，有助于将模糊的能力缺陷转化为可诊断、可改进的问题。
如果智能体能够可靠地自动化这类分析，就可能显著加速科学发现。人类遗传证据已经是靶点优先级排序和转化后续研究的核心，因为有遗传学支持的机制更有可能导向获批疗法。
与此同时，测序成本已大幅下降，生物样本库规模的数据集如今以前所未有的广度将分子、表型和医疗记录信息连接起来。限制因素正从数据生成转向把信息转化为可行动的洞见。如果模型能够稳定完成目前由人类专家团队处理的分析，就可能通过加速假设筛选、靶点跟进，以及数据生成与决策之间的迭代循环，改变产业研究。
GeneBench-Pro 旨在初步评估一种更抽象的技能 — 即经验丰富的科学家所具备的科学判断力。这些技能使他们能够凭借直觉判断并识别最有潜力的初始分析，在数据与初始假设相矛盾时迭代并修正思路，并得出下游临床、学术或商业决策可能依赖的结论。
我们预计，随着模型能力提升，那些用于探测更高层次抽象能力的基准测试将变得越发实用，超越那些仅测试书本知识或常规分析执行能力的基准测试。
