科學資料很少附有使用說明。研究人員必須判斷某種模式究竟反映生物現象還是雜訊、資料是否足以回答所提出的問題，以及每項結果應如何影響下一步。AI 智能代理執行複雜分析的能力日益提升，但真正的科學研究不僅需要記憶事實或依循預設工作流程，也需要作出這些高階判斷。
今天，我們推出 GeneBench-Pro。這是一項具挑戰性的研究級基準測試，用於評估模型能否處理真實世界計算生物學中高度依賴判斷的分析。它建基於 GeneBench（在新視窗中開啟），涵蓋基因組學、定量生物學和轉化醫學中難度更高、更貼近現實的任務，反映計算生物學研究的複雜性、反覆迭代和不確定性。
至今，針對令真實世界計算研究充滿挑戰的系統層面判斷，仍鮮有具說服力的評估。這些判斷包括處理模糊情況、修正假設、選擇正確的分析路徑，以及判斷結果何時已可用於決策。由於這些能力難以形式化，也很難作出嚴謹評估；而這方面的不足，正日益限制 AI 的整體表現。
GeneBench-Pro 專為準確衡量這些高階能力而設。在 GeneBench-Pro 中，我們把「研究判斷力」定義為塑造分析的一連串判斷：資料可支持哪些問題、早期診斷結果應如何改變模型或估計目標，以及何時需要修訂初步計劃。每道 GeneBench-Pro 題目都會向模型提供一個貼近現實但雜亂的資料集、簡短的實驗背景，以及與下游決策相關的目標估計量。要正確作答，模型必須探索資料、選擇合適的分析方法、反覆試驗，並提供最終答案。
在生物學領域，產生資料（例如基因組測序）的成本已大幅下降，而一些研究人員現時認為（在新視窗中開啟），限制因素已不再是樣本收集，而是下游運算和分析。GeneBench-Pro 旨在評估解決這項樽頸的進展，包含 129 道題目，涵蓋廣泛的計算生物學情境和方法。
網域圖譜：10 個網域及 21 個子網域中有 129 個問題
點擊上方圓點，以了解基準問題。
這份圖譜初步展示 GeneBench-Pro 涵蓋範圍之廣。前往案例研究頁面，深入了解 10 個具代表性的問題。
GeneBench-Pro 亦旨在避免基準測試常見的失效模式。不少長時程生物學基準測試會圍繞雜亂的歷史資料集設計多步驟題目，而分析未必只有一條正確路徑。一個智能代理可能選擇某個合理的截斷值，另一個則可能選擇不同但同樣合理的選項。這種差異更多反映基準測試建立者的任意選擇，而非模型表現的根本差異。相反，如果題目對數值差異過於不敏感，智能代理即使在分析中犯下根本錯誤，仍可能得到及格結果。
為避免這些失效模式，每道 GeneBench-Pro 題目均以合成方式建立：我們掌握完整的因果結構，並直接模擬資料生成過程。因此，我們可以調整每道題目的複雜程度，確保主觀分析選擇之間的合理差異仍能產生可接受的數值結果，並透過消融研究驗證看似合理但實際錯誤的分析無法通過。其後，我們透過詳細的執行軌跡分析審核題目草稿，檢查是否存在資料外洩或非預期的解題路徑。這讓我們有信心，得出正確答案取決於選擇正確的分析路徑，而不是利用捷徑或迎合作者的任意偏好。
我們把 129 道 GeneBench-Pro 題目中的 82 道交由外部領域專家審閱，包括研究生、博士後研究員、業界科學家和教授。評審評估每道題目的真實程度、目標答案是否可識別，以及所用方法和估計量是否恰當。我們根據相關意見改良題目。
“我審閱的問題，如果沒有經驗豐富的導師反覆給予意見，即使是研究生也會覺得具挑戰性。資料包含技術和質素控制問題。要順利完成分析，必須審慎思考、反覆檢視資料，並留意潛在陷阱；這並非只是把現成方法套用到乾淨、整理完善的資料上那麼簡單。”
“即使現有模型仍未能可靠地由始至終獨立完成分析，在 GeneBench-Pro 題目上表現良好的模型，顯然已能協助研究人員判斷正確的工作流程和探索資料。我認為這可大幅加快研究進度，並提升研究的全面性和可重現性。”
每道 GeneBench-Pro 題目都是一項獨立完整的科學分析。智能代理可使用隔離的工作區，當中包含簡短提示詞、資料檔案和標準生物資訊學軟件組合，包括 Python、科學計算程式庫，以及 PLINK 2.0 等基本基因組學套件（但題目並不要求使用特定領域工具）。
以結構變異引導的腫瘤治療效益與風險決策
由於我們掌握完整的資料生成過程，因此可以根據已知目標，以確定性方式評定答案是否正確，避免標準評分準則式評估中因模型選擇和答案詳略而產生的差異。
每道題目亦附有豐富的元資料，包括預期的分析結構、隨附的資料檔案、詳細的多頁案例研究，以及專家審查結果。我們在 Hugging Face（在新視窗中開啟） 上全面開源 10 道具代表性的 GeneBench-Pro 題目，並提供 互動式網頁介面 供瀏覽。最後，我們將於不久後向 Artificial Analysis（在新視窗中開啟） 提供其中 50 道題目，供獨立第三方進行基準測試。
我們最強大的模型 GPT‑5.6 Sol 在最高推理級別下達到 28.7% 的通過率（啟用 Pro 模式後為 31.5%）。這較我們開始建立原版 GeneBench 時大幅提升；當時，我們表現最佳的前沿模型 GPT‑5 得分不足 5%。這項基準測試的結果顯示，前沿模型正迅速進步，即使在較難具體量化的系統層面科學推理方面亦然。按目前進度，這項基準測試可能在今年年底前達到飽和。
結果亦顯示擴展測試時計算資源所帶來的影響。在最低推理級別下，GPT‑5.6 Sol 的通過率只有個位數。在最高推理級別下，GPT‑5.6 Sol 解答的題目數量接近 GPT‑5.2 的六倍，所用 Token 則只有約三分之二。
跨模型系列比較顯示，GPT 模型是定量不確定性下高階科學推理能力最強的系統之一。GPT‑5.6、GPT‑5.5 與 GLM 5.2 等領先開源模型之間的表現差距，明顯大於我們根據編碼基準測試（在新視窗中開啟）推算所得的預期，顯示開源模型在編碼方面的專門化程度，高於其廣泛推理能力。
我們在開發期間使用前沿 GPT 模型評估題目，並提高題目的穩健性。因此，我們曾懷疑 GeneBench-Pro 相較其他模型系列，可能對 GPT 模型較為不利。然而，競爭模型在發佈時充其量只能追平同期對應 GPT 模型的表現，而且往往明顯落後。
考慮到 GeneBench-Pro 題目的難度，這些評估結果相當突出，GPT‑5.6 Sol (Pro) 的通過率最高達 31.5%。在一項調查中，我們的評審估計，一道典型的 GeneBench-Pro 題目約需人類專家花 20 至 40 小時完成。按保守估計每小時 200 美元計算，完成單一道題目的人力成本便高達數千美元。現時的 AI 智能代理仍不夠可靠，未足以取代人類專家；但成本差距很大，每道題目的推論成本僅為數美元。這意味着，即使以現有能力只實現部分自動化，也可能帶來具實質意義的經濟和科學價值。
“這些基準測試源自各類生物學問題，但真正的挑戰在於探索性資料分析，以及根據發現作出推理：辨識模式和偽影，並判斷是否需要剔除或調整相關資料。這與真實生物資料集的雜亂特性相似。審視這些評估結果，可見清晰的任務規格對以智能代理處理科學問題至關重要。不同的提示詞措辭或任務規格，可能會大大影響哪些分析被視為可接受。”
“我大致上喜歡（這些問題）。這些問題通常同時涉及：(1) 該領域所需的知識，例如古代 DNA 中的 C>T 偏差；(2) 資料不一致，例如祖源標籤對調；以及 (3) 對適用分析工具及其使用方法的理解。大部分智能代理似乎都在第 (2) 項失敗。它們對資料問題不夠審慎。也許這突顯了目前模型的弱點。而且不少生物資料本身都有不規則之處。”
不過，前沿模型仍只能解決這些題目中不足三分之一，顯示仍有相當大的改進空間。模型可以在具挑戰性的題目上取得部分進展，但往往難以完成整個推論閉環。這種失效模式與人類專家和新手之間的差異相似。專家會運用經驗界定問題並調整方法；新手雖然能作出觀察，卻難以把這些觀察放回問題的整體情境中理解。
問題：治療隨時間變化的藥物基因組學事件時間反應
GPT-5.5 模式
GPT-5.6 Sol 模式
要達到接近完美的表現，需要有既能可靠衡量進展，也能找出模型仍在哪些方面失效的評估。GeneBench-Pro 這類基準測試，有助把模糊的能力不足轉化為可診斷和改進的具體問題。
如果智能代理能夠可靠地將這類分析自動化，便可大幅加快科學發現。人類遺傳學證據一直是靶點優先排序和轉化跟進的核心，因為有遺傳學證據支持的機制，更有可能促成獲批治療。
與此同時，測序成本已大幅下降，而生物樣本庫規模的資料集，現時能以前所未有的廣度連結分子、表型和健康記錄資料。限制因素正由資料生成，轉向把資訊轉化為可付諸行動的分析見解。若模型能穩定執行現時由人類專家團隊處理的分析，便可加快假設篩選、靶點跟進，以及資料生成與決策之間的迭代週期，從而改變產業研究模式。
GeneBench-Pro 是評估資深研究人員進行良好科學判斷時所運用抽象能力的初步嘗試。這些能力讓他們憑經驗判斷最值得先進行哪些分析，在資料與初步假設不符時反覆檢視並修正思路，最終得出可支援下游臨床、學術或商業決策的結論。
我們預期，隨着模型能力提升，除了只測試書本知識或執行例行分析能力的基準測試外，能評估模型在更高抽象層次上能力的基準測試，將會愈來愈有用。
