2026年6月30日

推出 GeneBench-Pro

一項研究級基準測試，衡量 AI 智慧體如何在計算生物學中處理模糊性並做出關鍵判斷。

載入中…

科學資料很少會附帶使用說明。研究人員必須判斷某個模式反映的是生物學現象還是雜訊、資料是否足以支撐所提出的問題，以及每項結果應如何改變下一步行動。AI 智慧體越來越能執行複雜分析，但真實的科學研究不只是回想事實或遵循預先定義的工作流程，也仰賴這些更高層次的判斷。

今天，我們推出 GeneBench-Pro，一項具挑戰性的研究級基準測試，用於測試模型是否能處理真實世界的計算生物學所需、那種高度仰賴判斷的分析。GeneBench-Pro 以 GeneBench⁠(在新視窗中開啟) 為基礎加以擴展，涵蓋基因體學、定量生物學與轉譯醫學中更困難且更貼近現實的任務，捕捉計算生物學中科學研究的複雜性、迭代特質與模糊性。

迄今，對於那些使現實世界中的計算研究變得困難的系統層級判斷性決策，仍少有令人信服的評估。其中包括處理模糊性、修正假設、選擇正確的分析路徑，以及知道何時結果已可供決策使用。由於這些技能難以形式化，因此也難以進行嚴謹評估，儘管這些技能上的不足正日益限制 AI 的整體表現。

標題為「生物學中的基準差距」的圖表，比較傳統基準工作流程與端到端科學分析，並展示在得出科學結論之前，需經過預處理、建模、診斷及反覆精進等額外步驟。

GeneBench-Pro 旨在精確衡量這些更高層次的能力。在 GeneBench-Pro 中，我們將「研究品味」定義為塑造分析的一連串判斷：資料能支持哪些問題、早期診斷應如何改變模型或估計目標，以及何時需要修訂初始計畫。每個 GeneBench-Pro 問題都會提供模型一個真實且雜亂的資料集、簡短的實驗背景，以及與下游決策相關的估計目標。為了正確作答，模型必須探索資料、選擇適當的分析方法、進行迭代式實驗流程，並給出最終答案。

資料集建構

在生物學中，產生資料的成本（例如基因組定序）已大幅下降，且有些研究人員現在主張⁠(在新視窗中開啟)，限制因素不再是樣本收集，而是下游計算與分析。GeneBench-Pro 旨在評估處理這項瓶頸的進展，包含 129 個問題，涵蓋廣泛的計算生物學情境與方法。

網域圖譜：129 個問題分布於 10 個網域及 21 個子網域

點選上方的圓點以了解基準問題。

這份圖譜初步呈現 GeneBench-Pro 的廣泛涵蓋範圍。請造訪案例研究頁面，深入探討 10 個代表性問題。

GeneBench-Pro 也被設計來避免常見的基準測試失效。許多長時程生物學基準測試，會圍繞雜亂的歷史資料集建構多步驟問題，而這類分析可能沒有唯一正確的路徑。一個智慧體可能選擇某個可辯護的截斷值，另一個則選擇不同但同樣可辯護的選項，這反映的可能更多是基準測試建立者的任意選擇，而非模型表現的根本差異。相反的情況也可能發生：如果問題對數值太不敏感，智慧體即使在分析中犯下根本性錯誤，仍可能產生通過的結果。

為了避免這些失敗模式，每個 GeneBench-Pro 問題都是以合成方式建構：我們知道完整的因果結構，並直接模擬資料生成過程。這使我們能夠調整每個問題的複雜度，確保主觀分析選擇上的合理差異仍能產生可被接受的數值結果，並驗證（透過消融研究）看似合理但不正確的分析會失敗。接著，我們會透過詳細的推理軌跡分析來審核題目草稿，檢查是否存在資訊外洩，以及是否有非預期的解題途徑。這讓我們確信，得出正確答案取決於選擇正確的分析途徑，而不是利用捷徑或迎合任意的作者偏好。

標題為「GeneBench-Pro 題目的建構與驗證」的圖表，顯示從建立可執行任務開始，經過審查、穩健性檢查、代理程式測試、專家審查與修訂，最終完成基準測試題目的工作流程。

我們將 129 個 GeneBench-Pro 問題中的 82 個送交外部領域專家，包括研究生、博士後研究員、業界科學家和教授。審查者評估了每個問題的現實性、目標答案是否可辨識，以及所用方法與估計量是否適當。意見回饋已用於改善問題。

“我審閱的問題，如果沒有經驗豐富的指導者反覆提供回饋，對研究生來說會是相當具挑戰性的任務。資料中包含技術與品質控制問題，需要在了解潛在陷阱的情況下，進行深思熟慮且反覆檢視的資料分析，才能成功完成；這並不是把某個現成方法套用到乾淨且整理完善的資料上而已。”

Alexander Strudwick Young，UCLA 人類遺傳學助理教授

“即使目前的模型還無法可靠地從頭到尾執行獨立分析，在 GeneBench-Pro 問題上表現出色的模型，顯然仍能協助研究人員判定正確的工作流程並探索資料。我看得出，這能大幅提升研究的速度、周延性與可重現性。”

Jennifer Grundman，加州大學洛杉磯分校人類遺傳學博士候選人

1 之 2

“我審閱的問題，如果沒有經驗豐富的指導者反覆提供回饋，對研究生來說會是相當具挑戰性的任務。資料中包含技術與品質控制問題，需要在了解潛在陷阱的情況下，進行深思熟慮且反覆檢視的資料分析，才能成功完成；這並不是把某個現成方法套用到乾淨且整理完善的資料上而已。”

Alexander Strudwick Young，UCLA 人類遺傳學助理教授

評量與評分

每個 GeneBench-Pro 問題都是一項自成一體的科學分析。智慧體可使用一個隔離的工作區，其中包含簡短提示詞、資料檔案，以及標準生物資訊堆疊，包括 Python、科學計算函式庫，以及 PLINK 2.0 等基本基因體學套件（雖然這些問題不需要特定領域工具）。

結構變異引導的腫瘤治療效益與風險決策

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

由於我們掌控完整的資料生成流程，因此可以根據已知目標以確定性方式評定正確性，避免標準的以評分規準為基礎的評估中常見的模型選擇變異性與冗長程度效應。

每個問題也附有豐富的中繼資料，包括預期分析結構、附加資料檔案、詳細的多頁案例研究，以及專家審閱結果。我們在 Hugging Face ⁠(在新視窗中開啟)上完整開源 10 個代表性 GeneBench-Pro 問題，並提供互動式網頁介面供瀏覽。最後，我們近期將向 Artificial Analysis⁠(在新視窗中開啟) 提供一個包含 50 題的子集，用於獨立第三方基準測試。

成果

我們最強的模型 GPT‑5.6 Sol 在最高推理層級下達到 28.7% 的通過率（啟用 Pro 模式時為 31.5%）。相較於我們開始建置原始 GeneBench 時，這是大幅提升；當時，我們最好的前沿模型 GPT‑5 得分低於 5%。這項基準測試上的進展顯示，前沿模型正在快速進步，即使是在較難具體衡量、系統層級的科學推理方面亦然。照目前的速度，這項基準測試可能會在年底前達到飽和。

結果也顯示了擴展測試時運算量的影響。在最低推理等級下，GPT‑5.6 Sol 的通過率僅達個位數。在最高推理等級下，GPT‑5.6 Sol 解答的問題數量將近 GPT‑5.2 的六倍。做到這一點，同時僅使用約 2/3 的 Token。

跨模型家族的比較顯示，GPT 模型是在定量不確定性下進行高階科學推理時表現最強的系統之一。GPT‑5.6 之間的效能差距GPT‑5.5 與 GLM 5.2 等領先開放原始碼模型之間的差距，明顯大於我們根據程式設計基準測試⁠(在新視窗中開啟) 外推時所預期的差距，這表示開放原始碼模型相較於更廣泛的推理能力，更專精於程式設計。

我們在開發期間使用前沿 GPT 模型來評估並強化題目。因此，我們懷疑 GeneBench-Pro 相較於其他模型家族，可能對 GPT 模型存在偏見。然而，競品模型充其量也只是與其發布當時相對應的 GPT 模型表現持平，且往往明顯落後。

考量 GeneBench-Pro 題目的難度，GPT‑5.6 Sol（Pro）的評估結果最高達 31.5%，表現相當引人注目。在一項調查中，審閱者估計，一個典型的 GeneBench-Pro 問題需要人類專家約 20–40 小時才能完成。若以每小時 200 美元的保守估算，單一問題的人力成本就會達到數千美元。目前的 AI 智慧體仍然不夠可靠，無法取代人類專家，但成本差距很大，每個問題的推論成本只有數美元。這表示，即使以目前能力進行部分自動化，也可能創造有意義的經濟與科學價值。

“這些基準測試的出發點涵蓋各式各樣的生物學問題，但真正的挑戰來自探索性資料分析，以及基於這些發現進行推理：辨識模式與假象，並判斷資料應該排除還是調整。這很像真實生物資料集的雜亂本質。審閱這些評估後，更凸顯了清楚的求解器契約對於以智慧體為基礎的科學問題解決有多重要。不同的提示詞措辭或任務規格，會大幅影響哪些分析看起來是被允許的。”

Cyrillus Tan，紐約基因體中心博士後研究員

“我大致上喜歡［這些問題］。這些題目通常通時包含：（1）對主題的必要知識，例如古 DNA 中的 C>T 偏差；（2）資料不一致，例如祖源對調；（3）知道這項工作適合哪些分析工具，以及如何實作。看起來多數智慧體都在（2）上失敗了。它們對資料問題不夠謹慎。這也許凸顯了目前模型的一項弱點。而且許多生物資料都有不規則之處。”

Lex Flagel，Gencove 資料科學總監

1 之 2

“這些基準測試的出發點涵蓋各式各樣的生物學問題，但真正的挑戰來自探索性資料分析，以及基於這些發現進行推理：辨識模式與假象，並判斷資料應該排除還是調整。這很像真實生物資料集的雜亂本質。審閱這些評估後，更凸顯了清楚的求解器契約對於以智慧體為基礎的科學問題解決有多重要。不同的提示詞措辭或任務規格，會大幅影響哪些分析看起來是被允許的。”

Cyrillus Tan，紐約基因體中心博士後研究員

“我大致上喜歡［這些問題］。這些題目通常通時包含：（1）對主題的必要知識，例如古 DNA 中的 C>T 偏差；（2）資料不一致，例如祖源對調；（3）知道這項工作適合哪些分析工具，以及如何實作。看起來多數智慧體都在（2）上失敗了。它們對資料問題不夠謹慎。這也許凸顯了目前模型的一項弱點。而且許多生物資料都有不規則之處。”

Lex Flagel，Gencove 資料科學總監

儘管如此，前沿模型仍只能解決這些問題中不到三分之一，這一事實顯示仍有相當大的改進空間。模型可以在具挑戰性的問題上取得部分進展，但在將推論迴路完整閉合方面仍顯吃力。這種失敗型態反映了人類專家與新手之間的對比。專家會運用自身經驗來界定問題並調整其處理方法，而新手雖然能進行觀察，卻難以將這些觀察整合到問題的更廣泛脈絡中。

問題：具時間變動治療的藥物基因體學事件發生時間反應

治療啟動、基因型特異性反應、延遲藥效動力學、既有使用者標記與縱向生物標記，共同決定因果存活估計目標。

GPT-5.5 模式

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol 模式

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

要達到近乎完美的表現，需要既能可靠衡量進展、又能找出模型仍在哪裡失敗的評估。像 GeneBench-Pro 這樣的基準測試，可以幫助把模糊的能力缺口轉化為可診斷、可改進的問題。

如果智慧體能可靠地自動化這類分析，就可能大幅加速科學發現。人類遺傳證據已經是標的優先排序與轉譯後續追蹤的核心，因為有遺傳支持的機制更有可能帶來獲准治療。

與此同時，定序成本已大幅下降，而生物資料庫規模的資料集如今能以前所未有的廣度連結分子、表型與健康紀錄資訊。限制因素正從資料生成，轉向如何將資訊轉化為可付諸行動的洞察。能夠穩定執行目前由人類專家團隊處理之分析工作的模型，可能透過加速假設篩選、目標追蹤，以及資料生成與決策之間的迭代循環，進而改變產業研究。

GeneBench-Pro 代表一項初步嘗試，旨在評估有經驗者在良好科學判斷中所具備的較抽象技能。這些技能使他們能夠憑直覺判斷並辨識最有前景的初步分析，在資料與初始假設相互矛盾時反覆推敲並修正其思考，並得出後續的臨床、學術或商業決策可能仰賴的結論。

我們預期，隨著模型能力進步，能探測模型在這些更高抽象層次能力的基準測試，將會越來越有用，超越那些只測試書本知識或執行例行分析能力的測試。