GeneBench-Pro のご紹介

科学データに説明書が付いてくることはめったにありません。研究者は、あるパターンが生物学的現象を反映しているのか、それともノイズなのか、そのデータが問われている問いに答える根拠となり得るのか、そして各結果を踏まえて次に取るべき行動をどう変えるべきかを判断しなければなりません。AI エージェントは複雑な分析を実行する能力をますます高めていますが、実際の科学研究は、単に事実を想起したり、あらかじめ定められたワークフローに従ったりするだけでなく、こうした高次の判断を下すことにも依存しています。

本日、GeneBench-Pro を発表します。これは、実世界の計算生物学で求められる、判断を多く伴う分析にモデルが対応できるかをテストするための、難易度の高い研究レベルのベンチマークです。GeneBench-Pro は、GeneBench⁠（新しいウィンドウで開く） を拡張したもので、ゲノミクス、定量生物学、トランスレーショナル医療にわたる、より困難で現実に即したタスクを対象とし、計算生物学における科学研究の複雑さ、反復性、曖昧さを捉えます。

これまでのところ、実際の計算研究を困難にしているシステムレベルの判断について、説得力のある評価はほとんどなされていません。これには、曖昧さへの対処、前提の見直し、適切な分析プロセスの選択、そして結果が意思決定に使える状態かどうかを判断することが含まれます。これらのスキルは形式化が難しいため、厳密に評価することも困難です。一方で、こうしたスキルの弱点は、AI 全体の性能をますます制約するようになっています。

GeneBench-Pro は、これらの高次の能力を正確に測定するように設計されています。GeneBench-Pro では、「研究上のセンス」を、分析を形作る一連の判断として定義します。すなわち、データがどの問いに答える根拠となり得るのか、初期診断に基づいてモデルや推定対象をどのように変更すべきか、そして初期計画をいつ修正する必要があるのか、という判断の連鎖です。GeneBench-Pro の各問題では、モデルに、現実的で雑然としたデータセット、簡単な実験の背景情報、および下流の意思決定に結び付いた目標推定対象量が与えられます。正しく回答するには、モデルはデータを探索し、適切な分析アプローチを選択し、反復的な実験プロセスに取り組み、最終的な回答を提示する必要があります。

生物学では、データ生成（例：ゲノムシーケンシング）のコストが劇的に低下しており、一部の研究者は現在、⁠（新しいウィンドウで開く）制約要因はもはやサンプル収集ではなく、下流の計算処理と解析であると主張しています。GeneBench-Pro は、そのボトルネックへの対応の進捗を評価するために構築されており、計算生物学の幅広い設定や手法を網羅する129問で構成されています。

GeneBench-Pro は、ベンチマークで一般的に発生する問題を回避するようにも設計されています。多くの長い工程を要する生物学ベンチマークでは、雑然とした過去のデータセットをもとに複数ステップの問題を構成しており、分析を進めるうえで唯一の正しい道筋が存在しない場合があります。あるエージェントは妥当と言えるカットオフを 1 つ選ぶ一方で、別のエージェントは異なるものの同じく妥当と言える選択肢を選ぶ可能性があります。これは、モデル性能の根本的な違いというよりも、ベンチマーク作成者による恣意的な選択を反映しています。逆のことも起こり得ます。問題の数値的な感度が低すぎる場合、エージェントは分析で根本的な誤りを犯していても、合格となる結果を生成できてしまいます。

こうした失敗パターンを避けるため、GeneBench-Pro の各問題は合成的に構築されています。つまり、完全な因果構造を把握したうえで、データ生成過程を直接シミュレートしています。それにより、各問題の複雑さを調整し、主観的な分析上の選択に妥当な差異があっても許容される数値結果が得られることを担保し、さらに（アブレーションスタディを通じて）もっともらしいが誤った分析が不合格となることを検証できます。その後、詳細なトレース分析を通じて問題案を監査し、情報漏洩や意図しない解法経路がないかを確認します。これにより、正しい答えを得られるかどうかは、抜け道を利用したり、恣意的な著者の好みに合わせたりすることではなく、適切な分析の道筋を選択することにかかっているという確信を持てます。

GeneBench-Pro の129問のうち82問を、大学院生、ポスドク研究者、企業の研究者、教授を含む外部の分野専門家に送付しました。評価者は、各問題の現実性、目標となる回答を特定できるかどうか、手法と推定量が適切であるかどうかを評価しました。フィードバックは問題点の改善に活用されました。

GeneBench-Pro の各問題は、自己完結型の科学的分析です。GeneBench-Pro の各問題は、自己完結型の科学的分析です。エージェントには、短いプロンプト、データファイル、Python、科学計算ライブラリ、PLINK 2.0などの基本的なゲノミクスパッケージを含む標準的なバイオインフォマティクススタックを備えた、隔離されたワークスペースへのアクセス権が与えられます（ただし、これらの問題にドメイン固有のツールは必要ありません）。

データ生成プロセス全体を制御しているため、標準的なルーブリックベースの評価で見られるモデル選択によるばらつきや冗長さの影響を避けつつ、既知の目標値に照らして正答性を決定論的に採点できます。

各問題には、想定される分析構造、添付データファイル、複数ページにわたる詳細なケーススタディ、専門家レビューの結果など、豊富なメタデータも含まれています。代表的な GeneBench-Pro の問題10件を Hugging Face⁠（新しいウィンドウで開く） 上で完全にオープンソースとして公開し、それらを閲覧できる インタラクティブなウェブインターフェース も提供しています。最後に、近日中に、独立した第三者によるベンチマーク評価のため、50問のサブセットをArtificial Analysis⁠（新しいウィンドウで開く）に提供する予定です。

私たちの最も高性能なモデルである GPT‑5.6 Sol は、最高の推論レベルで 28.7% のパス率を達成しています（Pro モード有効時は 31.5%）。これは、初代 GeneBench の構築を開始した時点からの大幅な増加です。当時、当社の最高性能のフロンティアモデルである GPT‑5のスコアは5%未満でした。このベンチマークでの進展は、フロンティアモデルが、より捉えにくいシステムレベルの科学的推論においてさえ、急速に向上していることを示唆しています。現在のペースでは、このベンチマークは年末までに飽和状態に達する可能性があります。

この結果は、テスト時の計算リソースをスケーリングした場合の影響も示しています。最も低い推論レベルでは、GPT‑5.6 Sol のパス率は1桁にとどまります。最高の推論レベルでは、GPT‑5.6 Sol は GPT‑5.2 の約6倍の問題を解決します。その際に使用するトークン数は、GPT‑5.2 の約3分の2です。

モデルファミリー間の比較から、GPTモデルは定量的不確実性の下での高度な科学的推論において、最も強力なシステムの一つであることが示唆されます。GPT‑5.6、GPT‑5.5、GLM 5.2 などの主要なオープンソースモデルの間の性能差は、コーディングベンチマーク⁠（新しいウィンドウで開く）から外挿して予想されるよりも大幅に大きく、オープンソースモデルはより広範な推論能力よりもコーディングに特化していることを示しています。

開発中に問題を評価し、堅牢化するためにフロンティア GPT モデルを使用しました。そのため、GeneBench-Pro は他のモデルファミリーと比べて GPT モデルに不利なバイアスがある可能性があると考えました。しかし、競合モデルは、よくてもリリース時点で対応する GPT モデルの性能に並ぶ程度であり、多くの場合は大きく劣っていました。

GPT‑5.6 Sol (Pro) では最大31.5%に達するこれらの評価結果は、GeneBench-Proの問題の難易度を考えると注目に値します。アンケート調査で、レビュアーは、典型的な GeneBench-Pro の問題を人間の専門家が完了するには約20〜40時間かかると見積もりました。控えめに見積もって時給200ドルとしても、1つの問題にかかる人件費は数千ドルに上ります。現在のAIエージェントは、人間の専門家に取って代わるにはまだ信頼性が低すぎますが、コストの差は大きく、推論コストは1問あたりわずか数ドルにすぎません。これは、現在の能力でも部分的な自動化であっても、有意義な経済的・科学的価値を生み出し得ることを意味します。

それでも、フロンティアモデルが依然としてこれらの問題の3分の1未満しか解けないという事実は、大幅な改善の余地があることを示しています。モデルは困難な問題に対して部分的には前進できますが、推論を最後まで完結させることには苦労します。この失敗パターンは、人間の専門家と初心者の間の対比を反映しています。専門家は経験を活かして問題を構造化し、アプローチを柔軟に調整する一方で、初心者は観察はするものの、それらを問題のより広い文脈に統合することに苦労します。

ほぼ完璧な性能を達成するには、進捗を確実に測定し、モデルが依然として失敗する箇所を特定できる評価が必要です。GeneBench-Pro のようなベンチマークは、漠然とした能力不足を、診断して改善できる具体的な課題へと変えるのに役立ちます。

エージェントがこの種の分析を確実に自動化できれば、科学的発見を大幅に加速できる可能性があります。ヒト遺伝学的エビデンスは、標的の優先順位付けやトランスレーショナル研究でのフォローアップにおいて、すでに中心的な役割を果たしています。遺伝学的な裏付けのある機序は、承認済み治療法につながる可能性がはるかに高いためです。

一方で、シーケンシングコストは急落し、バイオバンク規模のデータセットでは、分子情報、表現型情報、医療記録情報が、かつてない広範さで結び付けられるようになっています。ボトルネックは、データ生成から、その情報を実用的な知見へと変換することへ移りつつあります。現在は人間の専門家チームが担っている分析を一貫して実行できるモデルは、仮説のトリアージ、ターゲットのフォローアップ、そしてデータ生成と意思決定の間の反復サイクルを加速することで、産業研究を変革する可能性があります。

GeneBench-Pro は、経験豊富な研究者が備える優れた科学的判断力に関わる、より抽象的なスキルを評価するための初期的な取り組みです。こうしたスキルにより、最も有望な初期分析を直感的に見極め、データが当初の仮定と矛盾する場合には考えを反復的に見直し、その後の臨床、学術、事業上の意思決定が依拠する可能性のある結論に到達できます。

モデルの能力が進歩するにつれて、単に書籍知識や定型的な分析を実行する能力をテストするものにとどまらず、こうしたより高い抽象度のレベルでモデルの能力を検証するベンチマークがますます有用になると予想しています。