LifeSciBench のご紹介

エージェント型 AI システムは、科学タスクを実行する能力をますます高めています。しかし、ライフサイエンス研究者にとって有用かどうかは、実際の研究の複雑さにどれだけ対応できるかに左右されます。そうした仕事は、単一の知識想起問題や整理された予測問題のような形を取ることはほとんどありません。研究者は、不完全なエビデンスを解釈し、相反する結果を照合し、難しい実験を設計し、アッセイのトラブルシューティングを行い、トランスレーショナルリスクを評価し、不確実性の下で次に何をすべきかを決定します。

現在のベンチマークは、これらの能力を十分には捉えていません。多くのライフサイエンス評価は、狭い領域や孤立したスキルに焦点を当てており、構造化された問題形式と明確な参照回答を持つ設問になっています。それらには価値がありますが、より広範な研究レベルの仕事にわたってモデルが貢献できるかを真に評価できないことが少なくありません。

このギャップを埋めるために、私たちは LifeSciBench を設計しました。すべてのタスクは、博士レベルの訓練を受け、バイオテクノロジーおよび製薬の現場で創薬プログラムを直接推進してきた現役ライフサイエンティストの判断に基づいています。

LifeSciBench には、7 つのワークフローと 7 つの生物学領域にまたがる、専門家作成の 750 タスクが含まれます。

LifeSciBench は、AI システムが単に生物学の質問に答えるだけでなく、現実的なライフサイエンス研究タスクを支援できるかを測定します。ベンチマークの分類体系を定義するため、応用研究の現場で最も頻繁に使うワークフローについて現役ライフサイエンティストに調査しました。その回答を、エビデンスの取り扱い、分析、設計と最適化、科学的推論、検証と運用、トランスレーション、科学コミュニケーションという 7 つの反復的なカテゴリに整理しました。

各タスクは、科学者が知識ある共同研究者に依頼するような形式で構成されています。科学的プロンプト、関連する文脈やアーティファクト、自由記述式の回答です。専門家が作成したルーブリックは、特定の問題に対して、科学者が期待する適切な詳細度、根拠、留意点、形式を備えた正しい回答をモデルが生成できるかを評価します。

LifeSciBench は、科学的推論に加えて、現実世界で科学的に使うために必要な、定義しにくい実践的スキルも評価します。そのタスクでは、モデルに現実的な研究課題を解かせます。エビデンスを解釈し、分野に根ざした判断を下し、専門家レビュアーにとって有用な結論を伝えることです。多くのタスクでは、プロンプト本文だけに頼るのではなく、不確実性を扱い、補助データファイルを踏まえて推論することもモデルに求めます。

このベンチマークは、ライフサイエンス業務の複雑さを反映するよう設計されています。全体で、タスクの 79% は複数の推論または意思決定ステップを必要とし、タスクあたり平均 4 ステップです。LifeSciBench には、図、PDF、表、配列ファイル、構造または化学ファイル、Web 参照にまたがる 1,062 件の添付アーティファクトが含まれます。タスクの半数超（53%）は、少なくとも 1 つのアーティファクトから情報を解釈または統合することをモデルに求めます。

タスクは、異なるライフサイエンス分野にわたる 173 名の専門科学者によって作成されました。各科学者は、博士レベルの訓練と、バイオテクノロジーまたは製薬業界での経験を有していました。タスクは採択前に必要なだけ改訂サイクルを重ねることができ、回数に固定上限はありませんでした。採択されたタスクは平均 6 回の自律的な自動レビューサイクルを経て、少なくとも 2 ラウンドの専門家レビューを完了しました。レビューは、検証可能な正解または強固な専門家コンセンサスのいずれかに基づき、関連分野のレビュアー間で少なくとも 90% の一致を得ました。このプロセスにより、採択されたタスクが科学的根拠を持ち、採点に十分な明確さを備え、応用研究を代表するものになるよう担保しました。

LifeSciBench のタスクは、期待される回答を具体的な科学的主張、計算、意思決定、根拠などに分解した、詳細なタスク固有のルーブリックで採点されます。ベンチマーク全体で、専門家が作成したルーブリックには 19,020 個の基準（タスクあたり平均 25 個）が含まれ、科学的正確性と研究上の意思決定における有用性の両方を評価します。

この設計は、科学的な仕事が実際にどのように評価されるかを反映しています。多くのライフサイエンスタスクは、最終回答だけを確認して採点することはできません。たとえば、回答が高レベルでは正しい結論に到達していても、重要なアッセイ上の制約を見落としたり、結果に大きく影響する生物学的ニュアンスを能動的に指摘できなかったりすれば、不完全と判断されることがあります。逆に、タスクを完全には解けていなくても、部分的な回答に質の高い推論が含まれることもあります。

細かなルーブリックは、このニュアンスを捉えます。LifeSciBench は、最終回答の正確性だけでなく、モデルが科学的に妥当で実務上有用な方法で答えに到達しているかも評価します。

私たちは独立した専門家レビューを通じて LifeSciBench を検証しました。フィードバックは、タスク作成に関与していない 453 名のレビュアーから得られました。これらのレビュアーのうち 97% は博士号または同等の学位を有し、平均 12 年の分野経験と 14 件の査読付き論文を持っていました。また、88% が少なくとも 1 件の賞またはフェローシップを受けたと回答しました。

レビュアーは、各タスクが優れたベンチマーク問題に必要な性質を備えているかを採点しました。現実世界の研究業務との整合性、科学的推論と分野専門性の適切なテスト、エビデンスまたは専門家コンセンサスへの基盤、モデル性能評価における全体的な有用性です。すべてのカテゴリで一致率は 96% を超えました。

レビュアーのコメントは、定量評価を補強するものでした。

私たちは 2 つの相補的な指標を報告します。合格率は、モデルがタスクレベルの成功閾値である 70% を満たしたタスクの割合です。スコアは平均ルーブリック報酬であり、タスク全体を解決できない場合でも個別基準に対して部分点を与えます。科学タスクへの回答は、完全な回答に必要なすべての要件を満たさなくても、部分的に正しい、または有用である場合があるため、どちらの指標も重要です。

モデル性能は、タスクタイプ、ワークフロー、回答形式によって大きく異なります。

LifeSciBench は、フロンティアモデルが、科学的統合、コミュニケーション、構造化された解釈を伴うタスクで相対的に最も強いことを示しています。絶対的な合格率はまだ控えめであり、これらのベンチマーク領域は飽和には程遠い状態です。それでも GPT‑Rosalind は GPT‑5.5 に対して有意な進歩を示し、全体の厳密合格率を 25.7% から 36.1% に向上させました。

モデル能力の進歩が最も強く現れている方向は、科学コミュニケーションとトランスレーションです。たとえば、科学コミュニケーションの合格率は GPT‑5.5 の 56.3% から GPT‑Rosalind の 71.1% に上昇します。このカテゴリは小規模（n=9）であるため慎重に解釈すべきですが、フロンティアモデルがエビデンスを整理し、専門家向けの説得力ある説明を作成する能力を急速に高めていることを示唆します。トランスレーション（創薬における「ベンチからベッドサイドへ」のプロセス）も同様のパターンを示し、GPT‑5.5 の 36.8% から GPT‑Rosalind の 57.7% に上昇しています。これは、モデルが前臨床エビデンスを臨床的示唆につなげる能力を急速に高めていることを示唆します。

ルーブリックレベルの結果も同じ方向を示しています。専門家にとって有用または実行可能な出力が求められるタスクでは、GPT‑Rosalind のスコアは 44.7% で、GPT‑5.5 の 29.1% を上回ります。不確実性や留意点の扱いが求められるタスクでは、44.8% を記録し、29.3% を上回ります。このパターンは、タスクに明確なエビデンスの範囲があり、構造化された科学的判断が求められる場合に、モデルが最も有用であることを示唆します。

アーティファクトの多い、設計中心の、そして運用上の制約が大きい科学的作業では、性能はなお大きく低下します。具体的には、設計・最適化・予測は依然として最も難しいワークフローの 1 つで、GPT‑Rosalind の合格率は 30.7% です。分析も同様に難しく、30.3% です。

アーティファクトの利用は、特に明確なギャップです。GPT‑Rosalind はアーティファクトの多い設定で GPT‑5.5 より良好に機能しますが、それでも合格率はテキストのみのタスクの 45.1% から、アーティファクトまたは URL を含むタスクの 28.1% へ低下します。GPT‑5.5 も同じパターンを示し、29.9% から 21.9% に低下します。より詳細な分析により、フロンティアモデルは複雑な図や大規模な配列ファイルから情報を抽出し、それを最終回答に統合することに苦戦していることが確認されました。

回答形式も重要です。厳密な配列、構造、またはコンストラクトレベルの出力が求められるタスクでは合格率が低く、GPT‑Rosalind は数値タスクで 14.8%、配列または構造の出力で 24.0% にとどまります。コンストラクト生成タスクも脆弱で、GPT‑Rosalind は 27.3% にとどまり、GPT‑5.5 からの改善はわずかです。このギャップの一部は、厳密回答タスクの採点面がより厳しいことを反映している可能性があります。計算や形式の小さな違いで、回答が合格閾値を下回ることがあるためです。それでも、こうした失敗は科学的に意味があります。多くのライフサイエンスワークフローでは、CRISPR/HDR ドナー設計や siRNA 設計のように、そのまま直接使えるほど厳密な出力が必要だからです。

モデルはまた、途中までは到達しても、タスクを完全には解けないことがよくあります。タスクのおよそ 14% で、モデルは厳密合格の閾値に達しなかったにもかかわらず、ルーブリック上で相当な点数を獲得しました。GPT‑Rosalind では、合格率が 20% 未満でありながら、少なくとも 50% のルーブリック報酬を得たタスクが 109 件ありました。実際には、これはモデルが関連するエビデンスを特定したり、もっともらしい部分的回答を生成したりする一方で、重要な制約を見落とす、誤ったエビデンスを使う、不完全な計算を行う、または推論を科学的に有用な最終判断に結び付けられないために、なお失敗する可能性があることを意味します。

LifeSciBench は、AI システムがライフサイエンス研究にどれだけ有用になり得るかを測定する一歩ですが、実際の研究環境でモデルを調べることの代替ではありません。このベンチマークは、反復的に現れる業界ワークフローを反映した自己完結型タスクに焦点を当てていますが、多くの科学専門分野やタスクタイプは現時点の対象範囲外にあります。実際の研究は反復的です。科学者は新たなエビデンスを集め、仮説を見直し、追試実験を設計し、結果が出るにつれて計画を適応させます。

したがって、LifeSciBench での高い性能は、下流の研究インパクトの直接的な尺度ではなく、現実的なタスクレベルの能力を示すエビデンスとして解釈すべきです。このベンチマークは業界ワークフローに基づいていますが、進捗が時間とともに展開する要因に左右される実際の研究プログラムの多様性や動態をすべて捉えているわけではありません。

次のステップは、ベンチマーク性能を実際の研究ワークフローにおける導入研究につなげることです。LifeSciBench は現役科学者とともに開発されましたが、AI システムが発見を加速するか、R&D の成果を改善するかを測定するには、実際の研究環境で、より長い期間にわたり、推論、フィードバック、実験的フォローアップの複数ラウンドを通じて、モデルの利用と性能を研究する必要があります。