Представляем GeneBench-Pro
Бенчмарк исследовательского уровня, измеряющий, как ИИ-агенты справляются с неоднозначностью и принимают значимые решения в вычислительной биологии.
Научные данные редко приходят с инструкциями. Исследователи должны решать, отражает ли паттерн биологию или шум, поддерживают ли данные поставленный вопрос и как каждый результат должен менять следующие шаги. ИИ-агенты все лучше выполняют сложные анализы, но реальная наука требует не только вспоминать факты или следовать заданному процессу, а и принимать такие суждения более высокого уровня.
Сегодня мы представляем GeneBench-Pro — сложный бенчмарк исследовательского уровня для проверки того, способны ли модели справляться с анализом, требующим большого числа экспертных суждений, который необходим в практической вычислительной биологии. Он расширяет возможности GeneBench(открывается в новом окне), охватывая более сложные и реалистичные задачи в области геномики, количественной биологии и трансляционной медицины, отражая сложность, итеративный характер и неоднозначность научных исследований в вычислительной биологии.
На сегодняшний день существует лишь немного убедительных оценок системных решений, которые затрудняют проведение вычислительных исследований в реальных условиях. К ним относятся работа с неоднозначностью, пересмотр допущений, выбор правильного пути анализа и понимание того, когда результат готов для принятия решения. Поскольку эти навыки трудно формализовать, их также трудно строго оценивать, при том что их слабые стороны всё сильнее ограничивают общую эффективность ИИ.
GeneBench-Pro предназначен для точной оценки этих возможностей более высокого уровня. В GeneBench-Pro мы определяем «исследовательское чутьё» как цепочки экспертных решений, которые формируют анализ: какие вопросы данные могут поддержать, как ранняя диагностика должна изменить модель или оцениваемую величину и когда необходимо пересмотреть первоначальный план. В каждой задаче GeneBench-Pro модель получает реалистичный, но неочищенный набор данных, краткое описание контекста эксперимента и целевой оцениваемый параметр, связанный с последующим решением. Чтобы ответить правильно, модель должна исследовать данные, выбрать подходящий аналитический подход, пройти итеративный процесс экспериментирования и предоставить окончательный ответ.
В биологии стоимость генерации данных (например, секвенирования генома) резко снизилась, и некоторые исследователи теперь утверждают(открывается в новом окне), что ограничивающим фактором является уже не сбор образцов, а последующие вычисления и анализ. GeneBench-Pro создан для оценки прогресса в устранении этого узкого места и включает 129 вопросов, охватывающих широкий спектр сценариев и методов вычислительной биологии.
Атлас доменов: 129 проблем в 10 доменах и 21 поддоменах
Нажмите на точку выше, чтобы узнать о тестовой задаче.
Этот атлас дает предварительное представление о масштабе GeneBench-Pro. Перейдите на страницу с примерами, чтобы подробнее ознакомиться с 10 типичными вопросами.
GeneBench-Pro также разработан так, чтобы избежать типичных ошибок бенчмарков. Многие биологические бенчмарки с длинным горизонтом строят многошаговые вопросы вокруг неоднородных исторических наборов данных, где может не существовать единственно правильного пути анализа. Один агент может выбрать один обоснованный порог отсечения, тогда как другой может выбрать иной, но столь же обоснованный вариант, что скорее отражает произвольные решения, принятые создателем бенчмарка, чем какие-либо фундаментальные различия в качестве работы модели. Может произойти и обратное: если задача слишком численно нечувствительна, агент может допустить фундаментальные ошибки в анализе и всё равно получить приемлемый результат.
Чтобы избежать таких сценариев сбоев, каждая задача GeneBench-Pro создаётся синтетически: нам известна полная причинно-следственная структура, и мы напрямую моделируем процесс генерации данных. Это позволяет нам регулировать сложность каждой задачи, гарантировать, что разумные различия в субъективных аналитических решениях всё равно дают приемлемые численные результаты, и проверять (с помощью абляционных исследований), что правдоподобные, но неверные варианты анализа не проходят проверку. Затем мы проверяем черновики задач с помощью подробного анализа трассировок на предмет утечки информации и непредусмотренных путей к решению. Это даёт нам уверенность в том, что получение правильного ответа зависит от выбора корректного аналитического подхода, а не от использования обходного приёма или угадывания произвольного предпочтения автора.
Мы отправили 82 из 129 вопросов GeneBench-Pro внешним экспертам, включая аспирантов, постдокторантов, отраслевых ученых и профессоров. Рецензенты оценивали реалистичность каждой задачи, идентифицируемость целевого ответа и уместность методов и способов оценивания. Обратная связь использовалась для улучшения задач.
“Проверенные мной задачи были бы сложными для аспиранта при выполнении без регулярной обратной связи со стороны опытного научного руководителя. Данные содержали технические проблемы и проблемы контроля качества, для успешного завершения требовался вдумчивый и критически осмысленный анализ данных с учетом возможных рисков; речь не сводилась к простому применению готового метода к чистым и хорошо подготовленным данным.”
“Даже если нынешние модели пока не способны надежно проводить самостоятельный анализ от начала до конца, модели, хорошо справляющиеся с задачами GeneBench-Pro, очевидно, могли бы помогать исследователям определять корректные рабочие процессы и исследовать данные. Я вижу, что это может значительно повысить скорость, тщательность и воспроизводимость исследований.”
Каждая задача GeneBench-Pro представляет собой самостоятельный научный анализ. Агенты получают доступ к изолированной рабочей области с коротким запросом, файлами данных, и стандартным стеком биоинформатики, включающим Python, библиотеки для научных вычислений и базовые пакеты для геномики, такие как PLINK 2.0 (хотя для решения задач не требуются специализированные инструменты для предметной области).
Решение о пользе и риске терапии опухоли с учетом структурных вариантов
Поскольку мы контролируем полный процесс генерации данных, мы можем детерминированно оценивать корректность относительно известных эталонных ответов, избегая вариативности, связанной с выбором модели, и эффектов многословности, характерных для оценки на основе стандартных рубрик.
Каждая задача также сопровождается обширными метаданными, включая предполагаемую структуру анализа, прикреплённые файлы данных, подробное многостраничное практическое исследование и результаты экспертной оценки. Мы полностью публикуем в открытом доступе 10 репрезентативных вопросов GeneBench-Pro на Hugging Face(открывается в новом окне), а также предоставляем интерактивный веб-интерфейс для их просмотра. Наконец, в ближайшем будущем мы предоставим подмножество из 50 вопросов Artificial Analysis(открывается в новом окне) для независимого стороннего сравнительного тестирования.
Наша самая мощная модель, GPT‑5.6 Sol, достигает 28,7 % успешных прохождений на максимальном уровне рассуждений (31,5 % с включённым режимом Pro). Это резкий рост по сравнению с тем временем, когда мы начали создавать исходный GeneBench; тогда наша лучшая передовая модель, GPT‑5, показала результат ниже 5 %. Успехи в этом бенчмарке свидетельствуют о том, что передовые модели быстро совершенствуются даже в менее осязаемых научных рассуждениях на системном уровне. При текущих темпах этот ориентир может достичь насыщения к концу года.
Результаты также показывают эффект масштабирования вычислений во время теста. На минимальном уровне рассуждений GPT‑5.6 Sol показывает лишь однозначную долю прохождений. На максимальном уровне рассуждений GPT‑5.6 Sol решает почти в шесть раз больше вопросов, чем GPT‑5.2, используя примерно на треть меньше токенов.
Сравнение различных семейств моделей показывает, что модели GPT входят в число самых сильных систем для высокоуровневых научных рассуждений в условиях количественной неопределенности. Разрыв в производительности между GPT‑5.6, Разрыв между GPT‑5.5 и ведущими моделями с открытым исходным кодом, такими как GLM 5.2, значительно больше, чем можно было бы ожидать при экстраполяции на основе бенчмарков по программированию(открывается в новом окне), что указывает на то, что модели с открытым исходным кодом более специализированы для программирования, чем для более широких способностей к рассуждению.
В процессе разработки мы использовали передовые модели GPT для оценки задач и повышения их устойчивости. В связи с этим мы предположили, что GeneBench-Pro может быть предвзят не в пользу моделей GPT по сравнению с другими семействами моделей. Однако модели конкурентов в лучшем случае соответствовали по производительности сопоставимой модели GPT на момент ее выпуска и, как правило, заметно ей уступали.
Эти результаты — вплоть до 31,5% у GPT‑5.6 Sol (Pro) — впечатляют с учетом сложности вопросов GeneBench-Pro. В опросе рецензенты оценили, что типичная задача GeneBench-Pro заняла бы у человека-эксперта около 20–40 часов. Даже при консервативной ставке 200 долларов США в час стоимость человеческого труда на одну задачу измеряется тысячами долларов. Нынешние ИИ-агенты все еще слишком ненадежны, чтобы заменить экспертов, но разрыв в стоимости велик: инференс стоит лишь несколько долларов на задачу. Значит, даже частичная автоматизация при нынешних возможностях может создать заметную экономическую и научную ценность.
“Бенчмарки охватывают широкий круг биологических вопросов, но … настоящая сложность связана с разведочным анализом данных и рассуждениями на основе находок: нужно выявлять паттерны и артефакты и решать, исключать данные или корректировать их. Это похоже на беспорядочную природу реальных биологических наборов данных. Разбор этих оценок показывает, насколько важно чётко задавать условия, в которых агенты решают научные задачи. Иная формулировка промпта или спецификации задачи может сильно повлиять на то, какие виды анализа выглядят допустимыми.”
“В целом мне понравились [вопросы]. Как правило, они сочетали в себе: (1) необходимые знания предметной области, такие как смещение C>T в древней ДНК, (2) расхождения в данных, такие как перестановки происхождения, (3) определённое знание подходящих аналитических инструментов для данной задачи и того, как их применять. Похоже, что большинство агентов не справились с пунктом (2). Они недостаточно осторожны в вопросах, связанных с данными. Возможно, это указывает на слабое место современных моделей. В биологических данных часто встречаются нерегулярности.”
Тем не менее тот факт, что передовые модели по-прежнему решают менее трети этих задач, показывает, что остается значительный простор для улучшения. Модели могут добиваться частичного прогресса в решении сложных задач, но им трудно замкнуть цепочку логических выводов. Эта закономерность ошибок отражает различие между экспертами и новичками. Эксперты используют свой опыт, чтобы структурировать проблему и адаптировать свой подход, тогда как новички делают наблюдения, но испытывают трудности с их интеграцией в более широкий контекст проблемы.
Задача: фармакогеномный time-to-event-ответ при меняющемся во времени лечении
Паттерн GPT-5.5
Паттерн GPT-5.6 Sol
Для почти идеального результата нужны оценки, которые надежно измеряют прогресс и показывают, где модели все еще ошибаются. Бенчмарки вроде GeneBench-Pro помогают превратить расплывчатый дефицит способностей в то, что можно диагностировать и улучшать.
Если агенты смогут надежно автоматизировать этот класс анализа, они существенно ускорят научные открытия. Генетические данные человека уже важны для приоритизации мишеней и трансляционного продолжения, поскольку механизмы с генетической поддержкой гораздо чаще приводят к одобренным терапиям.
Тем временем стоимость секвенирования резко упала, а наборы данных масштаба биобанков теперь связывают молекулярную, фенотипическую и медицинскую информацию с беспрецедентной широтой. Ограничение смещается от генерации данных к превращению информации в практические инсайты. Модели, способные стабильно выполнять анализы, которыми сейчас занимаются команды экспертов, могут преобразить индустриальные исследования, ускорив отбор гипотез, проработку мишеней и цикл от генерации данных до решений.
GeneBench-Pro — первая попытка оценить более абстрактные навыки хорошего научного суждения, присущие опытным специалистам. Эти навыки помогают им интуитивно находить перспективные первые анализы, итерировать и пересматривать мышление, когда данные противоречат исходным допущениям, и приходить к выводам, от которых могут зависеть клинические, академические или бизнес-решения.
Мы ожидаем, что по мере роста возможностей моделей бенчмарки, проверяющие их на таких высоких уровнях абстракции, будут все полезнее — в отличие от тех, что просто тестируют книжные знания или выполнение рутинных анализов.
