Оцениваем возможности ИИ выполнять научно-исследовательские задачи

Рассуждение — это основа научной работы. Помимо простого воспроизведения фактов, ученые выдвигают гипотезы, проверяют и уточняют их, а также синтезируют идеи на стыке областей. По мере того, как наши модели становятся более способными, возникает ключевой вопрос, смогут ли они рассуждать достаточно глубоко, чтобы продвигать научные исследования.

За последний год наши модели достигли важных рубежей, например, показали результаты уровня золотой медали на Международной математической олимпиаде и Международной олимпиаде по информатике. Параллельно мы начинаем видеть, как наши самые мощные модели, такие как GPT‑5, заметно ускоряют реальные научные рабочие процессы. Исследователи используют эти системы, например, для поиска литературы на стыке дисциплин и разных языков, а также для работы над сложными математическими доказательствами. Во многих случаях модель сокращает работу, на которую раньше уходили дни или недели, до нескольких часов. Этот прогресс задокументирован в нашей статье Ранние эксперименты по ускорению науки с GPT‑5⁠, выпущенной в ноябре 2025 года, которая представляет ранние доказательства того, что GPT‑5 может заметно ускорять научные рабочие процессы.

Ускорение научного прогресса — один из самых многообещающих способов, с помощью которых ИИ может принести пользу человечеству. Поэтому мы улучшаем наши модели на сложных задачах по математике и естественным наукам и развиваем инструменты, которые помогут ученым получить от них максимум.

Когда в ноябре 2023 года был выпущен GPQA⁠(открывается в новом окне), «защищенный от Google» научный бенчмарк вопросов, написанных экспертами с ученой степенью PhD, GPT‑4 набрал 39 %, что ниже экспертного базового уровня, составляющего 70 %. Два года спустя GPT‑5.2 набрал 92 %. По мере того как возможности моделей, и в рассуждении, и в знаниях, продолжают расти, нам понадобятся более сложные бенчмарки, чтобы измерять и прогнозировать их способность ускорять научные исследования. Предыдущие научные бенчмарки, в основном состоящие из вопросов с выбором ответа, уже достигли насыщения или не ставят науку в центр внимания.

Чтобы закрыть этот разрыв, мы представляем FrontierScience — новый бенчмарк, созданный для оценки научных возможностей экспертного уровня. FrontierScience пишут и проверяют эксперты по физике, химии и биологии. Бенчмарк включает несколько сотен вопросов, задуманных как сложные, нестандартные и содержательные. FrontierScience включает два трека вопросов: «Олимпиада», который оценивает научное рассуждение в олимпиадном стиле, и «Исследования», который измеряет навыки, нужные для реальной научно-исследовательской работы. Более глубокое понимание научных возможностей моделей помогает отслеживать прогресс и продвигать науку, ускоряемую ИИ.

В первых оценках GPT‑5.2 показывает лучшие результаты на FrontierScience-Olympiad (77 %) и FrontierScience-Research (25 %), опережая другие передовые модели. Мы видим заметный прогресс в решении вопросов экспертного уровня, и при этом остается пространство для дальнейшего роста — особенно в исследовательских задачах открытого типа (open-ended). Для ученых это означает, что нынешние модели уже могут поддерживать части исследований, где требуется структурированное рассуждение, — и одновременно показывает, что еще многое предстоит сделать, чтобы улучшить их способность к открытому мышлению. Эти результаты согласуются с тем, как ученые уже используют современные модели: они ускоряют исследовательские процессы, но опираются на человеческое суждение при постановке задач и проверке результатов; всё чаще модели помогают исследовать идеи и связи, на поиск которых ушло бы намного больше времени, а иногда даже дают новые инсайты, которые затем оценивают и проверяют эксперты.

В конечном счете, самый важный показатель научных возможностей ИИ — это новые открытия, которые он помогает делать; именно они имеют реальную ценность для науки и общества. FrontierScience — более ранний этап на этом пути. Этот бенчмарк служит ориентиром для научного рассуждения экспертного уровня: мы можем проверять модели на стандартизированном наборе вопросов, видеть, где они справляются или ошибаются, и понимать, что нужно улучшить. При этом FrontierScience — узконаправленный бенчмарк с важными ограничениями (например, он фокусируется на задачах с четкими условиями, написанных экспертами) и не охватывает всего, чем ученые занимаются в повседневной работе. Но этой области нужны более сложные, нестандартные и содержательные научные бенчмарки, и FrontierScience — шаг вперед в этом направлении.

Полная оценка FrontierScience включает более 700 текстовых вопросов (160 из них входят в золотой набор, охватывающих поддисциплины физики, химии и биологии. Бенчмарк разделен на два набора: олимпиадный и исследовательский. FrontierScience-Olympiad включает 100 вопросов, созданных медалистами международных олимпиад, чтобы оценивать научное рассуждение в ограниченном формате короткого ответа. Олимпиадный набор задуман так, чтобы в него входили теоретические вопросы как минимум такой же сложности, как задачи на международных олимпиадах. FrontierScience-Research состоит из 60 нестандартных исследовательских подзадач, разработанных учеными со степенью PhD (аспирантами, профессорами или постдокторантами), которые оцениваются по критериям оценивания на 10 баллов. Исследовательский набор создан так, чтобы включать автономные многоэтапные подзадачи уровня сложности, с которым ученый со степенью PhD может столкнуться в ходе своих исследований.

Олимпиадные вопросы были подготовлены вместе с 42 бывшими международными медалистами и тренерами национальных сборных в соответствующих дисциплинах; суммарно у них 109 олимпиадных медалей. Исследовательские вопросы были подготовлены вместе с 45 квалифицированными учеными и экспертами по соответствующим областям. Все ученые были либо аспирантами, либо пост докторантами, либо профессорами. Их экспертиза охватывала широкий спектр специализированных и важных дисциплин: от квантовой электродинамики и синтетической органической химии до эволюционной биологии.

При создании задач для обоих наборов мы учитывали результаты внутренних моделей OpenAI (например, исключали задачи, с которыми модели успешно справлялись). Поэтому мы ожидаем, что оценка будет в некоторой степени смещена против этих моделей по сравнению с другими. Мы публикуем в открытом доступе золотой набор «Олимпиады» из 100 вопросов и золотой набор «Исследований» из 60 вопросов, а остальные вопросы оставляем закрытыми, чтобы отслеживать загрязнение данных (contamination).

Олимпиадный набор можно оценивать по короткому ответу: числу, выражению или нечеткому сопоставлению строк, что упрощает проверку корректности. Однако, такая проверяемость часто достигается ценой выразительности и открытости постановки задачи. Для исследовательского набора мы вводим архитектуру выставления баллов по критериям оценивания — для проверки задач открытого типа. Каждый вопрос включает критерии оценивания с несколькими независимыми и объективно проверяемыми пунктами; всего — 10 баллов. Критерии оценивания проверяют не только точность финального ответа, но и корректность промежуточных шагов рассуждения, что позволяет тонко анализировать результаты модели и причины сбоев. Решение считается «верным», если оно набирает не менее 7 из 10 баллов по критериям оценивания.

Ответы оценивает модель-оценщик (GPT‑5) по краткому ответу или по критериям оценивания. В идеале каждый ответ должен оценивать эксперт-человек, но этот подход невозможно масштабировать, поэтому мы составили критерии оценивания так, чтобы их можно было проверять моделью-оценщиком. Мы разработали процесс проверки (verification pipeline), чтобы убедиться, что критерии оценивания и вопросы хорошо откалиброваны по уровню сложности и корректности.

Мы оценили несколько передовых моделей: GPT‑5.2, Claude Opus 4.5 и Gemini 3 Pro, а также GPT‑4o, OpenAI o4-mini и OpenAI o3 — на FrontierScience-Olympiad и FrontierScience-Research. Все модели с функцией рассуждений оценивали при усилии на рассуждение (reasoning effort) «high», за исключением GPT‑5.2 — «xhigh». В первых оценках GPT‑5.2 показывает лучшие результаты на FrontierScience-Olympiad (77 %) и FrontierScience-Research (25 %), опережая другие передовые модели. Gemini 3 Pro показала сопоставимый результат с GPT‑5.2 на олимпиадном наборе (76 %).

Мы видим заметный прогресс в решении вопросов экспертного уровня — особенно в исследовательских задачах открытого типа. При этом есть куда расти: анализ транскриптов на предмет сбоев показывает, что передовые модели иногда допускали ошибки в рассуждениях, логике и вычислениях, не понимали узкие научные концепции и ошибались в фактах.

Хотя FrontierScience и представляет собой шаг вперед по сложности научных бенчмарков, ограничений по‑прежнему много. FrontierScience состоит из задач с ограниченной формулировкой: в «Олимпиаде» оценивается итоговый ответ, а в «Исследованиях» — рассуждение, которое приводит к выполнению исследовательской задачи. Кроме того, использование многокомпонентных критериев оценивания для более длинных заданий менее объективно, чем проверка конечного ответа. 

FrontierScience дает более детальную картину рассуждений моделей на сложных, написанных экспертами вопросах, но не дает полного представления о том, как наука делается на практике. В частности, он не оценивает важную часть научных исследований: как модели выдвигают действительно новые гипотезы или работают с несколькими модальностями, включая видеоданные и реальные экспериментальные системы в физическом мире.

Смотря вперед, мы ожидаем, что прогресс в научном рассуждении будет идти по двум направлениям: улучшение универсальных систем рассуждений и целенаправленная работа над развитием научных возможностей. FrontierScience — это один из многих инструментов. По мере улучшения моделей мы будем развивать этот бенчмарк, расширять его на новые области и дополнять более прикладными оценками, которые показывают, что именно эти системы позволяют делать ученым. Такие бенчмарки, как FrontierScience, помогают понять слабые места нынешних систем ИИ и сфокусировать работу на том, чтобы модели стали надежными партнерами в научных открытиях.