Оцениваем, как ИИ-агенты справляются с повседневной лабораторной работой

Наша миссия — сделать так, чтобы общий искусственный интеллект приносил пользу всему человечеству. В рамках этой миссии мы хотим помочь учёным ускорить биологические исследования — от изучения заболеваний до разработки новых методов лечения. Чтобы ИИ-агенты могли внести свой вклад, они должны надёжно интерпретировать экспериментальные данные, с которыми учёные ежедневно работают в лабораториях, проводя опыты с биологическими образцами. Повседневная работа в экспериментальной лаборатории включает неудачные опыты, неоднозначные изображения и противоречивые наблюдения. Существующие бенчмарки, построенные на графиках и изображениях, отобранных для научных статей, могут не учитывать эту неоднозначность и необходимость разбираться в причинах проблем. Поэтому мы представляем BioBasicsBench — новый бенчмарк, разработанный совместно с Ligo, биотехнологической компанией, специализирующейся на проектировании ферментов. Он оценивает, насколько хорошо агенты справляются с повседневным анализом лабораторных данных.

Бенчмарк включает 100 задач, проверяющих, могут ли агенты интерпретировать исходные экспериментальные данные, выявлять ошибки и распознавать ситуации, когда данных недостаточно для вывода. Правильно решать эти задачи важно: неверная интерпретация изображения или незамеченная проблема с контролями, используемыми для проверки результатов опыта, может привести учёных к ошибочному выводу и заставить их тратить время на эксперименты, которые не помогут ответить на поставленный вопрос.

При настройке «xhigh», которая позволяет уделять больше ресурсов рассуждениям над каждой задачей, GPT‑6 Astra набрала в среднем 66,7% от максимально возможного балла, а GPT‑5.6 Sol — 43,8%. Результаты показывают прогресс в повседневном лабораторном анализе, но остаётся потенциал для улучшений в интерпретации изображений, проверке контролей и учёте контекста эксперимента.

BioBasicsBench использует исходные экспериментальные данные — от изображений гелей и чашек с колониями до микроскопических снимков и показаний приборов.

BioBasicsBench содержит 100 задач по пяти направлениям повседневной лабораторной работы: методы исследования белков, визуализация и цитометрия, количественные измерения и анализы, методы работы с нуклеиновыми кислотами и молекулярное клонирование. Задачи варьируются от простых запросов, например определения молекулярной массы образца ДНК по гелю, до подробного разбора результатов анализов. При этом все они относятся к повседневной работе, с которой учёные в экспериментальных лабораториях должны уверенно справляться.

Учёные создали задачи на основе данных собственных экспериментов, дополнив каждый вопрос критериями оценки, составленными экспертами. Каждую задачу сначала проверял учёный из Ligo, не участвовавший в её создании, затем — внешний учёный со степенью PhD, работающий в экспериментальной лаборатории, после чего проводилась заключительная внутренняя проверка.

Агенты дают структурированный ответ с запрошенным выводом, результатом измерения или рекомендацией, а при необходимости — с рассуждениями в их обоснование. Баллы за ответы начисляются по отдельным критериям, что позволяет бенчмарку отличать верный вывод от частично верного анализа. Большинство задач одновременно проверяют несколько навыков, включая биологические знания, интерпретацию изображений и других данных, выявление ошибок и понимание протоколов.

Входные данные сохраняют привычные для учёных форматы: изображения гелей и блотов, фотографии чашек, стеки микроскопических изображений, прочтения секвенирования, выгрузки с планшетного ридера и видеозаписи лабораторной работы. Одна задача может включать несколько типов данных. Справочные материалы, например схемы маркеров молекулярной массы и карты плазмид, помогают интерпретировать экспериментальные данные.

Учёные составили задачи на основе данных собственных экспериментов, дополнив экспериментальные данные вопросом и разработанной экспертами системой критериев оценки. Каждая задача прошла внутреннюю проверку у учёного из Ligo, не участвовавшего в её создании, внешнюю проверку у учёного со степенью PhD, работающего в экспериментальной лаборатории, и заключительную внутреннюю проверку. Рецензенты проверяли промпт, экспериментальные данные, критерии оценки, заметки автора и оценённую попытку решения модели.

Ответы оцениваются по системе критериев задачи, в которой баллы начисляются за каждый критерий отдельно. В зависимости от задачи эти критерии оценивают вывод, численные результаты, обосновывающие рассуждения или признание того, что данных недостаточно.

Мы оценили семь моделей на BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna и GPT‑6 Astra. Оценка охватывает 37 сочетаний моделей и уровней рассуждений. Для каждого сочетания было выполнено по пять попыток на каждой из 100 задач — всего 18 500 результатов.

Мы приводим среднюю оценку — средний балл за задачу, выраженный в процентах от максимально возможного. Планки погрешностей показывают 95%-ные доверительные интервалы, рассчитанные повторной выборкой целых задач: все пять попыток для каждой задачи сохранялись вместе.

GPT‑6 Astra значительно превосходит GPT‑5.6 Sol даже при низком уровне рассуждений. Эти результаты позволяют предположить, что более развитые встроенные мультимодальные возможности могут стать ключом к повышению качества повседневного лабораторного анализа.

Одна из распространённых ошибок в науке — делать из данных более далеко идущие выводы, чем они позволяют, особенно с учётом предвзятости, возникающей при проверке гипотезы. Astra лучше определяла границы того, что можно заключить из данных, и избегала необоснованных выводов.

В этом примере GPT‑5.6 Sol определила клетки как мёртвые по сигналу красителя, предназначенного для выявления мёртвых клеток. Однако детектор мог также улавливать свечение второго красителя, поэтому одной яркости было недостаточно для такого вывода. Astra распознала эту неоднозначность и указала на необходимость более подходящих контролей для разделения сигналов.

Научные исследования предполагают работу с данными разных модальностей и требуют постоянной интерпретации визуальной информации и принятия решений. Astra продемонстрировала значительное улучшение в работе с мультимодальными данными: фотографиями и видео, а также исходными результатами секвенирования, анализов на планшетном ридере, микроскопии и проточной цитометрии.

На самом базовом уровне это улучшение проявилось в способности GPT‑6 Astra замечать более мелкие детали на снимках, сделанных во время экспериментов, и благодаря этому делать более точные выводы, как показано в этом примере. В этой задаче агентам предлагалось сделать выводы по результатам эксперимента по клонированию ДНК, в котором контрольные образцы играют ключевую роль. GPT‑5.6 Sol не обнаружила колоний на чашке отрицательного контроля и построила свои выводы на этом наблюдении. GPT‑6 Astra заметила, что на чашке указан не тот антибиотик, и верно заключила, что её нельзя считать надёжным контролем.

Чтобы правильно интерпретировать данные, учёным необходимо при анализе учитывать неявные биологические знания и контекст эксперимента. Astra продемонстрировала улучшенную способность удерживать этот контекст и использовать его на протяжении всего анализа.

В одной из задач была представлена серия микроскопических изображений, на которых клетки то попадали в фокус, то выходили из него. В то время как GPT‑5.6 Sol искала биологическое объяснение кажущемуся исчезновению клеток, GPT‑6 Astra верно распознала z-стек — серию изображений, снятых на разной глубине.

Более высокие оценки на бенчмарке ещё не означают, что суждениям моделей можно доверять в лабораторной работе. Эти примеры работы Astra показывают, как предположения, ожидаемые ответы и предоставленные подписи могут перевешивать экспериментальные данные и как верное промежуточное наблюдение может не повлиять на итоговое решение.

Astra отдаёт предпочтение привычному предположению, а не интерпретации, которую подтверждают экспериментальные контроли. Она различает две группы полос для колоний, но предполагает, что более крупный продукт ПЦР должен указывать на успешное клонирование. Исходя из этого, она предлагает дорожки 4, 6, 7 и 8, тогда как в эталонном ответе на основе сравнения с контролями выбраны дорожки 5, 9 и 10.

Astra игнорирует наблюдения, противоречащие её предпочтительной интерпретации. Она заключает, что вакуоли — полости внутри клеток — обычно темнее окружающей части клетки, хотя на том же изображении некоторые из них выглядят светлее. Важны оба варианта: изменение фокуса микроскопа может обращать контраст, поэтому более тёмные вакуоли не позволяют вывести общее правило.

Счётные метки Astra не всегда соответствуют отдельным колониям: модель не различает близко расположенные колонии, пропускает видимые и отмечает участки агара без колоний. В результате число колоний на этой чашке завышено примерно на 12% по сравнению с эталонным значением бенчмарка.

Неточный подсчёт колоний напрямую влияет на оценку эффективности введения ДНК в клетки. При неизменных объёме посева и разведении завышение числа колоний завышает эту оценку в той же пропорции.

Чтобы ускорить биологические исследования, нужно правильно выполнять повседневную работу. BioBasicsBench задаёт направления для улучшения этой работы: интерпретация исходных экспериментальных данных, проверка контролей и распознавание необоснованных выводов. Прогресс в решении этих задач может помочь учёным тратить меньше времени на поиск причин проблем и больше — на выбор следующих экспериментов. Отслеживание этих возможностей также поможет нам понять их значение для биобезопасности и биозащиты.