Представяме GeneBench-Pro
Еталон на изследователско ниво, който измерва как ИИ агенти се ориентират в двусмислеността и правят преценки със значими последици в изчислителната биология.
Научните данни рядко идват с указания. Изследователите трябва да преценят дали дадена закономерност отразява биологични фактори или шум, дали данните могат да подкрепят поставения въпрос и как всеки резултат трябва да промени следващите им действия. Агентите с ИИ стават все по-способни да извършват сложни анализи, но реалните научни изследвания зависят не само от припомнянето на факти или следването на предварително определен работен процес, а и от правенето на тези по-сложни когнитивни преценки.
Днес представяме GeneBench-Pro – предизвикателен, изследователски еталон за тестване дали моделите могат да се справят с анализа, изискващ задълбочена преценка, какъвто е необходим в реалната изчислителна биология. Той надгражда GeneBench(отваря се в нов прозорец), за да обхване по-трудни и по-реалистични задачи в областта на геномиката, количествената биология и транслационната медицина, като улавя сложността, итеративния характер и нееднозначността на научните изследвания в изчислителната биология.
Към днешна дата има малко убедителни оценки на системните преценки, които затрудняват изследванията с изчислителни методи в реални условия. Те включват справяне с неяснотата, преразглеждане на предположенията, избор на правилния аналитичен път и разпознаване кога даден резултат е готов да послужи за вземане на решение. Тъй като тези умения трудно се формализират, те също така трудно се оценяват строго, макар че слабостите в тях все повече ограничават цялостното представяне на ИИ.
GeneBench-Pro е проектиран да измерва прецизно тези способности от по-високо ниво. В рамките на GeneBench-Pro определяме „изследователски усет“ като веригите от експертни преценки, които оформят даден анализ: кои въпроси могат да бъдат подкрепени от данните, как ранните диагностични проверки трябва да променят модела или оценяваната величина и кога първоначалният план трябва да бъде преразгледан. Всяка задача в GeneBench-Pro предоставя на модела реалистичен и неорганизиран набор от данни, кратък експериментален контекст и целеви оценяем параметър, свързан с последващо решение. За да отговори правилно, моделът трябва да изследва данните, да избере подходящ аналитичен подход, да участва в итеративен процес на експериментиране и да предостави окончателен отговор.
В биологията разходите за генериране на данни (напр., геномно секвениране) спаднаха драстично, а някои учени вече твърдят(отваря се в нов прозорец), че ограничаващият фактор вече не е събирането на проби, а последващата изчислителна обработка и анализ. GeneBench-Pro е създаден, за да оценява напредъка в преодоляването на това ограничение, като включва 129 въпроса, обхващащи широк спектър от приложения и методи в изчислителната биология.
Атлас на домейни: 129 проблема в 10 домейни и 21 поддомейни
Щракнете върху точка по-горе, за да научите повече за еталонната задача.
Този атлас предоставя предварителен поглед върху обхвата на GeneBench-Pro. Посетете страницата с казуси, за да разгледате по-подробно 10 представителни въпроса.
GeneBench-Pro също е проектиран така, че да избягва често срещани неуспехи при еталоните. Много биологични еталони с дълъг хоризонт изграждат многостъпкови въпроси около нееднородни исторически набори от данни, при които може да няма един-единствен правилен подход към анализа. Един агент може да избере един обоснован праг, докато друг може да избере различен, но също толкова обоснован вариант, което отразява повече произволните решения, взети от създателя на еталона, отколкото каквито и да било фундаментални разлики в производителността на модела. Може да се случи и обратното: ако даден проблем е твърде нечувствителен към числените стойности, агентът може да допусне фундаментални грешки в анализа и въпреки това да изведе приемлив резултат.
За да се избегнат тези проблеми, всяка задача в GeneBench-Pro е изградена синтетично: известна е цялата причинно-следствена структура и процесът, пораждащ данните, се симулира пряко. Това ни позволява да настройваме сложността на всяка задача, да гарантираме, че разумните различия в субективните аналитични избори все пак водят до приемливи числени резултати, и да проверяваме (чрез аблационни изследвания), че правдоподобните, но неправилни анализи се провалят. След това проверяваме черновите на задачите чрез подробни анализи на следите, за да открием изтичане на информация и непредвидени пътища към решението. Това ни дава увереност, че достигането до правилния отговор зависи от избора на правилния аналитичен подход, а не от използването на заобиколен път или от съобразяването с произволно предпочитание на автора.
Изпратихме 82 от 129-те въпроса на GeneBench-Pro на външни експерти в съответната област, включително студенти в магистърски и докторски програми, постдокторанти, учени от индустрията и професори. Рецензентите оцениха реалистичността на всяка задача, дали целевият отговор може да бъде идентифициран и дали методите и оценителите са подходящи. Обратната връзка беше използвана за подобряване на проблемите.
“Проблемите, които прегледах, биха били предизвикателни за магистърски студент за успешно завършване без многократна обратна връзка от опитен научен ръководител. Данните съдържаха технически проблеми и проблеми с контрола на качеството, които изискваха внимателен и задълбочен анализ на данните с отчитане на потенциалните рискове, за да бъде задачата изпълнена успешно, Не ставаше дума просто за прилагане на готов метод върху чисти и добре подбрани данни.”
“Дори ако настоящите модели не са в състояние надеждно да изпълняват самостоятелни анализи от начало до край, тези, които се справят добре със задачите от GeneBench-Pro, очевидно биха могли да помагат на изследователите при определянето на правилните работни процеси и проучването на данни. Виждам, че това би подобрило значително темпа, задълбочеността и възпроизводимостта на научните изследвания.”
Всяка задача на GeneBench-Pro представлява самостоятелен научен анализ. Агентите получават достъп до изолирано работно пространство с кратка подкана, файлове с данни и стандартен биоинформатичен стек, включващ Python, библиотеки за научни изчисления и базови пакети за геномика като PLINK 2.0 (въпреки че задачите не изискват инструменти, специфични за областта).
Решение за съотношението полза-риск при терапия на тумори, ръководена от структурни варианти
Тъй като контролираме целия процес на генериране на данни, можем да оценяваме коректността детерминистично спрямо известни целеви резултати, като избягваме изменчивостта при избора на модел и ефектите от многословността, срещани при оценяване, базирано на стандартни рубрики.
Всяка задача също така е придружена от богати метаданни, включително предвидената структура на анализа, прикачени файлове с данни, подробно казусно проучване в множество страници и резултатите от експертната оценка. Публикуваме като напълно отворен ресурс 10 представителни въпроса от GeneBench-Pro в Hugging Face(отваря се в нов прозорец), с интерактивен уеб интерфейс за разглеждането им. И накрая, в близко бъдеще ще предоставим поднабор от 50 въпроса на Artificial Analysis(отваря се в нов прозорец) за независима сравнителна оценка от трета страна.
Най-силният ни модел, GPT‑5.6 Sol, постига процент на успешно преминаване от 28,7% при най-високото ниво на структурирано анализиране (31,5% с активиран режим Pro). Това е рязко увеличение спрямо момента, когато започнахме да изграждаме оригиналния GeneBench; по онова време нашият най-добър авангарден модел, GPT‑5, постигаше резултат под 5%. Напредъкът по този еталон подсказва, че авангардните модели се усъвършенстват бързо дори при по-малко осезаемо структурирано анализиране на системно ниво. При сегашното темпо този еталон може да достигне насищане до края на годината.
Резултатите също показват въздействието от мащабирането на изчислителните ресурси по време на тестване. При най-ниското ниво на структурирано анализиране GPT‑5.6 Sol постига едва едноцифрен процент на успеваемост. При най-високото ниво на структурирано анализиране GPT‑5.6 Sol решава почти шест пъти повече въпроси от GPT‑5.2, като използва около две трети от броя на токен.
Сравнения между различни семейства модели показват, че GPT моделите са сред най-силните системи за структурирано анализиране на високо ниво при количествена неопределеност. Разликата в производителността между GPT‑5.6, GPT‑5.5 и водещи модели с отворен код като GLM 5.2 е значително по-голяма, отколкото бихме очаквали при екстраполиране въз основа на еталоните за програмиране(отваря се в нов прозорец), което показва, че моделите с отворен код са по-специализирани за програмиране, отколкото за по-широко структурирано анализиране.
Използвахме авангарден GPT модел, за да оценяваме и затвърждаваме задачите по време на разработката. Поради това подозирахме, че GeneBench-Pro може да е пристрастен към GPT моделa спрямо други семейства модели. Въпреки това, моделите на конкурентите в най-добрия случай се изравняваха с производителността на съответния GPT модел към момента на пускането му и обикновено изоставаха значително.
Тези резултати от оценяването – достигащи до 31,5% при GPT‑5.6 Sol (Pro) – са впечатляващи предвид трудността на въпросите в GeneBench-Pro. В анкета нашите оценители прецениха, че изпълнението на типична задача от GeneBench-Pro би отнело на експерт човек около 20 – 40 часа. При консервативна оценка от 200 $ на час това поставя разходите за човешки труд за един-единствен проблем в диапазона на хиляди долари. Сегашните агенти с изкуствен интелект все още са твърде ненадеждни, за да заменят човешките експерти, но разликата в разходите е голяма, като разходите за инференция са едва няколко долара на задача. Това означава, че дори частична автоматизация при настоящите възможности би могла да създаде значителна икономическа и научна стойност.
“Еталоните са мотивирани от разнообразен набор от биологични въпроси, но действителното предизвикателство идва от проучвателния анализ на данните и разсъжденията върху тези открития: идентифициране на закономерности и артефакти и вземане на решение дали данните трябва да бъдат изключени или коригирани. Това наподобява хаотичния характер на реалните набори от биологични данни. Прегледът на тези оценки подчертава колко важни са ясните договори за решаващите при агентно-базираното научно решаване на задачи. Различната формулировка на подкана или спецификацията на задачата може значително да повлияе на това кои анализи изглеждат допустими.”
“Като цяло харесах [въпросите]. Обикновено представляваха комбинация от: (1) необходимите познания по темата, като например C>T изкривяване в древната ДНК, (2) несъответствия в данните, като например размени на произход, (3) познания за подходящите аналитични инструменти за конкретната задача и как да бъдат приложени. Изглеждаше, че повечето агенти не се справиха с (2). Те не са достатъчно внимателни по отношение на проблемите с данните. Може би това откроява слабост на настоящите модели. И голяма част от биологичните данни съдържат нередности.”
И все пак фактът, че авангарден модел все още решават по-малко от една трета от тези задачи, показва, че има значително място за подобрение. Моделите могат да постигат частичен напредък по трудни проблеми, но трудно успяват да затворят цикъла на умозаключенията. Този модел на неуспех отразява контраста между човешките експерти и начинаещите. Експертите използват опита си, за да очертаят рамката на проблема и да адаптират подхода си, докато начинаещите правят наблюдения, но се затрудняват да ги интегрират в по-широкия контекст на проблема.
Проблем: фармакогеномен отговор тип „време-до-събитие“ с променящо се във времето лечение
шаблон GPT-5.5
GPT-5.6 Sol шаблон
Постигането на почти безупречно представяне ще изисква оценки, които едновременно надеждно измерват напредъка и идентифицират къде моделите все още се провалят. Еталонни тестове като GeneBench-Pro могат да помогнат да превърнем неясен дефицит в способностите в нещо, което можем да диагностицираме и подобрим.
Ако агентите могат надеждно да автоматизират този тип анализ, те биха могли значително да ускорят научните открития. Данните от човешката генетика вече са от ключово значение за приоритизирането на терапевтични мишени и последващите транслационни изследвания, тъй като механизмите, подкрепени от генетични данни, имат много по-голяма вероятност да доведат до одобрени терапии.
Междувременно разходите за секвениране намаляха драстично, а наборите от данни с мащаба на биобанки вече свързват молекулярни, фенотипни и медицински данни с безпрецедентен обхват. Ограничаващият фактор се измества от генерирането на данни към превръщането на информацията в практически приложими прозрения. Модели, които могат надеждно да извършват анализи, понастоящем изпълнявани от екипи от човешки експерти, биха могли да трансформират индустриалните изследвания, като ускорят приоритизирането на хипотези, последващата проверка на цели и итерационния цикъл между генерирането на данни и вземането на решения.
GeneBench-Pro представлява първоначален опит за оценка на по-абстрактните умения, свързани с добрата научна преценка, притежавана от опитни специалисти. Тези умения позволяват на експертите интуитивно да преценяват и да идентифицират най-перспективните първоначални анализи, итеративно да развиват и преразглеждат мисленето си, когато данните противоречат на първоначалните предположения, и да достигат до заключения, от които могат да зависят последващи клинични, академични или бизнес решения.
Очакваме, че с напредването на възможностите на моделите, еталоните, които изследват способностите на моделите на тези по-високи нива на абстракция, ще стават все по-полезни – отвъд онези, които просто проверяват теоретични знания или способността за извършване на рутинни анализи.
