Претставување на GeneBench-Pro
Мерка на истражувачко ниво што ја мери способноста на агентите со вештачка интелигенција да се снаоѓаат низ нејаснотиите и да донесуваат значајни одлуки во пресметковна биологија.
Научните податоци ретко доаѓаат со упатства. Истражувачите мора да одлучат дали некој образец одразува биологија или шум, дали податоците можат да го поддржат прашањето што се поставува и како секој резултат треба да влијае на тоа што ќе направат понатаму. Агентите со вештачка интелигенција сè повеќе се способни да извршуваат сложени анализи, но вистинското научно истражување не зависи само од присетување на факти или следење однапред дефиниран работен тек, туку и од донесување вакви судови од повисок ред.
Денес го претставуваме GeneBench-Pro – предизвикувачки тест на истражувачко ниво за проверка дали моделите можат да извршат анализа што бара голема мерка на расудување, како што е потребно во реалната компјутерска биологија. Се надоврзува на GeneBench(се отвора во нов прозорец) за да опфати потешки, пореалистични задачи во геномиката, квантитативната биологија и транслациската медицина, доловувајќи ги сложеноста, итеративната природа и двосмисленоста на научното истражување во компјутерската биологија.
Досега имало малку убедливи оценки за системските проценки што го отежнуваат пресметковното истражување во реални услови. Тие вклучуваат справување со нејаснотии, ревидирање на претпоставките, избор на правилниот пат на анализа и знаење кога резултатот е подготвен за донесување одлука. Бидејќи овие вештини се тешки за формализирање, исто така е тешко да се оценат ригорозно, иако слабостите во нив сè повеќе ги ограничуваат севкупните перформанси на вештачката интелигенција.
GeneBench-Pro е дизајниран за прецизно мерење на овие способности од повисоко ниво. Во рамките на GeneBench-Pro, го дефинираме „истражувачки вкус“ како низа од проценки што ја обликуваат анализата: кои прашања податоците можат да ги поткрепат, како раните дијагностики треба да го променат моделот или естимандот, и кога почетниот план треба да се ревидира. Секоја задача во GeneBench-Pro му дава на моделот реалистичен и неуреден збир на податоци, краток експериментален контекст и целна естиманда поврзана со последователна одлука. За да одговори точно, моделот мора да ги истражи податоците, да избере соодветен аналитички пристап, да се вклучи во итеративен процес на експериментирање и да даде конечен одговор.
Во биологијата, трошоците за генерирање податоци (на пр., секвенционирање геноми) драматично се намалија, а некои истражувачи сега тврдат(се отвора во нов прозорец) дека ограничувачкиот фактор веќе не е собирањето примероци, туку последователната пресметка и анализа. GeneBench-Pro е создаден за да го процени напредокот во справувањето со тоа тесно грло, со 129 прашања што опфаќаат широк опсег на поставки и методи од пресметковната биологија.
Атлас на домени: 129 проблеми во 10 домени и 21 поддомени
Кликнете на точка погоре за да дознаете повеќе за одредница.
Овој атлас нуди преглед на широчината на GeneBench-Pro. Посетете ја страницата со студии на случај за подетално да истражите 10 репрезентативни прашања.
GeneBench-Pro е дизајниран да избегнува вообичаени неуспеси кај реперите. Многу биолошки реперови со долг хоризонт конструираат прашања во повеќе чекори околу неуредни историски множества на податоци, каде што можеби не постои единствен исправен пат низ анализата. Еден агент може да избере еден одбранлив праг, додека друг може да избере различна, но подеднакво одбранлива опција, што повеќе ги одразува произволните избори направени од креаторот на реперот отколку некакви фундаментални разлики во перформансите на моделот. Може да се случи и обратното: ако проблемот е премногу нумерички нечувствителен, агентот може да направи фундаментални грешки во анализата, а сепак да добие резултат што поминува.
За да се избегнат овие режими на неуспех, секој проблем во GeneBench-Pro е синтетички конструиран: ја знаеме целосната причинско-последична структура и директно го симулираме процесот на генерирање податоци. Тоа ни овозможува да ја приспособиме сложеноста на секој проблем, да осигуриме дека разумните разлики во субјективните аналитички избори, сепак, даваат прифатени нумерички резултати и да потврдиме (преку студии на елиминација) дека веродостојните, но неточни анализи не поминуваат. Потоа ги ревидираме нацртите на задачите преку детални анализи на трагите, за да провериме дали има протекување на информации и ненамерни патишта до решението. Ова ни дава уверување дека добивањето на точниот одговор зависи од изборот на правилниот аналитички пат, а не од искористување на краток пат или усогласување со произволна претпочитаност на авторот.
Испративме 82 од 129-те прашања на GeneBench-Pro до надворешни експерти од областа, вклучувајќи студенти на постдипломски студии, постдокторски истражувачи, научници од индустријата и професори. Рецензентите ја оценуваа реалистичноста на секој проблем, дали целниот одговор можеше да се идентификува и дали методите и естиматорите беа соодветни. Повратните информации беа искористени за подобрување на проблемите.
“Проблемите што ги прегледав би биле предизвик за постдипломец да ги заврши без повторливи повратни информации од искусен ментор. Податоците содржеа технички проблеми и проблеми со контрола на квалитетот што бараа промислена и рефлексивна анализа, со свест за можните замки, за успешно да се завршат; не стануваше збор само за примена на готов метод врз чисти и добро уредени податоци.”
“Дури и ако тековните модели не се способни сигурно да спроведуваат независни анализи од почеток до крај, оние што имаат добри резултати на проблемите од GeneBench-Pro јасно би можеле да им помогнат на истражувачите при одредувањето на правилните работни текови и истражувањето на податоците. Можам да видам дека тоа значително ќе го подобри темпото, темелноста и репродуцибилноста на истражувањето.”
Секоја задача на GeneBench-Pro претставува самостојна научна анализа. Агентите добиваат пристап до изолиран работен простор со краток промпт, датотеки со податоци и стандарден биоинформатички стек, вклучувајќи Python, библиотеки за научно пресметување и основни геномски пакети како PLINK 2.0 (иако задачите не бараат алатки специфични за доменот).
Одлука за соодносот корист-ризик при терапија на тумор, водена од структурни варијанти
Бидејќи го контролираме целиот процес на генерирање податоци, можеме детерминистички да ја оценуваме точноста според познати целни резултати, избегнувајќи ја варијабилноста од изборот на модел и ефектите од опширноста што се среќаваат кај стандардното оценување засновано на рубрики.
Секој проблем исто така доаѓа со богати метаподатоци, вклучувајќи ја предвидената структура на анализата, приложени датотеки со податоци, детална студија на случај на повеќе страници и резултати од експертски преглед. Целосно објавуваме 10 репрезентативни прашања од GeneBench-Pro како отворен код на Hugging Face(се отвора во нов прозорец), со интерактивен веб-интерфејс за нивно прелистување. На крај, во блиска иднина ќе доставиме подмножество од 50 прашања до Artificial Analysis(се отвора во нов прозорец) за независно споредбено оценување од трета страна.
Нашиот најсилен модел, GPT‑5.6 Sol, постигнува стапка на успешност од 28,7 % на највисокото ниво на расудување (31,5 % со овозможен режим Pro). Тоа е нагло зголемување во споредба со времето кога почнавме да го развиваме оригиналниот GeneBench; во тоа време, нашиот најдобар граничен модел, GPT‑5, постигнуваше резултат под 5 %. Напредокот на овој репер сугерира дека граничен модел брзо се подобрува, дури и кај помалку опипливото научно расудување на системско ниво. Со ова темпо, оваа одредница може да биде заситена до крајот на годината.
Резултатите исто така го покажуваат влијанието од скалирањето на пресметковните ресурси за време на тестирање. На најниското ниво на расудување, GPT‑5.6 Sol постигнува само едноцифрена стапка на успешност. На највисокото ниво на расудување, GPT‑5.6 Sol решава речиси шест пати повеќе прашања од GPT‑5.2. го прави тоа, притоа користејќи околу две третини од бројот на токени.
Споредбите меѓу семејствата на модели укажуваат дека GPT моделите се меѓу најсилните системи за научно расудување на високо ниво во услови на квантитативна неизвесност. Разликата во перформансите помеѓу GPT‑5.6, Јазот меѓу GPT‑5.5 и водечките модели со отворен код, како што е GLM 5.2, е значително поголем отколку што би очекувале кога екстраполираме од реперови за кодирање(се отвора во нов прозорец), што укажува дека моделите со отворен код се повеќе специјализирани за кодирање отколку за поширока способност за расудување.
Користевме гранични GPT модели за да ги оцениме и подобриме проблемите за време на развојот. Поради тоа, се сомневавме дека GeneBench-Pro можеби е пристрасен кон GPT моделите во споредба со други семејства на модели. Сепак, конкурентските модели во најдобар случај се изедначуваа со перформансите на соодветниот GPT модел во времето на неговото објавување и имаа тенденција значително да заостануваат.
Овие резултати од евалуацијата — дури 31,5 % на GPT‑5.6 Sol (Pro) — се впечатливи со оглед на тежината на прашањата од GeneBench-Pro. Во анкета, нашите рецензенти проценија дека на човечки експерт би му биле потребни околу 20–40 часа за да заврши типична задача од GeneBench-Pro. При конзервативна проценка од 200 американски долари на час, трошокот за човечки труд за еден единствен проблем достигнува илјадници долари. Сегашните AI агенти сè уште се премногу ненадежни за да ги заменат човечките експерти, но разликата во трошоците е голема, при што трошоците за инференција изнесуваат само неколку долари по проблем. Тоа значи дека дури и делумна автоматизација со сегашните можности би можела да создаде значајна економска и научна вредност.
“Референтните тестови се мотивирани од разновидни биолошки прашања, но … вистинскиот предизвик произлегува од истражувачката анализа на податоци и расудувањето врз основа на овие откритија: препознавање обрасци и артефакти и одлучување дали податоците треба да се исклучат или прилагодат. Ова наликува на неуредната природа на вистинските биолошки збирки податоци. Прегледот на овие евалуации покажува колку се важни јасните договори за решавачите во агентско научно решавање проблеми. Различна формулација на промптот или спецификација на задачата може силно да влијае на тоа кои анализи изгледаат дозволени.”
“Главно, ми се допадна [прашањето]. Тие обично имаа мешавина од: (1) потребно знаење за областа, како што е C>T пристрасноста кај древна ДНК, (2) несовпаѓања во податоците, како што се замени на потеклото, (3) одредено знаење за соодветните аналитички алатки за конкретната задача и како да се имплементираат. Се чинеше дека повеќето од агентите не успеаја на (2). Тие не се доволно претпазливи во врска со проблемите со податоците. Можеби тоа истакнува слабост на сегашните модели. И многу биолошки податоци имаат неправилности.”
Сепак, фактот што граничните модели сè уште решаваат помалку од една третина од овие проблеми покажува дека има значителен простор за подобрување. Моделите можат да постигнат делумен напредок кај предизвикувачки проблеми, но имаат тешкотии да го затворат заклучувачкиот круг. Оваа шема на неуспех го одразува контрастот меѓу експертите и новајлиите. Експертите го користат своето искуство за да го дефинираат проблемот и да го приспособат својот пристап, додека почетниците прават набљудувања, но им е тешко да ги интегрираат во поширокиот контекст на проблемот.
Проблем: Фармакогеномски одговор време-до-настан со временски променлива терапија
GPT-5.5 образец
GPT-5.6 Sol образец
Постигнувањето речиси совршени перформанси ќе бара евалуации што истовремено сигурно го мерат напредокот и идентификуваат каде моделите сè уште потфрлаат. реперови како GeneBench-Pro можат да помогнат нејасен недостаток во способностите да се претвори во нешто што можеме да го дијагностицираме и подобриме.
Ако агентите можат надежно да го автоматизираат овој тип анализа, би можеле значително да го забрзаат научното откривање. Човечките генетски докази веќе се од централно значење за приоритизацијата на целни молекули и за транслациско следење, бидејќи механизмите со генетска поткрепа имаат многу поголема веројатност да доведат до одобрени третмани.
Во меѓувреме, трошоците за секвенционирање драстично опаднаа, а податоците од биобанки сега ги поврзуваат молекуларните, фенотипските и информациите од досиејата за Здравје со невиден опфат. Ограничувачкиот фактор се поместува од генерирање податоци кон претворање на информациите во применливи сознанија. Модели што можат доследно да вршат анализи кои сега ги изведуваат тимови човечки експерти, би можеле да ги трансформираат индустриските истражувања преку забрзување на селекцијата на хипотезите, понатамошното следење на целите и циклусот на итерација меѓу генерирањето податоци и донесувањето одлуки.
GeneBench-Pro претставува првичен напор да се оценат поапстрактните вештини вклучени во доброто научно расудување што ги поседуваат искусни научници. Овие вештини им овозможуваат интуитивно да ги насетат и идентификуваат најперспективните првични анализи, да го повторуваат процесот и да го ревидираат своето размислување кога податоците се во спротивност со првичните претпоставки, и да дојдат до заклучоци од кои може да зависат последователни клинички, академски или деловни одлуки.
Очекуваме дека, како што ќе напредуваат способностите на моделите, реперите што ги испитуваат способностите на моделите на овие повисоки нивоа на апстракција ќе стануваат сè покорисни, надминувајќи ги оние што едноставно тестираат теоретско знаење или способност за извршување рутински анализи.
