Представљамо GeneBench-Pro
Референтни тест истраживачког нивоа који мери како се агенти вештачке интелигенције сналазе у неодређености и доносе важне процене у рачунарској биологији.
Научни подаци ретко долазе уз упутства. Истраживачи морају да одлуче да ли образац одражава биологију или шум, да ли подаци могу да подрже постављено питање и како сваки резултат треба да промени њихове наредне кораке. Агенти вештачке интелигенције све су способнији да извршавају сложене анализе, али право научно истраживање не зависи само од присећања чињеница или праћења унапред дефинисаног радног тока, већ и од доношења ових процена вишег реда.
Данас представљамо GeneBench-Pro — изазован референтни тест на нивоу истраживања за проверу да ли модели могу да се носе са врстом анализе која се у великој мери ослања на расуђивање, какву захтева рачунарска биологија у стварном свету. Проширује GeneBench(отвара се у новом прозору) тако да обухвати захтевније, реалистичније задатке из области геномике, квантитативне биологије и транслационе медицине, одражавајући сложеност, итеративну природу и нејасноће научног истраживања у рачунарској биологији.
До сада је било мало убедљивих процена одлука на нивоу система које отежавају рачунарска истраживања у стварном свету. То обухвата разрешавање нејасноћа, преиспитивање претпоставки, избор исправног правца анализе и препознавање када је резултат спреман за доношење одлуке. Пошто је тешко формализовати ове вештине, тешко их је и ригорозно проценити, чак и док слабости у њима све више ограничавају укупне перформансе вештачке интелигенције.
GeneBench-Pro је осмишљен да прецизно мери ове способности вишег нивоа. У оквиру GeneBench-Pro, појам „research taste“ дефинишемо као низ одлука које обликују анализу: која питања подаци могу да поткрепе, како рана дијагностика треба да промени модел или естиманд и када почетни план треба ревидирати. Сваки GeneBench-Pro проблем даје моделу реалистичан и неуређен скуп података, кратак експериментални контекст и циљни естиманд повезан са одлуком у каснијој фази. Да би дао тачан одговор, модел мора да истражи податке, изабере одговарајући аналитички приступ, прође кроз итеративни процес експериментисања и пружи коначан одговор.
У биологији, трошкови генерисања података (нпр. секвенцирања генома) драматично су опали, а неки истраживачи сада тврде(отвара се у новом прозору) да ограничавајући фактор више није прикупљање узорака, већ накнадна рачунарска обрада и анализа. GeneBench-Pro је осмишљен да процени напредак у решавању тог уског грла, са 129 питања која покривају широк спектар контекста и метода рачунарске биологије.
Атлас домена: 129 проблема у 10 доменима и 21 поддоменима
Кликните на тачку изнад да бисте сазнали више о референтном проблему.
Овај атлас пружа преглед обима GeneBench-Pro. Посетите страницу студија случаја да бисте детаљније истражили 10 репрезентативних питања.
GeneBench-Pro је такође осмишљен тако да избегне уобичајене грешке у бенчмарковима. Многи дугорочни биолошки бенчмаркови граде вишекорачна питања око неуредних историјских података, где можда не постоји један исправан пут кроз анализу. Један агент може изабрати одбрањиву границу, а други другачију али једнако одбрањиву опцију, што више одражава произвољне изборе аутора бенчмарка него суштинске разлике у перформансама модела. Може се десити и обрнуто: ако је проблем нумерички превише неосетљив, агент може направити суштинске грешке у анализи и ипак добити пролазни резултат.
Да бисмо избегли те начине неуспеха, сваки GeneBench-Pro проблем градимо синтетички: знамо целу каузалну структуру и директно симулирамо процес генерисања података. То нам омогућава да подесимо сложеност сваког проблема, обезбедимо да разумне разлике у субјективним аналитичким изборима и даље дају прихваћене нумеричке резултате и проверимо, кроз аблационе студије, да уверљиве али погрешне анализе не пролазе. Затим ревидирамо нацрте проблема детаљним анализама трагова како бисмо проверили цурење информација и ненамерне путеве до решења. То нам даје сигурност да тачан одговор зависи од избора исправног аналитичког пута, а не од коришћења пречице или погађања произвољне ауторске склоности.
Послали смо 82 од 129 питања из GeneBench-Pro екстерним стручњацима из области, укључујући студенте постдипломских студија, постдокторске истраживаче, научнике из индустрије и професоре. Рецензенти су процењивали реалистичност сваког проблема, да ли је циљни одговор био препознатљив и да ли су методе и естиматори били одговарајући. Повратне информације су коришћене за побољшање проблема.
“Задаци које сам прегледао/-ла били би изазовни за студента постдипломских студија да их реши без вишекратних повратних информација од искусног ментора. Подаци су садржали техничке проблеме и проблеме контроле квалитета који су захтевали промишљену и рефлексивну анализу података, уз свест о потенцијалним замкама, како би се успешно завршили; није се радило само о примени стандардне методе на чисте и добро куриране податке.”
“Чак и ако тренутни модели нису у стању да поуздано спроводе независне анализе од почетка до краја, они који постижу добре резултате на GeneBench-Pro проблемима јасно би могли да помогну истраживачима у одређивању исправних токова рада и истраживању података. Видим да то значајно унапређује брзину, темељност и поновљивост истраживања.”
Svaki GeneBench-Pro problem je samostalna naučna analiza. Агенти добијају приступ изолованом радном простору са кратком инструкцијом, датотекама са подацима и стандардним биоинформатичким скупом алата који укључује Python, библиотеке за научно рачунарство и основне пакете за геномику као што је PLINK 2.0 (иако задаци не захтевају алате специфичне за домен).
Одлука о односу користи и ризика терапије тумора заснована на структурним варијантама
Пошто контролишемо целокупан процес генерисања података, можемо детерминистички да оцењујемо исправност у односу на познате циљне вредности, избегавајући варијабилност избора модела и ефекте опширности који се јављају у стандардној евалуацији заснованој на рубрикама.
Сваки задатак такође садржи богате метаподатке, укључујући предвиђену структуру анализе, приложене датотеке са подацима, детаљну студију случаја на више страница и резултате стручне рецензије. У потпуности објављујемо 10 репрезентативних питања GeneBench-Pro као отворени ресурс на Hugging Face(отвара се у новом прозору), уз интерактивни веб-интерфејс за њихово прегледање. На крају, доставићемо подскуп од 50 питања Artificial Analysis(отвара се у новом прозору) за независно референтно тестирање треће стране у блиској будућности.
Наш најјачи модел, GPT‑5.6 Sol, достиже стопу пролазности од 28,7% на највишем нивоу резоновања (31,5% када је омогућен режим Pro). То је нагло повећање у односу на период када смо почели да градимо оригинални GeneBench; у то време, наш најбољи гранични модел, GPT‑5, имао је резултат испод 5%. Напредак на овом референтном тесту указује на то да се гранични модели брзо побољшавају, чак и у мање опипљивом научном резоновању на нивоу система. Овим темпом, овај референтни тест би могао да буде засићен до краја године.
Резултати такође показују утицај скалирања рачунарских ресурса током тестирања. На најнижем нивоу резоновања, GPT‑5.6 Sol остварује само једноцифрену стопу пролазности. На највишем нивоу резоновања, GPT‑5.6 Sol решава готово шест пута више питања од GPT‑5.2 то ради користећи отприлике две трећине тог броја токена.
Поређења међу породицама модела указују на то да су GPT модели међу најјачим системима за научно резоновање на високом нивоу у условима квантитативне неизвесности. Разлика у перформансама између GPT‑5.6, Разлика између GPT‑5.5 и водећих модела отвореног кода, као што је GLM 5.2, знатно је већа него што бисмо очекивали када екстраполирамо на основу бенчмаркова за програмирање(отвара се у новом прозору), што указује на то да су модели отвореног кода више специјализовани за програмирање него за ширу способност резоновања.
Користили смо граничне GPT моделе за процену и додатно ојачавање проблема током развоја. Због тога смо посумњали да би GeneBench-Pro могао бити пристрасан на штету GPT модела у односу на друге породице модела. Међутим, конкурентски модели су у најбољем случају достизали перформансе одговарајућег GPT модела у тренутку објављивања, а углавном су знатно заостајали.
Ови резултати евалуације – који достижу чак 31,5% на GPT‑5.6 Sol (Pro) – упечатљиви су с обзиром на тежину питања у GeneBench-Pro. У анкети су наши рецензенти проценили да би типичан GeneBench-Pro задатак људском стручњаку одузео око 20–40 сати да га заврши. Уз конзервативну процену од 200 УСД по сату, трошак људског рада за један проблем износи на хиљаде долара. Тренутни агенти вештачке интелигенције и даље су превише непоуздани да би заменили људске стручњаке, али је разлика у трошковима велика, при чему трошкови инференције износе свега неколико долара по проблему. То значи да би чак и делимична аутоматизација, уз тренутне могућности, могла да створи значајну економску и научну вредност.
“Референтни тестови су мотивисани разноликим низом биолошких питања, али… стварни изазов произлази из истраживачке анализе података и резоновања на основу ових открића: идентификовања образаца и артефаката и одлучивања о томе да ли податке треба искључити или кориговати. Ово подсећа на неуређену природу стварних биолошких скупова података. Преглед ових процена истиче колико су важни јасни уговори са решавачима за научно решавање проблема засновано на агентима. Различита формулација инструкције или спецификација задатка може значајно утицати на то које анализе делују као дозвољене.”
“Углавном су ми се свидела [питања]. Они су обично имали мешавину: (1) неопходног познавања области, као што је C>T пристрасност у древној ДНК, (2) недоследности у подацима, као што су замене порекла, (3) одређеног познавања одговарајућих аналитичких алата за дати задатак и начина њихове примене. Чинило се да већина агената није успела у (2). Нису довољно опрезни у вези са проблемима са подацима. Можда то указује на слабост тренутних модела. А многи биолошки подаци садрже неправилности.”
Ипак, чињеница да гранични модели и даље решавају мање од трећине ових проблема показује да постоји значајан простор за побољшање. Модели могу да остваре делимичан напредак у решавању изазовних проблема, али им је тешко да затворе петљу закључивања. Овај образац неуспеха одражава контраст између људских стручњака и почетника. Стручњаци користе своје искуство да сагледају проблем у одговарајућем оквиру и прилагоде свој приступ, док почетници износе запажања, али им је тешко да их уклопе у шири контекст проблема.
Проблем: Фармакогеномски одговор типа „време до догађаја“ са временски променљивим третманом
GPT-5.5 образац
GPT-5.6 Sol образац
Постизање готово савршених перформанси захтеваће евалуације које истовремено поуздано мере напредак и идентификују где модели и даље подбацују. Референтни тестови као што је GeneBench-Pro могу да помогну да се нејасан недостатак у способностима претвори у нешто што можемо да дијагностикујемо и побољшамо.
Ако агенти могу поуздано да аутоматизују ову врсту анализе, могли би значајно да убрзају научна открића. Генетички докази код људи већ су од кључног значаја за приоритизацију терапијских мета и даље транслационо праћење, јер је много већа вероватноћа да ће механизми поткрепљени генетичким доказима довести до одобрених терапија.
Истовремено, трошкови секвенцирања су драстично пали, а скупови података размера биобанки сада повезују молекуларне, фенотипске и здравствене податке у невиђеној ширини. Ограничавајући фактор се помера са генерисања података на претварање информација у увиде на основу којих се може деловати. Модели који могу доследно да обављају анализе које тренутно спроводе тимови људских стручњака могли би да трансформишу индустријска истраживања убрзавањем тријажe хипотеза, праћења циљева и циклуса итерације између генерисања података и доношења одлука.
GeneBench-Pro представља почетни покушај да се процене апстрактније вештине које су део доброг научног расуђивања које поседују искусни стручњаци. Ове вештине им омогућавају да интуитивно процене и идентификују најперспективније почетне анализе, да итеративно преиспитују и ревидирају своје размишљање када подаци противрече почетним претпоставкама, и да дођу до закључака од којих могу зависити накнадне клиничке, академске или пословне одлуке.
Очекујемо да ће, како способности модела буду напредовале, референтни тестови који испитују способности модела на овим вишим нивоима апстракције постајати све кориснији, изван оних који једноставно тестирају књишко знање или способност извођења рутинских анализа.
