GeneBench-Pro-ны таныстырамыз
ЖИ агенттері есептеу биологиясында екіұштылық жағдайында қалай бағдар табатынын және салдары маңызды пайымдау шешімдерін қалай қабылдайтынын өлшейтін зерттеу деңгейіндегі бенчмарк.
Ғылыми деректер сирек жағдайда нұсқаулықпен бірге келеді. Зерттеушілер үлгі биологияны ма, әлде шуды ма көрсететінін, деректер қойылған сұраққа жауап беруге жеткілікті ме екенін және әр нәтиже келесі әрекеттерін қалай өзгертуі керегін шешуі тиіс. ЖИ агенттері күрделі талдауларды орындауға барған сайын қабілетті болып келеді, бірақ нақты ғылыми зерттеу фактілерді еске түсіру немесе алдын ала белгіленген жұмыс процесін орындаумен ғана шектелмейді; ол осы жоғары деңгейлі пайымдарды жасауды да талап етеді.
Бүгін біз GeneBench-Pro-ды таныстырамыз — нақты әлемдегі есептеу биологиясы талап ететін күрделі пайымдауға негізделген талдауды модельдер орындай ала ма екенін тексеруге арналған күрделі, зерттеу деңгейіндегі бенчмарк. Ол GeneBench(жаңа терезеде ашылады) негізін кеңейтіп, геномика, сандық биология және трансляциялық медицинадағы қиынырақ әрі шынайырақ тапсырмаларды қамтиды, есептеу биологиясындағы ғылыми зерттеудің күрделілігін, итеративті сипатын және екіұштылығын көрсетеді.
Осы уақытқа дейін нақты әлемдегі есептеу зерттеулерін қиындататын жүйелік деңгейдегі пайым шешімдерінің сенімді бағалауы аз болды. Бұған екіұштылықпен жұмыс істеу, жорамалдарды қайта қарау, дұрыс талдау жолын таңдау және нәтиженің шешім қабылдауға қашан дайын екенін білу кіреді. Бұл дағдыларды формалдау қиын болғандықтан, оларды қатаң бағалау да қиын; ал осы дағдылардағы әлсіздіктер жалпы ЖИ өнімділігін барған сайын шектеп отыр.
GeneBench-Pro дәл осы жоғары деңгейлі қабілеттерді нақты өлшеуге арналған. GeneBench-Pro аясында біз «зерттеу талғамын» талдауды қалыптастыратын пайымдау шешімдерінің тізбегі деп анықтаймыз: деректер қандай сұрақтарға жауап беруге негіз бола алады, ерте диагностика модельді немесе бағаланатын шаманы қалай өзгертуі тиіс және бастапқы жоспарды қашан қайта қарау қажет. Әр GeneBench-Pro есебі модельге шынайы әрі ретсіз деректер жиынын, қысқа эксперименттік контексті және кейінгі шешімге байланысқан нысаналы бағаланатын шаманы береді. Дұрыс жауап беру үшін модель деректерді зерттеп, тиісті талдамалық тәсілді таңдауы, эксперимент жүргізудің итеративті процесіне қатысуы және соңғы жауап ұсынуы керек.
Биологияда деректерді өндіру құны, мысалы, геномды секвенирлеу құны күрт төмендеді, ал кейбір зерттеушілер қазір(жаңа терезеде ашылады) шектеуші фактор үлгі жинау емес, кейінгі есептеу мен талдау деп санайды. GeneBench-Pro осы тар жерді еңсерудегі ілгерілеуді бағалау үшін жасалған және есептеу биологиясының кең ауқымды жағдайлары мен әдістерін қамтитын 129 сұрақтан тұрады.
Домен атласында 129 мәселе 10 доменде және 21 қосалқы доменде бар
Эталондық есеп туралы білу үшін жоғарыдағы нүктенің бірін басыңыз.
Бұл атлас GeneBench-Pro ауқымы туралы алдын ала шолу ұсынады. 10 репрезентативті сұрақты толығырақ қарау үшін жағдайлық зерттеулер бетіне өтіңіз.
GeneBench-Pro сондай-ақ бенчмарктерде жиі кездесетін қателіктерден сақтануға арналған. Көптеген ұзақ мерзімді биология бенчмарктері ретсіз тарихи деректер жиындары негізінде көпқадамды сұрақтар құрады. Бір агент қорғауға болатын бір шекті таңдауы, ал екіншісі басқа, бірақ дәл сондай қорғалатын нұсқаны таңдауы мүмкін; бұл модель өнімділігіндегі түбегейлі айырмадан гөрі бенчмарк жасаушысының ерікті таңдауларын көбірек көрсетеді. Кері жағдай да болуы мүмкін: мәселе сандық тұрғыдан тым сезімтал болмаса, агент талдауда негізгі қателер жіберіп, бәрібір өтетін нәтиже бере алады.
Осындай сәтсіздік түрлерінен сақтану үшін әр GeneBench-Pro есебі синтетикалық түрде құрылады: біз толық себептік құрылымды білеміз және дерек тудыру процесін тікелей симуляциялаймыз. Бұл әр есептің күрделілігін реттеуге, субъективті талдамалық таңдаулардағы орынды айырмалар бәрібір қабылданатын сандық нәтижелер беретінін қамтамасыз етуге және ықтимал, бірақ қате талдаулардың өтпейтінін (абляция зерттеулері арқылы) тексеруге мүмкіндік береді. Содан кейін ақпараттың байқаусыз ашылып кетуін және көзделмеген шешім жолдарын тексеру үшін есеп жобаларын егжей-тегжейлі орындау іздерін талдау арқылы аудиттен өткіземіз.. Бұл дұрыс жауапқа жету қысқа жолды пайдалану немесе автордың ерікті қалауын дәл келтіруге емес, дұрыс талдамалық жолды таңдауға байланысты екеніне сенім береді.
Біз GeneBench-Pro-дың 129 сұрағының 82-сін сыртқы сала сарапшыларына, соның ішінде магистранттар мен докторанттарға, постдокторант-зерттеушілерге, индустрия ғалымдарына және профессорларға жібердік. Рецензенттер әр есептің шынайылығын, нысаналы жауапты анықтауға бола ма екенін және әдістер мен бағалағыштардың орынды екенін бағалады. Кері байланыс есептерді жақсартуға қолданылды.
“Мен қарап шыққан есептерді тәжірибелі жетекшінің қайталанған кері байланысынсыз магистранттың орындауы қиын болар еді. Деректер техникалық және сапа бақылауы мәселелерін қамтыды, сондықтан жұмысты сәтті аяқтау үшін ықтимал қиындықтарды ескере отырып, мұқият әрі терең ой елегінен өткізілген деректер талдауы қажет еді; олар таза әрі жақсы реттелген деректерге дайын тұрған стандартты әдісті жай ғана қолданған жоқ.”
“Қазіргі модельдер дербес талдауларды басынан аяғына дейін сенімді түрде жүргізе алмаса да, GeneBench-Pro тапсырмаларында жақсы нәтиже көрсететіндері зерттеушілерге дұрыс жұмыс үдерістерін анықтауға және деректерді зерттеуге көмектесе алатыны анық. Бұл зерттеу қарқынын, мұқияттығын және қайталанымдылығын айтарлықтай жақсарта алатынын көріп тұрмын.”
Әрбір GeneBench-Pro тапсырмасы — өз алдына толыққанды ғылыми талдау. Агенттер қысқа көмексөз, деректер файлдары және Python, ғылыми есептеу кітапханалары мен PLINK 2.0 сияқты негізгі геномика пакеттерін қамтитын стандартты биоинформатика жинағы бар оқшауланған жұмыс кеңістігіне қолжетімділік алады (дегенмен тапсырмалар салаға тән құралдарды қажет етпейді).
Құрылымдық вариантқа негізделген ісік терапиясының пайда-қауіп арақатынасы бойынша шешім
Деректерді жасау процесін толық бақылайтындықтан, стандартты рубрикаға негізделген бағалауда кездесетін модель таңдауындағы өзгермелілік пен көпсөзділік әсерлерін болдырмай, дұрыстықты белгілі нысаналарға қатысты детерминистік түрде бағалай аламыз.
Әр есепке сондай-ақ көзделген талдау құрылымы, тіркелген дерек файлдары, бірнеше беттен тұратын егжей-тегжейлі кейс-стади және сарапшы шолуының нәтижелері сияқты бай метадеректер беріледі. Біз 10 репрезентативті GeneBench-Pro сұрағын Hugging Face(жаңа терезеде ашылады)платформасында толық ашық қолжетімді етіп жариялап отырмыз, оларды шолуға арналған интерактивті веб-интерфейспен бірге. Соңында, жақын болашақта тәуелсіз үшінші тарап бенчмаркингі үшін 50 сұрақтық ішкі жиынды Artificial Analysis(жаңа терезеде ашылады) ұйымына береміз.
Біздің ең мықты моделіміз GPT‑5.6 Sol ең жоғары ой қорыту деңгейінде 28,7% өту көрсеткішіне қол жеткізеді (Pro режимі қосылғанда — 31,5%). Бұл бастапқы GeneBench-ті құра бастаған кезімізбен салыстырғанда күрт өсім; ол кезде біздің ең үздік озық моделіміз GPT‑5 5%-дан төмен нәтиже көрсеткен еді. Бұл бенчмарк бойынша ілгерілеу озық модельдердің, тіпті нақты өлшеуге қиынырақ жүйелік деңгейдегі ғылыми ой қорытуда да, жылдам жақсарып келе жатқанын көрсетеді. Осы қарқын сақталса, бұл бенчмарк жыл соңына қарай қанығу шегіне жетуі мүмкін.
Нәтижелер тестілеу кезіндегі есептеу ресурстарын масштабтаудың әсерін де көрсетеді. Ең төмен ой қорыту деңгейінде GPT‑5.6 Sol тек бір таңбалы өту үлесіне жетеді. Ең жоғары ой қорыту деңгейінде GPT‑5.6 Sol GPT‑5.2‑ге қарағанда шамамен алты есе көп сұрақ шешеді, әрі шамамен үштен екідей ғана токен пайдаланады.
Модель отбасыларын салыстыру GPT модельдері сандық белгісіздік жағдайындағы жоғары деңгейлі ғылыми ой қорытуда ең күшті жүйелердің қатарында екенін көрсетеді. GPT‑5.6, GPT‑5.5 және GLM 5.2 сияқты жетекші ашық бастапқы кодты модельдер арасындағы өнімділік алшақтығы кодтау бенчмарктерінен(жаңа терезеде ашылады) экстраполяциялағанда күткенімізден әлдеқайда үлкен; бұл ашық кодты модельдер кеңірек ой қорыту қабілетінен гөрі кодтауға көбірек маманданғанын көрсетеді.
Әзірлеу барысында есептерді бағалау және қатаңдату үшін озық GPT модельдерін қолдандық. Сондықтан GeneBench-Pro басқа модель отбасыларымен салыстырғанда GPT модельдеріне қарсы ығысқан болуы мүмкін деп күдіктендік. Алайда бәсекелес модельдер ең жақсы дегенде шығарылым кезіндегі сәйкес GPT моделінің өнімділігіне ғана теңесті және көбіне едәуір артта қалды.
GeneBench-Pro сұрақтарының қиындығын ескерсек, GPT‑5.6 Sol (Pro) бойынша 31,5%-ға дейін жететін бұл бағалау нәтижелері назар аударарлық. Сауалнамада рецензенттеріміз әдеттегі GeneBench-Pro есебін адам сарапшы шамамен 20–40 сағатта орындайды деп бағалады. Сақ есеппен сағатына 200 доллар десек, бір есепке кететін адам еңбегінің құны бірнеше мың долларға жетеді. Қазіргі ЖИ агенттері адам сарапшыларды алмастыруға әлі тым сенімсіз, бірақ шығын айырмасы үлкен: инференс құны бір есепке небәрі бірнеше доллар. Демек, қазіргі қабілеттердің өзінде ішінара автоматтандыру елеулі экономикалық және ғылыми құндылық тудыруы мүмкін.
“Бенчмарктер әртүрлі биологиялық сұрақтардан туындаған, бірақ … нақты қиындық осы ашылымдарға қатысты барлау деректер талдауы мен ой қорытуда: үлгілер мен артефактілерді анықтау және деректерді алып тастау не түзету керек пе екенін шешу. Бұл нақты биологиялық деректер жиындарының ретсіз табиғатына ұқсайды. Бұл бағалауларды қарау агентке негізделген ғылыми есептерді шешуде шешушіге арналған нақты шарттардың қаншалықты маңызды екенін көрсетеді. Көмексөздің әртүрлі тұжырымдалуы немесе тапсырма сипаттамасы қандай талдаулар рұқсатты болып көрінетініне қатты әсер етуі мүмкін.”
“Маған [сұрақтар] негізінен ұнады. Оларда әдетте мыналардың үйлесімі болды: (1) пән бойынша қажетті білім, мысалы, ежелгі ДНҚ-дағы C>T жүйелі ауытқуы, (2) деректердегі сәйкессіздіктер, мысалы, ата-тектің ауысып кетуі, (3) осы міндетке лайықты аналитикалық құралдар және оларды қалай іске асыру керектігі туралы белгілі бір білім. Агенттердің көпшілігі (2)-де сәтсіздікке ұшыраған сияқты. Олар деректерге қатысты мәселелерде жеткілікті сақтық танытпайды. Бәлкім, бұл қазіргі модельдердің әлсіз жағын көрсететін болар. Ал көптеген биологиялық деректерде ауытқулар кездеседі.”
Дегенмен озық модельдердің бұл есептердің әлі де үштен бірінен азын ғана шешетіні жақсартуға көп орын барын көрсетеді. Модельдер күрделі есептерде ішінара ілгерілей алады, бірақ қорытындылау тізбегін толық жабуда қиналады. Бұл сәтсіздік үлгісі адам сарапшылар мен жаңадан бастаушылар арасындағы айырманы еске салады. Сарапшылар тәжірибесін мәселені дұрыс қоюға және тәсілін бейімдеуге пайдаланады, ал жаңадан бастаушылар бақылаулар жасайды, бірақ олар инференциялық циклді толық аяқтауда қиналады.
Мәселе: уақыт бойынша өзгеретін ем кезіндегі фармакогеномдық оқиғаға дейінгі уақыт жауабы
GPT-5.5 үлгісі
GPT-5.6 Sol үлгісі
Мінсізге жуық өнімділікке жету үшін ілгерілеуді сенімді өлшейтін әрі модельдер әлі қай жерде сүрінетінін анықтайтын бағалаулар қажет. GeneBench-Pro сияқты бенчмарктер анық емес қабілет олқылығын диагностикалап, жақсарта алатын нақты мәселеге айналдыруға көмектеседі.
Егер агенттер осы талдау түрін сенімді автоматтандыра алса, олар ғылыми жаңалық ашуды айтарлықтай жеделдете алар еді. Адам генетикасына қатысты дәлелдер нысаналарды басымдыққа қою мен трансляциялық кейінгі зерттеулердің өзегіне айналған, өйткені генетикалық қолдауы бар механизмдердің мақұлданған емге әкелу ықтималдығы әлдеқайда жоғары.
Сонымен қатар секвенирлеу құны күрт төмендеді, ал биобанк ауқымындағы деректер жиындары қазір молекулалық, фенотиптік және денсаулық жазбалары ақпаратын бұрын-соңды болмаған кеңдікте байланыстырады. Шектеуші фактор деректерді өндіруден ақпаратты нақты әрекетке негіз болатын тұжырымдарға айналдыруға ауысып жатыр. Қазір адам сарапшылар командалары атқаратын талдауларды тұрақты орындай алатын модельдер гипотезаларды іріктеуді, нысаналарды кейінгі тексеруді және дерек өндіру мен шешім қабылдау арасындағы итерация циклін жеделдету арқылы индустриялық зерттеулерді өзгерте алады.
GeneBench-Pro тәжірибелі мамандарға тән жақсы ғылыми пайымға қатысатын неғұрлым абстрактілі дағдыларды бағалауға бағытталған алғашқы талпынысты білдіреді. Бұл дағдылар оларға ең перспективалы бастапқы талдауларды ішкі түйсікпен болжап, анықтауға, деректер бастапқы жорамалдарға қайшы келгенде ойларын итеративті түрде қайта қарауға және кейінгі клиникалық, академиялық немесе бизнес шешімдер сүйенуі мүмкін қорытындыларға келуге мүмкіндік береді.
Модель қабілеттері дамыған сайын, жай ғана теориялық білімді немесе әдеттегі талдауларды орындау қабілетін тексеретін бенчмарктерден бөлек, модель қабілеттерін осындай жоғары абстракция деңгейлерінде сынайтын бенчмарктер барған сайын пайдалы болады деп күтеміз.
