Przedstawiamy GeneBench-Pro
Benchmark na poziomie badawczym mierzący, jak agenty AI radzą sobie z niejednoznacznością i podejmują ważne osądy w biologii obliczeniowej.
Dane naukowe rzadko są dostarczane z instrukcjami. Badacze muszą zdecydować, czy dany wzorzec odzwierciedla biologię czy szum, czy dane mogą odpowiedzieć na postawione pytanie i jak każdy wynik powinien zmienić ich dalsze działania. Agenty AI coraz lepiej radzą sobie z wykonywaniem złożonych analiz, ale rzeczywiste badania naukowe wymagają nie tylko przypominania sobie faktów czy realizacji z góry ustalonego przepływu pracy, lecz także podejmowania tego rodzaju ocen wyższego rzędu.
Dziś przedstawiamy GeneBench-Pro — zaawansowany benchmark naukowy, który sprawdza, czy modele radzą sobie z analizą opartą na trudnych osądach, jakiej wymaga rzeczywista biologia obliczeniowa. Rozszerza on GeneBench(otwiera nowe okno) o trudniejsze, bardziej realistyczne zadania z genomiki, biologii ilościowej i medycyny translacyjnej, oddając złożoność, iteracyjność i niejednoznaczność badań naukowych w biologii obliczeniowej.
Dotąd istniało niewiele przekonujących ocen osądów na poziomie systemowym, które sprawiają, że rzeczywiste badania obliczeniowe są trudne. Obejmują one radzenie sobie z niejednoznacznością, rewidowanie założeń, wybór właściwej ścieżki analizy oraz rozpoznanie, kiedy wynik pozwala podjąć decyzję. Ponieważ te umiejętności trudno sformalizować, trudno je także rygorystycznie oceniać, choć ich słabości coraz bardziej ograniczają ogólną wydajność AI.
GeneBench-Pro zaprojektowano tak, aby precyzyjnie mierzyć te zdolności wyższego poziomu. W GeneBench-Pro definiujemy „wyczucie badawcze” jako łańcuchy osądów kształtujących analizę: jakie pytania mogą wspierać dane, jak wczesna diagnostyka powinna zmienić model lub estymand oraz kiedy pierwotny plan wymaga rewizji. Każdy problem GeneBench-Pro daje modelowi realistyczny, nieuporządkowany zbiór danych, krótki kontekst eksperymentalny i docelowy estymand powiązany z dalszą decyzją. Aby odpowiedzieć poprawnie, model musi zbadać dane, wybrać odpowiednie podejście analityczne, przejść przez iteracyjny proces eksperymentowania i dostarczyć końcową odpowiedź.
W biologii koszt generowania danych (np. sekwencjonowania genomu) dramatycznie spadł, a niektórzy badacze twierdzą dziś(otwiera nowe okno), że czynnikiem ograniczającym nie jest już zbieranie próbek, lecz dalsze obliczenia i analiza. GeneBench-Pro powstał, aby oceniać postępy w usuwaniu tej blokady z zastosowaniem 129 pytań z szerokiego zakresu obszarów biologii obliczeniowej.
Atlas domen: 129 problemów w 10 domenach i 21 subdomenach
Kliknij kropkę powyżej, aby dowiedzieć się więcej o problemie z testem porównawczym.
Ten atlas daje przedsmak zakresu GeneBench-Pro. Odwiedź stronę studiów przypadków, aby dokładnie poznać 10 reprezentatywnych pytań.
GeneBench-Pro zaprojektowano z myślą o unikaniu typowych błędów w benchmarkach. Wiele długotrwałych benchmarków biologicznych buduje wieloetapowe pytania wokół nieuporządkowanych historycznych zbiorów danych, w których może nie istnieć jedna poprawna ścieżka analizy. Jeden agent może wybrać uzasadniony próg odcięcia, a inny — odmienną, lecz równie uzasadnioną opcję, co bardziej odzwierciedla arbitralne wybory twórcy benchmarku niż pokazuje fundamentalne różnice w wydajności modelu. Może też zdarzyć się sytuacja odwrotna: jeśli problem jest zbyt niewrażliwy numerycznie, agent może popełnić zasadnicze błędy w analizie, a mimo to uzyskać wynik zaliczający.
Aby uniknąć tych trybów niepowodzeń, każdy problem GeneBench-Pro budujemy syntetycznie: znamy pełną strukturę przyczynową i bezpośrednio symulujemy proces generowania danych. Pozwala nam to dostrajać złożoność każdego problemu, zapewniać, że rozsądne różnice w subiektywnych wyborach analitycznych nadal dają akceptowane wyniki liczbowe, oraz sprawdzać (przez badania ablacyjne), że wiarygodne, lecz błędne analizy nie są akceptowane. Następnie audytujemy szkice problemów przez szczegółowe analizy śladów, aby sprawdzić wyciek informacji i niezamierzone ścieżki rozwiązania. Daje nam to pewność, że uzyskanie właściwej odpowiedzi zależy od wyboru właściwej ścieżki analitycznej, a nie od wykorzystywania drogi na skróty ani dopasowywania się do arbitralnych preferencji autora.
82 ze 129 pytań GeneBench-Pro wysłaliśmy zewnętrznym ekspertom z określonej branży, w tym doktorantom, naukowcom z tytułem doktora, naukowcom pracującym w branży i profesorom. Recenzenci oceniali realizm każdego problemu, identyfikowalność docelowej odpowiedzi oraz adekwatność metod i estymatorów. Informacje zwrotne posłużyły do ulepszenia problemów.
“Problemy, które recenzowałem, byłyby trudne do rozwiązania dla doktoranta bez wielokrotnych informacji zwrotnych od doświadczonego opiekuna. Dane zawierały problemy techniczne i związane z kontrolą jakości, które wymagały uważnej, refleksyjnej analizy danych oraz świadomości potencjalnych pułapek; nie chodziło po prostu o zastosowanie gotowej metody do czystych i dobrze opracowanych danych.”
“Nawet jeśli obecne modele nie są w stanie niezawodnie przeprowadzać niezależnych analiz od początku do końca, te, które dobrze radzą sobie z problemami GeneBench-Pro, zdecydowanie mogłyby pomagać badaczom w określaniu poprawnych przepływów pracy i eksplorowaniu danych. Sądzę, że mogłoby to znacząco przyspieszyć badania oraz zwiększyć ich rzetelność i odtwarzalność.”
Każde zadanie GeneBench-Pro stanowi samodzielną analizę naukową. Agenty otrzymują dostęp do izolowanej przestrzeni roboczej z krótkim poleceniem, plikami danych i standardowym stosem bioinformatycznym obejmującym obsługę języka Python, biblioteki obliczeń naukowych oraz podstawowe pakiety genomiki, takie jak PLINK 2.0 (choć problemy nie wymagają narzędzi specyficznych dla danej dziedziny nauki).
Decyzja o korzyściach i ryzyku w odniesieniu do terapii nowotworu oparta na wariantach strukturalnych
Kontrolujemy pełny proces generowania danych, więc możemy deterministycznie oceniać poprawność względem znanych celów, unikając zmienności wyboru modelu i wpływu rozwlekłości typowych dla standardowej ewaluacji opartej na rubrykach.
Do każdego problemu dodajemy też zasoby zbiór metadanych, w tym zamierzoną strukturę analizy, dołączone pliki danych, szczegółowe, wielostronicowe studium przypadku oraz wyniki recenzji eksperckiej. Udostępniamy w pełni jako open source 10 reprezentatywnych pytań GeneBench-Pro na Hugging Face(otwiera nowe okno) wraz z interaktywnym interfejsem do ich przeglądania. W najbliższej przyszłości przekażemy zestaw 50 pytań firmie Artificial Analysis(otwiera nowe okno) do niezależnego benchmarkingu przez podmiot zewnętrzny.
Nasz najsilniejszy model, GPT‑5.6 Sol, osiąga odsetek zaliczeń 28,7% na najwyższym poziomie rozumowania (31,5% przy włączonym trybie Pro). To gwałtowny wzrost względem momentu, gdy zaczęliśmy budować pierwotny GeneBench; wtedy nasz najlepszy pionierski model, GPT‑5, uzyskiwał wynik poniżej 5%. Postęp w tym benchmarku sugeruje, że pionierskie modele szybko się poprawiają, nawet w mniej uchwytnym, systemowym rozumowaniu naukowym. Przy obecnym tempie benchmark ten może zostać nasycony do końca roku.
Wyniki pokazują też wpływ skalowania mocy obliczeniowej w czasie testowania. Na najniższym poziomie rozumowania GPT‑5.6 Sol osiąga tylko jednocyfrowy odsetek zaliczeń. Na najwyższym poziomie rozumowania GPT‑5.6 Sol rozwiązuje niemal sześć razy więcej pytań niż GPT‑5.2, zużywając przy tym około dwóch trzecich liczby tokenów.
Porównania między rodzinami modeli sugerują, że modele GPT należą, w obszarze naukowego rozumowania wysokiego poziomu, do systemów, które najlepiej sobie radzą w przypadku niepewności ilościowej. Różnica wydajności między GPT‑5.6, GPT‑5.5 i czołowymi modelami open source, takimi jak GLM 5.2, jest znacznie większa, niż oczekiwalibyśmy po ekstrapolacji z benchmarków programowania(otwiera nowe okno), co wskazuje, że modele open source są bardziej wyspecjalizowane w kodowaniu niż w szerszej zdolności rozumowania.
W trakcie prac rozwojowych wykorzystywaliśmy pionierskie modele GPT do oceny i udoskonalania zadań. Dlatego podejrzewaliśmy, że GeneBench-Pro może być stronniczy wobec modeli GPT w porównaniu z innymi rodzinami modeli. Jednak modele konkurencyjne w najlepszym razie dorównywały wydajnością odpowiedniemu modelowi GPT z momentu jego premiery, a zwykle wyraźnie od niego odstawały.
Te wyniki ewaluacji — sięgające 31,5% dla GPT‑5.6 Sol (Pro) — robią wrażenie, biorąc pod uwagę trudność pytań GeneBench-Pro. W ankiecie nasi recenzenci oszacowali, że typowy problem GeneBench-Pro zająłby ludzkiemu ekspertowi około 20–40 godzin. Przy ostrożnie oszacowanej stawce 200 dolarów za godzinę oznacza to koszt pracy człowieka przy jednym problemie liczony w tysiącach dolarów. Obecnie agenty AI są wciąż zbyt zawodne, by zastąpić ludzkich ekspertów, ale różnica kosztów jest duża: koszt inferencji to zaledwie kilka dolarów na problem. Oznacza to, że nawet częściowa automatyzacja przy obecnych możliwościach mogłaby tworzyć znaczącą wartość ekonomiczną i naukową.
“Benchmarki wynikają z bardzo różnych pytań biologicznych, ale … rzeczywiste wyzwanie polega na eksploracyjnej analizie danych i rozumowaniu na podstawie tych odkryć: identyfikowaniu wzorców i artefaktów oraz decydowaniu, czy dane należy wykluczyć albo skorygować. Przypomina to nieuporządkowaną naturę rzeczywistych biologicznych zbiorów danych. Przegląd tych ewaluacji pokazuje, jak ważne w agentowym rozwiązywaniu problemów naukowych są jasne kontrakty dla solverów. Inne sformułowanie polecenia lub specyfikacja zadania mogą bardzo wpływać na to, które analizy wydają się dopuszczalne.”
“[Pytania] w większości mi się podobały. Zwykle łączyły: (1) wymaganą wiedzę specjalistyczną, np. bias C>T w dawnym DNA, (2) rozbieżności w danych, np. zamiany pochodzenia, (3) pewną znajomość właściwych narzędzi analitycznych do danego zadania i sposobu ich wdrożenia. Wyglądało na to, że większość agentów poległa na punkcie (2). Nie zachowują wystarczającej ostrożności w kwestiach związanych z danymi. Być może uwidacznia to słabość obecnych modeli. A wiele danych biologicznych wykazuje nieregularności.”
Jednocześnie fakt, że pionierskie modele nadal rozwiązują mniej niż jedną trzecią tych problemów, pokazuje, że przestrzeń do poprawy jest duża. Modele potrafią robić częściowe postępy w trudnych problemach, ale mają trudność z domknięciem pętli wnioskowania. Ten wzorzec porażki odzwierciedla kontrast między ludzkimi ekspertami a nowicjuszami. Eksperci wykorzystują doświadczenie, aby opisać problem i dostosować podejście, podczas gdy nowicjusze dokonują obserwacji, lecz mają trudność z włączeniem ich w szerszy kontekst problemu.
Problem: farmakogenomiczna odpowiedź time-to-event przy leczeniu zmiennym w czasie
Wzorzec GPT-5.5
Wzorzec GPT-5.6 Sol
Osiągnięcie niemal doskonałej wydajności będzie wymagało ewaluacji, które jednocześnie wiarygodnie mierzą postęp i wskazują, gdzie modele nadal zawodzą. Benchmarki takie jak GeneBench-Pro mogą pomóc przekształcić niejasny deficyt zdolności w konkretny zakres, który można diagnozować i poprawiać.
Jeśli agenty będą potrafiły niezawodnie automatyzować tę klasę analiz, mogą znacząco przyspieszyć odkrycia naukowe. Dowody z genetyki człowieka już dziś są kluczowe dla priorytetyzacji celów i translacyjnych działań następczych, ponieważ mechanizmy poparte genetycznie znacznie częściej prowadzą do zatwierdzonych terapii.
Tymczasem koszty sekwencjonowania gwałtownie spadły, a zbiory danych w skali biobanków łączą dziś informacje molekularne, fenotypowe i z dokumentacji medycznej w bezprecedensowym zakresie. Czynnikiem ograniczającym staje się już nie generowanie danych, lecz przekształcanie informacji w praktyczne wnioski. Modele zdolne konsekwentnie wykonywać analizy prowadzone dziś przez zespoły ludzkich ekspertów mogłyby przekształcić badania przemysłowe, przyspieszając selekcję hipotez, dalsze prace nad celami oraz cykl iteracji między generowaniem danych a podejmowaniem decyzji.
GeneBench-Pro jest pierwszą próbą oceny bardziej abstrakcyjnych umiejętności składających się na dobry osąd naukowy, który mają doświadczeni badacze. Umiejętności te pozwalają im intuicyjnie wyczuwać i identyfikować najbardziej obiecujące analizy początkowe, iterować i rewidować sposób myślenia, gdy dane przeczą pierwotnym założeniom, oraz dochodzić do wniosków, od których mogą zależeć dalsze decyzje kliniczne, akademickie lub biznesowe.
Spodziewamy się, że wraz z rozwojem możliwości modeli coraz bardziej użyteczne będą benchmarki badające ich zdolności na wyższych poziomach abstrakcji, wykraczające poza testowanie wiedzy książkowej czy umiejętności wykonywania rutynowych analiz.
