Przedstawiamy LifeSciBench

Systemy agentowej sztucznej inteligencji coraz sprawniej wykonują zadania naukowe. Jednak ich użyteczność dla naukowców zależy od tego, jak dobrze radzą sobie ze złożonością prawdziwych badań. Taka praca rzadko przypomina pojedyncze pytanie sprawdzające znajomość faktu albo czysty problem predykcyjny. Badacze interpretują niepełne dowody, godzą sprzeczne wyniki, projektują trudne eksperymenty, rozwiązują problemy z testami, oceniają ryzyko translacyjne i decydują, co robić dalej w warunkach niepewności.

Obecne systemy ocen nie w pełni ujmują te zdolności. Wiele ewaluacji z zakresu nauk przyrodniczych skupia się na wąskich dziedzinach lub izolowanych umiejętnościach, co prowadzi do pytań o ustrukturyzowanym formacie i czystych odpowiedzi referencyjnych. Choć są wartościowe, często nie pozwalają naprawdę ocenić, czy model potrafi wnosić wkład w szerszy zakres pracy na poziomie badań.

Zaprojektowaliśmy LifeSciBench, aby pomóc wypełnić tę lukę. Każde zadanie opiera się na osądzie praktykujących naukowców z przygotowaniem na poziomie doktoratu i bezpośrednim doświadczeniem w prowadzeniu programów odkrywania leków w obszarze biotechnologii i farmacji.

LifeSciBench obejmuje 750 zadań napisanych przez ekspertów, obejmujących siedem procesów pracy i siedem dziedzin biologicznych.

LifeSciBench mierzy, czy systemy AI potrafią wspierać realistyczne zadania badawcze z zakresu nauk przyrodniczych, a nie tylko odpowiadać na pytania z biologii. Aby zdefiniować taksonomię systemu ocen, zapytaliśmy naukowców, z których procesów pracy najczęściej korzystają w badaniach stosowanych. Następnie pogrupowaliśmy odpowiedzi w siedem powtarzających się kategorii: praca z dowodami, analiza, projektowanie i optymalizacja, rozumowanie naukowe, walidacja i operacje, translacja oraz komunikacja naukowa.

Każde zadanie ma strukturę prośby, jaką naukowiec mógłby skierować do kompetentnego współpracownika: polecenie naukowe, odpowiedni kontekst lub artefakty oraz odpowiedź otwarta. Matryce ocen napisane przez ekspertów oceniają, czy model potrafi podać właściwą odpowiedź na konkretny problem, z oczekiwanym przez naukowca poziomem szczegółowości, uzasadnienia, zastrzeżeń i formatowania.

LifeSciBench ocenia rozumowanie naukowe oraz mniej jednoznacznie zdefiniowane praktyczne umiejętności potrzebne do rzeczywistego zastosowania w nauce. Zadania wymagają od modeli pracy nad realistycznymi problemami badawczymi: interpretacji dowodów, formułowania osądów osadzonych w danej dziedzinie nauk i komunikowania wniosków przydatnych dla recenzentów-ekspertów. Wiele zadań wymaga też od modeli radzenia sobie z niepewnością i rozumowania na podstawie plików z danymi pomocniczymi, a nie wyłącznie tekstu polecenia.

System ocen zaprojektowano tak, aby odzwierciedlał złożoność pracy w dziedzinie nauk przyrodniczych. Łącznie 79% zadań wymaga wielu kroków rozumowania lub podejmowania decyzji, średnio czterech kroków na zadanie. LifeSciBench zawiera 1062 załączone artefakty, w tym ryciny, pliki PDF, tabele, pliki sekwencji, pliki struktur lub związków chemicznych oraz odnośniki internetowe. Ponad połowa zadań (53%) wymaga od modeli interpretacji lub syntezy informacji z co najmniej jednego artefaktu.

Zadania stworzyło 173 ekspertów naukowych z różnych dyscyplin nauk przyrodniczych. Każdy naukowiec miał przygotowanie na poziomie doktoratu oraz doświadczenie w branży biotechnologicznej lub farmaceutycznej. Przed akceptacją zadania mogły przechodzić tyle cykli rewizji, ile było potrzebne, bez stałego limitu rund; zaakceptowane zadania miały średnio sześć samodzielnych automatycznych cykli przeglądu i ukończyły co najmniej dwie rundy recenzji eksperckich. Recenzje opierały się na weryfikowalnej poprawnej odpowiedzi albo silnym konsensusie ekspertów, przy co najmniej 90% zgodności recenzentów w danej domenie. Ten proces pomógł zapewnić, że zaakceptowane zadania są naukowo ugruntowane, wystarczająco jasne do oceniania i reprezentatywne dla badań stosowanych.

Zadania LifeSciBench są oceniane według szczegółowych, specyficznych dla zadania matryc ocen, które rozbijają oczekiwaną odpowiedź na konkretne twierdzenia naukowe, obliczenia, decyzje, uzasadnienia i podobne elementy. W całym systemie ocen matryca opracowana przez ekspertów obejmują 19 020 kryteriów — średnio 25 na zadanie — aby oceniać zarówno poprawność naukową, jak i użyteczność dla decyzji badawczych.

Taka konstrukcja odzwierciedla praktyczną ocenę pracy naukowej: wielu zadań z zakresu nauk przyrodniczych nie da się ocenić przez sprawdzenie samej odpowiedzi końcowej. Odpowiedź może prowadzić do poprawnego wniosku ogólnego, a mimo to zostać uznana za niepełną, jeśli na przykład pomija kluczowe ograniczenie testu albo nie podnosi z wyprzedzeniem bardzo istotnego niuansu biologicznego. I odwrotnie, częściowa odpowiedź może zawierać wysokiej jakości rozumowanie, nawet jeśli nie rozwiązuje zadania w pełni.

Szczegółowe matryce ocen wychwytują ten niuans. LifeSciBench ocenia nie tylko trafność odpowiedzi końcowej, lecz także to, czy model dochodzi do niej w sposób naukowo prawidłowy i operacyjnie użyteczny.

Zweryfikowaliśmy LifeSciBench w niezależnej recenzji eksperckiej. Opinie pochodziły od 453 recenzentów, którzy nie uczestniczyli w pisaniu zadań. Spośród nich 97% miało doktorat lub równoważny stopień naukowy, średnio 12 lat doświadczenia w dziedzinie i 14 publikacji recenzowanych; 88% otrzymało co najmniej jedną nagrodę lub stypendium.

Recenzenci oceniali, czy każde zadanie reprezentuje cechy wymagającego pytania testowego: zgodność z rzeczywistą pracą badawczą, odpowiednie sprawdzanie rozumowania naukowego i wiedzy branżowej, oparcie na dowodach lub konsensusie ekspertów oraz ogólną użyteczność do oceny wydajności modelu. Zgodność przekroczyła 96% w każdej kategorii.

Komentarze recenzentów potwierdziły oceny ilościowe:

Raportujemy dwie uzupełniające się metryki. Odsetek zaliczeń to procent zadań, w których model spełnia próg sukcesu na poziomie zadania wynoszący 70%. Wynik to średnia nagroda z matrycy ocen, przyznająca częściowe zatwierdzenie za poszczególne kryteria nawet wtedy, gdy całe zadanie nie zostaje rozwiązane. Obie są ważne, ponieważ odpowiedź na zadanie naukowe może być częściowo poprawna lub użyteczna, nie spełniając wszystkich wymagań pełnej odpowiedzi.

Wydajność modelu znacznie różni się zależnie od typu zadania, procesu pracy i formatu odpowiedzi.

LifeSciBench pokazuje, że modele graniczne są relatywnie najsilniejsze w zadaniach obejmujących syntezę naukową, komunikację i ustrukturyzowaną interpretację. Bezwzględne odsetki zaliczeń są wciąż umiarkowane, więc te obszary testu są dalekie od nasycenia, ale GPT‑Rosalind pokazuje istotny postęp względem GPT‑5.5, poprawiając ogólny dokładny odsetek zaliczeń z 25,7% do 36,1%.

Najsilniejsze kierunki postępu w możliwościach modeli widać w komunikacji naukowej i translacji. Na przykład odsetek zaliczeń w komunikacji naukowej rośnie z 56,3% dla GPT‑5.5 do 71,1% dla GPT‑Rosalind; ta kategoria jest mała (n=9), więc należy interpretować ją ostrożnie, ale sugeruje, że modele graniczne szybko poprawiają zdolność organizowania dowodów i tworzenia przekonujących wyjaśnień dla ekspertów. Translacja (proces rozwoju leków „od laboratorium do łóżka pacjenta”) pokazuje podobny wzorzec, rosnąc z 36,8% dla GPT‑5.5 do 57,7% dla GPT‑Rosalind, co sugeruje, że modele szybko poprawiają zdolność łączenia dowodów przedklinicznych z implikacjami klinicznymi.

Wyniki na poziomie matrycy ocen wskazują ten sam kierunek. W zadaniach wymagających wyników użytecznych dla ekspertów lub możliwych do działania GPT‑Rosalind uzyskuje 44,7%, wobec 29,1% dla GPT‑5.5. W zadaniach wymagających obsługi niepewności i zastrzeżeń uzyskuje 44,8%, wobec 29,3%. Ten wzorzec sugeruje, że modele są najbardziej użyteczne, gdy zadanie ma wyraźne granice dowodów i wymaga ustrukturyzowanego osądu naukowego.

Wydajność pozostaje niska w pracy naukowej silnie opartej na artefaktach, projektowaniu i ograniczeniach operacyjnych. W szczególności projektowanie, optymalizacja i predykcja pozostają jednym z najtrudniejszych procesów pracy, z odsetkiem zaliczeń GPT‑Rosalind na poziomie 30,7%; analiza jest podobnie trudna — 30,3%.

Szczególnie wyraźną luką jest korzystanie z artefaktów. Chociaż GPT‑Rosalind radzi sobie lepiej niż GPT‑5.5 w warunkach z dużą liczbą artefaktów, jego odsetek zaliczeń nadal spada z 45,1% w zadaniach wyłącznie tekstowych do 28,1% w zadaniach z artefaktami lub adresami URL. GPT‑5.5 wykazuje ten sam wzorzec, spadając z 29,9% do 21,9%. Bardziej szczegółowa analiza potwierdza, że modele pionierskie mają trudności z wydobywaniem informacji ze złożonych rycin lub dużych plików sekwencji i integrowaniem ich z odpowiedzią końcową.

Znaczenie ma także format odpowiedzi. Zadania wymagające dokładnych sekwencji, struktur lub wyników na poziomie konstruktów mają niższe odsetki zaliczeń: GPT‑Rosalind osiąga tylko 14,8% w zadaniach numerycznych i 24,0% dla wyników sekwencyjnych lub strukturalnych. Zadania generowania konstruktów są także kruche: GPT‑Rosalind osiąga 27,3% i wykazuje niewielką poprawę względem GPT‑5.5. Część tej luki może wynikać z bardziej rygorystycznej powierzchni oceniania w zadaniach z dokładną odpowiedzią, gdzie niewielkie różnice w obliczeniach lub formatowaniu mogą zepchnąć odpowiedź poniżej progu zaliczenia. Mimo to te porażki są naukowo istotne, ponieważ wiele procesów w dziedzinie nauk przyrodniczych wymaga wyników wystarczająco dokładnych, by użyć ich bezpośrednio, np. w projektowaniu donorów CRISPR/HDR lub siRNA.

Modele często dochodzą też częściowo do celu, nie rozwiązując zadania w pełni. W około 14% zadań modele uzyskały znaczące zatwierdzenie w matrycy ocen, mimo że nie osiągnęły progu dokładnego zaliczenia. W przypadku GPT‑Rosalind 109 zadań miało odsetki zaliczeń poniżej 20%, a mimo to uzyskało co najmniej 50% nagrody z matrycy ocen. W praktyce oznacza to, że modele mogą wskazać istotne dowody lub stworzyć wiarygodną odpowiedź częściową, ale nadal ponieść porażkę, bo pomijają kluczowe ograniczenie, używają niewłaściwych dowodów, wykonują niepełne obliczenie albo nie łączą rozumowania z naukowo użyteczną decyzją końcową.

LifeSciBench to krok ku mierzeniu użyteczności systemów AI w badaniach przyrodniczych, ale nie zastępuje modeli naukowych w żywych środowiskach badawczych. Zakres testów skupia się na samodzielnych zadaniach odzwierciedlających powtarzalne procesy pracy w branży, pozostawiając poza obecnym zakresem wiele specjalności naukowych i typów zadań. Prawdziwe badania są iteracyjne: naukowcy zbierają nowe dowody, rewidują hipotezy, projektują eksperymenty następcze i dostosowują plany w miarę pojawiania się wyników.

Wysokie wyniki w LifeSciBench należy więc interpretować jako dowód realistycznej zdolności na poziomie zadania, a nie jako bezpośrednią miarę wpływu na dalsze badania. Testy są osadzone w procesach branżowych, ale nie oddają pełnej różnorodności ani dynamiki żywych programów badawczych, w których postęp zależy od czynników rozwijających się w czasie.

Kolejnym krokiem jest powiązanie wyników testów z badaniami wdrożeniowymi w prawdziwych procesach badawczych. Choć LifeSciBench opracowano przy współpracy z naukowcami, ocena, czy systemy AI przyspieszają odkrycia lub poprawiają wyniki B+R, będzie wymagała badania użycia i wydajności modeli w prawdziwych środowiskach badawczych, w dłuższych horyzontach oraz przez wiele rund rozumowania, informacji zwrotnej i eksperymentalnej kontynuacji.