Pristatome LifeSciBench

Agentinis DI tampa vis pajėgesnis atlikti mokslines užduotis. Tačiau jų nauda gyvybės mokslų tyrėjams priklauso nuo to, kaip gerai jie susitvarko su tikrų tyrimų sudėtingumu. Toks darbas retai primena vieną klausimą faktams prisiminti ar tvarkingą prognozavimo problemą. Tyrėjai interpretuoja neišsamius įrodymus, derina prieštaringus rezultatus, projektuoja sudėtingus eksperimentus, sprendžia tyrimų metodikų problemas, vertina transliacinę riziką ir neapibrėžtumo sąlygomis sprendžia, ką daryti toliau.

Dabartiniai etalonai šių gebėjimų iki galo neaprėpia. Daugelis gyvybės mokslų vertinimų sutelkia dėmesį į siauras sritis arba izoliuotus įgūdžius, todėl klausimai būna struktūruoto formato ir turi aiškius etaloninius atsakymus. Nors jie vertingi, dažnai jie iš tiesų neįvertina, ar modelis gali prisidėti prie platesnio tyrimų lygmens darbo spektro.

LifeSciBench sukūrėme tam, kad padėtume užpildyti šią spragą. Kiekviena užduotis grindžiama praktikuojančių gyvybės mokslų specialistų, turinčių doktorantūros lygio pasirengimą ir tiesioginės patirties plėtojant vaistų atradimo programas biotechnologijų bei farmacijos aplinkoje, vertinimu.

LifeSciBench apima 750 ekspertų parengtų užduočių, aprėpiančių septynias darbo eigas ir septynias biologijos sritis.

LifeSciBench matuoja, ar AI sistemos gali padėti atlikti realias gyvybės mokslų tyrimų užduotis, o ne tik atsakyti į biologijos klausimus. Siekdami apibrėžti etalono taksonomiją, apklausėme praktikuojančius gyvybės mokslų specialistus apie darbo eigas, kurias jie dažniausiai naudoja taikomųjų tyrimų aplinkoje. Tada jų atsakymus suskirstėme į septynias pasikartojančias kategorijas: įrodymų tvarkymą, analizę, projektavimą ir optimizavimą, mokslinį protavimą, validavimą ir operacijas, transliaciją bei mokslinę komunikaciją.

Kiekviena užduotis suformuota kaip prašymas, kurį mokslininkas galėtų pateikti kompetentingam bendradarbiui: mokslinė užklausa, bet koks aktualus kontekstas ar artefaktai ir laisvos formos atsakymas. Ekspertų parašytos vertinimo rubrikos vertina, ar modelis gali pateikti teisingą atsakymą į konkrečią problemą, su tinkamu detalumu, pagrindimu, išlygomis ir formatavimu, kurio tikėtųsi mokslininkas.

LifeSciBench vertina mokslinį protavimą kartu su ne taip aiškiai apibrėžtais praktiniais įgūdžiais, būtinais realiam moksliniam naudojimui. Jo užduotys prašo modelių spręsti realistiškas tyrimų problemas: interpretuoti įrodymus, priimti sritimi pagrįstus sprendimus ir perteikti išvadas, kurios būtų naudingos ekspertams recenzentams. Daugelyje užduočių modeliai taip pat turi tvarkytis su neapibrėžtumu ir protauti remdamiesi pagalbiniais duomenų failais, o ne vien užklausos tekstu.

Etalonas sukurtas taip, kad atspindėtų gyvybės mokslų darbo sudėtingumą. Apskritai 79 % užduočių reikalauja kelių protavimo arba sprendimų priėmimo žingsnių; vidutiniškai vienai užduočiai tenka keturi žingsniai. LifeSciBench apima 1 062 pridėtus artefaktus: paveikslus, PDF failus, lenteles, sekų failus, struktūrų ar cheminių junginių failus ir žiniatinklio nuorodas. Daugiau nei pusei užduočių (53 %) modeliai turi interpretuoti arba susintetinti informaciją bent iš vieno artefakto.

Užduotis sukūrė 173 ekspertai mokslininkai iš skirtingų gyvybės mokslų disciplinų. Kiekvienas mokslininkas turėjo doktorantūros lygio pasirengimą ir patirties biotechnologijų arba farmacijos pramonėje. Prieš priimant užduotis jos galėjo pereiti tiek taisymo ciklų, kiek reikėjo, be nustatytos raundų skaičiaus ribos; priimtos užduotys vidutiniškai praėjo šešis savarankiškus automatizuotos peržiūros ciklus ir bent du ekspertinių peržiūrų raundus. Peržiūros rėmėsi arba patikrinamu teisingu atsakymu, arba tvirtu ekspertų sutarimu, kai atitinkamos srities recenzentų sutarimas siekė bent 90 %. Šis procesas padėjo užtikrinti, kad priimtos užduotys būtų moksliškai pagrįstos, pakankamai aiškios vertinti ir reprezentuotų taikomuosius tyrimus.

LifeSciBench užduotys vertinamos pagal išsamią, konkrečiai užduočiai pritaikytą rubriką, kuri laukiamą atsakymą suskaido į konkrečius mokslinius teiginius, skaičiavimus, sprendimus, pagrindimus ir pan. Visame etalone ekspertų parengtos rubrikos apima 19 020 kriterijų — vidutiniškai po 25 vienai užduočiai — kad būtų įvertintas tiek mokslinis teisingumas, tiek naudingumas tyrimų sprendimams.

Šis dizainas atspindi, kaip mokslinis darbas vertinamas praktiškai: daugelio gyvybės mokslų užduočių negalima įvertinti tik patikrinus galutinį atsakymą. Atsakymas gali pasiekti teisingą aukšto lygio išvadą, bet vis tiek būti laikomas neišsamiu, jei, pavyzdžiui, praleidžia esminį tyrimo metodikos apribojimą arba proaktyviai nepamini labai reikšmingo biologinio niuanso. Ir atvirkščiai, dalinis atsakymas gali turėti aukštos kokybės protavimo, net jei užduoties iki galo neišsprendžia.

Smulkios rubrikos šį niuansą užfiksuoja. LifeSciBench vertina ne tik galutinio atsakymo tikslumą, bet ir tai, ar modelis prie atsakymo prieina moksliškai pagrįstu ir operaciniu požiūriu naudingu būdu.

LifeSciBench validavome atlikdami nepriklausomą ekspertų peržiūrą. Atsiliepimus pateikė 453 recenzentai, kurie nedalyvavo rašant užduotis. Iš šių recenzentų 97 % turėjo Ph.D. arba lygiavertį daktaro laipsnį, vidutiniškai 12 metų srities patirties ir 14 recenzuotų publikacijų; 88 % nurodė gavę bent vieną apdovanojimą arba stipendiją.

Recenzentai vertino, ar kiekviena užduotis atspindi savybes, reikalingas stipriam etaloniniam klausimui: atitiktį realiam tyrimų darbui, tinkamą mokslinio protavimo ir srities kompetencijos tikrinimą, pagrindimą įrodymais arba ekspertų sutarimu ir bendrą naudingumą vertinant modelių našumą. Visose kategorijose sutarimas viršijo 96 %.

Recenzentų komentarai sustiprino kiekybinius įvertinimus:

Pateikiame dvi viena kitą papildančias metrikas. Sėkmės rodiklis yra užduočių procentas, kuriose modelis pasiekia 70 % užduoties lygmens sėkmės slenkstį. Balas yra vidutinis rubrikos atlygis, suteikiantis dalinį kreditą už atskirus kriterijus net tada, kai visa užduotis neišspręsta. Abu svarbūs, nes atsakymas į mokslinę užduotį gali būti iš dalies teisingas arba naudingas, nors ir neatitinka visų išsamaus atsakymo reikalavimų.

Modelių našumas labai skiriasi pagal užduoties tipą, darbo eigą ir atsakymo formatą.

LifeSciBench rodo, kad pažangiausi modeliai santykinai stipriausi užduotyse, susijusiose su moksline sinteze, komunikacija ir struktūruota interpretacija. Absoliutūs sėkmės rodikliai vis dar kuklūs, todėl šios etalono sritys dar toli gražu nėra prisotintos, tačiau GPT‑Rosalind rodo reikšmingą pažangą, palyginti su GPT‑5.5: bendras tikslus sėkmės rodiklis pakilo nuo 25,7 % iki 36,1 %.

Ryškiausios modelių gebėjimų pažangos kryptys matomos mokslinės komunikacijos ir transliacijos srityse. Pavyzdžiui, mokslinės komunikacijos sėkmės rodiklis padidėja nuo 56,3 % GPT‑5.5 atveju iki 71,1 % GPT‑Rosalind atveju; ši kategorija maža (n=9), todėl ją reikėtų interpretuoti atsargiai, bet ji rodo, kad pažangiausi modeliai sparčiai gerina gebėjimą organizuoti įrodymus ir rengti įtikinamus ekspertams skirtus paaiškinimus. Transliacija („nuo laboratorinio stendo iki paciento lovos“ vaistų kūrimo procesas) rodo panašų modelį: rodiklis kyla nuo 36,8 % GPT‑5.5 atveju iki 57,7 % GPT‑Rosalind atveju, o tai leidžia manyti, kad modeliai sparčiai gerina gebėjimą susieti ikiklinikinius įrodymus su klinikinėmis pasekmėmis.

Rubrikų lygmens rezultatai rodo tą pačią kryptį. Užduotyse, kuriose reikia ekspertams naudingų arba veiksmingų rezultatų, GPT‑Rosalind surenka 44,7 %, palyginti su 29,1 % GPT‑5.5. Užduotyse, kuriose reikia tvarkytis su neapibrėžtumu ir išlygomis, jis surenka 44,8 %, palyginti su 29,3 %. Šis modelis leidžia manyti, kad modeliai naudingiausi tada, kai užduotis turi aiškias įrodymų ribas ir reikalauja struktūruoto mokslinio sprendimo.

Našumas tebėra gerokai silpnesnis atliekant mokslinį darbą, kuriame daug artefaktų, daug projektavimo ir yra griežtų operacinių apribojimų. Konkrečiai, projektavimas, optimizavimas ir prognozavimas išlieka viena sunkiausių darbo eigų: GPT‑Rosalind sėkmės rodiklis siekia 30,7 %; analizė panašiai sudėtinga — 30,3 %.

Artefaktų naudojimas yra ypač aiški spraga. Nors GPT‑Rosalind aplinkose, kuriose daug artefaktų, veikia geriau nei GPT‑5.5, jo sėkmės rodiklis vis tiek sumažėja nuo 45,1 % tik teksto užduotyse iki 28,1 % užduotyse su artefaktais arba URL. GPT‑5.5 rodo tą patį modelį: rodiklis mažėja nuo 29,9 % iki 21,9 %. Išsamesnė analizė patvirtina, kad pažangiausiems modeliams sunku išgauti informaciją iš sudėtingų paveikslų ar didelių sekų failų ir integruoti tą informaciją į galutinį atsakymą.

Atsakymo formatas taip pat svarbus. Užduotys, kurioms reikia tikslių sekos, struktūros arba konstrukto lygmens rezultatų, rodo mažesnius sėkmės rodiklius: GPT‑Rosalind skaitinėse užduotyse pasiekia tik 14,8 %, o sekos arba struktūros rezultatuose — 24,0 %. Konstrukto generavimo užduotys taip pat trapios: GPT‑Rosalind pasiekia 27,3 % ir rodo nedidelį pagerėjimą, palyginti su GPT‑5.5. Dalis šios spragos gali atspindėti griežtesnį tikslaus atsakymo užduočių vertinimo paviršių, kai nedideli skaičiavimo ar formatavimo skirtumai gali nulemti, kad atsakymas nepasieks sėkmės slenksčio. Vis dėlto šios nesėkmės yra moksliškai reikšmingos, nes daugeliui gyvybės mokslų darbo eigų reikia rezultatų, pakankamai tikslių tiesioginiam naudojimui, pavyzdžiui, CRISPR/HDR donoro projektavime arba siRNA projektavime.

Modeliai taip pat dažnai nueina dalį kelio, bet užduoties iki galo neišsprendžia. Maždaug 14 % užduočių modeliai surinko reikšmingą rubrikos kreditą, nors nepasiekė tikslaus sėkmės slenksčio. GPT‑Rosalind atveju 109 užduotys turėjo mažesnius nei 20 % sėkmės rodiklius, bet vis tiek surinko bent 50 % rubrikos atlygio. Praktiškai tai reiškia, kad modeliai gali nustatyti aktualius įrodymus arba pateikti įtikinamą dalinį atsakymą, bet vis tiek nesėkmingai atlikti užduotį, nes praleidžia esminį apribojimą, naudoja netinkamus įrodymus, atlieka neišsamų skaičiavimą arba nesusieja savo protavimo su moksliškai naudingu galutiniu sprendimu.

LifeSciBench yra žingsnis link matavimo, kiek AI sistemos gali būti naudingos gyvybės mokslų tyrimams, tačiau jis nepakeičia modelių tyrimo gyvose tyrimų aplinkose. Etalonas sutelktas į savarankiškas užduotis, atspindinčias pasikartojančias pramonės darbo eigas, tačiau daugelis mokslinių specializacijų ir užduočių tipų lieka už dabartinės jo aprėpties ribų. Tikri tyrimai yra iteraciniai: mokslininkai renka naujus įrodymus, peržiūri hipotezes, projektuoja tolesnius eksperimentus ir pritaiko planus, kai atsiranda rezultatų.

Todėl stiprų LifeSciBench rezultatą reikėtų interpretuoti kaip realistiškos užduoties lygmens gebėjimo įrodymą, o ne kaip tiesioginį vėlesnio poveikio tyrimams matą. Etalonas grindžiamas pramonės darbo eigomis, tačiau neužfiksuoja visos gyvų tyrimų programų įvairovės ar dinamikos, kai pažanga priklauso nuo laikui bėgant besiskleidžiančių veiksnių.

Kitas žingsnis — susieti etalono rezultatus su diegimo tyrimais gyvose tyrimų darbo eigose. Nors LifeSciBench buvo kuriamas kartu su praktikuojančiais mokslininkais, norint įvertinti, ar AI sistemos pagreitina atradimus arba pagerina MTP rezultatus, reikės tirti modelių naudojimą ir našumą tikrose tyrimų aplinkose, ilgesniais laikotarpiais ir per kelis protavimo, grįžtamojo ryšio bei eksperimentinio tęsinio raundus.