Predstavljamo LifeSciBench

Sistemi agentske umetne inteligence postajajo vse bolj sposobni opravljati znanstvene naloge. Vendar je njihova uporabnost za raziskovalce v vedah o življenju odvisna od tega, kako dobro obvladujejo kompleksnost resničnih raziskav. Takšno delo je le redko podobno vprašanju za priklic enega dejstva ali jasnemu napovednemu problemu. Raziskovalci interpretirajo nepopolne dokaze, usklajujejo nasprotujoče si rezultate, načrtujejo zahtevne poskuse, odpravljajo težave v testih, ocenjujejo translacijsko tveganje in se v negotovosti odločajo o naslednjih korakih.

Obstoječa merila teh zmožnosti ne zajamejo v celoti. Številne evalvacije v vedah o življenju se osredotočajo na ozka področja ali izolirane spretnosti, zato uporabljajo strukturirane oblike vprašanj in jasne referenčne odgovore. Čeprav so dragocene, pogosto ne ocenijo zares, ali lahko model prispeva v širšem razponu raziskovalnega dela.

LifeSciBench smo zasnovali, da bi pomagali zapolniti to vrzel. Vsaka naloga temelji na presoji dejavnih znanstvenikov z doktorsko ravnjo usposobljenosti in neposrednimi izkušnjami pri razvoju programov odkrivanja zdravil v biotehnološkem in farmacevtskem okolju.

LifeSciBench vključuje 750 nalog, ki so jih pripravili strokovnjaki in zajemajo sedem delovnih tokov ter sedem bioloških področij.

LifeSciBench meri, ali lahko sistemi AI podpirajo realistične raziskovalne naloge v vedah o življenju, ne le odgovarjajo na biološka vprašanja. Za opredelitev taksonomije merila smo dejavne znanstvenike v vedah o življenju vprašali, katere delovne tokove najpogosteje uporabljajo v uporabnih raziskovalnih okoljih. Nato smo njihove odgovore združili v sedem ponavljajočih se kategorij: obravnava dokazov, analiza, načrtovanje in optimizacija, znanstveno sklepanje, validacija in operacije, translacija ter znanstveno komuniciranje.

Vsaka naloga je strukturirana kot zahteva, ki bi jo znanstvenik lahko dal dobro poučenemu sodelavcu: znanstveni poziv, morebiten ustrezen kontekst ali artefakti ter odgovor v prosti obliki. Rubrike, ki so jih napisali strokovnjaki, ocenjujejo, ali lahko model za konkreten problem pripravi pravilen odgovor z ravnjo podrobnosti, utemeljitve, zadržkov in oblikovanja, ki bi jo pričakoval znanstvenik.

LifeSciBench poleg znanstvenega sklepanja ocenjuje tudi manj jasno opredeljene praktične spretnosti, potrebne za resnično znanstveno uporabo. Naloge od modelov zahtevajo reševanje realističnih raziskovalnih problemov: interpretacijo dokazov, presoje, utemeljene v stroki, in sporočanje sklepov, ki bi bili koristni strokovnim ocenjevalcem. Številne naloge od modelov zahtevajo tudi obravnavo negotovosti in sklepanje na podlagi podpornih podatkovnih datotek, ne le besedila poziva.

Merilo je zasnovano tako, da odraža kompleksnost dela v vedah o življenju. Skupno 79 % nalog zahteva več korakov sklepanja ali odločanja, v povprečju štiri korake na nalogo. LifeSciBench vključuje 1.062 priloženih artefaktov, med njimi slike, PDF-je, tabele, datoteke zaporedij, strukturne ali kemijske datoteke in spletne reference. Več kot polovica nalog (53 %) od modelov zahteva interpretacijo ali sintezo informacij iz vsaj enega artefakta.

Naloge je ustvarilo 173 strokovnih znanstvenikov iz različnih disciplin ved o življenju. Vsak znanstvenik je imel doktorsko raven usposobljenosti ter izkušnje v biotehnološki ali farmacevtski industriji. Naloge so lahko pred sprejetjem opravile toliko ciklov revizije, kot je bilo potrebno, brez fiksne zgornje meje; sprejete naloge so imele v povprečju šest samousmerjenih avtomatiziranih preglednih ciklov in opravile vsaj dva kroga strokovnih pregledov. Pregledi so temeljili na preverljivem pravilnem odgovoru ali močnem strokovnem konsenzu, z vsaj 90-odstotnim soglasjem med ocenjevalci na ustreznem področju. Ta postopek je pomagal zagotoviti, da so sprejete naloge znanstveno utemeljene, dovolj jasne za ocenjevanje in reprezentativne za uporabne raziskave.

Naloge LifeSciBench se ocenjujejo s podrobno, za nalogo specifično rubriko, ki pričakovani odgovor razdeli na konkretne znanstvene trditve, izračune, odločitve, utemeljitve in podobno. V celotnem merilu rubrike, ki so jih razvili strokovnjaki, vključujejo 19.020 meril — v povprečju 25 na nalogo — za oceno znanstvene pravilnosti in uporabnosti pri raziskovalnih odločitvah.

Ta zasnova odraža, kako se znanstveno delo ocenjuje v praksi: številnih nalog v vedah o življenju ni mogoče oceniti zgolj s preverjanjem končnega odgovora. Odgovor lahko doseže pravilen sklep na visoki ravni, a je še vedno ocenjen kot nepopoln, če na primer spregleda ključno omejitev testa ali ne izpostavi zelo pomembne biološke nianse. Nasprotno pa lahko delni odgovor vsebuje kakovostno sklepanje, tudi če naloge ne reši v celoti.

Granularne rubrike zajamejo to nianso. LifeSciBench ne ocenjuje le točnosti končnega odgovora, temveč tudi, ali model do odgovora pride na znanstveno veljaven in operativno uporaben način.

LifeSciBench smo validirali z neodvisnim strokovnim pregledom. Povratne informacije je podalo 453 ocenjevalcev, ki niso sodelovali pri pisanju nalog. Med temi ocenjevalci jih je 97 % imelo doktorat ali enakovredno doktorsko izobrazbo, v povprečju 12 let izkušenj na področju in 14 recenziranih objav; 88 % jih je poročalo o vsaj eni nagradi ali štipendiji.

Ocenjevalci so presojali, ali posamezna naloga odraža lastnosti močnega merilnega vprašanja: usklajenost z resničnim raziskovalnim delom, ustrezno preverjanje znanstvenega sklepanja in strokovnega znanja, utemeljenost v dokazih ali strokovnem konsenzu ter splošno uporabnost za ocenjevanje uspešnosti modela. Soglasje je v vsaki kategoriji preseglo 96 %.

Komentarji ocenjevalcev so podprli kvantitativne ocene:

Poročamo o dveh dopolnjujočih se metrikah. Delež uspešno opravljenih nalog je odstotek nalog, pri katerih model doseže prag uspeha na ravni naloge, določen pri 70 %. Rezultat je povprečna nagrada po rubriki, ki dodeli delne točke za posamezna merila tudi, kadar celotna naloga ni rešena. Oboje je pomembno, ker je lahko odgovor na znanstveno nalogo delno pravilen ali uporaben, tudi če ne izpolni vseh zahtev za popoln odgovor.

Uspešnost modela se precej razlikuje glede na vrsto naloge, delovni tok in obliko odgovora.

LifeSciBench kaže, da so najnaprednejši modeli razmeroma najmočnejši pri nalogah, ki vključujejo znanstveno sintezo, komuniciranje in strukturirano interpretacijo. Absolutni deleži uspešno opravljenih nalog so še vedno skromni, zato ta področja merila še zdaleč niso zasičena, vendar GPT‑Rosalind kaže pomemben napredek v primerjavi z GPT‑5.5, saj se skupni natančni delež uspešno opravljenih nalog izboljša s 25,7 % na 36,1 %.

Najmočnejše smeri napredka v zmožnostih modelov se kažejo pri znanstvenem komuniciranju in translaciji. Na primer, delež uspešno opravljenih nalog pri znanstvenem komuniciranju se poveča s 56,3 % za GPT‑5.5 na 71,1 % za GPT‑Rosalind; ta kategorija je majhna (n=9), zato jo je treba razlagati previdno, vendar nakazuje, da se najnaprednejši modeli hitro izboljšujejo pri organiziranju dokazov in pripravi prepričljivih razlag za strokovnjake. Translacija (proces razvoja zdravil »od laboratorijske klopi do bolniške postelje«) kaže podoben vzorec, saj naraste s 36,8 % za GPT‑5.5 na 57,7 % za GPT‑Rosalind, kar nakazuje, da se modeli hitro izboljšujejo pri povezovanju predkliničnih dokazov s kliničnimi posledicami.

Rezultati na ravni rubrik kažejo v isto smer. Pri nalogah, ki zahtevajo za strokovnjake uporabne ali izvedljive izhode, GPT‑Rosalind doseže 44,7 %, v primerjavi z 29,1 % za GPT‑5.5. Pri nalogah, ki zahtevajo obravnavo negotovosti in zadržkov, doseže 44,8 %, v primerjavi z 29,3 %. Ta vzorec nakazuje, da so modeli najbolj uporabni, kadar ima naloga jasno mejo dokazov in zahteva strukturirano znanstveno presojo.

Uspešnost ostaja precej šibkejša pri znanstvenem delu, ki je močno odvisno od artefaktov, načrtovanja in operativnih omejitev. Na primer, načrtovanje, optimizacija in napovedovanje ostajajo med najtežjimi delovnimi tokovi, pri čemer je delež uspešno opravljenih nalog GPT‑Rosalind 30,7 %; analiza je podobno zahtevna pri 30,3 %.

Uporaba artefaktov je posebej jasna vrzel. Čeprav je GPT‑Rosalind v okoljih z veliko artefakti uspešnejši od GPT‑5.5, njegov delež uspešno opravljenih nalog še vedno pade s 45,1 % pri nalogah samo z besedilom na 28,1 % pri nalogah z artefakti ali URL-ji. GPT‑5.5 kaže enak vzorec, s padcem z 29,9 % na 21,9 %. Podrobnejša analiza potrjuje, da imajo najnaprednejši modeli težave z izluščenjem informacij iz kompleksnih slik ali velikih datotek zaporedij in z vključevanjem teh informacij v končni odgovor.

Pomembna je tudi oblika odgovora. Naloge, ki zahtevajo natančne izhode na ravni zaporedja, strukture ali konstrukta, imajo nižje deleže uspešno opravljenih nalog: GPT‑Rosalind doseže le 14,8 % pri numeričnih nalogah in 24,0 % pri izhodih zaporedij ali struktur. Naloge generiranja konstruktov so prav tako krhke, pri čemer GPT‑Rosalind doseže 27,3 % in kaže le malo izboljšanja v primerjavi z GPT‑5.5. Del te vrzeli lahko odraža strožjo ocenjevalno površino pri nalogah z natančnim odgovorom, kjer lahko majhne razlike v izračunu ali oblikovanju povzročijo, da odgovor ne doseže praga uspeha. Kljub temu so ti neuspehi znanstveno pomembni, ker številni delovni tokovi v vedah o življenju zahtevajo izhode, ki so dovolj natančni za neposredno uporabo, na primer pri načrtovanju donorjev CRISPR/HDR ali načrtovanju siRNA.

Modeli pogosto pridejo tudi del poti, ne da bi nalogo rešili v celoti. Pri približno 14 % nalog so modeli pridobili precejšen delež točk po rubriki, čeprav niso dosegli praga natančnega uspeha. Pri GPT‑Rosalind je imelo 109 nalog deleže uspeha pod 20 %, hkrati pa so še vedno dosegle vsaj 50 % nagrade po rubriki. V praksi to pomeni, da modeli lahko prepoznajo relevantne dokaze ali pripravijo verjeten delni odgovor, vendar še vedno odpovejo, ker spregledajo ključno omejitev, uporabijo napačne dokaze, naredijo nepopoln izračun ali svojega sklepanja ne povežejo z znanstveno uporabno končno odločitvijo.

LifeSciBench je korak k merjenju uporabnosti sistemov AI za raziskave v vedah o življenju, vendar ni nadomestilo za preučevanje modelov v živih raziskovalnih okoljih. Merilo se osredotoča na samozadostne naloge, ki odražajo ponavljajoče se industrijske delovne tokove, pri tem pa številne znanstvene specialnosti in vrste nalog ostajajo zunaj njegovega trenutnega obsega. Resnične raziskave so iterativne: znanstveniki zbirajo nove dokaze, popravljajo hipoteze, načrtujejo nadaljnje poskuse in prilagajajo načrte, ko se pojavijo rezultati.

Močno uspešnost na LifeSciBench je zato treba razumeti kot dokaz realistične zmožnosti na ravni nalog, ne kot neposredno mero vpliva na poznejše raziskave. Merilo temelji na industrijskih delovnih tokovih, vendar ne zajame celotne raznolikosti ali dinamike živih raziskovalnih programov, kjer je napredek odvisen od dejavnikov, ki se razvijajo skozi čas.

Naslednji korak je povezati uspešnost na merilu s študijami uvedbe v živih raziskovalnih delovnih tokovih. Čeprav je bil LifeSciBench razvit z dejavnimi znanstveniki, bo merjenje, ali sistemi AI pospešujejo odkritja ali izboljšujejo rezultate raziskav in razvoja, zahtevalo preučevanje uporabe in uspešnosti modelov v resničnih raziskovalnih okoljih, v daljših časovnih obdobjih ter skozi več krogov sklepanja, povratnih informacij in eksperimentalnega nadaljevanja.