Ngenalaké LifeSciBench

Sistem AI agentik saya tambah mampu nindakake tugas ilmiah. Nanging, kegunaane kanggo para peneliti ilmu hayati gumantung saka kepriye carane nangani kerumitan riset nyata. Pakaryan kuwi arang katon kaya pitakonan siji-sijine babagan ngelingi fakta utawa masalah prediksi sing resik. Para panaliti napsirake bukti sing ora lengkap, ngrujuk asil sing bertentangan, ngrancang eksperimen sing angel, ngatasi masalah uji coba, ngevaluasi risiko translasi, lan nemtokake apa sing kudu ditindakake sabanjure ing kahanan sing ora mesthi.

Tolok ukur saiki ora bisa nangkep kanthi lengkap kemampuan kasebut. Akeh evaluasi ilmu urip fokus ing domain sing sempit utawa katrampilan sing terisolasi, sing ngasilake pitakonan kanthi format pitakonan sing terstruktur lan jawaban referensi sing resik. Senajan migunani, model kasebut asring gagal neliti kanthi bener apa sawijining model bisa menehi kontribusi ing rentang karya tingkat riset sing luwih jembar.

Kita ngrancang LifeSciBench kanggo mbantu nutup kesenjangan iki. Saben tugas didhasarake ing penilaian ilmuwan urip sing praktik kanthi pelatihan tingkat Ph.D. lan pengalaman langsung ngembangake program panemuan obat ing lingkungan bioteknologi lan farmasi.

LifeSciBench kalebu 750 tugas sing ditulis dening ahli sing nyakup pitung alur kerja lan pitung domain biologis.

LifeSciBench ngukur apa sistem AI bisa ndhukung tugas riset ilmu hayati sing realistis, ora mung njawab pitakonan biologi. Kanggo nemtokake taksonomi patokan, kita nyurvei para ilmuwan urip sing praktik babagan alur kerja sing paling kerep digunakake ing setelan riset terapan. Banjur, kita nglompokake respon kasebut dadi pitung kategori sing bola-bali: penanganan bukti, analisis, desain lan optimasi, penalaran ilmiah, validasi lan operasi, terjemahan, lan komunikasi ilmiah.

Saben tugas disusun kaya panyuwunan sing diwenehake ilmuwan marang kolaborator sing duwe kawruh: pitunjuk ilmiah, konteks utawa artefak sing relevan, lan jawaban sing nanggapi kanthi bebas. Rubrik sing ditulis dening para ahli ngevaluasi apa model bisa ngasilake jawaban sing tepat kanggo masalah tartamtu, kanthi tingkat detail, justifikasi, peringatan, lan format sing tepat sing diarepake dening ilmuwan.

LifeSciBench ngevaluasi penalaran ilmiah bebarengan karo katrampilan praktis sing kurang jelas sing dibutuhake kanggo panggunaan ilmiah ing jagad nyata. Tugas-tugasé njaluk model supaya nggarap masalah riset sing realistis: napsirake bukti, nggawe penilaian sing adhedhasar domain, lan ngirim kesimpulan sing bakal migunani kanggo para pengulas ahli. Akeh tugas uga mbutuhake model kanggo nangani ketidakpastian lan alesan tinimbang ndhukung file data tinimbang mung ngandelake teks prompt.

Tolok ukur iki dirancang kanggo nggambarake kerumitan karya ilmu hayati. Sakabèhé, 79% tugas mbutuhake pirang-pirang langkah penalaran utawa pengambilan keputusan, kanthi rata-rata patang langkah saben tugas. LifeSciBench kalebu 1.062 artefak sing dilampirake sing nyakup gambar, PDF, tabel, file urutan, file struktur utawa kimia, lan referensi web. Luwih saka separo tugas (53%) mbutuhake model kanggo napsirake utawa nyintesis informasi saka paling ora siji artefak.

Tugas-tugas iki digawe dening 173 ilmuwan ahli saka macem-macem disiplin ilmu kehidupan. Saben ilmuwan duwé pelatihan tingkat Ph.D. lan pengalaman bioteknologi utawa industri farmasi. Tugas bisa ngalami siklus revisi sabisa-bisane sadurunge ditampa, tanpa watesan tetep babagan jumlah babak; tugas sing ditampa rata-rata enem siklus review otomatis sing diarahake dhewe lan ngrampungake paling ora rong babak review ahli. Ulasan didhasarake ing jawaban sing bener sing bisa diverifikasi utawa konsensus ahli sing kuwat, kanthi paling ora 90% persetujuan ing antarane para pengulas ing domain sing relevan. Proses iki mbantu njamin manawa tugas sing ditampa wis didhasarake sacara ilmiah, cukup jelas kanggo dinilai, lan representatif saka riset terapan.

Tugas LifeSciBench dinilai nganggo rubrik tugas sing rinci lan spesifik sing mbagi respon sing diarepake dadi klaim ilmiah, itungan, keputusan, justifikasi, lan liya-liyane sing spesifik. Ing sajeroning patokan kasebut, rubrik sing dikembangake dening para ahli kalebu 19.020 kriteria—rata-rata 25 saben tugas—kanggo neliti kebenaran ilmiah lan kegunaan kanggo keputusan riset.

Desain iki nggambarake kepiye karya ilmiah dievaluasi ing praktik: akeh tugas ilmu hayati sing ora bisa dinilai mung kanthi mriksa jawaban pungkasan. Respon bisa tekan kesimpulan tingkat dhuwur sing bener nanging isih dianggep ora lengkap yen, contone, ora nggatekake watesan uji coba utama utawa gagal kanthi proaktif nggawa nuansa biologis sing penting banget. Kosok baline, respon parsial bisa uga ngemot penalaran sing berkualitas tinggi sanajan ora bisa ngrampungake tugas kanthi lengkap.

Rubrik-rubrik rinci ngrekam nuansa iki. LifeSciBench ora mung ngevaluasi akurasi jawaban pungkasan, nanging uga apa model kasebut nggayuh jawabane kanthi cara sing valid sacara ilmiah lan migunani sacara operasional.

Kita wis ngevalidasi LifeSciBench liwat tinjauan ahli independen. Umpan balik asale saka 453 pengulas sing ora melu nulis tugas kasebut. Saka para pengulas kasebut, 97% nduweni gelar Ph.D. utawa gelar doktor sing padha, kanthi rata-rata 12 taun pengalaman lapangan lan 14 publikasi sing ditinjau dening sejawat; 88% nglaporake nampa paling ora siji penghargaan utawa beasiswa.

Para pengulas menehi skor apa saben tugas nggambarake kualitas sing dibutuhake kanggo pitakonan patokan sing kuwat: keselarasan karo karya riset ing jagad nyata, pengujian sing cocog babagan penalaran ilmiah lan keahlian domain, dhasar bukti utawa konsensus ahli, lan kegunaan sakabèhé kanggo neliti kinerja model. Persetujuan ngluwihi 96% ing saben kategori.

Komentar saka reviewer nguatake rating kuantitatif:

Kita nglaporake rong metrik sing saling melengkapi. Tingkat kelulusan yaiku persentase tugas sing modele memenuhi ambang batas sukses tingkat tugas yaiku 70%. Skor minangka ganjaran rubrik rata-rata, menehi kredit sebagian kanggo kriteria individu sanajan tugas lengkap ora bisa dirampungake. Kalorone penting amarga respon kanggo tugas ilmiah bisa uga sebagian bener utawa migunani tanpa nyukupi saben syarat kanggo jawaban sing lengkap.

Kinerja model beda-beda banget miturut jinis tugas, alur kerja, lan format respon.

LifeSciBench nuduhake yen model tapel wates relatif paling kuat ing tugas sing nglibatake sintesis ilmiah, komunikasi, lan interpretasi terstruktur. Tingkat kelulusan absolut isih sithik, mula domain patokan iki isih adoh saka jenuh, nanging GPT‑Rosalind nuduhake kemajuan sing signifikan tinimbang GPT‑5.5, ningkatake tingkat kelulusan eksak sakabèhé saka 25,7% dadi 36,1%.

Arah kemajuan sing paling kuat ing kemampuan model katon ing Komunikasi lan Terjemahan Ilmiah. Umpamane, tingkat kelulusan Komunikasi Ilmiah mundhak saka 56,3% kanggo GPT‑5,5 dadi 71,1% kanggo GPT‑Rosalind; kategori iki cilik (n=9), mula kudu diinterpretasikake kanthi ati-ati, nanging iki nuduhake yen model perbatasan saya cepet ningkatake kemampuane kanggo ngatur bukti lan ngasilake panjelasan sing meyakinkan kanggo para ahli. Terjemahan (proses pangembangan obat "bench-to-bedside") nuduhake pola sing padha, mundhak saka 36,8% kanggo GPT‑5,5 dadi 57,7% kanggo GPT‑Rosalind, sing nuduhake yen model kanthi cepet ningkatake kemampuane kanggo nyambungake bukti praklinis karo implikasi klinis.

Asil tingkat rubrik nuduhake arah sing padha. Ing tugas sing mbutuhake asil sing migunani kanggo ahli utawa sing bisa ditindakake, GPT‑Rosalind entuk skor 44,7%, dibandhingake karo 29,1% kanggo GPT‑5,5. Ing tugas sing mbutuhake ketidakpastian lan penanganan peringatan, skor kasebut 44,8%, dibandhingake karo 29,3%. Pola iki nuduhake yen model paling migunani nalika tugas kasebut nduweni wates bukti sing jelas lan mbutuhake penilaian ilmiah sing terstruktur.

Kinerja tetep luwih lemah ing karya ilmiah sing akeh artefak, akeh desain, lan diwatesi sacara operasional. Yaiku, Desain, Optimasi, & Prediksi tetep dadi salah sawijining alur kerja sing paling angel, kanthi tingkat kelulusan GPT‑Rosalind ing 30,7%; Analisis uga angel ing 30,3%.

Panggunaan artefak minangka kesenjangan sing jelas banget. Sanajan GPT‑Rosalind nduweni kinerja sing luwih apik tinimbang GPT‑5.5 ing setelan sing akeh artefak, tingkat kelulusane isih mudhun saka 45,1% ing tugas mung teks dadi 28,1% ing tugas sing ana artefak utawa URL. GPT‑5.5 nuduhake pola sing padha, mudhun saka 29,9% dadi 21,9%. Analisis sing luwih rinci ngonfirmasi manawa model tapel wates ngalami kesulitan nalika njupuk informasi saka tokoh kompleks utawa file urutan gedhe lan nggabungake informasi kasebut menyang jawaban pungkasan.

Format wangsulan uga penting. Tugas sing mbutuhake output tingkat urutan, struktur, utawa konstruksi sing tepat nuduhake tingkat kelulusan sing luwih murah: GPT‑Rosalind mung tekan 14,8% ing tugas numerik lan 24,0% ing output urutan utawa struktur. Tugas-tugas pembangkitan konstruksi uga ringkih, kanthi GPT‑Rosalind ing 27,3% lan nuduhake perbaikan sing sithik tinimbang GPT‑5,5. Sawetara kesenjangan iki bisa uga nuduhake permukaan penilaian sing luwih ketat kanggo tugas jawaban sing tepat, ing ngendi beda cilik ing pitungan utawa format bisa nyebabake respon mudhun ing ngisor ambang kelulusan. Sanajan mangkono, kegagalan iki nduweni makna ilmiah amarga akeh alur kerja ilmu hayati mbutuhake output sing cukup tepat kanggo digunakake langsung, kayata ing desain donor CRISPR/HDR utawa desain siRNA.

Model uga asring entuk sebagian saka dalan menyang kana tanpa ngrampungake tugas kasebut kanthi lengkap. Ing kira-kira 14% tugas, model entuk kredit rubrik sing substansial sanajan ora nggayuh ambang batas kelulusan sing tepat. Kanggo GPT‑Rosalind, 109 tugas nduweni tingkat kelulusan ing ngisor 20% nalika isih entuk paling ora 50% rubrik hadiah. Ing praktik, iki tegese model bisa uga ngidentifikasi bukti sing relevan utawa ngasilake jawaban parsial sing masuk akal, nanging isih gagal amarga ora nemokake kendala kunci, nggunakake bukti sing salah, nggawe pitungan sing ora lengkap, utawa ora nyambungake penalarane karo keputusan pungkasan sing migunani sacara ilmiah.

LifeSciBench minangka langkah kanggo ngukur sepira migunani sistem AI kanggo riset ilmu hayati, nanging iki dudu pengganti kanggo nyinaoni model ing lingkungan riset langsung. Tolok ukur iki fokus ing tugas-tugas mandiri sing nggambarake alur kerja industri sing bola-bali, nalika ninggalake akeh spesialisasi ilmiah lan jinis tugas ing njaba ruang lingkup saiki. Riset sejati iku iteratif: para ilmuwan nglumpukake bukti anyar, mbenakake hipotesis, ngrancang eksperimen tindak lanjut, lan ngowahi rencana nalika asilé metu.

Mula, kinerja sing kuwat ing LifeSciBench kudu diinterpretasikake minangka bukti kemampuan tingkat tugas sing realistis, dudu minangka ukuran langsung saka dampak riset hilir. Tolok ukur iki adhedhasar alur kerja industri, nanging ora bisa nangkep keragaman utawa dinamika program riset langsung kanthi lengkap, ing ngendi kemajuan gumantung marang faktor-faktor sing berkembang saka wektu ke wektu.

Langkah sabanjure yaiku nyambungake kinerja benchmark karo studi penyebaran ing alur kerja riset langsung. Sanajan LifeSciBench dikembangake karo para ilmuwan sing praktik, ngukur apa sistem AI nyepetake panemuan utawa ningkatake asil R&D mbutuhake sinau panggunaan lan kinerja model ing setelan riset nyata, ing cakrawala sing luwih dawa, lan ing pirang-pirang babak penalaran, umpan balik, lan tindak lanjut eksperimen.