Memperkenalkan LifeSciBench

Sistem AI agentik semakin mampu menjalankan tugas-tugas ilmiah. Namun, kegunaannya bagi peneliti ilmu hayati bergantung pada seberapa baik sistem tersebut menangani kompleksitas riset nyata. Pekerjaan itu jarang tampak seperti satu pertanyaan hafalan fakta atau masalah prediksi yang rapi. Peneliti menafsirkan bukti yang tidak lengkap, mendamaikan hasil yang bertentangan, merancang eksperimen sulit, memecahkan masalah assay, mengevaluasi risiko translasi, dan memutuskan langkah berikutnya di tengah ketidakpastian.

Benchmark saat ini belum sepenuhnya menangkap kemampuan-kemampuan ini. Banyak evaluasi ilmu hayati berfokus pada domain sempit atau keterampilan terpisah, sehingga menghasilkan pertanyaan dengan format terstruktur dan jawaban acuan yang rapi. Meski bernilai, evaluasi tersebut sering gagal benar-benar menilai apakah model dapat berkontribusi di rentang pekerjaan tingkat riset yang lebih luas.

Kami merancang LifeSciBench untuk membantu menutup kesenjangan ini. Setiap tugas berlandaskan penilaian ilmuwan ilmu hayati aktif dengan pelatihan setingkat Ph.D. dan pengalaman langsung memajukan program penemuan obat di lingkungan bioteknologi dan farmasi.

LifeSciBench mencakup 750 tugas yang ditulis pakar, mencakup tujuh alur kerja dan tujuh domain biologis.

LifeSciBench mengukur apakah sistem AI dapat mendukung tugas riset ilmu hayati yang realistis, bukan sekadar menjawab pertanyaan biologi. Untuk menentukan taksonomi benchmark, kami menyurvei ilmuwan ilmu hayati aktif tentang alur kerja yang paling sering mereka gunakan dalam riset terapan. Kemudian, kami mengelompokkan jawaban mereka ke dalam tujuh kategori berulang: penanganan bukti, analisis, desain dan optimisasi, penalaran ilmiah, validasi dan operasi, translasi, serta komunikasi ilmiah.

Setiap tugas disusun seperti permintaan yang mungkin diberikan seorang ilmuwan kepada kolaborator yang berpengetahuan: prompt ilmiah, konteks atau artefak yang relevan, dan jawaban bebas. Rubrik yang ditulis pakar mengevaluasi apakah model dapat menghasilkan jawaban yang tepat untuk masalah tertentu, dengan tingkat detail, justifikasi, catatan kehati-hatian, dan format yang diharapkan ilmuwan.

LifeSciBench mengevaluasi penalaran ilmiah bersama keterampilan praktis yang kurang terdefinisi tetapi diperlukan untuk penggunaan ilmiah di dunia nyata. Tugas-tugasnya meminta model menuntaskan masalah riset yang realistis: menafsirkan bukti, membuat penilaian berbasis domain, dan mengomunikasikan kesimpulan yang berguna bagi peninjau pakar. Banyak tugas juga menuntut model menangani ketidakpastian dan bernalar atas file data pendukung, bukan hanya mengandalkan teks prompt.

Benchmark ini dirancang untuk mencerminkan kompleksitas pekerjaan ilmu hayati. Secara keseluruhan, 79% tugas membutuhkan beberapa langkah penalaran atau pengambilan keputusan, dengan rata-rata empat langkah per tugas. LifeSciBench mencakup 1.062 artefak terlampir yang meliputi gambar, PDF, tabel, file sekuens, file struktur atau kimia, dan referensi web. Lebih dari separuh tugas (53%) mengharuskan model menafsirkan atau menyintesis informasi dari setidaknya satu artefak.

Tugas dibuat oleh 173 ilmuwan pakar dari berbagai disiplin ilmu hayati. Setiap ilmuwan memiliki pelatihan setingkat Ph.D. dan pengalaman di industri bioteknologi atau farmasi. Tugas dapat menjalani siklus revisi sebanyak yang diperlukan sebelum diterima, tanpa batas tetap jumlah putaran; tugas yang diterima rata-rata melalui enam siklus tinjauan otomatis mandiri dan menyelesaikan setidaknya dua putaran tinjauan pakar. Tinjauan berlandaskan pada jawaban benar yang dapat diverifikasi atau konsensus pakar yang kuat, dengan setidaknya 90% kesepakatan di antara peninjau dalam domain terkait. Proses ini membantu memastikan bahwa tugas yang diterima berlandaskan sains, cukup jelas untuk dinilai, dan mewakili riset terapan.

Tugas LifeSciBench dinilai dengan rubrik terperinci dan khusus tugas yang memecah respons yang diharapkan menjadi klaim ilmiah, perhitungan, keputusan, justifikasi, dan sebagainya. Di seluruh benchmark, rubrik yang dikembangkan pakar mencakup 19.020 kriteria—rata-rata 25 per tugas—untuk menilai ketepatan ilmiah sekaligus kegunaan bagi keputusan riset.

Desain ini mencerminkan cara kerja ilmiah dinilai dalam praktik: banyak tugas ilmu hayati tidak dapat dinilai hanya dengan memeriksa jawaban akhir. Sebuah respons dapat mencapai kesimpulan tingkat tinggi yang benar tetapi tetap dinilai tidak lengkap jika, misalnya, mengabaikan keterbatasan assay utama atau gagal mengangkat nuansa biologis yang sangat berdampak. Sebaliknya, respons parsial dapat memuat penalaran berkualitas tinggi meski tidak sepenuhnya menyelesaikan tugas.

Rubrik yang granular menangkap nuansa ini. LifeSciBench tidak hanya mengevaluasi akurasi jawaban akhir, tetapi juga apakah model mencapai jawabannya dengan cara yang valid secara ilmiah dan berguna secara operasional.

Kami memvalidasi LifeSciBench melalui tinjauan pakar independen. Umpan balik berasal dari 453 peninjau yang tidak terlibat dalam penulisan tugas. Di antara peninjau tersebut, 97% memiliki Ph.D. atau doktor setara, dengan rata-rata 12 tahun pengalaman bidang dan 14 publikasi yang ditinjau sejawat; 88% melaporkan menerima setidaknya satu penghargaan atau fellowship.

Peninjau memberi skor apakah setiap tugas mencerminkan kualitas yang dibutuhkan untuk pertanyaan benchmark yang kuat: keselarasan dengan pekerjaan riset dunia nyata, pengujian penalaran ilmiah dan keahlian domain yang tepat, landasan pada bukti atau konsensus pakar, serta kegunaan keseluruhan untuk menilai kinerja model. Tingkat kesepakatan melampaui 96% di setiap kategori.

Komentar peninjau memperkuat penilaian kuantitatif:

Kami melaporkan dua metrik yang saling melengkapi. Tingkat kelulusan adalah persentase tugas ketika model memenuhi ambang keberhasilan tingkat tugas sebesar 70%. Skor adalah rata-rata reward rubrik, yang memberi kredit parsial untuk kriteria individual meski tugas penuh tidak terselesaikan. Keduanya penting karena respons terhadap tugas ilmiah dapat benar atau berguna sebagian tanpa memenuhi semua persyaratan untuk jawaban lengkap.

Kinerja model sangat bervariasi menurut jenis tugas, alur kerja, dan format respons.

LifeSciBench menunjukkan bahwa model frontier relatif paling kuat pada tugas yang melibatkan sintesis ilmiah, komunikasi, dan interpretasi terstruktur. Tingkat kelulusan absolut masih sederhana, sehingga domain benchmark ini masih jauh dari jenuh, tetapi GPT‑Rosalind menunjukkan kemajuan bermakna dibanding GPT‑5.5, meningkatkan tingkat kelulusan tepat keseluruhanmodeldari 25,7% menjadi 36,1%.

Arah kemajuan terkuat dalam kemampuan model tampak pada Komunikasi Ilmiah dan Translasi. Misalnya, tingkat kelulusan Komunikasi Ilmiah meningkat dari 56,3% untuk GPT‑5.5 menjadi 71,1% untuk GPT‑Rosalind; kategori ini kecil (n=9), sehingga perlu ditafsirkan dengan hati-hati, tetapi ini menunjukkan model frontier membaik cepat dalam kemampuan menyusun bukti dan menghasilkan penjelasan yang meyakinkan untuk pakar. Translasi (proses "dari bangku lab ke ranjang pasien" dalam pengembangan obat) menunjukkan pola serupa, naik dari 36,8% untuk GPT‑5.5 menjadi 57,7% untuk GPT‑Rosalind, yang menunjukkan model cepat membaik dalam menghubungkan bukti praklinis dengan implikasi klinis.

Hasil tingkat rubrik mengarah ke kesimpulan yang sama. Pada tugas yang membutuhkan keluaran yang berguna bagi pakar atau dapat ditindaklanjuti, GPT‑Rosalind mencetak 44,7%, dibandingkan 29,1% untuk GPT‑5.5. Pada tugas yang membutuhkan penanganan ketidakpastian dan caveat, skornya 44,8%, dibandingkan 29,3%. Pola ini menunjukkan model paling berguna ketika tugas memiliki batas bukti yang jelas dan membutuhkan penilaian ilmiah terstruktur.

Kinerja masih jauh lebih lemah pada pekerjaan ilmiah yang sarat artefak, sarat desain, dan dibatasi secara operasional. Secara khusus, Desain, Optimisasi, & Prediksi tetap menjadi salah satu alur kerja tersulit, dengan tingkat kelulusan GPT‑Rosalind 30,7%; Analisis juga sama sulitnya pada 30,3%.

Penggunaan artefak merupakan kesenjangan yang sangat jelas. Meski GPT‑Rosalind berkinerja lebih baik daripada GPT‑5.5 dalam konteks sarat artefak, tingkat kelulusannya tetap turun dari 45,1% pada tugas hanya teks menjadi 28,1% pada tugas dengan artefak atau URL. GPT‑5.5 menunjukkan pola yang sama, turun dari 29,9% menjadi 21,9%. Analisis yang lebih terperinci menegaskan bahwa model frontier kesulitan mengekstrak informasi dari gambar kompleks atau file sekuens besar dan mengintegrasikan informasi itu ke dalam jawaban akhir.

Format jawaban juga penting. Tugas yang membutuhkan keluaran sekuens, struktur, atau tingkat konstruksi yang tepat menunjukkan tingkat kelulusan lebih rendah: GPT‑Rosalind hanya mencapai 14,8% pada tugas numerik dan 24,0% pada keluaran sekuens atau struktur. Tugas pembuatan konstruksi juga rapuh, dengan GPT‑Rosalind pada 27,3% dan hanya menunjukkan sedikit perbaikan dibanding GPT‑5.5. Sebagian kesenjangan ini mungkin mencerminkan permukaan penilaian yang lebih ketat untuk tugas berjawaban tepat, ketika perbedaan kecil dalam perhitungan atau format dapat membuat respons berada di bawah ambang kelulusan. Namun, kegagalan ini bermakna secara ilmiah karena banyak alur kerja ilmu hayati membutuhkan keluaran yang cukup tepat untuk digunakan langsung, seperti dalam desain donor CRISPR/HDR atau desain siRNA.

Model juga sering berhasil sebagian tanpa sepenuhnya menyelesaikan tugas. Pada sekitar 14% tugas, model memperoleh kredit rubrik yang substansial meski gagal mencapai ambang kelulusan tepat. Untuk GPT‑Rosalind, 109 tugas memiliki tingkat kelulusan di bawah 20% tetapi tetap memperoleh setidaknya 50% reward rubrik. Dalam praktiknya, ini berarti model dapat mengidentifikasi bukti yang relevan atau menghasilkan jawaban parsial yang masuk akal, tetapi tetap gagal karena melewatkan kendala penting, menggunakan bukti yang salah, membuat perhitungan tidak lengkap, atau tidak menghubungkan penalarannya dengan keputusan akhir yang berguna secara ilmiah.

LifeSciBench adalah langkah menuju pengukuran seberapa berguna sistem AI bagi riset ilmu hayati, tetapi bukan pengganti studi model di lingkungan riset langsung. Benchmark ini berfokus pada tugas mandiri yang mencerminkan alur kerja industri yang berulang, sambil menyisakan banyak spesialisasi ilmiah dan jenis tugas di luar cakupannya saat ini. Riset nyata bersifat iteratif: ilmuwan mengumpulkan bukti baru, merevisi hipotesis, merancang eksperimen lanjutan, dan menyesuaikan rencana saat hasil muncul.

Karena itu, kinerja kuat pada LifeSciBench harus ditafsirkan sebagai bukti kemampuan tingkat tugas yang realistis, bukan sebagai ukuran langsung dampak riset hilir. Benchmark ini berlandaskan alur kerja industri, tetapi tidak menangkap seluruh keragaman atau dinamika program riset langsung, ketika kemajuan bergantung pada faktor-faktor yang berkembang seiring waktu.

Langkah berikutnya adalah menghubungkan kinerja benchmark dengan studi penerapan dalam alur kerja riset langsung. Meski LifeSciBench dikembangkan bersama ilmuwan aktif, mengukur apakah sistem AI mempercepat penemuan atau meningkatkan hasil R&D akan membutuhkan studi penggunaan dan kinerja model di lingkungan riset nyata, dalam jangka waktu lebih panjang, dan melalui beberapa putaran penalaran, umpan balik, serta tindak lanjut eksperimental.