Memperkenalkan GeneBench-Pro

Data ilmiah jarang disertai dengan petunjuk. Para peneliti harus memutuskan apakah suatu pola mencerminkan fenomena biologis atau noise, apakah data dapat mendukung pertanyaan yang diajukan, dan bagaimana setiap hasil seharusnya mengubah langkah mereka selanjutnya. Agen AI semakin mampu melakukan analisis yang kompleks, tetapi penelitian ilmiah yang sesungguhnya juga bergantung bukan hanya pada mengingat fakta atau mengikuti alur kerja yang telah ditetapkan sebelumnya, melainkan juga pada membuat pertimbangan tingkat tinggi ini.

Hari ini, kami memperkenalkan GeneBench-Pro—benchmark tingkat riset yang menantang untuk menguji apakah model dapat menangani jenis analisis yang sangat membutuhkan pertimbangan seperti yang diperlukan dalam biologi komputasional dunia nyata. Ini memperluas cakupan GeneBench⁠(terbuka di jendela baru) untuk mencakup tugas yang lebih sulit dan lebih realistis di bidang genomika, biologi kuantitatif, dan kedokteran translasi, serta menangkap kompleksitas, sifat iteratif, dan ambiguitas penelitian ilmiah dalam biologi komputasional. 

Sampai saat ini, hanya ada sedikit penilaian yang meyakinkan terhadap keputusan-keputusan berbasis pertimbangan pada tingkat sistem yang membuat riset komputasional di dunia nyata menjadi sulit. Hal ini mencakup menangani ambiguitas, merevisi asumsi, memilih jalur analisis yang tepat, dan mengetahui kapan suatu hasil sudah siap digunakan untuk pengambilan keputusan. Karena kemampuan ini sulit diformalkan, kemampuan tersebut juga sulit dinilai secara ketat, meskipun kelemahan pada kemampuan tersebut semakin membatasi kinerja AI secara keseluruhan.

GeneBench-Pro dirancang untuk mengukur kemampuan tingkat tinggi ini secara presisi. Dalam GeneBench-Pro, kami mendefinisikan “selera riset” sebagai rangkaian keputusan penilaian yang membentuk suatu analisis: pertanyaan mana yang dapat didukung oleh data, bagaimana diagnostik awal seharusnya mengubah model atau estimand, dan kapan rencana awal perlu direvisi. Setiap masalah GeneBench-Pro memberikan model sebuah set data yang realistis dan berantakan, konteks eksperimental singkat, serta estimand target yang terkait dengan keputusan lanjutan. Untuk menjawab dengan benar, model harus mengeksplorasi data, memilih pendekatan analitis yang tepat, menjalani proses eksperimen iteratif, dan memberikan jawaban akhir.

Dalam biologi, biaya pembuatan data (misalnya, pengurutan genom) telah turun secara drastis, dan sebagian peneliti kini berpendapat⁠(terbuka di jendela baru) bahwa faktor pembatasnya bukan lagi pengumpulan sampel, melainkan komputasi dan analisis hilir. GeneBench-Pro dirancang untuk menilai kemajuan dalam mengatasi hambatan tersebut, dengan 129 pertanyaan yang mencakup beragam pengaturan dan metode biologi komputasional.

GeneBench-Pro juga dirancang untuk menghindari kegagalan benchmark yang umum. Banyak benchmark biologi berjangka panjang menyusun pertanyaan multilangkah berdasarkan set data historis yang tidak rapi, sehingga mungkin tidak ada satu jalur analisis yang benar. Suatu agen mungkin memilih satu ambang batas yang dapat dipertanggungjawabkan, sementara agen lain mungkin memilih opsi yang berbeda tetapi sama-sama dapat dipertanggungjawabkan, yang lebih mencerminkan pilihan arbitrer yang dibuat oleh pembuat benchmark daripada perbedaan mendasar apa pun dalam performa model. Kebalikannya juga dapat terjadi: jika suatu masalah terlalu tidak peka secara numerik, sebuah agen dapat membuat kesalahan mendasar dalam analisis dan tetap menghasilkan hasil yang lolos.

Untuk menghindari mode kegagalan ini, setiap masalah GeneBench-Pro dibangun secara sintetis: kami mengetahui struktur kausal lengkapnya dan secara langsung mensimulasikan proses penghasil data. Hal itu memungkinkan kami menyesuaikan tingkat kompleksitas setiap masalah, memastikan bahwa perbedaan yang wajar dalam pilihan analitis subjektif masih menghasilkan hasil numerik yang diterima, dan memverifikasi (melalui studi ablasi) bahwa analisis yang masuk akal tetapi keliru akan gagal. Kami kemudian mengaudit draf soal melalui analisis jejak yang mendetail untuk memeriksa adanya kebocoran informasi dan jalur penyelesaian yang tidak dimaksudkan. Hal ini memberi kami keyakinan bahwa memperoleh jawaban yang benar bergantung pada pemilihan jalur analitis yang tepat, bukan pada pemanfaatan jalan pintas atau pencocokan preferensi penulis yang arbitrer.

Kami mengirimkan 82 dari 129 pertanyaan GeneBench-Pro kepada pakar domain eksternal, termasuk mahasiswa pascasarjana, peneliti pascadoktoral, ilmuwan industri, dan profesor. Peninjau menilai realisme setiap masalah, apakah jawaban target dapat diidentifikasi, dan apakah metode serta estimator yang digunakan sudah sesuai. Umpan balik digunakan untuk memperbaiki masalah.

Setiap soal GeneBench-Pro merupakan analisis ilmiah yang berdiri sendiri. Agen diberi akses ke workspace terisolasi dengan prompt singkat, file data, dan stack bioinformatika standar yang mencakup Python, pustaka komputasi ilmiah, serta paket genomika dasar seperti PLINK 2.0 (meskipun masalah-masalahnya tidak memerlukan alat khusus domain).

Karena kami mengontrol seluruh proses pembuatan data, kami dapat menilai kebenaran secara deterministik terhadap target yang diketahui, sehingga menghindari variabilitas pilihan model dan efek verbositas yang ditemukan dalam evaluasi standar berbasis rubrik.

Setiap masalah juga dilengkapi dengan metadata yang kaya, termasuk struktur analisis yang dimaksudkan, file data terlampir, studi kasus terperinci sepanjang beberapa halaman, dan hasil tinjauan pakar. Kami merilis secara sumber terbuka 10 pertanyaan GeneBench-Pro yang representatif di Hugging Face⁠(terbuka di jendela baru), dengan antarmuka web interaktif untuk menelusurinya. Terakhir, kami akan menyediakan subset berisi 50 pertanyaan kepada Artificial Analysis⁠(terbuka di jendela baru) untuk benchmarking independen oleh pihak ketiga dalam waktu dekat.

Model terkuat kami, GPT‑5.6 Sol, mencapai tingkat kelulusan sebesar 28,7% pada tingkat penalaran tertinggi (31,5% dengan mode Pro diaktifkan). Itu merupakan peningkatan tajam dibandingkan saat kami mulai membangun GeneBench asli; pada saat itu, model terdepan terbaik kami, GPT‑5, meraih skor di bawah 5%. Kemajuan pada benchmark ini menunjukkan bahwa model terdepan meningkat pesat, bahkan dalam penalaran ilmiah tingkat sistem yang kurang berwujud. Dengan laju saat ini, benchmark ini mungkin akan mencapai titik jenuh pada akhir tahun.

Hasilnya juga menunjukkan dampak dari penskalaan komputasi saat pengujian. Pada level penalaran terendah, GPT‑5.6 Sol hanya mencapai tingkat kelulusan satu digit. Pada tingkat penalaran tertinggi, GPT‑5.6 Sol menyelesaikan hampir enam kali lebih banyak pertanyaan dibandingkan GPT‑5.2 sembari menggunakan sekitar dua pertiga jumlah token.

Perbandingan antar keluarga model menunjukkan bahwa model GPT termasuk di antara sistem terkuat dalam penalaran ilmiah tingkat tinggi dalam kondisi ketidakpastian kuantitatif. Kesenjangan performa antara GPT‑5.6, GPT‑5.5 dan model sumber terbuka terkemuka seperti GLM 5.2 jauh lebih besar daripada yang kami perkirakan saat mengekstrapolasi dari benchmark coding⁠(terbuka di jendela baru), yang menunjukkan bahwa model sumber terbuka lebih terspesialisasi untuk coding daripada untuk kemampuan penalaran yang lebih luas.

Kami menggunakan model GPT terdepan untuk mengevaluasi dan memperkuat masalah selama pengembangan. Dengan demikian, kami menduga GeneBench-Pro mungkin memiliki bias yang tidak menguntungkan bagi model GPT dibandingkan dengan keluarga model lainnya. Namun, model pesaing paling baik hanya menyamai performa model GPT yang bersangkutan pada saat peluncurannya, dan cenderung jauh tertinggal.

Hasil evaluasi ini—yang mencapai hingga 31,5% pada GPT‑5.6 Sol (Pro)—sangat mencolok mengingat tingkat kesulitan pertanyaan GeneBench-Pro. Dalam sebuah survei, para peninjau kami memperkirakan bahwa satu soal GeneBench-Pro pada umumnya akan membutuhkan sekitar 20–40 jam untuk diselesaikan oleh seorang pakar manusia. Dengan perkiraan yang cenderung rendah sebesar $200 per jam, hal itu membuat biaya tenaga kerja manusia untuk satu masalah saja mencapai ribuan dolar. Agen AI saat ini masih terlalu tidak andal untuk menggantikan pakar manusia, tetapi perbedaan biayanya besar, dengan biaya inferensi hanya beberapa dolar per masalah. Itu berarti bahkan otomatisasi parsial dengan kemampuan yang ada saat ini dapat menciptakan nilai ekonomi dan ilmiah yang signifikan.

Namun, fakta bahwa model terdepan masih menyelesaikan kurang dari sepertiga masalah ini menunjukkan bahwa masih ada ruang yang besar untuk perbaikan. Model dapat membuat kemajuan parsial pada masalah yang menantang, tetapi kesulitan dalam menuntaskan alur inferensi. Pola kegagalan ini mencerminkan kontras antara pakar manusia dan pemula. Para ahli menggunakan pengalaman mereka untuk merumuskan masalah dan menyesuaikan pendekatan mereka, sementara pemula membuat pengamatan tetapi kesulitan mengintegrasikannya ke dalam konteks masalah yang lebih luas.

Mencapai kinerja yang nyaris sempurna akan memerlukan evaluasi yang secara andal mengukur kemajuan sekaligus mengidentifikasi di mana model masih gagal. Benchmark seperti GeneBench-Pro dapat membantu mengubah kekurangan kemampuan yang tidak jelas menjadi sesuatu yang dapat Anda diagnosis dan tingkatkan. 

Jika agen dapat mengotomatisasi jenis analisis ini secara andal, agen yang sama dapat secara signifikan mempercepat penemuan ilmiah. Bukti genetik manusia sudah menjadi inti dalam prioritisasi target dan tindak lanjut translasi, karena mekanisme yang memiliki dukungan genetik jauh lebih mungkin mengarah pada terapi yang disetujui.

Sementara itu, biaya pengurutan telah turun drastis, dan set data berskala biobank kini menghubungkan informasi molekuler, fenotipik, dan catatan kesehatan dengan cakupan yang belum pernah ada sebelumnya. Faktor pembatasnya bergeser dari pembuatan data menjadi pengubahan informasi tersebut menjadi wawasan yang dapat ditindaklanjuti. Model yang dapat secara konsisten melakukan analisis yang saat ini ditangani oleh tim pakar manusia dapat mentransformasi riset industri dengan mempercepat triase hipotesis, tindak lanjut target, dan siklus iterasi antara pembuatan data dan pengambilan keputusan.

GeneBench-Pro merupakan upaya awal untuk mengevaluasi keterampilan yang lebih abstrak yang terlibat dalam penilaian ilmiah yang baik yang dimiliki oleh para ilmuwan berpengalaman. Keterampilan ini memungkinkan mereka untuk memahami secara intuitif dan mengidentifikasi analisis awal yang paling menjanjikan, melakukan iterasi dan merevisi pemikiran mereka ketika data bertentangan dengan asumsi awal, serta mencapai kesimpulan yang dapat menjadi dasar bagi keputusan klinis, akademis, atau bisnis selanjutnya. 

Kami mengantisipasi bahwa seiring meningkatnya kemampuan model, benchmark yang menguji kemampuan model pada tingkat abstraksi yang lebih tinggi ini akan menjadi semakin berguna, melampaui benchmark yang sekadar menguji pengetahuan dari buku atau kemampuan untuk menjalankan analisis rutin.