Memperkenalkan GeneBench-Pro

Data saintifik jarang sekali disertakan dengan arahan. Penyelidik mesti menentukan sama ada sesuatu corak mencerminkan biologi atau hingar, sama ada data tersebut dapat menyokong persoalan yang diajukan dan bagaimana setiap dapatan harus mengubah tindakan mereka seterusnya. Ejen AI semakin mampu menjalankan analisis kompleks, tetapi penyelidikan saintifik sebenar juga bergantung bukan sekadar pada mengingat fakta atau mengikuti aliran kerja tetap, tetapi pada membuat pertimbangan tahap tinggi ini.

Hari ini, kami memperkenalkan GeneBench-Pro—penanda aras tahap penyelidikan yang mencabar untuk menguji sama ada model mampu menangani analisis yang sarat pertimbangan seperti yang diperlukan biologi komputasi dunia sebenar. Ia memperluas GeneBench⁠(dibuka dalam tetingkap baru) untuk merangkumi tugas yang lebih sukar dan realistik dalam genomik, biologi kuantitatif dan perubatan translasi, menangkap kerumitan, sifat berulang dan kekaburan penyelidikan biologi komputasi. 

Setakat ini, hanya terdapat sedikit penilaian yang meyakinkan terhadap keputusan berdasarkan pertimbangan pada peringkat sistem yang menjadikan penyelidikan komputasi dunia sebenar sukar. Ini termasuk menangani kekaburan, menyemak semula andaian, memilih laluan analisis yang betul dan mengetahui bila sesuatu hasil sudah sedia untuk dijadikan asas membuat keputusan. Kerana kemahiran ini sukar diformalkan, ia juga sukar dinilai dengan rapi, walaupun kelemahannya semakin mengehadkan prestasi keseluruhan AI.

GeneBench-Pro direka untuk mengukur keupayaan tahap lebih tinggi ini dengan tepat. Dalam GeneBench-Pro, kami mentakrifkan “cita rasa penyelidikan” sebagai rantaian keputusan berdasarkan pertimbangan yang membentuk sesuatu analisis: soalan mana yang boleh disokong oleh data, bagaimana diagnostik awal sepatutnya mengubah model atau anggaran sasaran dan bila pelan awal perlu disemak semula. Setiap masalah GeneBench-Pro memberikan model satu set data yang realistik dan tidak tersusun, konteks eksperimen yang ringkas, serta estimand sasaran yang dikaitkan dengan keputusan hiliran. Untuk menjawab dengan betul, model mesti meneroka data, memilih pendekatan analitik yang sesuai, melalui proses eksperimen berulang dan memberikan jawapan akhir.

Dalam bidang biologi, kos penjanaan data (contohnya, penjujukan genom) telah menurun dengan mendadak dan beberapa penyelidik kini berhujah⁠(dibuka dalam tetingkap baru) bahawa faktor pembatas bukan lagi pengumpulan sampel tetapi pengkomputeran dan analisis hiliran. GeneBench-Pro dibina untuk menilai kemajuan menangani kesesakan itu, dengan 129 soalan yang meliputi pelbagai tetapan dan kaedah biologi komputasi.

GeneBench-Pro juga direka bentuk untuk mengelakkan kegagalan penanda aras yang lazim. Banyak penanda aras biologi jangka panjang membina soalan berbilang langkah berdasarkan set data sejarah yang tidak teratur, yang mungkin tidak mempunyai satu laluan analisis tunggal yang betul. Seseorang ejen mungkin memilih satu ambang yang boleh dipertahankan, manakala ejen lain mungkin memilih pilihan yang berbeza tetapi sama-sama boleh dipertahankan, lebih mencerminkan pilihan arbitrari yang dibuat oleh pencipta penanda aras berbanding sebarang perbezaan asas dalam prestasi model. Sebaliknya juga boleh berlaku: jika masalah terlalu tidak peka secara berangka, ejen boleh membuat ralat asas dalam analisis tetapi masih menghasilkan keputusan lulus.

Untuk mengelakkan mod kegagalan ini, setiap masalah GeneBench-Pro dibina secara sintetik: kami mengetahui struktur kausal sepenuhnya dan mensimulasikan proses penjanaan data secara langsung. Hal ini membolehkan kami melaras tahap kerumitan setiap masalah, memastikan bahawa perbezaan yang munasabah dalam pilihan analisis yang subjektif masih menghasilkan keputusan berangka yang diterima dan mengesahkan (melalui kajian ablasi) bahawa analisis yang kelihatan munasabah tetapi tidak betul akan gagal. Kami kemudian mengaudit draf masalah melalui analisis jejak yang terperinci untuk memeriksa kebocoran maklumat dan laluan penyelesaian yang tidak disengajakan. Ini memberi kami keyakinan bahawa jawapan betul bergantung pada pemilihan laluan analitik yang betul, bukan pada mengeksploitasi jalan pintas atau memadankan keutamaan penulis yang sewenang-wenang.

Kami menghantar 82 daripada 129 soalan GeneBench-Pro kepada pakar domain luaran, termasuk pelajar siswazah, penyelidik pascadoktoral, saintis industri dan profesor. Para penilai menilai sama ada setiap masalah itu realistik, sama ada jawapan sasaran dapat dikenal pasti, dan sama ada kaedah serta penganggar adalah sesuai. Maklum balas digunakan untuk memperbaiki masalah.

Setiap masalah GeneBench-Pro merupakan analisis saintifik yang berdiri sendiri. Ejen diberi akses kepada ruang kerja terpencil dengan prom ringkas, fail data dan tindanan bioinformatik standard termasuk Python, pustaka pengkomputeran saintifik dan pakej genomik asas seperti PLINK 2.0 (walaupun masalah ini tidak memerlukan alat khusus domain).

Kerana kami mengawal proses penjanaan data penuh, kami boleh menilai ketepatan secara deterministik terhadap sasaran diketahui, mengelakkan variasi pilihan model dan kesan kepanjangan dalam penilaian berasaskan rubrik biasa.

Setiap masalah juga disertakan dengan metadata yang kaya, termasuk struktur analisis yang dimaksudkan, fail data yang dilampirkan, kajian kes berbilang halaman yang terperinci dan hasil semakan pakar. Kami menjadikan 10 soalan GeneBench-Pro yang representatif sebagai sumber terbuka sepenuhnya di Hugging Face⁠(dibuka dalam tetingkap baru), dengan antara muka web interaktif untuk menyemak imbasnya. Akhir sekali, kami akan menyediakan subset 50 soalan kepada Analisis Buatan⁠(dibuka dalam tetingkap baru) untuk penandaarasan pihak ketiga yang bebas dalam masa terdekat.

Model terkuat kami, GPT‑5.6 Sol, mencapai kadar lulus sebanyak 28.7% pada tahap penaakulan tertinggi (31.5% dengan mod Pro didayakan). Itu merupakan peningkatan yang mendadak berbanding ketika kami mula membina GeneBench asal; pada masa itu, model perbatasan terbaik kami, GPT‑5, memperoleh skor di bawah 5%. Kemajuan pada penanda aras ini menunjukkan bahawa model perbatasan sedang bertambah baik dengan cepat, walaupun dalam penaakulan saintifik peringkat sistem yang kurang nyata. Pada kadar semasa, penanda aras ini mungkin tepu menjelang hujung tahun.

Keputusan tersebut juga menunjukkan kesan penskalaan komputasi semasa ujian. Pada tahap penaakulan paling rendah, GPT‑5.6 Sol hanya mencapai kadar lulus satu digit. Pada tahap penaakulan tertinggi, GPT‑5.6 Sol menyelesaikan hampir enam kali ganda lebih banyak soalan berbanding GPT‑5.2 sambil menggunakan kira-kira dua pertiga bilangan token.

Perbandingan merentas keluarga model menunjukkan bahawa model GPT adalah antara sistem paling kukuh dalam penaakulan saintifik peringkat tinggi dalam keadaan ketidakpastian kuantitatif. Jurang prestasi antara GPT‑5.6, GPT‑5.5 dan model sumber terbuka utama seperti GLM 5.2 jauh lebih besar daripada jangkaan apabila mengekstrapolasi daripada penanda aras pengekodan⁠(dibuka dalam tetingkap baru), menunjukkan model sumber terbuka lebih khusus untuk pengekodan berbanding kebolehan penaakulan yang lebih luas.

Kami menggunakan model GPT perbatasan untuk menilai dan memperkukuh masalah semasa pembangunan. Oleh itu, kami mengesyaki GeneBench-Pro mungkin berat sebelah terhadap model GPT berbanding keluarga model lain. Namun, model pesaing paling baik pun hanya menyamai prestasi model GPT yang sepadan pada masa keluaran, dan lazimnya jauh ketinggalan.

Keputusan penilaian ini—setinggi 31.5% pada GPT‑5.6 Sol (Pro)—amat mengagumkan memandangkan tahap kesukaran soalan GeneBench-Pro. Dalam satu tinjauan, penyemak kami menganggarkan bahawa masalah GeneBench-Pro yang tipikal akan mengambil masa sekitar 20–40 jam untuk diselesaikan oleh seorang pakar manusia. Pada anggaran berhati-hati sebanyak $200 sejam, ini menjadikan kos tenaga kerja manusia untuk satu masalah sahaja mencecah ribuan dolar. Ejen AI semasa masih terlalu tidak boleh dipercayai untuk menggantikan pakar manusia, tetapi jurang kos adalah besar, dengan kos inferens hanya beberapa dolar bagi setiap masalah. Ini bermakna automasi separa sekalipun, pada keupayaan semasa, boleh menghasilkan nilai ekonomi dan saintifik yang bermakna.

Namun begitu, hakikat bahawa model perbatasan masih menyelesaikan kurang daripada satu pertiga daripada masalah ini menunjukkan bahawa terdapat ruang yang besar untuk penambahbaikan. Model boleh mencapai kemajuan separa dalam menyelesaikan masalah yang mencabar, tetapi menghadapi kesukaran untuk melengkapkan gelung inferensi. Pola kegagalan ini mencerminkan perbezaan antara pakar manusia dan pemula. Pakar menggunakan pengalaman untuk merangka masalah dan menyesuaikan pendekatan, manakala orang baharu membuat pemerhatian tetapi sukar menyepadukannya ke dalam konteks masalah yang lebih luas.

Mencapai prestasi yang hampir sempurna memerlukan penilaian yang dapat mengukur kemajuan secara konsisten dan boleh dipercayai serta mengenal pasti di mana model masih gagal. Penanda aras seperti GeneBench-Pro boleh membantu menukar kekurangan keupayaan yang kabur menjadi sesuatu yang boleh didiagnosis dan diperbaik. 

Jika ejen dapat mengautomasikan kelas analisis ini dengan andal, ia boleh mempercepat penemuan saintifik dengan ketara. Bukti genetik manusia sudah pun penting dalam pengutamaan sasaran dan susulan translasi, kerana mekanisme dengan sokongan genetik jauh lebih berkemungkinan membawa kepada rawatan diluluskan.

Sementara itu, kos penjujukan telah merosot dengan mendadak dan set data berskala biobank kini menghubungkan maklumat molekul, fenotip dan rekod kesihatan pada keluasan yang belum pernah berlaku sebelum ini. Faktor pengehad kini beralih daripada penjanaan data kepada menukar maklumat tersebut menjadi cerapan yang boleh digunakan untuk tindakan. Model yang konsisten menjalankan analisis yang kini dilakukan pasukan pakar manusia boleh mengubah penyelidikan industri dengan mempercepat saringan hipotesis, susulan sasaran dan kitaran iterasi antara penjanaan data dengan pembuatan keputusan.

GeneBench-Pro mewakili usaha awal untuk menilai kemahiran yang lebih abstrak yang terlibat dalam pertimbangan saintifik yang baik yang dimiliki oleh individu berpengalaman dalam bidang tersebut. Kemahiran ini membolehkan mereka mengagak dan mengenal pasti analisis awal yang paling menjanjikan, mengulang dan menyemak pemikiran apabila data bercanggah dengan andaian awal, serta mencapai kesimpulan yang mungkin menentukan keputusan klinikal, akademik atau perniagaan hiliran. 

Kami menjangka apabila keupayaan model meningkat, penanda aras yang menguji kebolehan model pada tahap abstraksi lebih tinggi ini akan semakin berguna, melangkaui ujian pengetahuan buku atau kebolehan menjalankan analisis rutin semata-mata.