LifeSciBench’i Tanıtıyoruz

Ajan tabanlı yapay zeka sistemleri bilimsel görevleri yerine getirme konusunda giderek daha yetkin hale geliyor. Ancak yaşam bilimleri araştırmacıları için yararlılıkları, gerçek araştırmanın karmaşıklığını ne kadar iyi ele aldıklarına bağlıdır. Bu çalışma nadiren tek bir bilgi hatırlama sorusuna veya temiz bir tahmin problemine benzer. Araştırmacılar eksik kanıtları yorumlar, çelişkili sonuçları uzlaştırır, zor deneyler tasarlar, analiz testlerinde sorun giderir, translasyonel riski değerlendirir ve belirsizlik altında bir sonraki adımı belirler.

Mevcut kıyaslamalar bu yetkinlikleri tam olarak yakalayamıyor. Yaşam bilimleri değerlendirmelerinin çoğu dar alanlara veya yalıtılmış becerilere odaklanır; bunun sonucunda yapılandırılmış soru biçimleri ve temiz referans yanıtları olan sorular ortaya çıkar. Değerli olsalar da, çoğu zaman bir modelin araştırma düzeyindeki çalışmaların daha geniş yelpazesinde katkı sağlayıp sağlayamayacağını gerçekten değerlendiremezler.

LifeSciBench’i bu boşluğu kapatmaya yardımcı olmak için tasarladık. Her görev, doktora düzeyinde eğitime ve biyoteknoloji ile ilaç sektörlerinde ilaç keşfi programlarını ilerletme konusunda doğrudan deneyime sahip, uygulamada çalışan yaşam bilimcilerin yargısına dayanır.

LifeSciBench, yedi iş akışı ve yedi biyolojik alanı kapsayan, uzmanlarca yazılmış 750 görev içerir.

LifeSciBench, AI sistemlerinin yalnızca biyoloji sorularını yanıtlamasını değil, gerçekçi yaşam bilimleri araştırma görevlerini destekleyip destekleyemediğini ölçer. Kıyaslama taksonomisini tanımlamak için, uygulamalı araştırma ortamlarında en sık kullandıkları iş akışları hakkında sahada çalışan yaşam bilimcilerle anket yaptık. Ardından yanıtlarını yedi yinelenen kategoriye ayırdık: kanıt işleme, analiz, tasarım ve optimizasyon, bilimsel akıl yürütme, doğrulama ve operasyonlar, translasyon ve bilimsel iletişim.

Her görev, bir bilim insanının bilgili bir iş arkadaşına iletebileceği bir istek gibi yapılandırılır: bilimsel komut, ilgili bağlam veya artefaktlar ve serbest yanıtlı bir cevap. Uzmanlarca yazılmış rubrikler, bir modelin belirli bir problem için doğru yanıtı; bir bilim insanının bekleyeceği doğru ayrıntı, gerekçelendirme, çekince ve biçimlendirme düzeyiyle üretip üretemediğini değerlendirir.

LifeSciBench, bilimsel akıl yürütmeyi gerçek dünyada bilimsel kullanım için gerekli olan daha az net tanımlanmış pratik becerilerle birlikte değerlendirir. Görevler, modellerden gerçekçi araştırma problemleri üzerinde çalışmalarını ister: kanıtları yorumlamak, alana dayalı yargılarda bulunmak ve uzman değerlendiriciler için yararlı olacak sonuçları iletmek. Birçok görev ayrıca modellerin yalnızca komut metnine dayanmak yerine belirsizliği ele almasını ve destekleyici veri dosyaları üzerinde akıl yürütmesini gerektirir.

Kıyaslama, yaşam bilimleri çalışmalarının karmaşıklığını yansıtacak şekilde tasarlanmıştır. Genel olarak görevlerin %79’u birden fazla akıl yürütme veya karar verme adımı gerektirir; görev başına ortalama dört adım bulunur. LifeSciBench; şekiller, PDF’ler, tablolar, sekans dosyaları, yapı veya kimyasal dosyaları ve web referanslarını kapsayan 1.062 ekli artefakt içerir. Görevlerin yarısından fazlası (%53), modellerin en az bir artefakttan bilgi yorumlamasını veya sentezlemesini gerektirir.

Görevler, farklı yaşam bilimleri disiplinlerinden 173 uzman bilim insanı tarafından oluşturuldu. Her bilim insanı doktora düzeyinde eğitime ve biyoteknoloji veya ilaç endüstrisi deneyimine sahipti. Görevler kabul edilmeden önce gerektiği kadar revizyon döngüsünden geçebildi; tur sayısına sabit bir üst sınır konmadı. Kabul edilen görevler ortalama altı kendi kendine yönlendirilen otomatik inceleme döngüsünden geçti ve en az iki tur uzman değerlendirmesini tamamladı. İncelemeler, doğrulanabilir bir doğru yanıta veya güçlü uzman mutabakatına dayandırıldı; ilgili alandaki değerlendiriciler arasında en az %90 uzlaşı arandı. Bu süreç, kabul edilen görevlerin bilimsel temellere dayanmasına, değerlendirilebilecek kadar açık olmasına ve uygulamalı araştırmayı temsil etmesine yardımcı oldu.

LifeSciBench görevleri, beklenen yanıtı belirli bilimsel iddialara, hesaplamalara, kararlara, gerekçelere ve benzer bileşenlere ayıran ayrıntılı, göreve özgü bir rubrikle puanlanır. Kıyaslama genelinde, uzmanlarca geliştirilen rubrikler 19.020 ölçüt içerir—görev başına ortalama 25—ve hem bilimsel doğruluğu hem de araştırma kararları için yararlılığı değerlendirir.

Bu tasarım, bilimsel çalışmanın pratikte nasıl değerlendirildiğini yansıtır: birçok yaşam bilimleri görevi yalnızca son yanıtı kontrol ederek puanlanamaz. Bir yanıt doğru üst düzey sonuca ulaşabilir; ancak örneğin önemli bir analiz testi sınırlamasını gözden kaçırırsa veya çok sonuç doğurabilecek biyolojik bir nüansı proaktif biçimde gündeme getirmezse yine de eksik sayılabilir. Buna karşılık, kısmi bir yanıt görevi tam olarak çözmese bile yüksek kaliteli akıl yürütme içerebilir.

Ayrıntılı rubrikler bu nüansı yakalar. LifeSciBench yalnızca son yanıtın doğruluğunu değil, bir modelin yanıtına bilimsel olarak geçerli ve operasyonel açıdan yararlı bir yolla ulaşıp ulaşmadığını da değerlendirir.

LifeSciBench’i bağımsız bir uzman incelemesiyle doğruladık. Geri bildirim, görevlerin yazımına dahil olmayan 453 değerlendiriciden geldi. Bu değerlendiricilerin %97’si doktora veya eşdeğer bir doktora derecesine sahipti; ortalama 12 yıllık alan deneyimleri ve 14 hakemli yayınları vardı. %88’i en az bir ödül veya burs aldığını bildirdi.

Değerlendiriciler, her görevin güçlü bir kıyaslama sorusu için gereken nitelikleri yansıtıp yansıtmadığını puanladı: gerçek dünya araştırma çalışmalarıyla uyum, bilimsel akıl yürütme ve alan uzmanlığını uygun biçimde test etme, kanıta veya uzman mutabakatına dayanma ve model performansını değerlendirmede genel yararlılık. Uzlaşı her kategoride %96’yı aştı.

Değerlendirici yorumları nicel puanları destekledi:

Birbirini tamamlayan iki metrik raporluyoruz. Başarı oranı, bir modelin görev düzeyindeki %70 başarı eşiğini karşıladığı görevlerin yüzdesidir. Skor, görevin tamamı çözülmese bile tek tek ölçütlere kısmi kredi veren ortalama rubrik ödülüdür. İkisi de önemlidir; çünkü bilimsel bir göreve verilen yanıt, eksiksiz bir cevap için gereken her koşulu karşılamadan da kısmen doğru veya yararlı olabilir.

Model performansı görev türüne, iş akışına ve yanıt biçimine göre önemli ölçüde değişir.

LifeSciBench, öncü modellerin bilimsel sentez, iletişim ve yapılandırılmış yorumlama içeren görevlerde görece en güçlü olduğunu gösteriyor. Mutlak başarı oranları hâlâ mütevazı; dolayısıyla bu kıyaslama alanları doygunluktan uzak. Ancak GPT‑Rosalind, GPT‑5.5’e göre anlamlı ilerleme göstererek genel kesin başarı oranını %25,7’den %36,1’e çıkarıyor.

Model yetkinliklerindeki en güçlü ilerleme yönleri Bilimsel İletişim ve Translasyon alanlarında görülüyor. Örneğin, Bilimsel İletişim başarı oranı GPT‑5.5 için %56,3’ten GPT‑Rosalind için %71,1’e yükseliyor; bu kategori küçük (n=9) olduğundan temkinli yorumlanmalı, ancak öncü modellerin kanıtları düzenleme ve uzmanlara yönelik ikna edici açıklamalar üretme becerisinde hızla geliştiğini düşündürüyor. Translasyon (ilaç geliştirmede “tezgâhtan hasta başına” süreci) benzer bir örüntü gösteriyor; GPT‑5.5 için %36,8’den GPT‑Rosalind için %57,7’ye yükselerek modellerin klinik öncesi kanıtları klinik sonuçlarla ilişkilendirme becerisinde hızla geliştiğini düşündürüyor.

Rubrik düzeyindeki sonuçlar da aynı yöne işaret ediyor. Uzman için yararlı veya eyleme geçirilebilir çıktılar gerektiren görevlerde GPT‑Rosalind %44,7 puan alırken, GPT‑5.5 %29,1’de kalıyor. Belirsizlik ve çekincelerin ele alınmasını gerektiren görevlerde ise %44,8 puan alıyor; karşılaştırma değeri %29,3. Bu örüntü, görevin net bir kanıt sınırı olduğunda ve yapılandırılmış bilimsel yargı gerektirdiğinde modellerin en yararlı hale geldiğini düşündürüyor.

Performans; artefakt ağırlıklı, tasarım ağırlıklı ve operasyonel kısıtları olan bilimsel çalışmalarda çok daha zayıf kalıyor. Özellikle Tasarım, Optimizasyon ve Tahmin en zor iş akışlarından biri olmaya devam ediyor; GPT‑Rosalind’in başarı oranı %30,7. Analiz de %30,3 ile benzer ölçüde zor.

Artefakt kullanımı özellikle belirgin bir boşluk. GPT‑Rosalind artefakt ağırlıklı ortamlarda GPT‑5.5’ten daha iyi performans gösterse de başarı oranı yalnızca metin içeren görevlerde %45,1 iken artefakt veya URL içeren görevlerde %28,1’e düşüyor. GPT‑5.5 de aynı örüntüyü gösteriyor ve %29,9’dan %21,9’a düşüyor. Daha ayrıntılı bir analiz, öncü modellerin karmaşık şekillerden veya büyük sekans dosyalarından bilgi çıkarma ve bu bilgiyi son yanıta entegre etme konusunda zorlandığını doğruluyor.

Yanıt biçimi de önemlidir. Kesin sekans, yapı veya konstrükt düzeyi çıktılar gerektiren görevler daha düşük başarı oranları gösterir: GPT‑Rosalind sayısal görevlerde yalnızca %14,8’e, sekans veya yapı çıktılarında %24,0’a ulaşır. Konstrükt üretme görevleri de kırılgandır; GPT‑Rosalind %27,3 düzeyindedir ve GPT‑5.5’e göre çok az iyileşme gösterir. Bu açığın bir kısmı, hesaplama veya biçimlendirmedeki küçük farkların bir yanıtın başarı eşiğinin altında kalmasına yol açabildiği kesin yanıtlı görevlerdeki daha katı puanlama yüzeyini yansıtıyor olabilir. Yine de bu başarısızlıklar bilimsel açıdan anlamlıdır; çünkü CRISPR/HDR donör tasarımı veya siRNA tasarımı gibi birçok yaşam bilimleri iş akışı, doğrudan kullanılabilecek kadar kesin çıktılar gerektirir.

Modeller ayrıca çoğu zaman görevi tam çözmeden yolun bir kısmını kat eder. Görevlerin yaklaşık %14’ünde modeller, kesin başarı eşiğini geçememelerine rağmen kayda değer rubrik kredisi aldı. GPT‑Rosalind için 109 görevde başarı oranları %20’nin altında kaldı; buna rağmen en az %50 rubrik ödülü elde edildi. Pratikte bu, modellerin ilgili kanıtları belirleyebileceği veya makul bir kısmi yanıt üretebileceği; ancak önemli bir kısıtı kaçırdıkları, yanlış kanıtı kullandıkları, eksik hesaplama yaptıkları veya akıl yürütmelerini bilimsel olarak yararlı bir nihai karara bağlamadıkları için yine de başarısız olabilecekleri anlamına gelir.

LifeSciBench, AI sistemlerinin yaşam bilimleri araştırmaları için ne kadar yararlı olabileceğini ölçmeye yönelik bir adımdır; ancak modelleri canlı araştırma ortamlarında incelemenin yerine geçmez. Kıyaslama, tekrarlayan sektör iş akışlarını yansıtan kendi içinde tamamlanan görevlere odaklanır; ancak birçok bilimsel uzmanlık alanı ve görev türü mevcut kapsamının dışında kalır. Gerçek araştırma yinelemelidir: bilim insanları yeni kanıtlar toplar, hipotezleri gözden geçirir, takip deneyleri tasarlar ve sonuçlar ortaya çıktıkça planlarını uyarlar.

Bu nedenle LifeSciBench’te güçlü performans, aşağı akış araştırma etkisinin doğrudan bir ölçüsü olarak değil, gerçekçi görev düzeyi yetkinliğin kanıtı olarak yorumlanmalıdır. Kıyaslama sektör iş akışlarına dayanır; ancak ilerlemenin zaman içinde ortaya çıkan etkenlere bağlı olduğu canlı araştırma programlarının tüm çeşitliliğini veya dinamiklerini yakalamaz.

Bir sonraki adım, kıyaslama performansını canlı araştırma iş akışlarındaki dağıtım çalışmalarıyla ilişkilendirmektir. LifeSciBench sahada çalışan bilim insanlarıyla geliştirilmiş olsa da, AI sistemlerinin keşfi hızlandırıp hızlandırmadığını veya Ar-Ge sonuçlarını iyileştirip iyileştirmediğini ölçmek için model kullanımını ve performansını gerçek araştırma ortamlarında, daha uzun zaman dilimlerinde ve birden çok akıl yürütme, geri bildirim ve deneysel takip turu boyunca incelemek gerekecektir.