GeneBench-Pro ile tanışın
Yapay zeka ajanlarının hesaplamalı biyolojide belirsizlikler içinde nasıl yol aldığını ve sonuçları önemli olan kararları nasıl verdiğini ölçen araştırma düzeyinde bir kıyaslama.
Bilimsel veriler nadiren hazır talimatlarla birlikte gelir. Araştırmacılar; bir örüntünün biyolojik bir sinyali mi yoksa gürültüyü mü yansıttığına, verilerin sorulan soruyu destekleyip desteklemediğine ve her sonucun bir sonraki adımı nasıl şekillendirmesi gerektiğine karar vermek zorundadır. Yapay zeka ajanları karmaşık analizleri yürütme konusunda giderek daha yetkin hale geliyor. Ancak gerçek bilimsel araştırmalar yalnızca olguları hatırlamaya veya önceden tanımlanmış bir iş akışını izlemeye değil, aynı zamanda bu tür üst düzey değerlendirmeler yapabilmeye de dayanıyor.
Bugün, gerçek dünyadaki hesaplamalı biyoloji araştırmalarının gerektirdiği, yoğun muhakeme içeren analizleri modellerin ne ölçüde gerçekleştirebildiğini ölçen araştırma düzeyinde zorlu bir kıyaslama olan GeneBench-Pro'yu tanıtıyoruz. GeneBench-Pro, genomik, kantitatif biyoloji ve translasyonel tıp alanlarında daha zor ve gerçekçi görevleri kapsayacak şekilde GeneBench(yeni bir pencerede açılır)'i genişletiyor; böylece hesaplamalı biyoloji araştırmalarının karmaşık, yinelemeli ve belirsizliklerle dolu yapısını yansıtıyor.
Bugüne kadar, gerçek dünyadaki hesaplamalı biyoloji araştırmalarının gerektirdiği sistem düzeyindeki muhakeme süreçlerini tatmin edici biçimde değerlendirebilen çalışma sayısı oldukça sınırlıydı. Bu süreçler; belirsizlikleri yönetmeyi, varsayımları gözden geçirmeyi, doğru analiz yolunu seçmeyi ve bir sonucun ne zaman karar vermeye yeterli olduğunu bilmeyi kapsar. Bu becerileri biçimsel kurallara dökmek zor olduğu gibi, titizlikle değerlendirmek de zordur. Üstelik bu alanlardaki eksiklikler, yapay zekanın genel performansını giderek daha fazla sınırlandırmaktadır.
GeneBench-Pro tam da bu üst düzey yetenekleri hassas biçimde ölçmek için tasarlanmıştır. GeneBench-Pro kapsamında "araştırma muhakemesi"ni; verilerin hangi soruları yanıtlayabileceğini, ilk bulguların modeli veya tahmini nasıl değiştirmesi gerektiğini ve ilk planın ne zaman gözden geçirilmesi gerektiğini belirleyen muhakeme süreçleri olarak tanımlıyoruz. GeneBench-Pro'daki her problem; gerçekçi ve dağınık bir veri kümesi, kısa bir deneysel bağlam ve sonraki karara bağlı bir hedef tahminden oluşur. Doğru sonuca ulaşmak için modelin verileri incelemesi, uygun analiz yaklaşımını seçmesi, yinelemeli bir deney süreci yürütmesi ve nihai yanıtı sunması gerekir.
Biyolojide veri üretmenin (örneğin, genom dizilemenin) maliyeti önemli ölçüde düştü ve araştırmacılar artık darboğazın örnek toplama değil, sonraki aşamalarda gerçekleştirilen hesaplama ve analiz olduğunun farkına varıyor(yeni bir pencerede açılır). GeneBench-Pro, hesaplamalı biyolojide çok çeşitli ortam ve yöntemleri kapsayan 129 soruyla, bu darboğazın aşılmasına yönelik ilerlemeyi değerlendirmek üzere tasarlanmıştır.
Etki Alanı Atlası: 10 etki alanlarında ve 21 alt alanlarında 129 sorun
Bir kıyaslama problemi hakkında bilgi edinmek için yukarıdaki bir noktaya tıklayın.
Bu atlas, GeneBench-Pro'nun kapsamına dair bir önizleme sunar. 10 temsili soruyu daha ayrıntılı incelemek için vaka çalışmaları sayfasını ziyaret edin.
GeneBench-Pro ayrıca kıyaslamalarda sık görülen sorunları önleyecek şekilde tasarlanmıştır. Uzun soluklu biyoloji kıyaslamalarının çoğu, analiz sürecinde tek bir doğru yolun bulunmayabileceği karmaşık tarihsel veri kümeleri etrafında çok adımlı sorular oluşturur. Bir ajan savunulabilir bir eşik değeri seçerken, başka bir ajan aynı derecede savunulabilir farklı bir seçim yapabilir. Bu durum, model performansındaki temel farklılıklardan ziyade kıyaslamanın tasarımından kaynaklanan rastgele tercihleri yansıtabilir. Bunun tersi de mümkündür: Bir problem sayısal açıdan yeterince duyarlı değilse, bir ajan analizde temel hatalar yaptığı halde yine de başarılı bir sonuç elde edebilir.
Bu tür sorunları önlemek için GeneBench-Pro'daki her problem sentetik olarak oluşturuldu. Böylece veri üretim sürecinin tüm nedensel yapısını biliyor ve bu süreci doğrudan simüle ediyoruz. Bu sayede her problemin karmaşıklığını ayarlayabiliyor, öznel analiz tercihlerindeki makul farklılıkların yine de kabul edilebilir sayısal sonuçlar ürettiğinden emin olabiliyor ve (ablasyon çalışmalarıyla) makul görünümlü ancak hatalı analizlerin başarısız olduğunu doğrulayabiliyoruz. Ardından problem taslaklarını, bilgi sızıntısı ve istenmeyen çözüm yollarını tespit etmek amacıyla ayrıntılı iz analizlerinden geçiriyoruz. Böylece doğru sonuca ulaşmanın; kestirme bir yol izlemeye ya da rastgele bir yazar tercihine uymaya değil, doğru analiz yaklaşımını seçmeye bağlı olduğundan emin oluyoruz.
GeneBench-Pro'daki 129 sorudan 82'sini; lisansüstü öğrencileri, doktora sonrası araştırmacılar, endüstri bilim insanları ve profesörlerin de aralarında bulunduğu dış alan uzmanlarına gönderdik. Değerlendiriciler; her problemin gerçekçiliğini, hedef yanıtın belirlenebilir olup olmadığını ve kullanılan yöntemlerle tahmin edicilerin uygunluğunu ele aldı. Elde edilen geri bildirimler, problemleri iyileştirmek için kullanıldı.
“İncelediğim problemler, deneyimli bir danışmanın yinelemeli geri bildirimleri olmadan bir lisansüstü öğrencisi için çözülmesi oldukça zor görevlerdi. Veriler, başarıyla tamamlanabilmesi için olası tuzakların farkında olarak dikkatli ve eleştirel bir veri analizi yapılmasını gerektiren teknik ve kalite kontrol sorunları içeriyordu; yalnızca hazır bir yöntemi temiz ve özenle düzenlenmiş verilere uygulamak yeterli değildi.”
“Mevcut modeller bağımsız analizleri baştan sona güvenilir şekilde yürütemese bile GeneBench-Pro problemlerinde iyi performans gösteren modeller, araştırmacılara doğru iş akışlarını belirleme ve verileri keşfetme konusunda açıkça yardımcı olabilir. Bunun araştırmaların hızını, kapsamlılığını ve tekrarlanabilirliğini büyük ölçüde artırabileceğini görebiliyorum.”
GeneBench-Pro'daki her problem, kendi içinde tamamlanmış bir bilimsel analizdir. Ajanlara; kısa bir prompt, veri dosyaları ve Python, bilimsel hesaplama kütüphaneleri ile PLINK 2.0 gibi temel genomik paketlerini içeren standart bir biyoinformatik yazılım ortamının bulunduğu izole bir çalışma alanı sağlanır (ancak problemler, alana özgü araçlar gerektirmez).
Yapısal varyant rehberliğinde tümör tedavisinde fayda ve risk kararı
Veri üretim sürecinin tamamını kontrol ettiğimiz için doğruluğu, gerçek yanıtlarla karşılaştırarak nesnel biçimde değerlendirebiliyor; böylece standart değerlendirme ölçütlerinde görülen model seçimi kaynaklı değişkenlikten ve ayrıntılı yanıt verme eğiliminden kaynaklanan etkileri ortadan kaldırabiliyoruz.
Her problem ayrıca, hedeflenen analiz yapısı, ilişkili veri dosyaları, ayrıntılı çok sayfalı bir vaka çalışması ve uzman değerlendirme sonuçları da dahil olmak üzere zengin meta verilerle birlikte sunulur. GeneBench-Pro'dan temsili 10 soruyu Hugging Face(yeni bir pencerede açılır)'te, bunları incelemeye yönelik etkileşimli bir web arayüzüyle birlikte tamamen açık kaynak olarak yayımlıyoruz. Yakın zamanda, bağımsız üçüncü taraf kıyaslamalarında kullanılmak üzere 50 soruluk bir alt kümeyi de Artificial Analysis(yeni bir pencerede açılır)'de paylaşacağız.
En güçlü modelimiz GPT‑5.6 Sol, en yüksek akıl yürütme düzeyinde %28,7 başarı oranına ulaşıyor (Pro modu etkinleştirildiğinde %31,5). Bu, ilk GeneBench'i geliştirmeye başladığımız döneme kıyasla büyük bir ilerleme. O dönemde en güçlü frontier modelimiz olan GPT‑5'in başarı oranı %5'in altındaydı. Bu kıyaslamadaki ilerleme, en üst seviye modellerin sistem düzeyinde bilimsel akıl yürütme gibi daha soyut becerilerde bile hızla geliştiğini gösteriyor. Mevcut ilerleme hızıyla bu kıyaslama, yıl sonuna kadar doygunluğa ulaşabilir.
Sonuçlar, test sırasında kullanılan hesaplama gücünün artırılmasının etkisini de ortaya koyuyor. En düşük akıl yürütme düzeyinde GPT‑5.6 Sol'un başarı oranı yalnızca tek haneli seviyelerde kalıyor. En yüksek akıl yürütme düzeyinde ise GPT‑5.6 Sol, GPT‑5.2'ye kıyasla yaklaşık altı kat daha fazla soruyu çözerken bunu yaklaşık üçte iki oranında daha az token kullanarak başarıyor.
Model aileleri arasında yapılan karşılaştırmalar, GPT modellerinin nicel belirsizlik altında üst düzey bilimsel akıl yürütme konusunda en güçlü sistemler arasında yer aldığını gösteriyor. GPT‑5.6, GPT‑5.5 ve GLM-5.2 gibi önde gelen açık kaynak modelleri arasındaki performans farkı, kodlama kıyaslamalarından(yeni bir pencerede açılır) yola çıkarak bekleyeceğimizden belirgin ölçüde daha büyük. Bu da açık kaynak modellerinin, daha geniş kapsamlı akıl yürütme yeteneğinden ziyade kodlama alanında uzmanlaşmış olduğunu gösteriyor.
Geliştirme sürecinde problemleri değerlendirmek ve daha zor hale getirmek için en üst seviye GPT modellerinden yararlandık. Bu nedenle, GeneBench-Pro'nun diğer model ailelerine kıyasla GPT modelleri aleyhine yanlı olabileceğini düşündük. Ancak rakip modeller, en iyi ihtimalle yalnızca yayımlandıkları dönemdeki karşılık gelen GPT modelinin performansına ulaşabildi ve çoğu zaman bunun belirgin ölçüde gerisinde kaldı.
GPT‑5.6 Sol'un (Pro) %31,5'e ulaşan başarı oranı, GeneBench-Pro sorularının zorluk düzeyi göz önüne alındığında dikkat çekici. Anketimizde değerlendiriciler, tipik bir GeneBench-Pro probleminin bir insan uzman tarafından tamamlanmasının 20 ila 40 saat süreceğini tahmin etti. Saatlik 200 $ gibi temkinli bir ücret esas alındığında, tek bir problemin insan emeği maliyeti binlerce dolara ulaşıyor. Mevcut yapay zeka ajanları, insan uzmanların yerini alabilecek kadar güvenilir olmasa da problem başına yalnızca birkaç dolarlık çıkarım maliyeti düşünüldüğünde aradaki maliyet farkı oldukça büyük. Bu da mevcut yetenek düzeyindeki kısmi otomasyonun bile önemli ölçüde ekonomik ve bilimsel değer yaratabileceği anlamına geliyor.
“Bu kıyaslamalar çok çeşitli biyolojik sorulardan esinleniyor; ancak asıl zorluk, keşif odaklı veri analizi yapmaktan ve elde edilen bulgular üzerinde akıl yürütmekten kaynaklanıyor: örüntüleri ve artefaktları belirlemek, verilerin dışlanması ile düzeltilmesi arasında karar vermek. Bu durum, gerçek biyolojik veri kümelerinin dağınık yapısını yansıtıyor. Bu değerlendirmeler incelendiğinde, ajan tabanlı bilimsel problem çözümünde çözücüye yönelik talimatların yeterince net olmasının ne kadar önemli olduğu anlaşılıyor. Promptun farklı şekilde ifade edilmesi veya görevin farklı tanımlanması, hangi analizlerin kabul edilebilir göründüğünü önemli ölçüde etkileyebilir.”
“[Bu soruları] genel olarak beğendim. Sorular genellikle şu üç unsuru bir araya getiriyordu: (1) antik DNA'daki C>T yanlılığı gibi konuya özgü bilgi gereksinimi, (2) soy eşleşmelerinin karışması gibi veri tutarsızlıkları ve (3) uygun analiz araçlarını seçme ve bunları doğru şekilde uygulama bilgisi. Görünüşe göre ajanların çoğu 2. noktada başarısız oldu. Verilerdeki sorunlara karşı yeterince temkinli davranmıyorlar. Belki de bu, mevcut modellerin zayıf yönlerinden birini ortaya koyuyor. Zaten biyolojik verilerin önemli bir kısmı bu tür düzensizlikler içeriyor.”
Buna rağmen, en üst seviye modellerin bu problemlerin hâlâ üçte birinden daha azını çözebiliyor olması, gelişim için önemli ölçüde alan bulunduğunu gösteriyor. Modeller, zor problemlerde kısmi ilerleme kaydedebiliyor ancak çıkarım sürecini tamamlamakta zorlanıyor. Bu başarısızlık örüntüsü, insan uzmanlarla acemiler arasındaki farkı da yansıtıyor. Uzmanlar deneyimlerinden yararlanarak problemi çerçevelendirip yaklaşımlarını buna göre uyarlarken, acemiler gözlemler yapabilseler de bunları problemin daha geniş bağlamıyla ilişkilendirmekte zorlanıyor.
Problem: Zamanla değişen tedavide farmakogenomik olaya kadar geçen süre yanıtı
GPT-5.5 örüntüsü
GPT-5.6 Sol örüntüsü
Neredeyse kusursuz bir performansa ulaşmak, hem ilerlemeyi güvenilir biçimde ölçen hem de modellerin hâlâ başarısız olduğu noktaları ortaya koyan değerlendirmeler gerektirecek. GeneBench-Pro gibi kıyaslamalar, belirsiz bir yetenek eksikliğini teşhis edip iyileştirebileceğimiz somut bir probleme dönüştürmeye yardımcı olabilir.
Ajanlar bu analiz türünü güvenilir biçimde otomatikleştirebilirse, bilimsel keşiflerin hızını önemli ölçüde artırabilir. Genetik olarak desteklenen mekanizmaların onaylı tedavilere dönüşme olasılığı çok daha yüksek olduğundan, insan genetiğine dayalı kanıtlar hedef önceliklendirme ve translasyonel takip çalışmalarında merkezi bir rol oynuyor.
Bu arada, dizileme maliyetleri büyük ölçüde düştü ve biyobanka ölçeğindeki veri kümeleri artık moleküler, fenotipik ve sağlık kayıtlarına ilişkin bilgileri benzeri görülmemiş bir kapsamda bir araya getiriyor. Darboğaz artık veri üretiminden, bu bilgileri eyleme geçirilebilir içgörülere dönüştürmeye kayıyor. Bugün insan uzman ekiplerinin yürüttüğü analizleri tutarlı biçimde gerçekleştirebilen modeller; hipotez önceliklendirmesini, hedefe yönelik takip çalışmalarını ve veri üretimi ile karar verme arasındaki yineleme döngüsünü hızlandırarak endüstriyel araştırmaları dönüştürebilir.
GeneBench-Pro, deneyimli araştırmacıların iyi bir bilimsel muhakeme sergilerken kullandığı daha soyut becerileri değerlendirmeye yönelik ilk adımı temsil ediyor. Bu beceriler; en umut vadeden ilk analizleri sezgisel olarak belirlemeyi, yeni bulgular doğrultusunda düşünce sürecini yineleyip gözden geçirmeyi ve sonraki klinik, akademik veya ticari kararların temelini oluşturacak sonuçlara ulaşmayı mümkün kılıyor.
Model yetenekleri geliştikçe, yalnızca bilgi düzeyini veya rutin analizleri yürütme becerisini ölçen kıyaslamaların ötesine geçerek, bu daha üst düzey soyutlama becerilerini değerlendiren kıyaslamaların giderek daha değerli hale geleceğini öngörüyoruz.
