Kodlama değerlendirmelerinde sinyali gürültüden ayırmak

Modellerimizin yeteneklerini doğru ölçmek, OpenAI’ın Risklere Hazırlık Çerçevesi⁠(yeni bir pencerede açılır) kapsamındaki kararlar dâhil, sağlıklı dağıtım ve güvenlik kararları için önemlidir. Her model sürümünde, model ilerlemesini izlemek için çeşitli harici ve dahili kıyaslamalara ait sonuçları raporlarız. Değerlendirmelerde sonuçları etkileyen kusurlar olduğunda, yetenekler hakkında yanlış bir anlayış oluşabilir; bu da güvenlik gerekçelerini çarpıtabilir ve araştırma önceliklerini etkileyebilir.

En yaygın kullanılan kodlama kıyaslamalarından biri olan SWE-bench Verified’ın temel tasarım ve kontaminasyon sorunları taşıdığını yakın zamanda inceledik ve bu değerlendirmenin artık yazılım geliştirme yetenekleri hakkında anlamlı bir sinyal sağlamadığını gördük. O dönemde, daha geniş topluluğu SWE-Bench Pro’ya geçmeye teşvik etmiştik.

SWE-Bench Pro⁠(yeni bir pencerede açılır), ajan tabanlı kodlama yeteneklerini daha iyi izlemek için modelleri daha uzun ufuklarda ve daha gerçekçi kodlama görevlerinde test ederek SWE-bench Verified’ı geliştirmek üzere tasarlandı. SWE-bench Verified’da olduğu gibi, görevler bir dizi herkese açık ve özel deponun özellik değişikliği geçmişinden programatik olarak alınır. Modellerden, mevcut işlevselliği bozmadan bir özellik için yeni testleri geçen bir çözüm uygulamaları istenir. 731 görevden oluşan herkese açık bölümde, en üst seviye modellerin geçme oranı sekiz ayda %23,3’ten %80,3’e yükseldi.

O zamandan beri SWE-Bench Pro üzerinde de benzer bir denetim yaptık ve veri kümesini bir veri noktası analiz hattıyla inceledik. Hat, olası değerlendirme kusurlarını işaretlemek için modelin görev denemelerini, görev meta verilerini ve başarısızlık izlerini inceledi. İşaretlenen her görev daha sonra birden fazla araştırmacı-ajan geçişiyle değerlendirildi ve beş deneyimli yazılım mühendisi tarafından bağımsız olarak incelendi; anlaşmazlıklar ek inceleme için üst seviyeye taşındı.

Sorunlar ağırlıklı olarak dört kategoriye ayrıldı:

• Aşırı katı testler¹, promptta belirtilmeyen belirli uygulama ayrıntılarını dayatarak işlevsel olarak doğru birçok teslimi geçersiz kılar.
• Yetersiz belirtilmiş promptlar², gizli testlerin dayattığı ve makul biçimde çıkarılamayan gereksinimleri atlar.
• Düşük kapsamlı testler, istenen özelliği eksik kontrol eder; bu nedenle eksik düzeltmeler geçebilir.
• Yanıltıcı prompt, modelleri yanlış davranışa yönlendirir veya testlerin gerektirdikleriyle çelişir.

Bulgularımız, zor ama adil kıyaslamalar oluşturmanın güçlüğünü ve ölçeklenebilir veri kalitesi kontrolleri için ajanların artan yararını gösteriyor. Bu sonuçlar ışığında, SWE-bench Pro görevlerinin yaklaşık %30’unun bozuk olduğunu tahmin ediyor ve model geliştiricilerine sonuçları dikkatle incelemelerini öneriyoruz.

Amacımız, görev başarısızlıklarının gerçek model sınırlamalarını, görev başarılarının ise prompt gereksinimlerine yönelik eksiksiz ve geçerli çözümleri yansıtmasını sağlamaktır. Değerlendirmede kullanılan verinin kalitesini kontrol etmek için, her veri noktasının model yeteneklerini doğru yansıtıp yansıtmadığını değerlendiren bir kalite güvence hattı oluşturduk.

İlk otomatik filtre, olası bozuk veya sorunlu örnekleri işaretlemek için modele verilen talimatları, modelin görevi çözme denemelerini ve bu denemeleri puanlamakta kullanılan testleri inceler. Bu filtre potansiyel olarak bozuk 286 görevi işaretledi. Ardından bu alt kümeyi iki yolla daha derinlemesine inceledik: araştırmacı ajanlarla kapsamlı kontroller ve son bir insan kararı içeren insan denetimli ajan incelemesi; ayrıca deneyimli yazılım geliştiricilerle yürütülen bir insan anotasyonu çalışması.

İşaretlenen her sorun, görev deposuna ve ortamına erişim verilen Codex tabanlı araştırmacı ajanlarla denetlendi. Bu, onların yakındaki kodu ve depo kurallarını inceleyerek çoğu zaman çözülebilen makul görev belirsizliğini gerçek yetersiz belirtimden ayırmasına yardımcı olur. Ajan testleri çalıştırabilir, depodaki dosyaları inceleyebilir ve model denemeleri ile bunların görevdeki yaygın başarısızlık modlarını araştırabilir. Bu daha derin denetimlerin birkaç bağımsız tekrarından sonra bir araştırmacı özetleri inceledi, nihai kararı verdi ve olası sorunları etiketledi.

Buna paralel olarak, işaretlenen alt küme üzerinde bir insan anotasyonu çalışması yürüttük. Görevleri incelemeden önce kıyaslamanın hedefleri, sorun taksonomisi ve uç durumlar konusunda eğitilen deneyimli yazılım mühendisleriyle çalıştık. Her görev beş mühendis tarafından incelendi.

İnceleyiciler, hat analizi veya transkripti destekleyici bağlam olarak kullanmadan önce görünür problem ifadesi, test senaryoları ve temel doğruluk referans çözümünden (gold patch olarak bilinir) bağımsız bir yargı oluşturdu. İnceleyiciler daha sonra somut kanıtlara dayanarak bir etiket ve önem derecesi atadı; anlaşmazlıkları veya düşük güvenli vakaları ek incelemeye taşıdı.

İnsan inceleyiciler, görevleri bozuk olarak işaretleme konusunda araştırmacı ajanlardan daha olasıydı. İki inceleme yolu arasında kategoriler konusunda da bazı anlaşmazlıklar vardı, ancak işaretlenen hiçbir görevde “bozuk değil” en yaygın insan etiketi olmadı. Ajan hattının işaretlediği kategorilerde, inceleyicilerin yargıları vakaların %74’ünde örtüştü.

Ajan hattıyla karşılaştırıldığında, insan inceleyiciler bir görev için birden fazla etiket seçmeye de daha yatkındı; bu, görevlerin birden fazla yönden bozuk olduğunu düşündüklerini veya tek bir kategoriye temiz biçimde uymadığını gösteriyor. Bu, ajan-artı-inceleyici hattının temkinli etiketleme ürettiğini gösteriyor: insanların belirlediği aynı geniş başarısızlık modlarını yakaladı, ancak inceleyicilerin ek veya örtüşen sorunlar gördüğü vakaları eksik saydı. En büyük fark düşük kapsamlı testlerdeydi: insanlar bunu kıyaslamanın %9,4’ünde en yaygın sorun olarak seçerken, ajan hattında bu oran %4,1’di.

Belirlediğimiz sorunlar, SWE-bench Verified içindeki benzer vakalarla birlikte, kıyaslamaların titizlikle kontrol edilmesinin önemini vurguluyor. Açık kaynak depolarındaki sorunlar ve pull request’ler başlangıçta insan iş birliği için, çoğu zaman bakımcılar ile katkıda bulunanlar arasındaki uzun karşılıklı görüşmelerle oluşturulmuştu. Sonuç olarak, problem açıklamaları, birleştirilen kod ve birim testleri, modelleri güvenilir biçimde değerlendirmek için her zaman temiz ve yalıtılmış görevler oluşturacak şekilde hizalanmaz. Özellikle pull request’lere dâhil edilen testler, görevi çözmek için uygulamadan bağımsız bir standart tanımlamak yerine belirli bir değişikliği doğrulamak üzere yazıldıklarından aşırı katı olabilir.

Aynı zamanda, değerlendirme kusurlarını tespit etmek artık kısa bir süre öncesine kıyasla bile daha kolay. Model yetenekleri geliştikçe, bu modelleri promptları, testleri, yamaları, izleri ve uç durumları çok daha derin ve tutarlı biçimde incelemek için kullanabiliriz; bu da daha önce ölçekli olarak bulunması maliyetli veya pratik olmayan kıyaslama sorunlarını ortaya çıkarmaya yardımcı olur.

Daha geniş değerlendirme topluluğunun, model yeteneklerini özel olarak test etmek üzere deneyimli yazılım geliştiriciler tarafından oluşturulan yeni kıyaslamalar geliştirmesini umuyoruz. Bu yaklaşım, model yeteneklerini ölçerken aradığımız yüksek çıtayı ve gerçekçiliği koruyabilir ve süreç boyunca daha iyi insan gözetimine olanak tanır. Bu analizde ortaya çıkarılan sorunlar nedeniyle, SWE-Bench Pro’nun benimsenmesine yönelik önceki tavsiyemizi geri çekiyoruz.

Nihayetinde bir değerlendirme, istismar edilmesi zor, güvenilmesi kolay ve model yeteneğini ya da uyumunu gerçekten yansıtan kıyaslamalar aracılığıyla anlamlı sinyal sağlamalıdır. Bu sonuçlar OpenAI’ın dağıtım ve güvenlik kararlarını şekillendirdiği için, izlediğimiz değerlendirmelerin geçerli ve bilgilendirici olması gerekir.