Modellerimizdeki son gelişmeler, COBOL, Fortran ve Visual Basic gibi kaynakları sınırlı programlama dillerinde yazılım geliştirme ve bu dillerden başka dillere geçiş yapma yeteneklerini güçlendiriyor. Bu dillerde modellerin öğrenebileceği kod ve dokümantasyon, Python ve JavaScript gibi dillere kıyasla daha az olsa da bu diller dünya genelinde kritik altyapıların ve temel hizmetlerin çalışmasını sağlıyor. COBOL, çevrimiçi bankacılık sistemlerinin %40'ından fazlasının, yüz yüze kredi kartı işlemlerinin %80'inin ve ATM işlemlerinin %95'inin altyapısını oluştururken(yeni bir pencerede açılır) Fortran, hava tahminlerinde(yeni bir pencerede açılır) ve nükleer reaktör güvenlik analizlerinde(yeni bir pencerede açılır) kullanılıyor. Yapay zekânın bu dillerde çalışma yeteneğinin geliştirilmesi, ekiplerin temel hizmetlerin dayandığı yazılımları sürdürmesine ve modernleştirmesine yardımcı olabilir.
Bu çalışmaya, kodlama modellerinin bu dillerde sık sık zorlandığını belirten geliştiricilerin ve kurumsal müşterilerin geri bildirimleri yön veriyor. Bu yazılımların bakımı ve modernleştirilmesi zor olabilir: dokümantasyon eksik olabilir, yazılımı ilk geliştiren kişiler şirketten ayrılmış olabilir ve önemli iş kuralları yalnızca kodda yer alıyor olabilir. Ekiplerin, ister hataları düzeltiyor ister başka bir dile geçiş yapıyor olsunlar, sistemlerinin dayandığı davranışları koruması gerekiyor.
İlerlemeyi ölçmek için iki değerlendirme geliştirdik. MultiLangBench, bir modelin 20 farklı programlama dilinde sıfırdan SQLite uyumlu bir veritabanı motoru geliştirip geliştiremediğini test ediyor. COBOL'den geçiş değerlendirmemiz ise bir modelin mevcut programları, davranışlarını koruyarak başka bir dile taşıyıp taşıyamadığını test ediyor. Bu iki değerlendirme, birbirini tamamlayan iki beceriyi test ediyor: yeni yazılım geliştirmek ve mevcut yazılımın işlevlerini korumak.
En yeni modellerimiz, her iki değerlendirmede de önemli ilerlemeler göstererek daha düşük maliyetle çok daha yüksek doğruluk sağlıyor.
MultiLangBench'te GPT‑6 Astra, 20 programlama dilinde ortalama %87,4 test geçme oranına ulaşıyor. GPT‑5.6 Sol'da %26,8 olan bu oran, test edilen tüm dillerde yükseliyor. GPT‑6 Luna da yaklaşık %78 daha düşük tahmini API maliyetiyle %40,3'e ulaşarak GPT‑5.6 Sol'u geride bırakıyor.
COBOL'den geçiş değerlendirmemizde GPT‑6.1 Sol, düşük akıl yürütme çabası düzeyinde %86,6 doğruluğa ulaşırken GPT‑5.6 Sol yalnızca %5,4'te kalıyor. Üstelik GPT‑6.1 Sol'un maliyeti %39 daha düşük. Daha yüksek akıl yürütme çabası düzeyinde doğruluk %97,9'a ulaşıyor ve değerlendirmede neredeyse tam başarı sağlanıyor.
Bu sonuçlar birlikte ele alındığında, modellerimizin çok çeşitli programlama dilleriyle çalışmada belirgin biçimde geliştiğini ve aynı zamanda maliyet açısından daha verimli hâle geldiğini gösteriyor.
MultiLangBench, modelden belirtilen bir programlama dilinde SQLite uyumlu bir veritabanı motoru geliştirmesini istiyor. Modelin kod tabanını düzenlemesi, durum yönetimini sağlaması, hataları ele alması ve mevcut işlevselliği koruyarak yeni özellikler eklemesi gerekiyor.
Farklı dillerdeki uygulamaları karşılaştırmak için veritabanı dosyalarını ortak bir arayüz olarak kullanıyoruz. Test edilen program, başlangıç veritabanını ve bir SQL sorgusunu alıp değiştirilmiş bir veritabanı üretiyor. Ortaya çıkan veritabanının beklenen içeriğe sahip olup olmadığını kontrol etmek için referans SQLite uygulamasını kullanıyoruz. Böylece motorun geliştirildiği dilden bağımsız olarak aynı testleri uygulayabiliyoruz.
SQLite'ın mevcut test paketindeki testleri bu biçime uyarladık. Değerlendirme, modelin uzun bir kodlama oturumunda ne kadar çalışan işlevsellik geliştirebildiğini ölçüyor ve hem test geçme oranını hem de API maliyetini raporluyor.
En yüksek akıl yürütme çabası düzeyinde GPT‑6 Astra, 20 dilde ortalama %87,4 test geçme oranına ulaşıyor; GPT‑5.6 Sol'da bu oran %26,8. İyileşmeler, COBOL (%10,9'dan %72,1'e), OCaml (%25,6'dan %85,8'e), Fortran (%21,4'ten %83,5'e) ve Visual Basic (%27,5'ten %89,4'e) dâhil olmak üzere test edilen tüm dilleri kapsıyor. Astra, 20 dilin 19'unda %83'ün üzerinde puan alırken COBOL, %72 ile en zorlu dil olmaya devam ediyor.
GPT‑6 Luna, test edilen tüm dillerde GPT‑5.6 Sol'u geride bırakan, daha düşük maliyetli bir seçenek sunuyor. En yüksek akıl yürütme çabası düzeyinde ortalama %40,3 test geçme oranına ulaşıyor. İyileşme görülen diller arasında COBOL (%10,9'dan %17,1'e), OCaml (%25,6'dan %34,1'e), Fortran (%21,4'ten %31,4'e) ve Visual Basic (%27,5'ten %41,6'ya) bulunuyor. Bu iyileşmeler, örnek başına tahmini ortalama 0,77 ABD doları API maliyetiyle sağlanıyor. GPT‑5.6 Sol'un 3,48 ABD doları maliyetine kıyasla bu, yaklaşık %78 daha düşük.
MultiLangBench değerlendirme kurulumunu ve test paketini, her dilin sonuçlarıyla birlikte GitHub(yeni bir pencerede açılır) üzerinde yayımlıyoruz. Geliştiriciler, değerlendirmenin neleri test ettiğini inceleyebilir, kullandıkları dillerdeki performansı gözden geçirebilir ve kendi işleri açısından önemli eksikleri belirleyebilir.
İkinci değerlendirmemiz, modellerden COBOL programlarını her birinin işlevlerini koruyarak C++, Java, Kotlin, Python veya Rust'a taşımalarını istiyor.
Başarılı bir geçiş, hem programın iş mantığını hem de COBOL'e özgü dil davranışlarını anlamayı gerektiriyor. COBOL programları genellikle finansal işlemleri ve iş kayıtlarını işler. Bu işlemlerde yuvarlama kuralları ve eksik kayıtların nasıl ele alındığı gibi ayrıntılar, iş gereksinimlerini yansıtır. Örneğin, COBOL'ün sabit noktalı aritmetiği, yuvarlama açıkça istenmedikçe fazla ondalık basamakları atar. Yeniden yazılan program bu değerleri atmak yerine yuvarlarsa hatasız çalışsa bile farklı finansal sonuçlar üretebilir.
Bu davranışların korunup korunmadığını sınamak için modellerimizi, gözlemlenebilir çıktıların bayt düzeyinde birebir eşleşmesini gerektiren gizli testlerle değerlendiriyoruz. Geçiş, yalnızca tüm testler geçildiğinde başarılı sayılıyor. Davranışı koruyan bu tür yetenekler, eski sistemlerin bakımını yapan ve bu sistemleri modernleştiren ekipler için faydalı. Ancak bunları canlı ortamdaki yazılımlara uygulamak hâlâ uzman incelemesi ve sistemin iş kuralları ile bağımlılıklarına göre test yapılmasını gerektiriyor.
Bu değerlendirmede GPT‑6.1 Sol, düşük akıl yürütme çabası düzeyinde %86,6 doğruluğa ulaşıyor. GPT‑5.6 Sol'un aynı ayarda doğruluğu %5,4'te kalırken GPT‑6.1 Sol'un API maliyeti onun yalnızca %61'i kadar. Daha yüksek akıl yürütme çabası düzeyinde doğruluk %97,9'a ulaşıyor ve değerlendirmede tam başarıya yaklaşılıyor. Bu değerlendirme sonuçları, işletmelerinin dayandığı yazılımları modernleştiren ekipler için daha doğru ve uygun maliyetli kod taşıma yönünde ilerleme kaydedildiğini gösteriyor.
Bu değerlendirmeler, geliştiricilerden ve kurumsal müşterilerden gelen doğrudan geri bildirimlerle birlikte, modellerimizin nerelerde geliştiğini ve nerelerde hâlâ yetersiz kaldığını görmemize yardımcı oluyor.
Amacımız, modellerin yazılım mühendisliği becerilerini daha fazla dilde uygulamasına yardımcı olmak: tanımadıkları depoları anlamak, değişiklikleri planlamak, derleme araçlarını kullanmak, testleri çalıştırmak ve hataları ayıklamak.
En yeni modellerimizi API üzerinden, ekibinizin kullandığı dillerdeki kodlama görevlerinde deneyebilirsiniz. Nelerin işe yaradığı, modellerin nerelerde zorlandığı ve bundan sonra hangi dillere veya iş akışlarına odaklanmamız gerektiği konusundaki geri bildirimleriniz; kullandığınız yazılımları daha iyi desteklemek için modelleri nasıl eğitip değerlendireceğimize yön veriyor.
