Progrese în programarea în limbaje cu resurse limitate
Cele mai recente progrese ale modelelor noastre aduc capacități sporite de dezvoltare și migrare a software-ului în limbaje de programare cu resurse limitate, precum COBOL, Fortran și Visual Basic. Aceste limbaje au mai puțin cod și mai puțină documentație din care modelele pot învăța decât limbaje precum Python și JavaScript, dar susțin infrastructuri critice și servicii esențiale din întreaga lume. COBOL stă la baza(se deschide într-o fereastră nouă) a peste 40% dintre sistemele bancare online, a 80% dintre tranzacțiile cu cardul de credit efectuate în persoană și a 95% dintre tranzacțiile la bancomat, iar Fortran este folosit în prognoza meteo(se deschide într-o fereastră nouă) și în analiza siguranței reactoarelor nucleare(se deschide într-o fereastră nouă). Îmbunătățirea capacității IA de a lucra în aceste limbaje ar putea ajuta echipele să întrețină și să modernizeze software-ul de care depind serviciile esențiale.
Acest demers este ghidat de feedbackul dezvoltatorilor și al clienților din companii, care ne-au spus că modelele de programare întâmpină adesea dificultăți cu aceste limbaje. Întreținerea și modernizarea acestui software pot fi dificile: documentația poate fi incompletă, dezvoltatorii inițiali pot să fi plecat din companie, iar reguli de afaceri importante pot exista doar în cod. Indiferent dacă remediază erori sau migrează către alt limbaj, echipele trebuie să păstreze comportamentul de care depind sistemele lor.
Pentru a măsura progresul, am dezvoltat două evaluări. MultiLangBench testează dacă un model poate construi de la zero un motor de baze de date compatibil cu SQLite, în 20 de limbaje de programare diferite. Evaluarea noastră pentru migrarea codului COBOL testează dacă un model poate migra programe existente către alt limbaj, păstrându-le comportamentul. Împreună, acestea testează două competențe complementare: dezvoltarea de software nou și păstrarea funcționalității software-ului existent.
Cele mai recente modele ale noastre înregistrează îmbunătățiri substanțiale în ambele evaluări, oferind o acuratețe mult mai mare la un cost mai mic.
Pe MultiLangBench, GPT‑6 Astra atinge o rată medie de trecere a testelor de 87,4% în 20 de limbaje de programare, față de 26,8% pentru GPT‑5.6 Sol, cu îmbunătățiri în fiecare limbaj testat. Și GPT‑6 Luna depășește GPT‑5.6 Sol, ajungând la 40,3%, la un cost API estimat cu aproximativ 78% mai mic.
În evaluarea noastră pentru migrarea codului COBOL, GPT‑6.1 Sol atinge o acuratețe de 86,6% la un efort scăzut de raționament, față de doar 5,4% pentru GPT‑5.6 Sol, cu un cost cu 39% mai mic. La un efort mai mare de raționament, acuratețea ajunge la 97,9%, aproape de plafonul evaluării.
Împreună, aceste rezultate arată că modelele noastre lucrează semnificativ mai bine cu o gamă largă de limbaje de programare, devenind totodată mai eficiente din punctul de vedere al costurilor.
MultiLangBench îi cere unui model să construiască un motor de baze de date compatibil cu SQLite într-un limbaj de programare specificat. Modelul trebuie să organizeze o bază de cod, să gestioneze starea și erorile și să adauge funcții noi, păstrând funcționalitatea existentă.
Pentru a compara implementările în diferite limbaje, folosim fișiere de baze de date ca interfață comună. Programul testat primește o bază de date inițială și o interogare SQL, apoi produce o bază de date modificată. Folosim implementarea de referință SQLite pentru a verifica dacă baza de date rezultată are conținutul așteptat. Astfel, putem aplica aceleași teste indiferent de limbajul folosit pentru a construi motorul.
Am adaptat la acest format teste din suita existentă de teste SQLite. Evaluarea măsoară câte funcționalități operaționale poate construi un model într-o sesiune extinsă de programare, raportând atât rata de trecere a testelor, cât și costul API.
La un efort maxim de raționament, GPT‑6 Astra atinge o rată medie de trecere a testelor de 87,4% în cele 20 de limbaje, față de 26,8% pentru GPT‑5.6 Sol. Îmbunătățirile se regăsesc în fiecare limbaj testat, inclusiv COBOL (de la 10,9% la 72,1%), OCaml (de la 25,6% la 85,8%), Fortran (de la 21,4% la 83,5%) și Visual Basic (de la 27,5% la 89,4%). Astra obține scoruri de peste 83% în 19 dintre cele 20 de limbaje, COBOL rămânând cel mai dificil, cu 72%.
GPT‑6 Luna oferă o opțiune cu un cost mai mic, care depășește și ea GPT‑5.6 Sol în fiecare limbaj testat. La un efort maxim de raționament, atinge o rată medie de trecere a testelor de 40,3%. Printre îmbunătățiri se numără cele din COBOL (de la 10,9% la 17,1%), OCaml (de la 25,6% la 34,1%), Fortran (de la 21,4% la 31,4%) și Visual Basic (de la 27,5% la 41,6%). Aceste îmbunătățiri sunt obținute la un cost API mediu estimat de 0,77 $ pe eșantion, față de 3,48 $ pentru GPT‑5.6 Sol, adică un cost cu aproximativ 78% mai mic.
Publicăm configurația de evaluare și suita de teste MultiLangBench pe GitHub(se deschide într-o fereastră nouă), împreună cu rezultatele pentru fiecare limbaj. Dezvoltatorii pot examina ce anume testează evaluarea, pot analiza performanța în limbajele pe care le folosesc și pot identifica lacune relevante pentru propria activitate.
A doua evaluare le cere modelelor să migreze programe COBOL către C++, Java, Kotlin, Python sau Rust, păstrând funcționalitatea fiecărui program.
O migrare reușită presupune înțelegerea atât a logicii de afaceri a programului, cât și a comportamentului specific limbajului COBOL. Programele COBOL procesează adesea tranzacții financiare și înregistrări comerciale, în care detalii precum regulile de rotunjire și tratarea înregistrărilor lipsă reflectă cerințe de afaceri. De exemplu, aritmetica în virgulă fixă din COBOL elimină cifrele zecimale în exces, cu excepția cazului în care rotunjirea este cerută explicit. O versiune rescrisă care rotunjește în schimb acele valori poate rula fără erori, dar poate produce rezultate financiare diferite.
Pentru a verifica dacă aceste comportamente sunt păstrate, ne evaluăm modelele prin teste ascunse, care cer ca rezultatele observabile să fie identice octet cu octet. O migrare este considerată reușită numai dacă toate testele sunt trecute. Astfel de capacități de păstrare a comportamentului sunt utile echipelor care întrețin și modernizează sisteme mai vechi. Totuși, utilizarea lor pentru software-ul din producție necesită în continuare verificarea de către experți și testarea în raport cu regulile de afaceri și dependențele sistemului.
În această evaluare, GPT‑6.1 Sol atinge o acuratețe de 86,6% la un efort scăzut de raționament, față de 5,4% pentru GPT‑5.6 Sol la aceeași setare, cu doar 61% din costul API. La un efort mai mare de raționament, acuratețea ajunge la 97,9%, aproape de plafonul evaluării. Aceste rezultate ale evaluării demonstrează progrese către o migrare a codului mai precisă și mai accesibilă pentru echipele care modernizează software-ul de care depind companiile lor.
Aceste evaluări, alături de feedbackul direct al dezvoltatorilor și al clienților din companii, ne ajută să vedem unde progresează modelele noastre și unde au încă neajunsuri.
Obiectivul nostru este să ajutăm modelele să aplice competențe de inginerie software în mai multe limbaje: să înțeleagă depozite necunoscute, să planifice modificări, să folosească instrumente de compilare, să ruleze teste și să depaneze erori.
Poți încerca cele mai recente modele ale noastre prin API, pentru sarcini de programare în limbajele folosite de echipa ta. Feedbackul tău despre ce funcționează, unde întâmpină modelele dificultăți și pe ce limbaje sau fluxuri de lucru ar trebui să ne concentrăm în continuare ne ajută să stabilim cum antrenăm și evaluăm modelele, pentru a susține mai bine software-ul de care depinzi.
