Bedre kodning i programmeringssprog med begrænset træningsmateriale
De seneste fremskridt i vores modeller gør dem bedre til at udvikle og migrere software i programmeringssprog med begrænset træningsmateriale, såsom COBOL, Fortran og Visual Basic. Der findes mindre kode og dokumentation, som modellerne kan lære af, til disse sprog end til sprog som Python og JavaScript. Alligevel understøtter de kritisk infrastruktur og samfundsvigtige tjenester verden over. COBOL understøtter(åbner i et nyt vindue) mere end 40 % af netbanksystemerne, 80 % af kreditkorttransaktionerne ved fysisk fremmøde og 95 % af transaktionerne i hæveautomater, mens Fortran bruges til vejrudsigter(åbner i et nyt vindue) og sikkerhedsanalyser af atomreaktorer(åbner i et nyt vindue). Hvis AI bliver bedre til at arbejde i disse sprog, kan det hjælpe teams med at vedligeholde og modernisere den software, som samfundsvigtige tjenester er afhængige af.
Arbejdet tager udgangspunkt i feedback fra udviklere og virksomhedskunder, som har fortalt os, at kodningsmodeller ofte har svært ved disse sprog. Det kan være vanskeligt at vedligeholde og modernisere denne software: Dokumentationen kan være ufuldstændig, de oprindelige udviklere kan have forladt virksomheden, og vigtige forretningsregler findes måske kun i koden. Uanset om et team retter fejl eller migrerer til et andet sprog, skal det bevare den adfærd, som systemerne er afhængige af.
Vi har udviklet to evalueringer for at måle fremskridtene. MultiLangBench tester, om en model kan bygge en SQLite-kompatibel databasemotor fra bunden i 20 forskellige programmeringssprog. Vores evaluering af COBOL-migrering tester, om en model kan migrere eksisterende programmer til et andet sprog og samtidig bevare deres adfærd. Tilsammen tester de to færdigheder, der supplerer hinanden: at udvikle ny software og at bevare det, eksisterende software gør.
Vores nyeste modeller viser markante forbedringer i begge evalueringer og leverer langt højere nøjagtighed til lavere omkostninger.
På MultiLangBench består GPT‑6 Astra i gennemsnit 87,4 % af testene på tværs af 20 programmeringssprog mod 26,8 % for GPT‑5.6 Sol, med forbedringer i alle de testede sprog. GPT‑6 Luna klarer sig også bedre end GPT‑5.6 Sol og når op på 40,3 % med cirka 78 % lavere anslåede API-omkostninger.
I vores evaluering af COBOL-migrering opnår GPT‑6.1 Sol en nøjagtighed på 86,6 % med lav ræsonneringsindsats mod blot 5,4 % for GPT‑5.6 Sol, samtidig med at omkostningerne er 39 % lavere. Med højere ræsonneringsindsats når nøjagtigheden op på 97,9 %, så næsten alle opgaver i evalueringen løses korrekt.
Tilsammen viser resultaterne, at vores modeller bliver markant bedre til at arbejde med en bred vifte af programmeringssprog, samtidig med at de bliver mere omkostningseffektive.
MultiLangBench beder en model om at bygge en SQLite-kompatibel databasemotor i et bestemt programmeringssprog. Modellen skal organisere en kodebase, styre tilstand, håndtere fejl og tilføje nye funktioner uden at ændre den eksisterende funktionalitet.
Vi bruger databasefiler som fælles grænseflade til at sammenligne implementeringer på tværs af sprog. Programmet, der testes, modtager en startdatabase og en SQL-forespørgsel og producerer derefter en ændret database. Vi bruger referenceimplementeringen af SQLite til at kontrollere, om den resulterende database har det forventede indhold. Det gør det muligt at bruge de samme tests, uanset hvilket sprog motoren er bygget i.
Vi har tilpasset tests fra SQLites eksisterende testsuite til dette format. Evalueringen måler, hvor meget fungerende funktionalitet en model kan udvikle i en længere kodningssession, og rapporterer både andelen af beståede tests og API-omkostningerne.
Med maksimal ræsonneringsindsats består GPT‑6 Astra i gennemsnit 87,4 % af testene på tværs af de 20 sprog mod 26,8 % for GPT‑5.6 Sol. Der er forbedringer i alle de testede sprog, herunder COBOL (fra 10,9 % til 72,1 %), OCaml (fra 25,6 % til 85,8 %), Fortran (fra 21,4 % til 83,5 %) og Visual Basic (fra 27,5 % til 89,4 %). Astra opnår over 83 % i 19 af de 20 sprog, mens COBOL fortsat er det sværeste med 72 %.
GPT‑6 Luna er et billigere alternativ, som også klarer sig bedre end GPT‑5.6 Sol i alle de testede sprog. Med maksimal ræsonneringsindsats består den i gennemsnit 40,3 % af testene. Forbedringerne omfatter COBOL (fra 10,9 % til 17,1 %), OCaml (fra 25,6 % til 34,1 %), Fortran (fra 21,4 % til 31,4 %) og Visual Basic (fra 27,5 % til 41,6 %). Disse forbedringer opnås med en anslået gennemsnitlig API-omkostning på 0,77 USD pr. prøve mod 3,48 USD for GPT‑5.6 Sol – cirka 78 % lavere.
Vi offentliggør MultiLangBenchs evalueringsopsætning og testsuite på GitHub(åbner i et nyt vindue) sammen med resultaterne for hvert sprog. Udviklere kan undersøge, hvad evalueringen tester, gennemgå resultaterne for de sprog, de bruger, og finde mangler, som har betydning for deres eget arbejde.
Vores anden evaluering beder modeller om at migrere COBOL-programmer til C++, Java, Kotlin, Python eller Rust og samtidig bevare det, hvert program gør.
En vellykket migrering kræver forståelse for både programmets forretningslogik og COBOLs særlige sprogadfærd. COBOL-programmer behandler ofte finansielle transaktioner og forretningsdata, hvor detaljer som afrundingsregler og håndtering af manglende poster afspejler forretningskrav. For eksempel fjerner COBOLs fastkommaaritmetik overskydende decimaler, medmindre der udtrykkeligt anmodes om afrunding. En omskrevet version, der i stedet afrunder disse værdier, kan køre uden fejl, men give andre finansielle resultater.
For at undersøge, om denne adfærd bevares, evaluerer vi vores modeller med skjulte tests, der kræver, at de observerbare output er identiske byte for byte. En migrering betragtes kun som vellykket, hvis alle tests bestås. Evnen til at bevare adfærd på denne måde er nyttig for teams, der vedligeholder og moderniserer ældre systemer. Brug i produktionssoftware kræver dog stadig ekspertgennemgang og test i forhold til systemets forretningsregler og afhængigheder.
I denne evaluering opnår GPT‑6.1 Sol en nøjagtighed på 86,6 % med lav ræsonneringsindsats mod 5,4 % for GPT‑5.6 Sol med samme indstilling – til blot 61 % af API-omkostningerne. Med højere ræsonneringsindsats når nøjagtigheden op på 97,9 %, så næsten alle opgaver i evalueringen løses korrekt. Resultaterne viser fremskridt mod mere nøjagtig og billigere kodemigrering for teams, der moderniserer den software, deres virksomheder er afhængige af.
Disse evalueringer hjælper os sammen med direkte feedback fra udviklere og virksomhedskunder med at se, hvor vores modeller bliver bedre, og hvor de stadig kommer til kort.
Vores mål er at hjælpe modellerne med at bruge deres færdigheder inden for softwareudvikling i flere sprog: forstå ukendte lagre, planlægge ændringer, bruge buildværktøjer, køre tests og finde og rette fejl.
Du kan afprøve vores nyeste modeller via API'et på kodningsopgaver i de sprog, dit team bruger. Din feedback om, hvad der fungerer, hvad modellerne har svært ved, og hvilke sprog eller arbejdsgange vi bør fokusere på fremover, er med til at forme, hvordan vi træner og evaluerer modellerne, så de bedre understøtter den software, du er afhængig af.
