Bedre koding i programmeringsspråk med lite treningsgrunnlag
De nyeste modellforbedringene våre gjør det lettere å utvikle og migrere programvare i programmeringsspråk med lite treningsgrunnlag, som COBOL, Fortran og Visual Basic. For disse språkene finnes det mindre kode og dokumentasjon som modellene kan lære av, enn for språk som Python og JavaScript. Likevel brukes de i kritisk infrastruktur og samfunnsviktige tjenester over hele verden. COBOL ligger til grunn for(åpnes i et nytt vindu) over 40 % av nettbanksystemene, 80 % av kredittkorttransaksjonene ved fysiske betalinger og 95 % av minibanktransaksjonene, mens Fortran brukes til værvarsling(åpnes i et nytt vindu) og sikkerhetsanalyse av atomreaktorer(åpnes i et nytt vindu). Ved å forbedre KIs evne til å arbeide med disse språkene kan vi hjelpe team med å vedlikeholde og modernisere programvaren som samfunnsviktige tjenester er avhengige av.
Arbeidet bygger på tilbakemeldinger fra utviklere og bedriftskunder som forteller at kodemodeller ofte sliter med disse språkene. Det kan være krevende å vedlikeholde og modernisere denne programvaren: Dokumentasjonen kan være ufullstendig, de opprinnelige utviklerne kan ha sluttet, og viktige forretningsregler finnes kanskje bare i koden. Enten teamene retter feil eller migrerer til et annet språk, må de bevare virkemåten som systemene deres er avhengige av.
For å måle fremgangen utviklet vi to evalueringer. MultiLangBench tester om en modell kan bygge en SQLite-kompatibel databasemotor fra bunnen av i 20 ulike programmeringsspråk. Evalueringen vår av COBOL-migrering tester om en modell kan migrere eksisterende programmer til et annet språk og samtidig bevare virkemåten deres. Til sammen tester de to utfyllende ferdigheter: å bygge ny programvare og å bevare det eksisterende programvare gjør.
De nyeste modellene våre viser betydelige forbedringer i begge evalueringene, med langt høyere nøyaktighet til lavere kostnad.
På MultiLangBench oppnår GPT‑6 Astra en gjennomsnittlig andel beståtte tester på 87,4 % på tvers av 20 programmeringsspråk, opp fra 26,8 % for GPT‑5.6 Sol, med forbedringer i alle språkene som ble testet. GPT‑6 Luna gjør det også bedre enn GPT‑5.6 Sol og når 40,3 % med omtrent 78 % lavere anslått API-kostnad.
I evalueringen vår av COBOL-migrering oppnår GPT‑6.1 Sol 86,6 % nøyaktighet med lav resonneringsinnsats, sammenlignet med bare 5,4 % for GPT‑5.6 Sol, samtidig som kostnaden er 39 % lavere. Med høyere resonneringsinnsats når nøyaktigheten 97,9 %, noe som nærmer seg evalueringens øvre grense.
Samlet viser resultatene at modellene våre blir betydelig bedre til å arbeide med et bredt spekter av programmeringsspråk, samtidig som de blir mer kostnadseffektive.
MultiLangBench ber en modell bygge en SQLite-kompatibel databasemotor i et angitt programmeringsspråk. Modellen må organisere en kodebase, håndtere tilstand og feil og legge til nye funksjoner uten å endre eksisterende funksjonalitet.
For å sammenligne implementeringer på tvers av språk bruker vi databasefiler som et felles grensesnitt. Programmet som testes, mottar en utgangsdatabase og en SQL-spørring og produserer deretter en endret database. Vi bruker referanseimplementeringen av SQLite til å kontrollere om den resulterende databasen har forventet innhold. Dermed kan vi bruke de samme testene uavhengig av hvilket språk motoren er bygget i.
Vi tilpasset tester fra SQLites eksisterende testsamling til dette formatet. Evalueringen måler hvor mye fungerende funksjonalitet en modell kan bygge i løpet av en lengre kodeøkt, og rapporterer både andel beståtte tester og API-kostnad.
Med maksimal resonneringsinnsats oppnår GPT‑6 Astra en gjennomsnittlig andel beståtte tester på 87,4 % på tvers av de 20 språkene, opp fra 26,8 % for GPT‑5.6 Sol. Forbedringene gjelder alle språkene som ble testet, inkludert COBOL (10,9 % til 72,1 %), OCaml (25,6 % til 85,8 %), Fortran (21,4 % til 83,5 %) og Visual Basic (27,5 % til 89,4 %). Astra oppnår over 83 % i 19 av de 20 språkene. COBOL er fortsatt det vanskeligste, med 72 %.
GPT‑6 Luna er et rimeligere alternativ som også gjør det bedre enn GPT‑5.6 Sol i alle språkene som ble testet. Med maksimal resonneringsinnsats når den en gjennomsnittlig andel beståtte tester på 40,3 %. Forbedringene omfatter COBOL (10,9 % til 17,1 %), OCaml (25,6 % til 34,1 %), Fortran (21,4 % til 31,4 %) og Visual Basic (27,5 % til 41,6 %). Disse forbedringene oppnås med en anslått gjennomsnittlig API-kostnad på 0,77 USD per kjøring, mot 3,48 USD for GPT‑5.6 Sol – omtrent 78 % lavere.
Vi publiserer evalueringsoppsettet og testsamlingen for MultiLangBench på GitHub(åpnes i et nytt vindu), sammen med resultater for hvert språk. Utviklere kan undersøke hva evalueringen tester, se resultatene for språkene de bruker, og finne mangler som har betydning for deres eget arbeid.
Den andre evalueringen vår ber modeller migrere COBOL-programmer til C++, Java, Kotlin, Python eller Rust, samtidig som de bevarer det hvert program gjør.
En vellykket migrering krever forståelse av både programmets forretningslogikk og de særegne reglene i COBOL. COBOL-programmer behandler ofte finanstransaksjoner og forretningsdata, der detaljer som avrundingsregler og håndtering av manglende poster gjenspeiler forretningskrav. For eksempel forkaster COBOLs fastpunktsaritmetikk overskytende desimaler med mindre avrunding er uttrykkelig angitt. En omskrevet versjon som i stedet avrunder disse verdiene, kan kjøre uten feil, men likevel gi andre økonomiske resultater.
For å undersøke om denne virkemåten bevares, evaluerer vi modellene våre med skjulte tester som krever at observerbare utdata er identiske byte for byte. En migrering regnes som vellykket bare hvis alle testene bestås. Evnen til å bevare virkemåten på denne måten er nyttig for team som vedlikeholder og moderniserer eldre systemer. Bruk på programvare i produksjon krever likevel fortsatt ekspertgjennomgang og testing mot systemets forretningsregler og avhengigheter.
I denne evalueringen oppnår GPT‑6.1 Sol 86,6 % nøyaktighet med lav resonneringsinnsats, sammenlignet med 5,4 % for GPT‑5.6 Sol med samme innstilling – til bare 61 % av API-kostnaden. Med høyere resonneringsinnsats når nøyaktigheten 97,9 %, noe som nærmer seg evalueringens øvre grense. Disse evalueringsresultatene viser fremgang mot mer nøyaktig og rimeligere kodemigrering for team som moderniserer programvaren virksomheten er avhengig av.
Disse evalueringene, sammen med direkte tilbakemeldinger fra utviklere og bedriftskunder, hjelper oss å se hvor modellene våre blir bedre, og hvor de fortsatt kommer til kort.
Målet vårt er å hjelpe modellene med å bruke ferdigheter innen programvareutvikling i flere språk: forstå ukjente lagre, planlegge endringer, bruke byggeverktøy, kjøre tester og feilsøke.
Du kan prøve de nyeste modellene våre gjennom API-et på kodeoppgaver i språkene teamet ditt bruker. Tilbakemeldingene dine om hva som fungerer, hvor modellene sliter, og hvilke språk eller arbeidsflyter vi bør prioritere videre, er med på å forme hvordan vi trener og evaluerer modeller for bedre å støtte programvaren du er avhengig av.
