Beter programmeren in talen met weinig trainingsmateriaal
Dankzij onze nieuwste modelverbeteringen kunnen modellen beter software bouwen en migreren in programmeertalen waarvoor weinig trainingsmateriaal beschikbaar is, zoals COBOL, Fortran en Visual Basic. Voor deze talen is minder code en documentatie beschikbaar waar modellen van kunnen leren dan voor talen als Python en JavaScript. Toch vormen ze wereldwijd de basis van kritieke infrastructuur en essentiële diensten. COBOL ondersteunt(opent in een nieuw venster) meer dan 40% van de systemen voor internetbankieren, 80% van de fysieke creditcardtransacties en 95% van de geldautomaattransacties. Fortran wordt gebruikt voor weersvoorspellingen(opent in een nieuw venster) en veiligheidsanalyses van kernreactoren(opent in een nieuw venster). Als AI beter met deze talen kan werken, kan dat teams helpen de software waarvan essentiële diensten afhankelijk zijn te onderhouden en te moderniseren.
Dit werk is gebaseerd op feedback van ontwikkelaars en zakelijke klanten, die ons vertelden dat programmeermodellen vaak moeite hebben met deze talen. Het onderhouden en moderniseren van deze software kan lastig zijn: documentatie is soms onvolledig, de oorspronkelijke ontwikkelaars hebben het bedrijf mogelijk verlaten en belangrijke bedrijfsregels zijn soms alleen in de code vastgelegd. Of teams nu bugs oplossen of naar een andere taal migreren, ze moeten het gedrag behouden waarvan hun systemen afhankelijk zijn.
Om de vooruitgang te meten, hebben we twee evaluaties ontwikkeld. MultiLangBench test of een model in 20 verschillende programmeertalen een SQLite-compatibele database-engine vanaf nul kan bouwen. Onze evaluatie voor COBOL-migratie test of een model bestaande programma's naar een andere taal kan migreren met behoud van hun gedrag. Samen testen ze twee aanvullende vaardigheden: nieuwe software bouwen en de werking van bestaande software behouden.
Onze nieuwste modellen laten in beide evaluaties aanzienlijke verbeteringen zien, met een veel hogere nauwkeurigheid tegen lagere kosten.
Op MultiLangBench behaalt GPT‑6 Astra over 20 programmeertalen gemiddeld 87,4% geslaagde tests, tegenover 26,8% voor GPT‑5.6 Sol, met verbeteringen in elke geteste taal. Ook GPT‑6 Luna presteert beter dan GPT‑5.6 Sol en behaalt 40,3%, met naar schatting ongeveer 78% lagere API-kosten.
In onze evaluatie voor COBOL-migratie behaalt GPT‑6.1 Sol bij een lage redeneringsinspanning een nauwkeurigheid van 86,6%, tegenover slechts 5,4% voor GPT‑5.6 Sol, terwijl de kosten 39% lager liggen. Bij een hogere redeneringsinspanning stijgt de nauwkeurigheid tot 97,9%, waarmee de evaluatie bijna haar plafond bereikt.
Samen laten deze resultaten zien dat onze modellen aanzienlijk beter worden in het werken met uiteenlopende programmeertalen en tegelijk kostenefficiënter worden.
MultiLangBench vraagt een model om een SQLite-compatibele database-engine te bouwen in een opgegeven programmeertaal. Het model moet een codebase structureren, de toestand beheren, fouten afhandelen en nieuwe functies toevoegen met behoud van bestaande functionaliteit.
Om implementaties in verschillende talen te vergelijken, gebruiken we databasebestanden als gemeenschappelijke interface. Het te testen programma ontvangt een begindatabase en een SQL-query en levert vervolgens een gewijzigde database op. We gebruiken de referentie-implementatie van SQLite om te controleren of de resulterende database de verwachte inhoud heeft. Zo kunnen we dezelfde tests uitvoeren, ongeacht de taal waarin de engine is gebouwd.
We hebben tests uit de bestaande testsuite van SQLite aangepast aan deze opzet. De evaluatie meet hoeveel werkende functionaliteit een model tijdens een lange programmeersessie kan bouwen en rapporteert zowel het percentage geslaagde tests als de API-kosten.
Bij maximale redeneringsinspanning behaalt GPT‑6 Astra over de 20 talen gemiddeld 87,4% geslaagde tests, tegenover 26,8% voor GPT‑5.6 Sol. Elke geteste taal laat verbeteringen zien, waaronder COBOL (van 10,9% naar 72,1%), OCaml (van 25,6% naar 85,8%), Fortran (van 21,4% naar 83,5%) en Visual Basic (van 27,5% naar 89,4%). Astra scoort boven de 83% in 19 van de 20 talen. COBOL blijft met 72% de moeilijkste.
GPT‑6 Luna biedt een goedkoper alternatief dat in elke geteste taal ook beter presteert dan GPT‑5.6 Sol. Bij maximale redeneringsinspanning behaalt het gemiddeld 40,3% geslaagde tests. Verbeteringen zijn er onder meer voor COBOL (van 10,9% naar 17,1%), OCaml (van 25,6% naar 34,1%), Fortran (van 21,4% naar 31,4%) en Visual Basic (van 27,5% naar 41,6%). Deze verbeteringen gaan gepaard met geschatte gemiddelde API-kosten van $ 0,77 per sample, tegenover $ 3,48 voor GPT‑5.6 Sol: ongeveer 78% lager.
We publiceren de evaluatieopzet en testsuite van MultiLangBench op GitHub(opent in een nieuw venster), samen met de resultaten voor elke taal. Ontwikkelaars kunnen bekijken wat de evaluatie test, de prestaties beoordelen in de talen die ze gebruiken en tekortkomingen opsporen die voor hun eigen werk van belang zijn.
Onze tweede evaluatie vraagt modellen om COBOL-programma's te migreren naar C++, Java, Kotlin, Python of Rust, met behoud van de werking van elk programma.
Een succesvolle migratie vereist inzicht in zowel de bedrijfslogica van het programma als het specifieke taalgedrag van COBOL. COBOL-programma's verwerken vaak financiële transacties en bedrijfsgegevens. Daarbij komen bedrijfseisen tot uiting in details zoals afrondingsregels en de afhandeling van ontbrekende records. Bij het rekenen met een vast aantal decimalen laat COBOL bijvoorbeeld overtollige decimale cijfers weg, tenzij expliciet om afronding wordt gevraagd. Een herschreven versie die die waarden wel afrondt, kan zonder fouten draaien en toch andere financiële resultaten opleveren.
Om te controleren of dit gedrag behouden blijft, evalueren we onze modellen met verborgen tests die vereisen dat de waarneembare uitvoer byte voor byte overeenkomt. Een migratie geldt alleen als geslaagd als alle tests slagen. Dergelijke mogelijkheden om gedrag te behouden zijn nuttig voor teams die oudere systemen onderhouden en moderniseren. Toepassing op productiesoftware vereist echter nog steeds beoordeling door experts en tests aan de hand van de bedrijfsregels en afhankelijkheden van het systeem.
In deze evaluatie behaalt GPT‑6.1 Sol bij een lage redeneringsinspanning een nauwkeurigheid van 86,6%, tegenover 5,4% voor GPT‑5.6 Sol bij dezelfde instelling, tegen slechts 61% van de API-kosten. Bij een hogere redeneringsinspanning stijgt de nauwkeurigheid tot 97,9%, waarmee de evaluatie dicht bij haar plafond komt. Deze evaluatieresultaten laten zien dat codemigratie nauwkeuriger en betaalbaarder wordt voor teams die de software moderniseren waarvan hun bedrijf afhankelijk is.
Deze evaluaties en de directe feedback van ontwikkelaars en zakelijke klanten helpen ons te zien waar onze modellen vooruitgaan en waar ze nog tekortschieten.
Ons doel is modellen te helpen vaardigheden voor softwareontwikkeling in meer talen toe te passen: onbekende repository's begrijpen, wijzigingen plannen, buildtools gebruiken, tests uitvoeren en fouten opsporen en verhelpen.
Je kunt onze nieuwste modellen via de API uitproberen voor programmeertaken in de talen die je team gebruikt. Je feedback over wat werkt, waar de modellen moeite mee hebben en op welke talen of workflows we ons hierna moeten richten, helpt bepalen hoe we modellen trainen en evalueren om de software waarvan je afhankelijk bent beter te ondersteunen.
