Avenços en la programació amb llenguatges amb pocs recursos
Els últims avenços dels nostres models milloren la capacitat de crear i migrar programari en llenguatges de programació amb pocs recursos, com COBOL, Fortran i Visual Basic. Aquests llenguatges disposen de menys codi i documentació perquè els models n'aprenguin que llenguatges com Python i JavaScript, però sustenten infraestructures crítiques i serveis essencials arreu del món. COBOL sustenta(s'obre en una finestra nova) més del 40 % dels sistemes de banca en línia, el 80 % de les transaccions presencials amb targeta de crèdit i el 95 % de les transaccions en caixers automàtics, mentre que Fortran s'utilitza en la predicció meteorològica(s'obre en una finestra nova) i l'anàlisi de seguretat dels reactors nuclears(s'obre en una finestra nova). Millorar la capacitat de la IA per treballar amb aquests llenguatges podria ajudar els equips a mantenir i modernitzar el programari del qual depenen els serveis essencials.
Aquesta feina es guia pels comentaris de desenvolupadors i clients empresarials, que ens han explicat que els models de programació sovint tenen dificultats amb aquests llenguatges. Mantenir i modernitzar aquest programari pot ser difícil: la documentació pot ser incompleta, els desenvolupadors originals poden haver deixat l'empresa i algunes regles de negoci importants poden existir només en el codi. Tant si corregeixen errors com si migren a un altre llenguatge, els equips han de preservar el comportament del qual depenen els seus sistemes.
Per mesurar el progrés, hem desenvolupat dues avaluacions. MultiLangBench comprova si un model pot crear des de zero un motor de base de dades compatible amb SQLite en 20 llenguatges de programació diferents. La nostra avaluació de migració de COBOL comprova si un model pot migrar programes existents a un altre llenguatge preservant-ne el comportament. En conjunt, posen a prova dues habilitats complementàries: crear programari nou i preservar el que fa el programari existent.
Els nostres models més recents mostren millores substancials en totes dues avaluacions i ofereixen una exactitud molt més alta a un cost inferior.
A MultiLangBench, GPT‑6 Astra assoleix un percentatge mitjà de proves superades del 87,4 % en 20 llenguatges de programació, davant del 26,8 % de GPT‑5.6 Sol, amb millores en tots els llenguatges avaluats. GPT‑6 Luna també supera GPT‑5.6 Sol: arriba al 40,3 % amb un cost estimat de l'API aproximadament un 78 % inferior.
En la nostra avaluació de migració de COBOL, GPT‑6.1 Sol assoleix una exactitud del 86,6 % amb un esforç de raonament baix, davant de només el 5,4 % de GPT‑5.6 Sol, amb un cost un 39 % inferior. Amb un esforç de raonament més alt, l'exactitud arriba al 97,9 %, gairebé al límit de l'avaluació.
En conjunt, aquests resultats mostren que els nostres models milloren significativament a l'hora de treballar amb una gran varietat de llenguatges de programació, alhora que són més eficients en costos.
MultiLangBench demana a un model que creï un motor de base de dades compatible amb SQLite en un llenguatge de programació determinat. El model ha d'organitzar una base de codi, gestionar l'estat i els errors i afegir funcions noves tot preservant les existents.
Per comparar les implementacions en diferents llenguatges, utilitzem fitxers de base de dades com a interfície comuna. El programa avaluat rep una base de dades inicial i una consulta SQL i genera una base de dades modificada. Utilitzem la implementació de referència de SQLite per comprovar si la base de dades resultant té el contingut esperat. Això ens permet aplicar les mateixes proves independentment del llenguatge utilitzat per crear el motor.
Hem adaptat proves del conjunt de proves existent de SQLite a aquest format. L'avaluació mesura quantes funcions operatives pot crear un model durant una sessió de programació prolongada i informa tant del percentatge de proves superades com del cost de l'API.
Amb el màxim esforç de raonament, GPT‑6 Astra assoleix un percentatge mitjà de proves superades del 87,4 % en els 20 llenguatges, davant del 26,8 % de GPT‑5.6 Sol. Les millores s'estenen a tots els llenguatges avaluats, incloent-hi COBOL (del 10,9 % al 72,1 %), OCaml (del 25,6 % al 85,8 %), Fortran (del 21,4 % al 83,5 %) i Visual Basic (del 27,5 % al 89,4 %). Astra supera el 83 % en 19 dels 20 llenguatges; COBOL continua sent el més difícil, amb un 72 %.
GPT‑6 Luna ofereix una opció de menys cost que també supera GPT‑5.6 Sol en tots els llenguatges avaluats. Amb el màxim esforç de raonament, arriba a un percentatge mitjà de proves superades del 40,3 %. Les millores inclouen COBOL (del 10,9 % al 17,1 %), OCaml (del 25,6 % al 34,1 %), Fortran (del 21,4 % al 31,4 %) i Visual Basic (del 27,5 % al 41,6 %). Aquestes millores s'aconsegueixen amb un cost mitjà estimat de l'API de 0,77 $ per mostra, davant dels 3,48 $ de GPT‑5.6 Sol, aproximadament un 78 % menys.
Publiquem la configuració de l'avaluació i el conjunt de proves de MultiLangBench a GitHub(s'obre en una finestra nova), juntament amb els resultats de cada llenguatge. Els desenvolupadors poden examinar què comprova l'avaluació, revisar el rendiment en els llenguatges que utilitzen i identificar mancances rellevants per a la seva feina.
La nostra segona avaluació demana als models que migrin programes COBOL a C++, Java, Kotlin, Python o Rust tot preservant el que fa cada programa.
Perquè la migració tingui èxit, cal entendre tant la lògica de negoci del programa com el comportament específic del llenguatge COBOL. Els programes COBOL sovint processen transaccions financeres i registres empresarials, en què detalls com les regles d'arrodoniment i el tractament dels registres absents responen a requisits de negoci. Per exemple, l'aritmètica de punt fix de COBOL descarta les xifres decimals sobrants tret que es demani explícitament l'arrodoniment. Una versió reescrita que arrodoneixi aquests valors pot executar-se sense errors i, tanmateix, produir resultats financers diferents.
Per comprovar si es preserven aquests comportaments, avaluem els nostres models amb proves ocultes que exigeixen que les sortides observables siguin idèntiques byte a byte. Una migració només es considera reeixida si supera totes les proves. Aquestes capacitats de preservar el comportament són útils per als equips que mantenen i modernitzen sistemes antics, tot i que aplicar-les a programari en producció continua requerint una revisió experta i proves que tinguin en compte les regles de negoci i les dependències del sistema.
En aquesta avaluació, GPT‑6.1 Sol assoleix una exactitud del 86,6 % amb un esforç de raonament baix, davant del 5,4 % de GPT‑5.6 Sol amb la mateixa configuració, i amb només el 61 % del cost de l'API. Amb un esforç de raonament més alt, l'exactitud arriba al 97,9 %, gairebé al límit de l'avaluació. Aquests resultats demostren avenços cap a una migració de codi més exacta i assequible per als equips que modernitzen el programari del qual depenen les seves empreses.
Aquestes avaluacions, juntament amb els comentaris directes dels desenvolupadors i els clients empresarials, ens ajuden a veure en què milloren els nostres models i en què encara tenen mancances.
El nostre objectiu és ajudar els models a aplicar habilitats d'enginyeria de programari en més llenguatges: entendre repositoris desconeguts, planificar canvis, utilitzar eines de compilació, executar proves i depurar errors.
Pots provar els nostres models més recents a través de l'API en tasques de programació amb els llenguatges que utilitza el teu equip. Els teus comentaris sobre què funciona, on tenen dificultats els models i en quins llenguatges o fluxos de treball ens hauríem de centrar a continuació orienten l'entrenament i l'avaluació dels models perquè puguin treballar millor amb el programari del qual depens.
