Avances en programación con lenguajes de pocos recursos
Los últimos avances de nuestros modelos mejoran sus capacidades para desarrollar y migrar software en lenguajes de programación con pocos recursos, como COBOL, Fortran y Visual Basic. Estos lenguajes cuentan con menos código y documentación de los que los modelos puedan aprender en comparación con Python y JavaScript, pero sustentan infraestructuras críticas y servicios esenciales en todo el mundo. COBOL sustenta(se abre en una ventana nueva) más del 40 % de los sistemas de banca en línea, el 80 % de las transacciones presenciales con tarjeta de crédito y el 95 % de las transacciones en cajeros automáticos, mientras que Fortran se utiliza en la predicción meteorológica(se abre en una ventana nueva) y el análisis de seguridad de reactores nucleares(se abre en una ventana nueva). Mejorar la capacidad de la IA para trabajar con estos lenguajes podría ayudar a los equipos a mantener y modernizar el software del que dependen los servicios esenciales.
Este trabajo se guía por los comentarios de desarrolladores y clientes empresariales, que nos han indicado que los modelos de programación suelen tener dificultades con estos lenguajes. Mantener y modernizar este software puede ser difícil: la documentación puede estar incompleta, los desarrolladores originales pueden haber dejado la empresa y algunas reglas de negocio importantes pueden existir únicamente en el código. Tanto al corregir errores como al migrar a otro lenguaje, los equipos necesitan preservar el comportamiento del que dependen sus sistemas.
Para medir los avances, desarrollamos dos evaluaciones. MultiLangBench comprueba si un modelo puede crear desde cero un motor de bases de datos compatible con SQLite en 20 lenguajes de programación distintos. Nuestra evaluación de migración de COBOL comprueba si un modelo puede migrar programas existentes a otro lenguaje sin alterar su comportamiento. En conjunto, ponen a prueba dos habilidades complementarias: crear software nuevo y preservar el funcionamiento del software existente.
Nuestros modelos más recientes muestran mejoras sustanciales en ambas evaluaciones, con una precisión mucho mayor a un coste menor.
En MultiLangBench, GPT‑6 Astra alcanza un porcentaje medio de pruebas superadas del 87,4 % en 20 lenguajes de programación, frente al 26,8 % de GPT‑5.6 Sol, con mejoras en todos los lenguajes evaluados. GPT‑6 Luna también supera a GPT‑5.6 Sol: alcanza el 40,3 % con un coste estimado de la API aproximadamente un 78 % menor.
En nuestra evaluación de migración de COBOL, GPT‑6.1 Sol alcanza una precisión del 86,6 % con un esfuerzo de razonamiento bajo, frente a solo el 5,4 % de GPT‑5.6 Sol, con un coste un 39 % menor. Con un mayor esfuerzo de razonamiento, la precisión alcanza el 97,9 %, casi el máximo que permite medir la evaluación.
En conjunto, estos resultados muestran que nuestros modelos están mejorando considerablemente su capacidad para trabajar con una amplia variedad de lenguajes de programación, a la vez que ofrecen una mejor relación entre rendimiento y coste.
MultiLangBench pide a un modelo que cree un motor de bases de datos compatible con SQLite en un lenguaje de programación concreto. El modelo debe organizar una base de código, gestionar el estado, manejar los errores y añadir nuevas funciones sin alterar las existentes.
Para comparar las implementaciones en distintos lenguajes, utilizamos archivos de bases de datos como interfaz común. El programa evaluado recibe una base de datos inicial y una consulta SQL, y genera una base de datos modificada. Utilizamos la implementación de referencia de SQLite para comprobar si la base de datos resultante tiene el contenido esperado. Esto nos permite aplicar las mismas pruebas con independencia del lenguaje utilizado para crear el motor.
Adaptamos a este formato pruebas del conjunto de pruebas existente de SQLite. La evaluación mide cuántas funciones operativas puede desarrollar un modelo durante una sesión prolongada de programación e informa tanto del porcentaje de pruebas superadas como del coste de la API.
Con el máximo esfuerzo de razonamiento, GPT‑6 Astra alcanza un porcentaje medio de pruebas superadas del 87,4 % en los 20 lenguajes, frente al 26,8 % de GPT‑5.6 Sol. Las mejoras se extienden a todos los lenguajes evaluados, incluidos COBOL (del 10,9 % al 72,1 %), OCaml (del 25,6 % al 85,8 %), Fortran (del 21,4 % al 83,5 %) y Visual Basic (del 27,5 % al 89,4 %). Astra supera el 83 % en 19 de los 20 lenguajes; COBOL sigue siendo el más difícil, con un 72 %.
GPT‑6 Luna ofrece una opción más económica que también supera a GPT‑5.6 Sol en todos los lenguajes evaluados. Con el máximo esfuerzo de razonamiento, alcanza un porcentaje medio de pruebas superadas del 40,3 %. Entre las mejoras destacan COBOL (del 10,9 % al 17,1 %), OCaml (del 25,6 % al 34,1 %), Fortran (del 21,4 % al 31,4 %) y Visual Basic (del 27,5 % al 41,6 %). Estas mejoras se logran con un coste medio estimado de la API de 0,77 USD por muestra, frente a los 3,48 USD de GPT‑5.6 Sol, aproximadamente un 78 % menos.
Publicamos la configuración de la evaluación MultiLangBench y su conjunto de pruebas en GitHub(se abre en una ventana nueva), junto con los resultados de cada lenguaje. Los desarrolladores pueden examinar qué comprueba la evaluación, revisar el rendimiento en los lenguajes que utilizan e identificar carencias relevantes para su trabajo.
Nuestra segunda evaluación pide a los modelos que migren programas COBOL a C++, Java, Kotlin, Python o Rust sin alterar el funcionamiento de cada programa.
Para que la migración tenga éxito, es necesario comprender tanto la lógica de negocio del programa como el comportamiento específico del lenguaje COBOL. Los programas COBOL suelen procesar transacciones financieras y registros empresariales, en los que detalles como las reglas de redondeo y el tratamiento de los registros ausentes responden a requisitos del negocio. Por ejemplo, la aritmética de punto fijo de COBOL descarta los dígitos decimales sobrantes, salvo que se solicite explícitamente el redondeo. Una versión reescrita que, en cambio, redondee esos valores puede ejecutarse sin errores y aun así producir resultados financieros distintos.
Para comprobar si se preservan estos comportamientos, evaluamos nuestros modelos mediante pruebas ocultas que exigen que las salidas observables coincidan byte a byte. Una migración solo se considera satisfactoria si supera todas las pruebas. Estas capacidades para preservar el comportamiento son útiles para los equipos que mantienen y modernizan sistemas antiguos. No obstante, aplicarlas al software en producción sigue requiriendo la revisión de expertos y pruebas que tengan en cuenta las reglas de negocio y las dependencias del sistema.
En esta evaluación, GPT‑6.1 Sol alcanza una precisión del 86,6 % con un esfuerzo de razonamiento bajo, frente al 5,4 % de GPT‑5.6 Sol con el mismo ajuste, y con solo el 61 % del coste de la API. Con un mayor esfuerzo de razonamiento, la precisión alcanza el 97,9 %, cerca del máximo que permite medir la evaluación. Estos resultados demuestran avances hacia una migración de código más precisa y asequible para los equipos que modernizan el software del que dependen sus empresas.
Estas evaluaciones, junto con los comentarios directos de desarrolladores y clientes empresariales, nos ayudan a identificar en qué están mejorando nuestros modelos y en qué siguen teniendo carencias.
Nuestro objetivo es ayudar a los modelos a aplicar habilidades de ingeniería de software en más lenguajes: comprender repositorios desconocidos, planificar cambios, utilizar herramientas de compilación, ejecutar pruebas y depurar errores.
Puedes probar nuestros modelos más recientes a través de la API en tareas de programación con los lenguajes que utiliza tu equipo. Tus comentarios sobre qué funciona, dónde encuentran dificultades los modelos y en qué lenguajes o flujos de trabajo deberíamos centrarnos a continuación nos ayudan a orientar su entrenamiento y evaluación para trabajar mejor con el software del que dependes.
