Avanços na programação em linguagens com poucos dados disponíveis
Os avanços mais recentes dos nossos modelos ampliam a capacidade de desenvolver e migrar software em linguagens de programação com poucos dados disponíveis, como COBOL, Fortran e Visual Basic. Essas linguagens têm menos código e documentação disponíveis para o aprendizado dos modelos do que linguagens como Python e JavaScript, mas sustentam infraestruturas críticas e serviços essenciais em todo o mundo. COBOL sustenta(abre em uma nova janela) mais de 40% dos sistemas bancários on-line, 80% das transações presenciais com cartão de crédito e 95% das transações em caixas eletrônicos, enquanto Fortran é usado na previsão do tempo(abre em uma nova janela) e na análise de segurança de reatores nucleares(abre em uma nova janela). Melhorar a capacidade da IA de trabalhar com essas linguagens pode ajudar as equipes a manter e modernizar o software do qual serviços essenciais dependem.
Esse trabalho é orientado pelo feedback de desenvolvedores e clientes empresariais, que nos relatam que os modelos de programação costumam ter dificuldades com essas linguagens. Manter e modernizar esse software pode ser difícil: a documentação pode estar incompleta, os desenvolvedores originais podem ter saído da empresa e regras de negócio importantes podem existir apenas no código. Seja ao corrigir bugs ou migrar para outra linguagem, as equipes precisam preservar o comportamento do qual seus sistemas dependem.
Para medir o progresso, desenvolvemos duas avaliações. O MultiLangBench testa se um modelo consegue criar do zero um mecanismo de banco de dados compatível com SQLite em 20 linguagens de programação diferentes. Nossa avaliação de migração de COBOL testa se um modelo consegue migrar programas existentes para outra linguagem preservando seu comportamento. Juntas, elas testam duas habilidades complementares: criar software novo e preservar o que o software existente faz.
Nossos modelos mais recentes apresentam melhorias substanciais nas duas avaliações, alcançando uma acurácia muito maior a um custo menor.
No MultiLangBench, o GPT‑6 Astra atinge uma taxa média de aprovação nos testes de 87,4% em 20 linguagens de programação, contra 26,8% do GPT‑5.6 Sol, com melhorias em todas as linguagens testadas. O GPT‑6 Luna também supera o GPT‑5.6 Sol, chegando a 40,3% com um custo estimado de API aproximadamente 78% menor.
Na nossa avaliação de migração de COBOL, o GPT‑6.1 Sol atinge 86,6% de acurácia com baixo esforço de raciocínio, contra apenas 5,4% do GPT‑5.6 Sol, a um custo 39% menor. Com maior esforço de raciocínio, a acurácia chega a 97,9%, quase atingindo o limite da avaliação.
Em conjunto, esses resultados mostram que nossos modelos estão se tornando significativamente melhores no trabalho com uma ampla variedade de linguagens de programação, além de mais eficientes em termos de custo.
O MultiLangBench pede a um modelo que crie um mecanismo de banco de dados compatível com SQLite em uma linguagem de programação especificada. O modelo precisa organizar uma base de código, gerenciar o estado, tratar erros e adicionar novos recursos preservando as funcionalidades existentes.
Para comparar implementações em diferentes linguagens, usamos arquivos de banco de dados como interface comum. O programa avaliado recebe um banco de dados inicial e uma consulta SQL e, em seguida, produz um banco de dados modificado. Usamos a implementação de referência do SQLite para verificar se o banco de dados resultante contém os dados esperados. Isso nos permite aplicar os mesmos testes independentemente da linguagem usada para criar o mecanismo.
Adaptamos testes da suíte de testes existente do SQLite para esse formato. A avaliação mede quantas funcionalidades operacionais um modelo consegue criar ao longo de uma sessão prolongada de programação, informando tanto a taxa de aprovação nos testes quanto o custo da API.
Com esforço máximo de raciocínio, o GPT‑6 Astra atinge uma taxa média de aprovação nos testes de 87,4% nas 20 linguagens, contra 26,8% do GPT‑5.6 Sol. As melhorias se estendem a todas as linguagens testadas, incluindo COBOL (de 10,9% para 72,1%), OCaml (de 25,6% para 85,8%), Fortran (de 21,4% para 83,5%) e Visual Basic (de 27,5% para 89,4%). O Astra obtém pontuações acima de 83% em 19 das 20 linguagens. COBOL continua sendo a mais difícil, com 72%.
O GPT‑6 Luna oferece uma opção de menor custo que também supera o GPT‑5.6 Sol em todas as linguagens testadas. Com esforço máximo de raciocínio, ele atinge uma taxa média de aprovação nos testes de 40,3%. Os ganhos incluem COBOL (de 10,9% para 17,1%), OCaml (de 25,6% para 34,1%), Fortran (de 21,4% para 31,4%) e Visual Basic (de 27,5% para 41,6%). Essas melhorias vêm com um custo médio estimado de API de US$ 0,77 por amostra, contra US$ 3,48 do GPT‑5.6 Sol, aproximadamente 78% menor.
Estamos disponibilizando a configuração da avaliação e a suíte de testes do MultiLangBench no GitHub(abre em uma nova janela), junto com os resultados de cada linguagem. Os desenvolvedores podem examinar o que a avaliação testa, analisar o desempenho nas linguagens que usam e identificar lacunas relevantes para o próprio trabalho.
Nossa segunda avaliação pede aos modelos que migrem programas COBOL para C++, Java, Kotlin, Python ou Rust, preservando o que cada programa faz.
Uma migração bem-sucedida exige compreender tanto a lógica de negócio do programa quanto os comportamentos específicos da linguagem COBOL. Programas COBOL costumam processar transações financeiras e registros empresariais, nos quais detalhes como regras de arredondamento e tratamento de registros ausentes refletem requisitos de negócio. Por exemplo, a aritmética de ponto fixo do COBOL descarta casas decimais excedentes, a menos que o arredondamento seja solicitado explicitamente. Uma versão reescrita que, em vez disso, arredonde esses valores pode executar sem erros e ainda assim produzir resultados financeiros diferentes.
Para verificar se esses comportamentos são preservados, submetemos nossos modelos a testes ocultos que exigem correspondência byte a byte nas saídas observáveis. Uma migração só é considerada bem-sucedida se passar em todos os testes. Capacidades de preservar comportamentos como essas são úteis para equipes que mantêm e modernizam sistemas antigos. Ainda assim, seu uso em software de produção exige revisão especializada e testes que verifiquem as regras de negócio e as dependências do sistema.
Nessa avaliação, o GPT‑6.1 Sol atinge 86,6% de acurácia com baixo esforço de raciocínio, contra 5,4% do GPT‑5.6 Sol na mesma configuração, por apenas 61% do custo da API. Com maior esforço de raciocínio, a acurácia chega a 97,9%, aproximando-se do limite da avaliação. Esses resultados demonstram avanços rumo a uma migração de código mais precisa e acessível para equipes que modernizam o software do qual suas empresas dependem.
Essas avaliações, junto com o feedback direto de desenvolvedores e clientes empresariais, nos ajudam a identificar em que nossos modelos estão melhorando e onde ainda deixam a desejar.
Nosso objetivo é ajudar os modelos a aplicar habilidades de engenharia de software em mais linguagens: compreender repositórios desconhecidos, planejar alterações, usar ferramentas de compilação, executar testes e depurar falhas.
Você pode experimentar nossos modelos mais recentes pela API em tarefas de programação nas linguagens que sua equipe usa. Seu feedback sobre o que funciona, onde os modelos têm dificuldades e quais linguagens ou fluxos de trabalho devemos priorizar a seguir ajuda a orientar o treinamento e a avaliação dos modelos para atender melhor ao software do qual você depende.
