Kemajuan model paling anyar kita ningkatake kabisan kanggo mbangun lan migrasi piranti lunak ing basa pamrograman sing sumber sinaune winates, kayata COBOL, Fortran, lan Visual Basic. Kode lan dokumentasi sing bisa disinaoni model ing basa-basa iki luwih sithik tinimbang ing basa kayata Python lan JavaScript. Nanging, basa-basa iki nyengkuyung infrastruktur kritis lan layanan wigati ing saindenging jagad. COBOL nyengkuyung(mbukak ing jendhela anyar) luwih saka 40% sistem perbankan online, 80% transaksi kertu kredit langsung ing papan, lan 95% transaksi ATM, dene Fortran digunakake kanggo prakiraan cuaca(mbukak ing jendhela anyar) lan analisis kaslametan reaktor nuklir(mbukak ing jendhela anyar). Ningkatake kabisan AI kanggo nggarap basa-basa iki bisa mbantu tim ngrumat lan modernisasi piranti lunak sing dadi andelane layanan wigati.
Pakaryan iki adhedhasar masukan saka pangembang lan pelanggan perusahaan sing ngandhani kita manawa model kanggo nulis kode kerep kangelan nggarap basa-basa iki. Ngrumat lan modernisasi piranti lunak iki bisa angel: dokumentasine bisa uga ora jangkep, pangembang asline bisa uga wis metu saka perusahaan, lan aturan bisnis sing wigati bisa uga mung ana ing kode. Nalika ndandani bug utawa migrasi menyang basa liya, tim kudu njaga supaya prilaku sing diandelake sisteme ora owah.
Kanggo ngukur kemajuan, kita ngembangake rong evaluasi. MultiLangBench nguji apa model bisa mbangun mesin basis data sing kompatibel karo SQLite saka nol ing 20 basa pamrograman sing beda. Evaluasi migrasi COBOL kita nguji apa model bisa migrasi program sing wis ana menyang basa liya tanpa ngowahi prilakune. Kaloro evaluasi iki nguji rong katrampilan sing padha nglengkapi: mbangun piranti lunak anyar lan njaga fungsi piranti lunak sing wis ana.
Model paling anyar kita nuduhake paningkatan gedhe ing kaloro evaluasi, kanthi akurasi luwih dhuwur lan biaya luwih murah.
Ing MultiLangBench, GPT‑6 Astra nggayuh rerata persentase tes sing lulus 87,4% ing 20 basa pamrograman, mundhak saka 26,8% kanggo GPT‑5.6 Sol, kanthi paningkatan ing saben basa sing diuji. GPT‑6 Luna uga ngluwihi GPT‑5.6 Sol, kanthi asil 40,3% lan prakiraan biaya API kurang luwih 78% luwih murah.
Ing evaluasi migrasi COBOL kita, GPT‑6.1 Sol nggayuh akurasi 86,6% kanthi upaya nalar endhek, dibandhingake mung 5,4% kanggo GPT‑5.6 Sol, lan biayane 39% luwih murah. Kanthi upaya nalar luwih dhuwur, akurasine tekan 97,9%, meh nggayuh asil maksimal ing evaluasi iki.
Sakabehe asil iki nuduhake yen model kita saya trampil nggarap maneka warna basa pamrograman, lan uga saya irit biaya.
MultiLangBench njaluk model mbangun mesin basis data sing kompatibel karo SQLite nganggo basa pamrograman sing ditemtokake. Model kudu nata basis kode, ngatur status, nangani kesalahan, lan nambah fitur anyar tanpa ngowahi fungsi sing wis ana.
Kanggo mbandhingake implementasi ing maneka basa, kita nggunakake berkas basis data minangka antarmuka bebarengan. Program sing diuji nampa basis data awal lan kueri SQL, banjur ngasilake basis data sing wis diowahi. Kita nggunakake implementasi SQLite rujukan kanggo mriksa apa isi basis data sing diasilake cocog karo sing dikarepake. Kanthi cara iki, kita bisa nggunakake tes sing padha tanpa gumantung marang basa sing digunakake kanggo mbangun mesin kasebut.
Kita nyelarasake tes saka kumpulan tes SQLite sing wis ana menyang format iki. Evaluasi iki ngukur sepira akehe fungsi sing bisa dibangun model lan bisa mlaku sajrone sesi nulis kode sing dawa, kanthi nglaporake persentase tes sing lulus lan biaya API.
Kanthi upaya nalar maksimal, GPT‑6 Astra nggayuh rerata persentase tes sing lulus 87,4% ing 20 basa kasebut, mundhak saka 26,8% kanggo GPT‑5.6 Sol. Paningkatan dumadi ing saben basa sing diuji, kalebu COBOL (10,9% dadi 72,1%), OCaml (25,6% dadi 85,8%), Fortran (21,4% dadi 83,5%), lan Visual Basic (27,5% dadi 89,4%). Astra nggayuh skor luwih saka 83% ing 19 saka 20 basa, dene COBOL isih dadi basa sing paling angel kanthi skor 72%.
GPT‑6 Luna menehi pilihan sing luwih murah lan uga ngluwihi GPT‑5.6 Sol ing saben basa sing diuji. Kanthi upaya nalar maksimal, model iki nggayuh rerata persentase tes sing lulus 40,3%. Paningkatan iki kalebu COBOL (10,9% dadi 17,1%), OCaml (25,6% dadi 34,1%), Fortran (21,4% dadi 31,4%), lan Visual Basic (27,5% dadi 41,6%). Paningkatan iki digayuh kanthi prakiraan rerata biaya API $0,77 saben sampel, dibandhingake $3,48 kanggo GPT‑5.6 Sol, utawa kurang luwih 78% luwih murah.
Kita nerbitake konfigurasi evaluasi lan kumpulan tes MultiLangBench ing GitHub(mbukak ing jendhela anyar), bebarengan karo asil kanggo saben basa. Pangembang bisa mriksa apa sing diuji ing evaluasi iki, nliti kinerja ing basa sing digunakake, lan nemokake kekurangan sing wigati kanggo pakaryane dhewe.
Evaluasi kapindho kita njaluk model migrasi program COBOL menyang C++, Java, Kotlin, Python, utawa Rust tanpa ngowahi fungsi saben program.
Supaya migrasi kasil, model kudu mangerteni logika bisnis program lan prilaku khas basa COBOL. Program COBOL kerep ngolah transaksi keuangan lan cathetan bisnis. Rincian kayata aturan pambulean angka lan cara nangani cathetan sing ora ditemokake nggambarake kabutuhan bisnis. Contone, aritmetika titik tetep ing COBOL mbuwang digit desimal sing keluwihan kajaba ana panjaluk pambulean kanthi eksplisit. Yen program sing ditulis maneh malah mbuletake angka kasebut, program bisa mlaku tanpa kesalahan nanging ngasilake petungan keuangan sing beda.
Kanggo nguji apa prilaku iki tetep padha, kita ngevaluasi model nganggo tes sing didhelikake lan mbutuhake output sing bisa diamati padha persis saben byte. Migrasi mung dianggep kasil yen kabeh tes lulus. Kabisan njaga prilaku kaya iki migunani kanggo tim sing ngrumat lan modernisasi sistem lawas. Nanging, panganggone ing piranti lunak produksi isih mbutuhake pamriksan ahli lan pangujian adhedhasar aturan bisnis lan dependensi sistem.
Ing evaluasi iki, GPT‑6.1 Sol nggayuh akurasi 86,6% kanthi upaya nalar endhek, dibandhingake 5,4% kanggo GPT‑5.6 Sol ing setelan sing padha, kanthi biaya API mung 61% saka biayane GPT‑5.6 Sol. Kanthi upaya nalar luwih dhuwur, akurasine tekan 97,9%, nyedhaki asil maksimal ing evaluasi iki. Asil evaluasi iki nuduhake kemajuan tumuju migrasi kode sing luwih akurat lan murah kanggo tim sing modernisasi piranti lunak andelane bisnise.
Evaluasi iki, bebarengan karo masukan langsung saka pangembang lan pelanggan perusahaan, mbantu kita mangerteni perangan endi sing wis saya apik lan endi sing isih kurang ing model kita.
Tujuan kita yaiku mbantu model ngetrapake katrampilan rekayasa piranti lunak ing luwih akeh basa: mangerteni gudang kode sing durung dikenal, ngrancang owah-owahan, nggunakake piranti build, nindakake tes, lan nggoleki sarta ndandani panyebab kegagalan.
Sampeyan bisa nyoba model paling anyar kita liwat API kanggo tugas nulis kode ing basa sing digunakake tim sampeyan. Masukan sampeyan babagan apa sing wis mlaku kanthi apik, ing endi model isih kangelan, lan basa utawa alur kerja endi sing kudu dadi fokus sabanjure mbantu nemtokake cara kita nglatih lan ngevaluasi model supaya luwih bisa nyengkuyung piranti lunak sing sampeyan andelake.
