Memajukan pengekodan dalam bahasa pengaturcaraan bersumber‑rendah
Kemajuan terkini model kami meningkatkan keupayaan membina dan memindahkan perisian dalam bahasa pengaturcaraan bersumber rendah seperti COBOL, Fortran dan Visual Basic. Berbanding dengan bahasa seperti Python dan JavaScript, bahasa-bahasa ini mempunyai kurang kod dan dokumentasi untuk dipelajari oleh model, namun tetap menyokong infrastruktur kritikal dan perkhidmatan penting di seluruh dunia. COBOL menyokong(dibuka dalam tetingkap baru) lebih 40% sistem perbankan dalam talian, 80% transaksi kad kredit secara bersemuka dan 95% transaksi ATM, manakala Fortran digunakan dalam ramalan cuaca(dibuka dalam tetingkap baru) dan analisis keselamatan reaktor nuklear(dibuka dalam tetingkap baru). Peningkatan keupayaan AI menggunakan bahasa-bahasa ini dapat membantu pasukan menyelenggara dan memodenkan perisian yang menjadi tunjang perkhidmatan penting.
Usaha ini dipandu oleh maklum balas pembangun dan pelanggan perusahaan yang memberitahu kami bahawa model pengekodan sering menghadapi kesukaran dengan bahasa-bahasa ini. Penyelenggaraan dan pemodenan perisian ini boleh menjadi sukar: dokumentasi mungkin tidak lengkap, pembangun asal mungkin telah meninggalkan syarikat dan peraturan perniagaan penting mungkin hanya wujud dalam kod. Sama ada pasukan sedang membetulkan pepijat atau melakukan pemindahan ke bahasa lain, mereka perlu mengekalkan tingkah laku yang bergantung pada sistem mereka.
Untuk mengukur kemajuan, kami membangunkan dua penilaian. MultiLangBench menguji sama ada model boleh membina enjin pangkalan data yang serasi dengan SQLite dari awal dalam 20 bahasa pengaturcaraan yang berbeza. Penilaian pemindahan COBOL kami menguji sama ada model boleh memindahkan program sedia ada ke bahasa lain sambil mengekalkan tingkah laku. Kedua-duanya menguji dua kemahiran yang saling melengkapi: membina perisian baharu dan mengekalkan fungsi perisian sedia ada.
Model terkini kami menunjukkan peningkatan ketara dalam kedua-dua penilaian, dengan ketepatan yang jauh lebih tinggi pada kos yang lebih rendah.
Dalam MultiLangBench, GPT‑6 Astra mencapai purata kadar lulus ujian sebanyak 87.4% merentas 20 bahasa pengaturcaraan, meningkat daripada 26.8% bagi GPT‑5.6 Sol, dengan peningkatan dalam setiap bahasa yang diuji. GPT‑6 Luna turut mengatasi GPT‑5.6 Sol, dengan pencapaian 40.3% pada anggaran kos API yang kira-kira 78% lebih rendah.
Dalam penilaian pemindahan COBOL kami, GPT‑6.1 Sol mencapai ketepatan 86.6% pada usaha penaakulan rendah, berbanding hanya 5.4% bagi GPT‑5.6 Sol, dengan kos 39% lebih rendah. Pada usaha penaakulan yang lebih tinggi, ketepatan mencapai 97.9%, hampir mencecah tahap maksimum penilaian.
Bersama ini, keputusan ini menunjukkan bahawa keupayaan model kami menggunakan pelbagai bahasa pengaturcaraan semakin meningkat dengan ketara, di samping menjadi lebih cekap dari segi kos.
MultiLangBench meminta model membina enjin pangkalan data yang serasi dengan SQLite dalam bahasa pengaturcaraan yang ditetapkan. Model perlu menyusun pangkalan kod, mengurus keadaan, mengendalikan ralat dan menambah ciri baharu sambil mengekalkan kefungsian sedia ada.
Untuk membandingkan pelaksanaan merentas bahasa, kami menggunakan fail pangkalan data sebagai antara muka bersama. Program yang diuji menerima pangkalan data awal dan pertanyaan SQL, kemudian menghasilkan pangkalan data yang telah diubah suai. Kami menggunakan pelaksanaan rujukan SQLite untuk menyemak sama ada pangkalan data yang terhasil mempunyai kandungan yang dijangkakan. Ini membolehkan kami menggunakan ujian yang sama tanpa mengira bahasa yang digunakan untuk membina enjin tersebut.
Kami menyesuaikan ujian daripada suit ujian sedia ada SQLite kepada format ini. Penilaian ini mengukur sejauh mana model dapat membina kefungsian yang berfungsi dengan baik sepanjang sesi pengekodan yang panjang, dengan melaporkan kedua-dua kadar lulus ujian dan kos API.
Pada usaha penaakulan maksimum, GPT‑6 Astra mencapai purata kadar lulus ujian sebanyak 87.4% merentas 20 bahasa, meningkat daripada 26.8% bagi GPT‑5.6 Sol. Peningkatan dicatatkan dalam setiap bahasa yang diuji, termasuk COBOL (10.9% kepada 72.1%), OCaml (25.6% kepada 85.8%), Fortran (21.4% kepada 83.5%) dan Visual Basic (27.5% kepada 89.4%). Astra memperoleh skor melebihi 83% dalam 19 daripada 20 bahasa, manakala COBOL kekal paling sukar dengan skor 72%.
GPT‑6 Luna menawarkan pilihan berkos lebih rendah yang turut mengatasi GPT‑5.6 Sol dalam setiap bahasa yang diuji. Pada usaha penaakulan maksimum, model ini mencapai purata kadar lulus ujian sebanyak 40.3%. Peningkatan termasuk COBOL (10.9% kepada 17.1%), OCaml (25.6% kepada 34.1%), Fortran (21.4% kepada 31.4%) dan Visual Basic (27.5% kepada 41.6%). Peningkatan ini dicapai pada anggaran purata kos API sebanyak $0.77 bagi setiap sampel, berbanding $3.48 bagi GPT‑5.6 Sol, iaitu kira-kira 78% lebih rendah.
Kami menerbitkan persediaan penilaian dan suit ujian MultiLangBench di GitHub(dibuka dalam tetingkap baru), berserta keputusan untuk setiap bahasa. Pembangun boleh meneliti perkara yang diuji dalam penilaian ini, menyemak prestasi dalam bahasa yang mereka gunakan, dan mengenal pasti kekurangan yang penting untuk kerja mereka sendiri.
Penilaian kedua kami meminta model memindahkan program COBOL ke C++, Java, Kotlin, Python atau Rust sambil mengekalkan fungsi setiap program.
Pemindahan yang berjaya memerlukan pemahaman tentang logik perniagaan program serta tingkah laku khusus bahasa COBOL. Program COBOL sering memproses transaksi kewangan dan rekod perniagaan, yang mana butiran seperti peraturan pembundaran dan pengendalian rekod yang tiada mencerminkan keperluan perniagaan. Sebagai contoh, aritmetik titik tetap COBOL menggugurkan digit perpuluhan berlebihan melainkan pembundaran diminta secara jelas. Kod yang ditulis semula tetapi membundarkan nilai tersebut boleh berjalan tanpa ralat namun menghasilkan keputusan kewangan yang berbeza.
Untuk menguji sama ada tingkah laku ini dikekalkan, kami menilai model menggunakan ujian tersembunyi yang memerlukan output yang dapat diperhatikan sepadan bait demi bait. Pemindahan hanya dianggap berjaya jika semua ujian lulus. Keupayaan mengekalkan tingkah laku seperti ini berguna untuk pasukan yang menyelenggara dan memodenkan sistem lama. Namun, penggunaannya pada perisian dalam persekitaran pengeluaran masih memerlukan semakan pakar serta pengujian berdasarkan peraturan perniagaan dan kebergantungan sistem.
Dalam penilaian ini, GPT‑6.1 Sol mencapai ketepatan 86.6% pada usaha penaakulan rendah, berbanding 5.4% bagi GPT‑5.6 Sol pada tetapan yang sama, dengan hanya 61% daripada kos API tersebut. Pada usaha penaakulan yang lebih tinggi, ketepatan mencapai 97.9%, menghampiri tahap maksimum penilaian. Keputusan penilaian ini menunjukkan kemajuan ke arah pemindahan kod yang lebih tepat dan mampu milik bagi pasukan yang memodenkan perisian yang menjadi tunjang perniagaan mereka.
Penilaian ini, bersama maklum balas langsung daripada pembangun dan pelanggan perusahaan, membantu kami melihat aspek model yang semakin baik dan aspek yang masih perlu ditambah baik.
Matlamat kami adalah membantu model menggunakan kemahiran kejuruteraan perisian dalam lebih banyak bahasa: memahami repositori yang belum pernah dikendalikan, merancang perubahan, menggunakan alat binaan, menjalankan ujian dan menyahpepijat kegagalan.
Anda boleh mencuba model terkini kami melalui API untuk tugas pengekodan dalam bahasa yang digunakan oleh pasukan anda. Maklum balas anda tentang perkara yang berkesan, kesukaran yang dihadapi model, serta bahasa atau aliran kerja yang patut kami tumpukan seterusnya membantu membentuk cara kami melatih dan menilai model agar dapat menyokong perisian kebergantungan anda dengan lebih baik.
