Kemajuan terbaru model kami meningkatkan kemampuan untuk membangun dan memigrasikan perangkat lunak dalam bahasa pemrograman dengan sumber belajar terbatas, seperti COBOL, Fortran, dan Visual Basic. Dibandingkan bahasa seperti Python dan JavaScript, bahasa-bahasa ini memiliki lebih sedikit kode dan dokumentasi yang dapat dipelajari model, tetapi menopang infrastruktur penting dan layanan esensial di seluruh dunia. COBOL menopang(terbuka di jendela baru) lebih dari 40% sistem perbankan online, 80% transaksi kartu kredit secara langsung, dan 95% transaksi ATM, sementara Fortran digunakan dalam prakiraan cuaca(terbuka di jendela baru) dan analisis keselamatan reaktor nuklir(terbuka di jendela baru). Peningkatan kemampuan AI untuk bekerja dalam bahasa-bahasa ini dapat membantu tim memelihara dan memodernisasi perangkat lunak yang diandalkan layanan esensial.
Upaya ini dipandu oleh masukan dari pengembang dan pelanggan perusahaan yang menyampaikan bahwa model pemrograman sering kesulitan menggunakan bahasa-bahasa tersebut. Memelihara dan memodernisasi perangkat lunak ini bisa menjadi tantangan: dokumentasi mungkin tidak lengkap, pengembang awal mungkin sudah meninggalkan perusahaan, dan aturan bisnis penting mungkin hanya tersimpan dalam kode. Baik saat memperbaiki bug maupun bermigrasi ke bahasa lain, tim harus mempertahankan perilaku program yang diandalkan sistem mereka.
Untuk mengukur kemajuan, kami mengembangkan dua evaluasi. MultiLangBench menguji apakah model dapat membangun mesin basis data yang kompatibel dengan SQLite dari nol dalam 20 bahasa pemrograman yang berbeda. Evaluasi migrasi COBOL kami menguji apakah model dapat memigrasikan program yang sudah ada ke bahasa lain sambil mempertahankan perilakunya. Keduanya menguji dua keterampilan yang saling melengkapi: membangun perangkat lunak baru dan mempertahankan fungsi perangkat lunak yang sudah ada.
Model terbaru kami menunjukkan peningkatan substansial dalam kedua evaluasi, dengan akurasi yang jauh lebih tinggi dan biaya lebih rendah.
Pada MultiLangBench, GPT‑6 Astra mencapai rata-rata tingkat kelulusan pengujian sebesar 87,4% dalam 20 bahasa pemrograman, naik dari 26,8% pada GPT‑5.6 Sol, dengan peningkatan pada setiap bahasa yang diuji. GPT‑6 Luna juga mengungguli GPT‑5.6 Sol, mencapai 40,3% dengan estimasi biaya API sekitar 78% lebih rendah.
Pada evaluasi migrasi COBOL kami, GPT‑6.1 Sol mencapai akurasi 86,6% dengan upaya penalaran rendah, dibandingkan hanya 5,4% pada GPT‑5.6 Sol, dengan biaya 39% lebih rendah. Dengan upaya penalaran yang lebih tinggi, akurasi mencapai 97,9%, hampir menyentuh batas atas evaluasi.
Secara keseluruhan, hasil ini menunjukkan bahwa model kami semakin mahir bekerja dengan beragam bahasa pemrograman, sekaligus semakin hemat biaya.
MultiLangBench meminta model membangun mesin basis data yang kompatibel dengan SQLite dalam bahasa pemrograman tertentu. Model harus menata basis kode, mengelola status, menangani kesalahan, dan menambahkan fitur baru sambil mempertahankan fungsi yang sudah ada.
Untuk membandingkan implementasi antarbahasa, kami menggunakan file basis data sebagai antarmuka bersama. Program yang diuji menerima basis data awal dan kueri SQL, lalu menghasilkan basis data yang telah dimodifikasi. Kami menggunakan implementasi SQLite acuan untuk memeriksa apakah isi basis data yang dihasilkan sesuai dengan yang diharapkan. Dengan cara ini, kami dapat menerapkan pengujian yang sama, apa pun bahasa yang digunakan untuk membangun mesin tersebut.
Kami mengadaptasi pengujian dari rangkaian pengujian SQLite yang sudah ada ke format ini. Evaluasi ini mengukur seberapa banyak fungsi yang dapat dibangun model hingga berjalan dengan baik selama sesi pemrograman yang panjang, serta melaporkan tingkat kelulusan pengujian dan biaya API.
Dengan upaya penalaran maksimum, GPT‑6 Astra mencapai rata-rata tingkat kelulusan pengujian sebesar 87,4% dalam 20 bahasa tersebut, naik dari 26,8% pada GPT‑5.6 Sol. Peningkatan terjadi pada setiap bahasa yang diuji, termasuk COBOL (10,9% menjadi 72,1%), OCaml (25,6% menjadi 85,8%), Fortran (21,4% menjadi 83,5%), dan Visual Basic (27,5% menjadi 89,4%). Astra meraih skor di atas 83% dalam 19 dari 20 bahasa, sementara COBOL tetap menjadi yang paling sulit dengan skor 72%.
GPT‑6 Luna menawarkan opsi berbiaya lebih rendah yang juga mengungguli GPT‑5.6 Sol dalam setiap bahasa yang diuji. Dengan upaya penalaran maksimum, model ini mencapai rata-rata tingkat kelulusan pengujian sebesar 40,3%. Peningkatan mencakup COBOL (10,9% menjadi 17,1%), OCaml (25,6% menjadi 34,1%), Fortran (21,4% menjadi 31,4%), dan Visual Basic (27,5% menjadi 41,6%). Peningkatan ini dicapai dengan estimasi biaya API rata-rata US$0,77 per sampel, dibandingkan US$3,48 pada GPT‑5.6 Sol, atau sekitar 78% lebih rendah.
Kami merilis konfigurasi evaluasi dan rangkaian pengujian MultiLangBench di GitHub(terbuka di jendela baru), beserta hasil untuk setiap bahasa. Pengembang dapat memeriksa apa yang diuji dalam evaluasi, meninjau kinerja dalam bahasa yang mereka gunakan, dan mengidentifikasi kekurangan yang relevan dengan pekerjaan mereka.
Evaluasi kedua kami meminta model memigrasikan program COBOL ke C++, Java, Kotlin, Python, atau Rust sambil mempertahankan fungsi setiap program.
Migrasi yang berhasil memerlukan pemahaman atas logika bisnis program maupun perilaku khusus bahasa COBOL. Program COBOL sering memproses transaksi keuangan dan catatan bisnis, dengan detail seperti aturan pembulatan dan penanganan catatan yang hilang yang mencerminkan persyaratan bisnis. Misalnya, aritmetika titik tetap COBOL membuang digit desimal berlebih kecuali pembulatan diminta secara eksplisit. Kode yang ditulis ulang dengan membulatkan nilai-nilai tersebut dapat berjalan tanpa kesalahan, tetapi menghasilkan perhitungan keuangan yang berbeda.
Untuk menguji apakah perilaku ini dipertahankan, kami mengevaluasi model menggunakan pengujian tersembunyi yang mengharuskan output yang dapat diamati sama persis hingga setiap byte. Migrasi dianggap berhasil hanya jika lolos semua pengujian. Kemampuan mempertahankan perilaku seperti ini berguna bagi tim yang memelihara dan memodernisasi sistem lama. Namun, penerapannya pada perangkat lunak produksi tetap memerlukan tinjauan ahli serta pengujian terhadap aturan bisnis dan dependensi sistem.
Pada evaluasi ini, GPT‑6.1 Sol mencapai akurasi 86,6% dengan upaya penalaran rendah, dibandingkan 5,4% pada GPT‑5.6 Sol dengan pengaturan yang sama, dan hanya membutuhkan 61% dari biaya API model tersebut. Dengan upaya penalaran yang lebih tinggi, akurasi mencapai 97,9%, mendekati batas atas evaluasi. Hasil evaluasi ini menunjukkan kemajuan menuju migrasi kode yang lebih akurat dan terjangkau bagi tim yang memodernisasi perangkat lunak andalan bisnis mereka.
Evaluasi ini, bersama masukan langsung dari pengembang dan pelanggan perusahaan, membantu kami melihat aspek yang sudah meningkat pada model kami dan aspek yang masih kurang.
Tujuan kami adalah membantu model menerapkan keterampilan rekayasa perangkat lunak dalam lebih banyak bahasa: memahami repositori yang belum dikenal, merencanakan perubahan, menggunakan alat build, menjalankan pengujian, dan menelusuri serta memperbaiki penyebab kegagalan.
Anda dapat mencoba model terbaru kami melalui API untuk tugas pemrograman dalam bahasa yang digunakan tim Anda. Masukan Anda tentang apa yang berjalan baik, bagian yang menyulitkan model, serta bahasa atau alur kerja yang perlu kami prioritaskan berikutnya membantu menentukan cara kami melatih dan mengevaluasi model agar lebih mendukung perangkat lunak yang Anda andalkan.
