Манай загваруудын сүүлийн үеийн ахиц нь COBOL, Fortran, Visual Basic зэрэг сургалтын өгөгдөл хомс програмчлалын хэлээр программ хангамж бүтээх, эдгээр хэл дээрх программыг өөр хэл рүү шилжүүлэх чадварыг сайжруулж байна. Эдгээр хэл нь Python, JavaScript зэрэг хэлтэй харьцуулахад загваруудын суралцах боломжтой код, баримтжуулалт багатай боловч дэлхий даяарх чухал дэд бүтэц, зайлшгүй шаардлагатай үйлчилгээнүүдийн ажиллагааг хангадаг. Онлайн банкны системүүдийн 40 гаруй хувь, биечлэн хийдэг зээлийн картын гүйлгээний 80 хувь, АТМ-ын гүйлгээний 95 хувь нь COBOL-д тулгуурладаг(шинэ цонхонд нээгдэнэ) бол Fortran-ыг цаг агаарын урьдчилсан мэдээ гаргах(шинэ цонхонд нээгдэнэ), цөмийн реакторын аюулгүй байдлын шинжилгээ хийхэд(шинэ цонхонд нээгдэнэ) ашигладаг. Хиймэл оюун ухааны эдгээр хэл дээр ажиллах чадварыг сайжруулснаар зайлшгүй шаардлагатай үйлчилгээнүүдийн тулгуур болсон программ хангамжийг арчлан сайжруулж, шинэчлэхэд багуудад туслах боломжтой.
Код бичих загварууд эдгээр хэл дээр ажиллахдаа ихэвчлэн бэрхшээлтэй тулгардаг тухай хөгжүүлэгчид болон байгууллагын хэрэглэгчдийн өгсөн санал хүсэлт энэ ажлын чиглэлийг тодорхойлж байна. Ийм программ хангамжийг арчлан сайжруулж, шинэчлэх нь амаргүй: баримтжуулалт нь дутуу, анх хөгжүүлсэн хүмүүс нь компаниас гарсан, бизнесийн чухал дүрмүүд нь зөвхөн кодод тусгагдсан байж болно. Багууд алдаа засаж байгаа ч бай, өөр хэл рүү шилжүүлж байгаа ч бай, системүүдийнхээ тулгуурладаг үйлдэл, үр дүнг хэвээр хадгалах шаардлагатай.
Ахиц дэвшлийг хэмжихийн тулд бид хоёр үнэлгээ боловсруулсан. MultiLangBench нь загвар SQLite-тэй нийцтэй өгөгдлийн сангийн хөдөлгүүрийг програмчлалын 20 өөр хэл дээр эхнээс нь бүтээж чадах эсэхийг шалгадаг. Манай COBOL код шилжүүлэлтийн үнэлгээ нь загвар одоо байгаа программуудын үйлдэл, үр дүнг өөрчлөхгүйгээр өөр хэл рүү шилжүүлж чадах эсэхийг шалгадаг. Эдгээр нь хамтдаа бие биеэ нөхөх хоёр чадварыг шалгана: шинэ программ хангамж бүтээх, одоо байгаа программ хангамжийн ажиллагааг хэвээр хадгалах.
Манай хамгийн сүүлийн үеийн загварууд хоёр үнэлгээнд хоёуланд нь мэдэгдэхүйц ахиц гаргаж, бага зардлаар илүү өндөр нарийвчлалд хүрлээ.
MultiLangBench дээр GPT‑6 Astra програмчлалын 20 хэлний тестийг дунджаар 87.4%-тай давсан нь GPT‑5.6 Sol-ийн 26.8%-иас өссөн үзүүлэлт бөгөөд шалгасан хэл бүрд ахиц гарлаа. GPT‑6 Luna мөн GPT‑5.6 Sol-ийг давж, ойролцоогоор 78%-иар бага тооцоолсон API зардлаар 40.3%-д хүрсэн.
Манай COBOL код шилжүүлэлтийн үнэлгээнд GPT‑6.1 Sol сэтгэн бодох бага түвшинд 86.6%-ийн нарийвчлалд хүрсэн бол GPT‑5.6 Sol ердөө 5.4%-тай байв. Үүний зэрэгцээ зардал нь 39%-иар бага байлаа. Сэтгэн бодох түвшнийг нэмэгдүүлэхэд нарийвчлал 97.9%-д хүрч, үнэлгээний дээд хязгаарт дөхлөө.
Эдгээр үр дүн нь манай загварууд олон төрлийн програмчлалын хэл дээр ажиллахдаа мэдэгдэхүйц сайжирч, зардлын хувьд ч илүү үр ашигтай болж байгааг харуулж байна.
MultiLangBench нь загварт заасан програмчлалын хэлээр SQLite-тэй нийцтэй өгөгдлийн сангийн хөдөлгүүр бүтээх даалгавар өгдөг. Загвар нь кодын санг зохион байгуулах, төлөвийг удирдах, алдааг зохицуулах, одоо байгаа ажиллагааг хадгалан шинэ боломжууд нэмэх ёстой.
Өөр өөр хэлээр бичсэн хувилбаруудыг харьцуулахын тулд бид өгөгдлийн сангийн файлуудыг нийтлэг интерфэйс болгон ашигладаг. Шалгуулж буй программ анхны өгөгдлийн сан болон SQL хүсэлтийг хүлээн авч, өөрчлөлт оруулсан өгөгдлийн сан үүсгэнэ. Үүссэн өгөгдлийн сан хүлээгдэж буй агуулгатай эсэхийг шалгахдаа бид жишиг болгон авсан SQLite хувилбарыг ашигладаг. Ингэснээр хөдөлгүүрийг ямар хэлээр бүтээснээс үл хамааран ижил тестүүдийг ашиглах боломжтой.
Бид SQLite-ийн одоо байгаа тестийн багцын тестүүдийг энэ хэлбэрт тохируулсан. Энэ үнэлгээ нь удаан үргэлжлэх код бичих ажлын явцад загвар хэр олон ажилладаг боломж бүтээж чадахыг хэмжиж, тест давсан хувь болон API зардлыг тайлагнадаг.
Сэтгэн бодох хамгийн дээд түвшинд GPT‑6 Astra-ийн 20 хэл дээрх тест давсан дундаж хувь 87.4%-д хүрсэн нь GPT‑5.6 Sol-ийн 26.8%-иас өссөн үзүүлэлт юм. Шалгасан хэл бүрд ахиц гарсан бөгөөд үүнд COBOL (10.9%-иас 72.1%), OCaml (25.6%-иас 85.8%), Fortran (21.4%-иас 83.5%), Visual Basic (27.5%-иас 89.4%) багтана. Astra 20 хэлний 19-д нь 83%-иас дээш оноо авсан бол хамгийн хэцүү хэвээр байгаа COBOL дээр 72%-д хүрсэн.
GPT‑6 Luna нь зардал багатай сонголт бөгөөд мөн шалгасан хэл бүрд GPT‑5.6 Sol-оос илүү үр дүн үзүүлсэн. Сэтгэн бодох хамгийн дээд түвшинд түүний тест давсан дундаж хувь 40.3%-д хүрдэг. Ахиц гарсан хэлнүүдэд COBOL (10.9%-иас 17.1%), OCaml (25.6%-иас 34.1%), Fortran (21.4%-иас 31.4%), Visual Basic (27.5%-иас 41.6%) багтана. Ийнхүү сайжрахын зэрэгцээ нэг сорьцод ногдох тооцоолсон дундаж API зардал нь 0.77 ам.доллар байгаа нь GPT‑5.6 Sol-ийн 3.48 ам.доллароос ойролцоогоор 78%-иар бага юм.
Бид MultiLangBench үнэлгээний орчин, тестийн багцыг хэл тус бүрийн үр дүнгийн хамт GitHub(шинэ цонхонд нээгдэнэ) дээр нийтэлж байна. Хөгжүүлэгчид энэ үнэлгээ юуг шалгадагтай танилцаж, ашигладаг хэлнүүдийнхээ гүйцэтгэлийг хянаж, өөрсдийн ажилд чухал нөлөөтэй дутагдлуудыг илрүүлэх боломжтой.
Манай хоёр дахь үнэлгээ нь загваруудад COBOL программуудыг C++, Java, Kotlin, Python эсвэл Rust руу шилжүүлэхдээ программ бүрийн ажиллагааг хэвээр хадгалах даалгавар өгдөг.
Амжилттай шилжүүлэхийн тулд программын бизнес логик болон COBOL хэлний үйлдлийн онцлогийг хоёуланг нь ойлгох шаардлагатай. COBOL программууд нь ихэвчлэн санхүүгийн гүйлгээ, бизнесийн бүртгэлийг боловсруулдаг. Тоог тоймлох дүрэм, бүртгэл байхгүй тохиолдлыг зохицуулах арга зэрэг нарийн зүйлс нь бизнесийн шаардлагыг тусгадаг. Жишээлбэл, COBOL-ийн тогтмол таслалтай тооны арифметик нь тоймлохыг тусгайлан заагаагүй бол аравтын бутархайн илүүдэл цифрүүдийг хасдаг. Харин дахин бичсэн хувилбар тэдгээр утгыг тоймловол алдаагүй ажиллаж байгаа хэрнээ санхүүгийн өөр үр дүн гаргаж болно.
Эдгээр үйлдэл, үр дүн хэвээр хадгалагдсан эсэхийг шалгахын тулд бид ажиглагдах гаралтын байт бүр яг ижил байхыг шаарддаг нууц тестээр загваруудаа үнэлдэг. Бүх тестийг давсан тохиолдолд л шилжүүлэлтийг амжилттай гэж үзнэ. Үйлдэл, үр дүнг хэвээр хадгалах ийм чадвар нь хуучин системүүдийг арчлан сайжруулж, шинэчилж буй багуудад хэрэгтэй. Гэхдээ бодит хэрэглээнд байгаа программ хангамжид ашиглахын өмнө мэргэжилтний хяналтад оруулж, системийн бизнесийн дүрэм болон хамааралтай бүрэлдэхүүнүүдтэй нийцэж буй эсэхийг шалгах шаардлага хэвээр байна.
Энэ үнэлгээнд GPT‑6.1 Sol сэтгэн бодох бага түвшинд 86.6%-ийн нарийвчлалд хүрсэн бол ижил тохиргоотой GPT‑5.6 Sol 5.4%-тай байв. Ингэхдээ GPT‑5.6 Sol-ийн API зардлын ердөө 61%-тай тэнцэх зардал гаргасан. Сэтгэн бодох түвшнийг нэмэгдүүлэхэд нарийвчлал 97.9%-д хүрч, үнэлгээний дээд хязгаарт дөхлөө. Эдгээр үнэлгээний үр дүн нь бизнесийнхээ тулгуур болсон программ хангамжийг шинэчилж буй багуудад илүү нарийвчлалтай, хямд зардалтай код шилжүүлэлт хийх боломж бүрдүүлэхэд ахиц гарсныг харуулж байна.
Эдгээр үнэлгээ болон хөгжүүлэгчид, байгууллагын хэрэглэгчдийн шууд өгсөн санал хүсэлт нь загварууд маань юунд сайжирч, юунд дутагдалтай хэвээр байгааг харахад тусалдаг.
Бидний зорилго бол загваруудыг илүү олон хэл дээр программ хангамжийн инженерчлэлийн ур чадвараа ашиглахад нь туслах юм. Үүнд танил бус репозиторыг ойлгох, өөрчлөлт төлөвлөх, хөрвүүлэн бүтээх хэрэгсэл ашиглах, тест ажиллуулах, алдааг олж засах зэрэг багтана.
Та манай хамгийн сүүлийн үеийн загваруудыг API-аар дамжуулан багийнхаа ашигладаг хэл дээрх код бичих ажилд туршиж болно. Юу сайн ажиллаж байгаа, загварууд юунд хүндрэлтэй тулгарч байгаа, цаашид аль хэл эсвэл ажлын урсгалд анхаарах хэрэгтэй талаарх таны санал хүсэлт нь бидэнд загваруудыг хэрхэн сургаж, үнэлэхээ тодорхойлоход тусалдаг. Ингэснээр бид таны түшиглэн ажилладаг программ хангамжийг илүү сайн дэмжих боломжтой болно.
