Կոդավորման զարգացումը սակավ ռեսուրսներով ծրագրավորման լեզուներում
Մեր մոդելների վերջին բարելավումներն ընդլայնում են ծրագրային ապահովում ստեղծելու և տեղափոխելու հնարավորությունները սակավ ռեսուրսներով ծրագրավորման լեզուներում, ինչպիսիք են COBOL-ը, Fortran-ը և Visual Basic-ը։ Այս լեզուների համար մոդելների ուսուցմանն անհրաժեշտ կոդն ու փաստաթղթավորումն ավելի քիչ են, քան Python-ի կամ JavaScript-ի նման լեզուների դեպքում, սակայն դրանց վրա են հիմնված ամբողջ աշխարհի կարևորագույն ենթակառուցվածքներն ու կենսական ծառայությունները։ COBOL-ը ապահովում է(բացվում է նոր պատուհանում) առցանց բանկային համակարգերի ավելի քան 40%-ի, ֆիզիկական կետերում վարկային քարտերով գործարքների 80%-ի և բանկոմատային գործարքների 95%-ի աշխատանքը, իսկ Fortran-ն օգտագործվում է եղանակի կանխատեսման(բացվում է նոր պատուհանում) և միջուկային ռեակտորների անվտանգության վերլուծության(բացվում է նոր պատուհանում) համար։ Այս լեզուներով աշխատելու ԱԲ-ի կարողության բարելավումը կարող է օգնել թիմերին սպասարկել և արդիականացնել այն ծրագրային ապահովումը, որից կախված են կենսական ծառայությունները։
Այս աշխատանքում առաջնորդվում ենք մշակողների և կորպորատիվ հաճախորդների արձագանքներով, որոնք մեզ հայտնել են, որ կոդ գրող մոդելները հաճախ դժվարանում են աշխատել այս լեզուներով։ Այս ծրագրային ապահովման սպասարկումն ու արդիականացումը կարող են դժվար լինել. փաստաթղթավորումը կարող է թերի լինել, սկզբնական մշակողները՝ հեռացած ընկերությունից, իսկ կարևոր բիզնես կանոնները՝ պահպանված միայն կոդում։ Անկախ նրանից՝ թիմերն ուղղում են սխալները, թե անցնում այլ լեզվի, նրանք պետք է պահպանեն այն վարքագիծը, որից կախված է իրենց համակարգերի աշխատանքը։
Առաջընթացը չափելու համար մշակել ենք երկու գնահատում։ MultiLangBench-ը ստուգում է՝ արդյոք մոդելը կարող է զրոյից ստեղծել SQLite-ի հետ համատեղելի տվյալների բազայի շարժիչ՝ ծրագրավորման 20 տարբեր լեզուներով։ COBOL-ի միգրացիայի մեր գնահատումը ստուգում է՝ արդյոք մոդելը կարող է առկա ծրագրերը տեղափոխել այլ լեզվի՝ պահպանելով դրանց վարքագիծը։ Միասին դրանք ստուգում են երկու փոխլրացնող հմտություն՝ նոր ծրագրային ապահովման ստեղծումը և առկա ծրագրային ապահովման գործառույթների պահպանումը։
Մեր վերջին մոդելները երկու գնահատումներում էլ էական առաջընթաց են ցույց տալիս՝ ապահովելով շատ ավելի բարձր ճշգրտություն՝ ավելի ցածր ծախսով։
MultiLangBench-ում GPT‑6 Astra-ն ծրագրավորման 20 լեզուներով հասնում է թեստերի անցման միջին 87.4%-ի՝ GPT‑5.6 Sol-ի 26.8%-ի դիմաց՝ բարելավելով արդյունքները փորձարկված բոլոր լեզուներում։ GPT‑6 Luna-ն նույնպես գերազանցում է GPT‑5.6 Sol-ին՝ հասնելով 40.3%-ի՝ API-ի մոտ 78%-ով ավելի ցածր գնահատված ծախսով։
COBOL-ի միգրացիայի մեր գնահատման մեջ GPT‑6.1 Sol-ը դատողության ցածր մակարդակում հասնում է 86.6% ճշգրտության՝ GPT‑5.6 Sol-ի ընդամենը 5.4%-ի դիմաց, ընդ որում՝ 39%-ով պակաս ծախսով։ Դատողության ավելի բարձր մակարդակում ճշգրտությունը հասնում է 97.9%-ի՝ գրեթե հասնելով գնահատման առավելագույն արդյունքին։
Այս արդյունքները միասին ցույց են տալիս, որ մեր մոդելները զգալիորեն ավելի լավ են աշխատում ծրագրավորման բազմաթիվ լեզուներով և միաժամանակ դառնում են ավելի ծախսարդյունավետ։
MultiLangBench-ը մոդելին հանձնարարում է ստեղծել SQLite-ի հետ համատեղելի տվյալների բազայի շարժիչ՝ ծրագրավորման նշված լեզվով։ Մոդելը պետք է կազմակերպի կոդային բազան, կառավարի վիճակը, մշակի սխալները և ավելացնի նոր գործառույթներ՝ պահպանելով առկա գործառույթները։
Տարբեր լեզուներով իրականացումները համեմատելու համար տվյալների բազայի ֆայլերն օգտագործում ենք որպես ընդհանուր միջերես։ Փորձարկվող ծրագիրը ստանում է նախնական տվյալների բազա և SQL հարցում, ապա ստեղծում փոփոխված տվյալների բազա։ SQLite-ի հենանիշային իրականացմամբ ստուգում ենք՝ արդյոք ստացված տվյալների բազան պարունակում է ակնկալվող բովանդակությունը։ Սա թույլ է տալիս կիրառել նույն թեստերը՝ անկախ շարժիչի ստեղծման համար օգտագործված լեզվից։
SQLite-ի առկա թեստերի հավաքածուից թեստեր ենք հարմարեցրել այս ձևաչափին։ Գնահատումը չափում է, թե որքան աշխատող գործառույթ կարող է մոդելը ստեղծել կոդավորման երկարատև աշխատաշրջանի ընթացքում՝ ներկայացնելով և՛ թեստերի անցման տոկոսը, և՛ API-ի ծախսը։
Դատողության առավելագույն մակարդակում GPT‑6 Astra-ն 20 լեզուներով հասնում է թեստերի անցման միջին 87.4%-ի՝ GPT‑5.6 Sol-ի 26.8%-ի դիմաց։ Բարելավումներ կան փորձարկված բոլոր լեզուներում, այդ թվում՝ COBOL-ում (10.9%-ից 72.1%), OCaml-ում (25.6%-ից 85.8%), Fortran-ում (21.4%-ից 83.5%) և Visual Basic-ում (27.5%-ից 89.4%)։ Astra-ն 20 լեզուներից 19-ում գրանցում է 83%-ից բարձր արդյունք, իսկ ամենադժվարը մնում է COBOL-ը՝ 72%-ով։
GPT‑6 Luna-ն ավելի մատչելի տարբերակ է, որը նույնպես գերազանցում է GPT‑5.6 Sol-ին փորձարկված բոլոր լեզուներում։ Դատողության առավելագույն մակարդակում այն հասնում է թեստերի անցման միջին 40.3%-ի։ Բարելավումներ կան նաև COBOL-ում (10.9%-ից 17.1%), OCaml-ում (25.6%-ից 34.1%), Fortran-ում (21.4%-ից 31.4%) և Visual Basic-ում (27.5%-ից 41.6%)։ Այս բարելավումներն ապահովվում են API-ի մեկ նմուշի հաշվով միջին գնահատված 0.77 ԱՄՆ դոլար ծախսով՝ GPT‑5.6 Sol-ի 3.48 ԱՄՆ դոլարի դիմաց, այսինքն՝ մոտ 78%-ով ավելի քիչ։
MultiLangBench-ի գնահատման միջավայրն ու թեստերի հավաքածուն հրապարակում ենք GitHub(բացվում է նոր պատուհանում)-ում՝ յուրաքանչյուր լեզվի արդյունքների հետ միասին։ Մշակողները կարող են ուսումնասիրել, թե ինչ է ստուգում գնահատումը, դիտարկել իրենց օգտագործած լեզուների արդյունքները և բացահայտել իրենց աշխատանքի համար կարևոր բացերը։
Մեր երկրորդ գնահատումը մոդելներին հանձնարարում է COBOL ծրագրերը տեղափոխել C++, Java, Kotlin, Python կամ Rust՝ պահպանելով յուրաքանչյուր ծրագրի գործառույթները։
Հաջող միգրացիայի համար անհրաժեշտ է հասկանալ և՛ ծրագրի բիզնես տրամաբանությունը, և՛ COBOL լեզվի վարքագծային առանձնահատկությունները։ COBOL ծրագրերը հաճախ մշակում են ֆինանսական գործարքներ և բիզնես գրառումներ, որտեղ կլորացման կանոնների և բացակայող գրառումների մշակման նման մանրամասներն արտացոլում են բիզնեսի պահանջները։ Օրինակ՝ COBOL-ի ֆիքսված ստորակետով թվաբանությունը հեռացնում է ավելորդ տասնորդական թվանշանները, եթե կլորացում բացահայտորեն չի պահանջվում։ Վերագրված ծրագիրը, որը դրա փոխարեն կլորացնում է այդ արժեքները, կարող է աշխատել առանց սխալների, բայց տալ այլ ֆինանսական արդյունքներ։
Այս վարքագծի պահպանումը ստուգելու համար մեր մոդելները գնահատում ենք թաքնված թեստերով, որոնք պահանջում են դիտարկելի ելքային արդյունքների բայթ առ բայթ համընկնում։ Միգրացիան հաջողված է համարվում միայն բոլոր թեստերն անցնելու դեպքում։ Վարքագիծը պահպանելու այսպիսի կարողություններն օգտակար են հին համակարգերը սպասարկող և արդիականացնող թիմերի համար, սակայն գործող ծրագրային ապահովման մեջ դրանց կիրառումը դեռ պահանջում է մասնագիտական ստուգում և թեստավորում՝ հաշվի առնելով համակարգի բիզնես կանոններն ու կախվածությունները։
Այս գնահատման մեջ GPT‑6.1 Sol-ը դատողության ցածր մակարդակում հասնում է 86.6% ճշգրտության՝ նույն կարգավորմամբ GPT‑5.6 Sol-ի 5.4%-ի դիմաց՝ API-ի ծախսի ընդամենը 61%-ով։ Դատողության ավելի բարձր մակարդակում ճշգրտությունը հասնում է 97.9%-ի՝ մոտենալով գնահատման առավելագույն արդյունքին։ Գնահատման այս արդյունքները ցույց են տալիս առաջընթաց դեպի ավելի ճշգրիտ և մատչելի կոդի միգրացիա այն թիմերի համար, որոնք արդիականացնում են իրենց բիզնեսի համար առանցքային ծրագրային ապահովումը։
Այս գնահատումները, մշակողների և կորպորատիվ հաճախորդների անմիջական արձագանքների հետ միասին, օգնում են տեսնել, թե որտեղ են մեր մոդելները բարելավվում և որտեղ դեռ թերանում։
Մեր նպատակն է օգնել մոդելներին ծրագրային ճարտարագիտության հմտությունները կիրառել ավելի շատ լեզուներում՝ հասկանալ անծանոթ պահոցները, պլանավորել փոփոխություններ, օգտագործել կառուցման գործիքներ, գործարկել թեստեր և շտկել խափանումները։
Մեր վերջին մոդելները կարող եք փորձարկել API-ի միջոցով՝ ձեր թիմի օգտագործած լեզուներով կոդավորման առաջադրանքների համար։ Ձեր արձագանքներն այն մասին, թե ինչն է աշխատում, որտեղ են մոդելները դժվարանում և որ լեզուների կամ աշխատանքային գործընթացների վրա պետք է կենտրոնանանք հաջորդիվ, օգնում են ձևավորել մոդելների ուսուցումն ու գնահատումը՝ ձեր աշխատանքի համար կարևոր ծրագրային ապահովմանն ավելի լավ աջակցելու համար։
