Avvanzi fil-kitba tal-kodiċi f’lingwi tal-programmazzjoni b’riżorsi limitati
L-aħħar avvanzi fil-mudelli tagħna jsaħħu l-kapaċitajiet għall-iżvilupp u l-migrazzjoni tas-software f’lingwi tal-programmazzjoni b’riżorsi limitati bħal COBOL, Fortran u Visual Basic. Dawn il-lingwi għandhom inqas kodiċi u dokumentazzjoni disponibbli biex il-mudelli jitgħallmu minnhom minn lingwi bħal Python u JavaScript, iżda jsostnu infrastruttura kritika u servizzi essenzjali madwar id-dinja. COBOL isostni(jinfetaħ f’tieqa ġdida) aktar minn 40% tas-sistemi bankarji online, 80% tat-tranżazzjonijiet bil-kards tal-kreditu li jsiru wiċċ imb wiċċ u 95% tat-tranżazzjonijiet mill-ATMs, filwaqt li Fortran jintuża fit-tbassir tat-temp(jinfetaħ f’tieqa ġdida) u fl-analiżi tas-sikurezza tar-reatturi nukleari(jinfetaħ f’tieqa ġdida). It-titjib fil-kapaċità tal-AI li taħdem b’dawn il-lingwi jista’ jgħin lit-timijiet iżommu u jimmodernizzaw is-software li fuqu jiddependu s-servizzi essenzjali.
Dan ix-xogħol huwa ggwidat mir-rispons tal-iżviluppaturi u l-klijenti korporattivi li qalulna li l-mudelli għall-kitba tal-kodiċi spiss isibu diffikultà b’dawn il-lingwi. Il-manutenzjoni u l-immodernizzar ta’ dan is-software jistgħu jkunu diffiċli: id-dokumentazzjoni tista’ ma tkunx kompluta, l-iżviluppaturi oriġinali jistgħu jkunu telqu mill-kumpanija, u regoli importanti tan-negozju jistgħu jeżistu biss fil-kodiċi. Kemm jekk it-timijiet qed jirranġaw żbalji kif ukoll jekk qed jemigraw għal lingwa oħra, iridu jippreservaw l-imġiba li fuqha jiddependu s-sistemi tagħhom.
Biex inkejlu l-progress, żviluppajna żewġ evalwazzjonijiet. MultiLangBench jittestja jekk mudell jistax jibni mill-bidu magna ta’ bażi tad-data kompatibbli ma’ SQLite f’20 lingwa tal-programmazzjoni differenti. L-evalwazzjoni tagħna tal-migrazzjoni ta’ COBOL tittestja jekk mudell jistax jemigra programmi eżistenti għal lingwa oħra filwaqt li jippreserva l-imġiba tagħhom. Flimkien, jittestjaw żewġ ħiliet komplementari: il-bini ta’ software ġdid u l-preservazzjoni ta’ dak li jagħmel is-software eżistenti.
L-aħħar mudelli tagħna juru titjib sostanzjali fiż-żewġ evalwazzjonijiet, bi preċiżjoni ferm ogħla bi spiża aktar baxxa.
F’MultiLangBench, GPT‑6 Astra jikseb rata medja ta’ suċċess fit-testijiet ta’ 87.4% f’20 lingwa tal-programmazzjoni, meta mqabbel ma’ 26.8% għal GPT‑5.6 Sol, b’titjib f’kull lingwa ttestjata. GPT‑6 Luna wkoll jaqbeż lil GPT‑5.6 Sol, u jilħaq 40.3% bi spiża stmata tal-API madwar 78% aktar baxxa.
Fl-evalwazzjoni tagħna tal-migrazzjoni ta’ COBOL, GPT‑6.1 Sol jikseb preċiżjoni ta’ 86.6% bi sforz baxx ta’ raġunament, meta mqabbel ma’ 5.4% biss għal GPT‑5.6 Sol, filwaqt li jiswa 39% inqas. Bi sforz ogħla ta’ raġunament, il-preċiżjoni tilħaq 97.9%, kważi l-massimu possibbli fl-evalwazzjoni.
Flimkien, dawn ir-riżultati juru li l-mudelli tagħna qed isiru ferm aħjar biex jaħdmu b’firxa wiesgħa ta’ lingwi tal-programmazzjoni, filwaqt li qed isiru wkoll aktar effiċjenti fl-ispiża.
MultiLangBench jitlob lil mudell jibni magna ta’ bażi tad-data kompatibbli ma’ SQLite f’lingwa tal-programmazzjoni speċifikata. Il-mudell irid jorganizza bażi ta’ kodiċi, jimmaniġġja l-istat u l-iżbalji, u jżid karatteristiċi ġodda filwaqt li jippreserva l-funzjonalità eżistenti.
Biex inqabblu l-implimentazzjonijiet f’lingwi differenti, nużaw fajls tal-bażijiet tad-data bħala interfaċċa komuni. Il-programm li qed jiġi ttestjat jirċievi bażi tad-data inizjali u query SQL, imbagħad jipproduċi bażi tad-data modifikata. Nużaw l-implimentazzjoni ta’ referenza ta’ SQLite biex niċċekkjaw jekk il-bażi tad-data li tirriżulta għandhiex il-kontenut mistenni. Dan jippermettilna napplikaw l-istess testijiet irrispettivament mil-lingwa użata biex tinbena l-magna.
Adattajna testijiet mis-sett eżistenti ta’ testijiet ta’ SQLite għal dan il-format. L-evalwazzjoni tkejjel kemm funzjonalità li taħdem jista’ jibni mudell matul sessjoni twila ta’ kitba tal-kodiċi, u tirrapporta kemm ir-rata ta’ suċċess fit-testijiet kif ukoll l-ispiża tal-API.
Bl-ogħla sforz ta’ raġunament, GPT‑6 Astra jikseb rata medja ta’ suċċess fit-testijiet ta’ 87.4% fl-20 lingwa, meta mqabbel ma’ 26.8% għal GPT‑5.6 Sol. Hemm titjib f’kull lingwa ttestjata, inklużi COBOL (minn 10.9% għal 72.1%), OCaml (minn 25.6% għal 85.8%), Fortran (minn 21.4% għal 83.5%) u Visual Basic (minn 27.5% għal 89.4%). Astra jikseb aktar minn 83% f’19 mill-20 lingwa, filwaqt li COBOL jibqa’ l-aktar diffiċli, b’72%.
GPT‑6 Luna joffri għażla bi spiża aktar baxxa li wkoll taqbeż lil GPT‑5.6 Sol f’kull lingwa ttestjata. Bl-ogħla sforz ta’ raġunament, jilħaq rata medja ta’ suċċess fit-testijiet ta’ 40.3%. It-titjib jinkludi COBOL (minn 10.9% għal 17.1%), OCaml (minn 25.6% għal 34.1%), Fortran (minn 21.4% għal 31.4%) u Visual Basic (minn 27.5% għal 41.6%). Dan it-titjib jinkiseb bi spiża medja stmata tal-API ta’ $0.77 għal kull kampjun, meta mqabbla ma’ $3.48 għal GPT‑5.6 Sol — madwar 78% inqas.
Qed nippubblikaw il-konfigurazzjoni tal-evalwazzjoni u s-sett ta’ testijiet ta’ MultiLangBench fuq GitHub(jinfetaħ f’tieqa ġdida), flimkien mar-riżultati għal kull lingwa. L-iżviluppaturi jistgħu jeżaminaw x’tittestja l-evalwazzjoni, jirrevedu l-prestazzjoni fil-lingwi li jużaw u jidentifikaw nuqqasijiet li huma importanti għax-xogħol tagħhom.
It-tieni evalwazzjoni tagħna titlob lill-mudelli jemigraw programmi COBOL għal C++, Java, Kotlin, Python jew Rust filwaqt li jippreservaw dak li jagħmel kull programm.
Migrazzjoni b’suċċess teħtieġ fehim kemm tal-loġika tan-negozju fil-programm kif ukoll tal-imġiba speċifika tal-lingwa COBOL. Il-programmi COBOL spiss jipproċessaw tranżazzjonijiet finanzjarji u rekords tan-negozju, fejn dettalji bħar-regoli tal-arrotondament u l-mod kif jiġu ttrattati rekords neqsin jirriflettu r-rekwiżiti tan-negozju. Pereżempju, l-aritmetika b’punt fiss ta’ COBOL tneħħi ċ-ċifri deċimali żejda sakemm ma jintalabx espliċitament l-arrotondament. Verżjoni miktuba mill-ġdid li minflok tarrotonda dawk il-valuri tista’ taħdem mingħajr żbalji iżda tipproduċi riżultati finanzjarji differenti.
Biex nittestjaw jekk dawn l-imġibiet humiex ippreservati, nevalwaw il-mudelli tagħna permezz ta’ testijiet moħbija li jeħtieġu li l-outputs osservabbli jkunu identiċi byte b’byte. Migrazzjoni titqies li rnexxiet biss jekk tgħaddi mit-testijiet kollha. Kapaċitajiet bħal dawn li jippreservaw l-imġiba huma utli għat-timijiet li jżommu u jimmodernizzaw sistemi eqdem. Madankollu, l-applikazzjoni tagħhom għal software fl-użu operattiv xorta teħtieġ reviżjoni minn esperti u ttestjar skont ir-regoli tan-negozju u d-dipendenzi tas-sistema.
F’din l-evalwazzjoni, GPT‑6.1 Sol jikseb preċiżjoni ta’ 86.6% bi sforz baxx ta’ raġunament, meta mqabbel ma’ 5.4% għal GPT‑5.6 Sol bl-istess livell ta’ sforz, bi spiża tal-API ta’ 61% biss ta’ dik ta’ GPT‑5.6 Sol. Bi sforz ogħla ta’ raġunament, il-preċiżjoni tilħaq 97.9%, qrib il-massimu possibbli fl-evalwazzjoni. Dawn ir-riżultati tal-evalwazzjoni juru progress lejn migrazzjoni tal-kodiċi aktar preċiża u affordabbli għat-timijiet li qed jimmodernizzaw is-software li fuqu jiddependu n-negozji tagħhom.
Dawn l-evalwazzjonijiet, flimkien mar-rispons dirett tal-iżviluppaturi u l-klijenti korporattivi, jgħinuna naraw fejn il-mudelli tagħna qed jitjiebu u fejn għad għandhom nuqqasijiet.
L-għan tagħna huwa li ngħinu lill-mudelli japplikaw ħiliet tal-inġinerija tas-software f’aktar lingwi: jifhmu repożitorji li ma jafux, jippjanaw bidliet, jużaw għodod tal-bini, iħaddmu testijiet u jsibu u jsewwu żbalji.
Tista’ tipprova l-aħħar mudelli tagħna permezz tal-API għal kompiti ta’ kitba tal-kodiċi fil-lingwi li juża t-tim tiegħek. Ir-rispons tiegħek dwar x’jaħdem, fejn il-mudelli jsibu diffikultà u fuq liema lingwi jew flussi tax-xogħol għandna niffukaw imbagħad jgħinna nsawru t-taħriġ u l-evalwazzjoni tal-mudelli biex nappoġġjaw aħjar is-software li tiddependi fuqu.
