Përparimet më të fundit në modelet tona sjellin aftësi më të mira për ndërtimin dhe migrimin e softuerit në gjuhë programimi me burime të pakta, si COBOL, Fortran dhe Visual Basic. Këto gjuhë kanë më pak kod dhe dokumentacion nga të cilat modelet mund të mësojnë sesa gjuhë si Python dhe JavaScript, por janë baza e infrastrukturës kritike dhe shërbimeve thelbësore në mbarë botën. COBOL mbështet(hapet në një dritare të re) më shumë se 40% të sistemeve bankare në internet, 80% të transaksioneve me kartë krediti të kryera fizikisht dhe 95% të transaksioneve në bankomate, ndërsa Fortran përdoret në parashikimin e motit(hapet në një dritare të re) dhe analizën e sigurisë së reaktorëve bërthamorë(hapet në një dritare të re). Përmirësimi i aftësisë së IA-së për të punuar në këto gjuhë mund t'i ndihmojë ekipet të mirëmbajnë dhe të modernizojnë softuerin nga i cili varen shërbimet thelbësore.
Kjo punë udhëhiqet nga komentet e zhvilluesve dhe klientëve të ndërmarrjeve, të cilët na kanë thënë se modelet për kodim shpesh hasin vështirësi me këto gjuhë. Mirëmbajtja dhe modernizimi i këtij softueri mund të jenë të vështira: dokumentacioni mund të jetë i paplotë, zhvilluesit fillestarë mund të jenë larguar nga kompania dhe rregulla të rëndësishme të biznesit mund të ekzistojnë vetëm në kod. Pavarësisht nëse ekipet po korrigjojnë gabime apo po migrojnë në një gjuhë tjetër, ato duhet të ruajnë sjelljen nga e cila varen sistemet e tyre.
Për të matur përparimin, zhvilluam dy vlerësime. MultiLangBench teston nëse një model mund të ndërtojë nga e para një motor baze të dhënash të përputhshëm me SQLite në 20 gjuhë të ndryshme programimi. Vlerësimi ynë për migrimin e COBOL teston nëse një model mund të migrojë programe ekzistuese në një gjuhë tjetër duke ruajtur sjelljen e tyre. Së bashku, ato testojnë dy aftësi plotësuese: ndërtimin e softuerit të ri dhe ruajtjen e asaj që bën softueri ekzistues.
Modelet tona më të fundit tregojnë përmirësime të ndjeshme në të dy vlerësimet, duke ofruar saktësi shumë më të lartë me kosto më të ulët.
Në MultiLangBench, GPT‑6 Astra arrin një shkallë mesatare kalimi të testeve prej 87,4% në 20 gjuhë programimi, krahasuar me 26,8% për GPT‑5.6 Sol, me përmirësime në çdo gjuhë të testuar. Edhe GPT‑6 Luna e tejkalon GPT‑5.6 Sol, duke arritur 40,3% me një kosto të përllogaritur të API-së rreth 78% më të ulët.
Në vlerësimin tonë për migrimin e COBOL, GPT‑6.1 Sol arrin saktësi prej 86,6% në nivel të ulët arsyetimi, krahasuar me vetëm 5,4% për GPT‑5.6 Sol, ndërkohë që kushton 39% më pak. Në një nivel më të lartë arsyetimi, saktësia arrin 97,9%, pothuajse në kufirin maksimal të vlerësimit.
Së bashku, këto rezultate tregojnë se modelet tona po bëhen dukshëm më të afta për të punuar me një gamë të gjerë gjuhësh programimi, ndërkohë që po bëhen edhe më efikase nga ana e kostos.
MultiLangBench i kërkon një modeli të ndërtojë një motor baze të dhënash të përputhshëm me SQLite në një gjuhë programimi të caktuar. Modeli duhet të organizojë një bazë kodi, të menaxhojë gjendjen, të trajtojë gabimet dhe të shtojë veçori të reja duke ruajtur funksionalitetin ekzistues.
Për të krahasuar implementimet në gjuhë të ndryshme, përdorim skedarë bazash të dhënash si ndërfaqe të përbashkët. Programi që testohet merr një bazë fillestare të dhënash dhe një kërkesë SQL, pastaj prodhon një bazë të dhënash të modifikuar. Përdorim implementimin referencë të SQLite për të kontrolluar nëse baza e të dhënave që rezulton ka përmbajtjen e pritur. Kjo na lejon të zbatojmë të njëjtat teste, pavarësisht gjuhës së përdorur për ndërtimin e motorit.
Përshtatëm për këtë format teste nga paketa ekzistuese e testeve të SQLite. Vlerësimi mat sa funksionalitet që punon siç duhet mund të ndërtojë një model gjatë një seance të zgjatur kodimi, duke raportuar si shkallën e kalimit të testeve, ashtu edhe koston e API-së.
Në nivelin maksimal të arsyetimit, GPT‑6 Astra arrin një shkallë mesatare kalimi të testeve prej 87,4% në 20 gjuhët, krahasuar me 26,8% për GPT‑5.6 Sol. Përmirësime ka në çdo gjuhë të testuar, përfshirë COBOL (nga 10,9% në 72,1%), OCaml (nga 25,6% në 85,8%), Fortran (nga 21,4% në 83,5%) dhe Visual Basic (nga 27,5% në 89,4%). Astra arrin rezultate mbi 83% në 19 nga 20 gjuhët, ndërsa COBOL mbetet më e vështira, me 72%.
GPT‑6 Luna ofron një alternativë me kosto më të ulët, e cila gjithashtu e tejkalon GPT‑5.6 Sol në çdo gjuhë të testuar. Në nivelin maksimal të arsyetimit, arrin një shkallë mesatare kalimi të testeve prej 40,3%. Përmirësimet përfshijnë COBOL (nga 10,9% në 17,1%), OCaml (nga 25,6% në 34,1%), Fortran (nga 21,4% në 31,4%) dhe Visual Basic (nga 27,5% në 41,6%). Këto përmirësime arrihen me një kosto mesatare të përllogaritur të API-së prej 0,77 dollarësh për mostër, krahasuar me 3,48 dollarë për GPT‑5.6 Sol, pra rreth 78% më pak.
Po publikojmë konfigurimin e vlerësimit dhe paketën e testeve të MultiLangBench në GitHub(hapet në një dritare të re), së bashku me rezultatet për secilën gjuhë. Zhvilluesit mund të shqyrtojnë çfarë teston vlerësimi, të analizojnë performancën në gjuhët që përdorin dhe të identifikojnë mangësitë që kanë rëndësi për punën e tyre.
Vlerësimi ynë i dytë u kërkon modeleve të migrojnë programe COBOL në C++, Java, Kotlin, Python ose Rust, duke ruajtur atë që bën secili program.
Migrimi i suksesshëm kërkon të kuptohet si logjika e biznesit e programit, ashtu edhe sjellja specifike e gjuhës COBOL. Programet COBOL shpesh përpunojnë transaksione financiare dhe regjistrime biznesi, ku hollësi si rregullat e rrumbullakimit dhe trajtimi i regjistrimeve që mungojnë pasqyrojnë kërkesat e biznesit. Për shembull, aritmetika me presje fikse e COBOL heq shifrat dhjetore të tepërta, përveç rasteve kur rrumbullakimi kërkohet shprehimisht. Një version i rishkruar që i rrumbullakon këto vlera mund të ekzekutohet pa gabime, por të prodhojë rezultate financiare të ndryshme.
Për të kontrolluar nëse këto sjellje ruhen, i vlerësojmë modelet tona me teste të fshehura që kërkojnë përputhje bajt për bajt të rezultateve të vëzhgueshme. Një migrim konsiderohet i suksesshëm vetëm nëse kalohen të gjitha testet. Aftësi të tilla për ruajtjen e sjelljes janë të dobishme për ekipet që mirëmbajnë dhe modernizojnë sisteme të vjetra. Megjithatë, zbatimi i tyre në softuer në përdorim real kërkon ende shqyrtim nga ekspertët dhe testim kundrejt rregullave të biznesit dhe varësive të sistemit.
Në këtë vlerësim, GPT‑6.1 Sol arrin saktësi prej 86,6% në nivel të ulët arsyetimi, krahasuar me 5,4% për GPT‑5.6 Sol në të njëjtin cilësim, me vetëm 61% të kostos së API-së. Në një nivel më të lartë arsyetimi, saktësia arrin 97,9%, duke iu afruar kufirit maksimal të vlerësimit. Këto rezultate vlerësimi tregojnë përparim drejt migrimit më të saktë dhe më ekonomik të kodit për ekipet që modernizojnë softuerin nga i cili varen bizneset e tyre.
Këto vlerësime, së bashku me komentet e drejtpërdrejta nga zhvilluesit dhe klientët e ndërmarrjeve, na ndihmojnë të shohim ku po përmirësohen modelet tona dhe ku kanë ende mangësi.
Synimi ynë është t'i ndihmojmë modelet të zbatojnë aftësi të inxhinierisë së softuerit në më shumë gjuhë: të kuptojnë depo të panjohura, të planifikojnë ndryshime, të përdorin mjete ndërtimi, të ekzekutojnë teste dhe të gjejnë e korrigjojnë gabimet.
Mund t'i provosh modelet tona më të fundit përmes API-së në detyra kodimi në gjuhët që përdor ekipi yt. Komentet e tua për atë që funksionon, ku hasin vështirësi modelet dhe cilat gjuhë apo rrjedha pune duhet të jenë fokusi ynë i radhës, ndihmojnë në përcaktimin e mënyrës si i trajnojmë dhe i vlerësojmë modelet për të mbështetur më mirë softuerin nga i cili varesh.
