Framfarir í forritunarmálum með lítil þjálfunargögn
Nýjustu framfarir í líkönum okkar auka getu þeirra til að þróa og yfirfæra hugbúnað í forritunarmálum þar sem lítið er um þjálfunargögn, svo sem COBOL, Fortran og Visual Basic. Minna er til af kóða og skjölun sem líkön geta lært af í þessum forritunarmálum en í málum á borð við Python og JavaScript. Þau eru þó undirstaða mikilvægra innviða og nauðsynlegrar þjónustu um allan heim. COBOL liggur að baki(opnast í nýjum glugga) meira en 40% netbankakerfa, 80% kreditkortafærslna á staðnum og 95% hraðbankafærslna. Fortran er hins vegar notað við veðurspár(opnast í nýjum glugga) og öryggisgreiningu kjarnakljúfa(opnast í nýjum glugga). Betri geta gervigreindar til að vinna í þessum forritunarmálum gæti hjálpað teymum að viðhalda og nútímavæða hugbúnaðinn sem nauðsynleg þjónusta reiðir sig á.
Þessi vinna tekur mið af ábendingum frá forriturum og fyrirtækjum sem eru í viðskiptum við okkur sem hafa sagt okkur að forritunarlíkön eigi oft erfitt með þessi forritunarmál. Viðhald og nútímavæðing þessa hugbúnaðar getur verið vandasöm: skjölun kann að vera ófullnægjandi, upphaflegir forritarar gætu hafa hætt hjá fyrirtækinu og mikilvægar viðskiptareglur gætu aðeins verið skráðar í kóðanum. Hvort sem teymi eru að laga villur eða færa hugbúnað yfir í annað forritunarmál þurfa þau að varðveita þá hegðun sem kerfin þeirra reiða sig á.
Til að mæla framfarir þróuðum við tvö matspróf. MultiLangBench prófar hvort líkan geti smíðað gagnagrunnsvél frá grunni sem er samhæf við SQLite í 20 mismunandi forritunarmálum. Matspróf okkar fyrir yfirfærslu COBOL-kóða kannar hvort líkan geti fært fyrirliggjandi forrit yfir í annað forritunarmál án þess að breyta hegðun þeirra. Saman prófa þau tvo færniþætti sem bæta hvor annan upp: að smíða nýjan hugbúnað og varðveita virkni fyrirliggjandi hugbúnaðar.
Nýjustu líkönin okkar sýna verulegar framfarir í báðum matsprófunum, með mun meiri nákvæmni og minni kostnaði.
Í MultiLangBench stenst GPT‑6 Astra að meðaltali 87,4% prófa í 20 forritunarmálum, samanborið við 26,8% hjá GPT‑5.6 Sol, og skilar betri árangri í öllum forritunarmálunum sem voru prófuð. GPT‑6 Luna stendur sig einnig betur en GPT‑5.6 Sol og nær 40,3% með um 78% lægri áætluðum API-kostnaði.
Í matsprófi okkar fyrir yfirfærslu COBOL-kóða nær GPT‑6.1 Sol 86,6% nákvæmni með lítilli rökvinnslu, samanborið við aðeins 5,4% hjá GPT‑5.6 Sol, en kostnaðurinn er 39% lægri. Með meiri rökvinnslu nær nákvæmnin 97,9%, sem er nærri hámarksárangri í matsprófinu.
Saman sýna þessar niðurstöður að líkönin okkar verða sífellt betri í að vinna með fjölbreytt forritunarmál og jafnframt hagkvæmari í notkun.
Í MultiLangBench er líkani falið að smíða gagnagrunnsvél sem er samhæf við SQLite í tilteknu forritunarmáli. Líkanið þarf að skipuleggja kóðasafn, halda utan um stöðu, meðhöndla villur og bæta við nýjum eiginleikum án þess að raska fyrirliggjandi virkni.
Til að bera saman útfærslur í ólíkum forritunarmálum notum við gagnagrunnsskrár sem sameiginlegt viðmót. Forritið sem er til prófunar fær upphaflegan gagnagrunn og SQL-fyrirspurn og skilar síðan breyttum gagnagrunni. Við notum viðmiðunarútfærslu SQLite til að kanna hvort gagnagrunnurinn sem verður til innihaldi þau gögn sem búist er við. Þannig getum við notað sömu próf óháð því hvaða forritunarmál var notað til að smíða vélina.
Við aðlöguðum próf úr fyrirliggjandi prófasafni SQLite að þessu sniði. Matsprófið mælir hversu mikla virka eiginleika líkan getur smíðað í langri forritunarlotu og skilar bæði hlutfalli staðinna prófa og API-kostnaði.
Með hámarksrökvinnslu stenst GPT‑6 Astra að meðaltali 87,4% prófa í forritunarmálunum 20, samanborið við 26,8% hjá GPT‑5.6 Sol. Árangurinn batnar í öllum forritunarmálunum sem voru prófuð, þar á meðal COBOL (úr 10,9% í 72,1%), OCaml (úr 25,6% í 85,8%), Fortran (úr 21,4% í 83,5%) og Visual Basic (úr 27,5% í 89,4%). Astra nær yfir 83% í 19 af málunum 20. COBOL reynist enn erfiðasta forritunarmálið, en þar stenst líkanið 72% prófa.
GPT‑6 Luna er ódýrari kostur sem stendur sig einnig betur en GPT‑5.6 Sol í öllum forritunarmálunum sem voru prófuð. Með hámarksrökvinnslu stenst það að meðaltali 40,3% prófa. Meðal framfara má nefna COBOL (úr 10,9% í 17,1%), OCaml (úr 25,6% í 34,1%), Fortran (úr 21,4% í 31,4%) og Visual Basic (úr 27,5% í 41,6%). Áætlaður meðal-API-kostnaður við þessar bættu niðurstöður er 0,77 Bandaríkjadalir á hvert sýni, samanborið við 3,48 dali hjá GPT‑5.6 Sol, eða um 78% lægri.
Við birtum uppsetningu MultiLangBench-matsins og prófasafnið á GitHub(opnast í nýjum glugga), ásamt niðurstöðum fyrir hvert forritunarmál. Forritarar geta skoðað hvað matsprófið kannar, farið yfir árangur í þeim málum sem þeir nota og greint annmarka sem skipta máli fyrir þeirra eigin vinnu.
Í seinna matsprófinu okkar er líkönum falið að færa COBOL-forrit yfir í C++, Java, Kotlin, Python eða Rust án þess að breyta virkni hvers forrits.
Til að yfirfærsla takist þarf að skilja bæði viðskiptarökfræði forritsins og sértæka hegðun COBOL sem forritunarmáls. COBOL-forrit vinna oft úr fjármálafærslum og viðskiptagögnum, þar sem atriði á borð við námundunarreglur og meðhöndlun færslna sem vantar endurspegla viðskiptakröfur. Til dæmis er aukastöfum umfram tiltekinn fjölda sleppt í reikningi með föstum tugabrotsstöðum í COBOL, nema sérstaklega sé óskað eftir námundun. Endurskrifað forrit sem námundar þessi gildi í staðinn getur keyrt án villna en samt skilað öðrum fjárhagslegum niðurstöðum.
Til að kanna hvort þessi hegðun varðveitist metum við líkönin okkar með földum prófum sem krefjast þess að sýnilegt úttak sé nákvæmlega eins, bæti fyrir bæti. Yfirfærsla telst aðeins heppnuð ef öll próf standast. Þessi geta til að varðveita hegðun nýtist teymum sem viðhalda og nútímavæða eldri kerfi. Þegar henni er beitt á hugbúnað í rekstri þarf þó enn yfirferð sérfræðinga og prófanir með hliðsjón af viðskiptareglum kerfisins og því sem það er háð.
Í þessu matsprófi nær GPT‑6.1 Sol 86,6% nákvæmni með lítilli rökvinnslu, samanborið við 5,4% hjá GPT‑5.6 Sol með sömu stillingu, en API-kostnaðurinn er aðeins 61% af kostnaðinum hjá GPT‑5.6 Sol. Með meiri rökvinnslu nær nákvæmnin 97,9%, sem er nærri hámarksárangri í matsprófinu. Þessar niðurstöður sýna framfarir í átt að nákvæmari og hagkvæmari yfirfærslu kóða fyrir teymi sem nútímavæða hugbúnaðinn sem fyrirtæki þeirra reiða sig á.
Þessi matspróf, ásamt beinum ábendingum frá forriturum og fyrirtækjum sem eru í viðskiptum við okkur, hjálpa okkur að sjá hvar líkönunum okkar fer fram og hvar þau standa enn ekki undir væntingum.
Markmið okkar er að hjálpa líkönum að beita færni í hugbúnaðarverkfræði í fleiri forritunarmálum: að átta sig á ókunnugum geymslum, skipuleggja breytingar, nota smíðaverkfæri, keyra próf og villuleita.
Þú getur prófað nýjustu líkönin okkar í gegnum API-viðmótið við forritunarverkefni í þeim forritunarmálum sem teymið þitt notar. Ábendingar þínar um hvað virkar, hvað reynist líkönunum erfitt og hvaða forritunarmál eða verkferla við ættum að leggja áherslu á næst hjálpa okkur að móta þjálfun og mat líkana svo þau nýtist betur við hugbúnaðinn sem þú reiðir þig á.
