మా మోడళ్లలో తాజా పురోగతితో, COBOL, Fortran, Visual Basic వంటి తక్కువ వనరులున్న ప్రోగ్రామింగ్ భాషల్లో సాఫ్ట్‌వేర్‌ను నిర్మించే, ఇతర భాషల్లోకి మార్చే సామర్థ్యాలు మెరుగయ్యాయి. Python, JavaScript వంటి భాషలతో పోలిస్తే, ఈ భాషల్లో మోడళ్లు నేర్చుకోవడానికి అందుబాటులో ఉన్న కోడ్, పత్రాలు తక్కువ. అయినా ప్రపంచవ్యాప్తంగా కీలక మౌలిక సదుపాయాలు, అత్యవసర సేవలకు ఇవి ఆధారంగా ఉన్నాయి. 40% కంటే ఎక్కువ ఆన్‌లైన్ బ్యాంకింగ్ వ్యవస్థలు, 80% ప్రత్యక్ష క్రెడిట్ కార్డ్ లావాదేవీలు, 95% ATM లావాదేవీలకు COBOL ఆధారంగా ఉంది(కొత్త విండోలో తెరుచుకుంటుంది). Fortranను వాతావరణ అంచనాల్లో(కొత్త విండోలో తెరుచుకుంటుంది), అణు రియాక్టర్ల భద్రతా విశ్లేషణలో(కొత్త విండోలో తెరుచుకుంటుంది) ఉపయోగిస్తున్నారు. ఈ భాషల్లో పనిచేసే కృత్రిమ మేధ సామర్థ్యాన్ని మెరుగుపరచడం వల్ల, అత్యవసర సేవలు ఆధారపడే సాఫ్ట్‌వేర్‌ను నిర్వహించడంలో, ఆధునికీకరించడంలో బృందాలకు తోడ్పడవచ్చు.
కోడింగ్ మోడళ్లు ఈ భాషల్లో పనిచేయడానికి తరచూ ఇబ్బందిపడుతున్నాయని డెవలపర్లు, సంస్థాగత కస్టమర్లు మాకు తెలిపారు. వారి అభిప్రాయాలే ఈ కృషికి దిశానిర్దేశం చేస్తున్నాయి. ఈ సాఫ్ట్‌వేర్‌ను నిర్వహించడం, ఆధునికీకరించడం కష్టంగా ఉండవచ్చు: పత్రాలు అసంపూర్ణంగా ఉండవచ్చు, అసలు డెవలపర్లు సంస్థను విడిచి వెళ్లి ఉండవచ్చు, ముఖ్యమైన వ్యాపార నియమాలు కోడ్‌లో మాత్రమే ఉండవచ్చు. బృందాలు లోపాలను సరిచేస్తున్నా, మరో భాషలోకి మారుస్తున్నా, తమ వ్యవస్థలు ఆధారపడే ప్రవర్తనను యథాతథంగా ఉంచాలి.
పురోగతిని కొలవడానికి మేము రెండు మూల్యాంకనాలను రూపొందించాము. 20 వేర్వేరు ప్రోగ్రామింగ్ భాషల్లో SQLiteకు అనుకూలమైన డేటాబేస్ ఇంజిన్‌ను మొదటి నుంచి నిర్మించే మోడల్ సామర్థ్యాన్ని MultiLangBench పరీక్షిస్తుంది. ఇప్పటికే ఉన్న ప్రోగ్రామ్‌ల ప్రవర్తనను మార్చకుండా, వాటిని మరో భాషలోకి మార్చగల మోడల్ సామర్థ్యాన్ని మా COBOL భాషాంతరీకరణ మూల్యాంకనం పరీక్షిస్తుంది. ఇవి పరస్పర పూరకమైన రెండు నైపుణ్యాలను పరీక్షిస్తాయి: కొత్త సాఫ్ట్‌వేర్‌ను నిర్మించడం, ఇప్పటికే ఉన్న సాఫ్ట్‌వేర్ చేసే పనిని యథాతథంగా ఉంచడం.
రెండు మూల్యాంకనాల్లోనూ మా తాజా మోడళ్లు గణనీయంగా మెరుగుపడ్డాయి. తక్కువ ఖర్చుతో మరింత ఎక్కువ ఖచ్చితత్వాన్ని అందిస్తున్నాయి.
MultiLangBenchలో, 20 ప్రోగ్రామింగ్ భాషల్లో GPT‑6 Astra సగటు పరీక్షల ఉత్తీర్ణత రేటు 87.4%. GPT‑5.6 Sol సాధించిన 26.8%తో పోలిస్తే ఇది పెరిగింది. పరీక్షించిన ప్రతి భాషలోనూ మెరుగుదల కనిపించింది. GPT‑6 Luna కూడా GPT‑5.6 Solను అధిగమించి, సుమారు 78% తక్కువ అంచనా API ఖర్చుతో 40.3% సాధించింది.
మా COBOL భాషాంతరీకరణ మూల్యాంకనంలో, తక్కువ రీజనింగ్ శ్రమతో GPT‑6.1 Sol 86.6% ఖచ్చితత్వాన్ని సాధించింది. GPT‑5.6 Sol సాధించినది కేవలం 5.4% కాగా, ఖర్చు కూడా 39% తగ్గింది. ఎక్కువ రీజనింగ్ శ్రమతో ఖచ్చితత్వం 97.9%కి చేరి, మూల్యాంకనంలో సాధ్యమైన గరిష్ఠానికి దగ్గరైంది.
విస్తృత శ్రేణి ప్రోగ్రామింగ్ భాషల్లో పనిచేసే మా మోడళ్ల సామర్థ్యం గణనీయంగా మెరుగవుతోందని, ఖర్చుతో పోలిస్తే అవి మరింత ప్రయోజనం అందిస్తున్నాయని ఈ ఫలితాలు చూపుతున్నాయి.
నిర్దేశించిన ప్రోగ్రామింగ్ భాషలో SQLiteకు అనుకూలమైన డేటాబేస్ ఇంజిన్‌ను నిర్మించమని MultiLangBench మోడల్‌ను కోరుతుంది. మోడల్ కోడ్‌బేస్‌ను క్రమబద్ధీకరించాలి, స్థితిని నిర్వహించాలి, లోపాలను పరిష్కరించాలి. ఇప్పటికే ఉన్న విధులను మార్చకుండా కొత్త ఫీచర్లను జోడించాలి.
వేర్వేరు భాషల్లోని అమలులను పోల్చడానికి, డేటాబేస్ ఫైళ్లను ఉమ్మడి ఇంటర్‌ఫేస్‌గా ఉపయోగిస్తాము. పరీక్షించే ప్రోగ్రామ్ ఒక ప్రారంభ డేటాబేస్‌ను, SQL క్వెరీని స్వీకరించి, మార్పులు చేసిన డేటాబేస్‌ను రూపొందిస్తుంది. ఫలితంగా వచ్చిన డేటాబేస్‌లో ఆశించిన సమాచారం ఉందో లేదో తనిఖీ చేయడానికి ప్రామాణిక SQLite అమలును ఉపయోగిస్తాము. దీనివల్ల ఇంజిన్‌ను ఏ భాషలో నిర్మించినా అవే పరీక్షలను ఉపయోగించవచ్చు.
SQLiteలో ఇప్పటికే ఉన్న పరీక్షల సముదాయాన్ని ఈ ఆకృతికి అనుగుణంగా మార్చాము. సుదీర్ఘ కోడింగ్ సెషన్‌లో మోడల్ సరిగ్గా పనిచేసే విధులను ఎంతవరకు నిర్మించగలదో ఈ మూల్యాంకనం కొలుస్తుంది. పరీక్షల ఉత్తీర్ణత రేటు, API ఖర్చు రెండింటినీ నివేదిస్తుంది.
గరిష్ఠ రీజనింగ్ శ్రమతో, 20 భాషల్లో GPT‑6 Astra పరీక్షల సగటు ఉత్తీర్ణత రేటు 87.4%. GPT‑5.6 Sol సాధించిన 26.8%తో పోలిస్తే ఇది పెరిగింది. పరీక్షించిన ప్రతి భాషలోనూ మెరుగుదల ఉంది. వీటిలో COBOL (10.9% నుంచి 72.1%), OCaml (25.6% నుంచి 85.8%), Fortran (21.4% నుంచి 83.5%), Visual Basic (27.5% నుంచి 89.4%) ఉన్నాయి. 20 భాషల్లో 19 భాషలకు Astra స్కోరు 83% కంటే ఎక్కువగా ఉంది. COBOL మాత్రం 72%తో అత్యంత సవాలుగా మిగిలింది.
తక్కువ ఖర్చుతో లభించే GPT‑6 Luna కూడా పరీక్షించిన ప్రతి భాషలో GPT‑5.6 Sol కంటే మెరుగ్గా పనిచేస్తుంది. గరిష్ఠ రీజనింగ్ శ్రమతో, ఇది పరీక్షల్లో 40.3% సగటు ఉత్తీర్ణత రేటును సాధిస్తుంది. మెరుగుదలల్లో COBOL (10.9% నుంచి 17.1%), OCaml (25.6% నుంచి 34.1%), Fortran (21.4% నుంచి 31.4%), Visual Basic (27.5% నుంచి 41.6%) ఉన్నాయి. ఈ మెరుగుదలలతో ప్రతి నమూనాకు అంచనా సగటు API ఖర్చు $0.77. GPT‑5.6 Sol ఖర్చు $3.48తో పోలిస్తే ఇది సుమారు 78% తక్కువ.
ప్రతి భాషకు ఫలితాలతో పాటు MultiLangBench మూల్యాంకన ఏర్పాట్లు, పరీక్షల సముదాయాన్ని GitHub(కొత్త విండోలో తెరుచుకుంటుంది)లో విడుదల చేస్తున్నాము. ఈ మూల్యాంకనం దేనిని పరీక్షిస్తుందో డెవలపర్లు పరిశీలించవచ్చు, తాము వాడే భాషల్లో పనితీరును సమీక్షించవచ్చు, తమ పనికి సంబంధించిన లోటుపాట్లను గుర్తించవచ్చు.
ప్రతి ప్రోగ్రామ్ చేసే పనిని మార్చకుండా, COBOL ప్రోగ్రామ్‌లను C++, Java, Kotlin, Python లేదా Rustలోకి మార్చమని మా రెండో మూల్యాంకనం మోడళ్లను కోరుతుంది.
విజయవంతంగా మార్చాలంటే, ప్రోగ్రామ్‌లోని వ్యాపార తర్కంతో పాటు COBOL భాషకు ప్రత్యేకమైన ప్రవర్తనను కూడా అర్థం చేసుకోవాలి. COBOL ప్రోగ్రామ్‌లు తరచూ ఆర్థిక లావాదేవీలు, వ్యాపార రికార్డులను ప్రాసెస్ చేస్తాయి. వీటిలో అంకెలను రౌండ్ చేసే నియమాలు, రికార్డులు లేనప్పుడు వ్యవహరించే విధానం వంటి వివరాలు వ్యాపార అవసరాలను ప్రతిబింబిస్తాయి. ఉదాహరణకు, రౌండ్ చేయాలని స్పష్టంగా కోరితే తప్ప COBOL స్థిర-బిందు అంకగణితం అదనపు దశాంశ అంకెలను తొలగిస్తుంది. బదులుగా ఆ విలువలను రౌండ్ చేసేలా తిరగరాసిన ప్రోగ్రామ్, లోపాలు లేకుండానే నడిచినా భిన్నమైన ఆర్థిక ఫలితాలను ఇవ్వవచ్చు.
ఈ ప్రవర్తనలు యథాతథంగా ఉన్నాయో లేదో పరీక్షించడానికి, కనిపించే అవుట్‌పుట్‌లలో ప్రతి బైట్ సరిపోలాల్సిన రహస్య పరీక్షలతో మా మోడళ్లను మూల్యాంకనం చేస్తాము. అన్ని పరీక్షల్లో ఉత్తీర్ణమైతేనే భాషాంతరీకరణ విజయవంతమైనట్లు పరిగణిస్తాము. ప్రవర్తనను యథాతథంగా ఉంచే ఇలాంటి సామర్థ్యాలు పాత వ్యవస్థలను నిర్వహించే, ఆధునికీకరించే బృందాలకు ఉపయోగపడతాయి. అయితే వాస్తవ వినియోగంలోని సాఫ్ట్‌వేర్‌కు వీటిని వర్తింపజేసేటప్పుడు నిపుణుల సమీక్ష, వ్యవస్థ వ్యాపార నియమాలు, ఆధారిత అంశాల ప్రకారం పరీక్షలు ఇంకా అవసరమే.
ఈ మూల్యాంకనంలో, తక్కువ రీజనింగ్ శ్రమతో GPT‑6.1 Sol 86.6% ఖచ్చితత్వాన్ని సాధించింది. అదే సెట్టింగ్‌లో GPT‑5.6 Sol సాధించినది 5.4% కాగా, దాని API ఖర్చులో కేవలం 61%తోనే ఈ ఫలితం వచ్చింది. ఎక్కువ రీజనింగ్ శ్రమతో ఖచ్చితత్వం 97.9%కి చేరి, మూల్యాంకనంలో సాధ్యమైన గరిష్ఠానికి దగ్గరైంది. తమ వ్యాపారాలు ఆధారపడే సాఫ్ట్‌వేర్‌ను ఆధునికీకరించే బృందాలకు, మరింత ఖచ్చితంగా, తక్కువ ఖర్చుతో కోడ్‌ను ఇతర భాషల్లోకి మార్చే దిశగా పురోగతిని ఈ మూల్యాంకన ఫలితాలు చూపుతున్నాయి.
డెవలపర్లు, సంస్థాగత కస్టమర్ల ప్రత్యక్ష అభిప్రాయాలతో పాటు ఈ మూల్యాంకనాలు కూడా మా మోడళ్లు ఎక్కడ మెరుగుపడుతున్నాయో, ఎక్కడ ఇంకా వెనుకబడి ఉన్నాయో తెలుసుకోవడానికి తోడ్పడతాయి.
అపరిచిత రిపోజిటరీలను అర్థం చేసుకోవడం, మార్పులకు ప్రణాళిక వేయడం, బిల్డ్ సాధనాలను ఉపయోగించడం, పరీక్షలు నిర్వహించడం, వైఫల్యాలకు కారణమైన లోపాలను సరిచేయడం వంటి సాఫ్ట్‌వేర్ ఇంజినీరింగ్ నైపుణ్యాలను మరిన్ని భాషల్లో ఉపయోగించేలా మోడళ్లకు తోడ్పడటమే మా లక్ష్యం.
మీ బృందం ఉపయోగించే భాషల్లో కోడింగ్ పనుల కోసం API ద్వారా మా తాజా మోడళ్లను ప్రయత్నించవచ్చు. ఏవి బాగా పనిచేస్తున్నాయి, మోడళ్లు ఎక్కడ ఇబ్బందిపడుతున్నాయి, తర్వాత ఏ భాషలు లేదా పని ప్రక్రియలపై దృష్టి పెట్టాలి అనే విషయాలపై మీ అభిప్రాయాలు మాకు దిశానిర్దేశం చేస్తాయి. మీరు ఆధారపడే సాఫ్ట్‌వేర్‌కు మెరుగైన తోడ్పాటును అందించేలా మోడళ్లకు శిక్షణ ఇవ్వడానికి, మూల్యాంకనం చేయడానికి అవి ఉపయోగపడతాయి.
