आमच्या मॉडेलमधील अलीकडील प्रगतीमुळे COBOL, Fortran आणि Visual Basic यांसारख्या मर्यादित संसाधने उपलब्ध असलेल्या प्रोग्रामिंग भाषांमध्ये सॉफ्टवेअर तयार करण्याची आणि स्थलांतरित करण्याची क्षमता वाढली आहे. Python आणि JavaScript यांसारख्या भाषांच्या तुलनेत या भाषांमध्ये मॉडेलना शिकण्यासाठी कमी कोड आणि दस्तऐवज उपलब्ध आहेत. तरीही, जगभरातील महत्त्वाच्या पायाभूत प्रणाली आणि अत्यावश्यक सेवा या भाषांवर चालतात. 40% पेक्षा जास्त ऑनलाइन बँकिंग प्रणाली, प्रत्यक्ष होणारे 80% क्रेडिट कार्ड व्यवहार आणि 95% ATM व्यवहार COBOL वर चालतात(नवीन विंडोमध्ये उघडेल), तर Fortran चा वापर हवामानाचा अंदाज वर्तवण्यासाठी(नवीन विंडोमध्ये उघडेल) आणि अणुभट्टीच्या सुरक्षिततेचे विश्लेषण करण्यासाठी(नवीन विंडोमध्ये उघडेल) केला जातो. या भाषांमध्ये काम करण्याची कृत्रिम बुद्धिमत्तेची क्षमता सुधारल्यास, अत्यावश्यक सेवा ज्या सॉफ्टवेअरवर अवलंबून आहेत, त्याची देखभाल आणि आधुनिकीकरण करण्यास संघांना मदत होऊ शकते.
विकसक आणि व्यावसायिक ग्राहकांच्या अभिप्रायातून या कामाला दिशा मिळते. कोडिंग मॉडेलना या भाषांमध्ये काम करताना अनेकदा अडचणी येतात, असे त्यांनी आम्हाला सांगितले आहे. या सॉफ्टवेअरची देखभाल आणि आधुनिकीकरण करणे अवघड असू शकते: दस्तऐवज अपूर्ण असू शकतात, मूळ विकसकांनी कंपनी सोडलेली असू शकते आणि महत्त्वाचे व्यावसायिक नियम केवळ कोडमध्येच असू शकतात. संघ त्रुटी दुरुस्त करत असोत किंवा दुसऱ्या भाषेत स्थलांतर करत असोत, त्यांच्या प्रणाली ज्या कार्यपद्धतीवर अवलंबून आहेत, ती कायम ठेवणे आवश्यक असते.
प्रगती मोजण्यासाठी आम्ही दोन मूल्यमापन पद्धती विकसित केल्या. मॉडेल 20 वेगवेगळ्या प्रोग्रामिंग भाषांमध्ये SQLite-सुसंगत डेटाबेस इंजिन सुरुवातीपासून तयार करू शकते का, हे MultiLangBench तपासते. आमचे COBOL स्थलांतर मूल्यमापन हे तपासते की मॉडेल विद्यमान प्रोग्रामची कार्यपद्धती कायम ठेवून ते दुसऱ्या भाषेत स्थलांतरित करू शकते का. एकत्रितपणे, ही मूल्यमापने दोन परस्परपूरक कौशल्ये तपासतात: नवीन सॉफ्टवेअर तयार करणे आणि विद्यमान सॉफ्टवेअरचे कार्य कायम ठेवणे.
आमच्या नवीनतम मॉडेलनी दोन्ही मूल्यमापनांमध्ये लक्षणीय सुधारणा दाखवल्या आहेत. ती कमी खर्चात खूप जास्त अचूकता साधतात.
MultiLangBench वर 20 प्रोग्रामिंग भाषांमध्ये GPT‑6 Astra च्या चाचण्यांतील यशाचे सरासरी प्रमाण 87.4% आहे, तर GPT‑5.6 Sol साठी ते 26.8% होते. चाचणी केलेल्या प्रत्येक भाषेत सुधारणा दिसून आली आहे. GPT‑6 Luna देखील GPT‑5.6 Sol पेक्षा चांगली कामगिरी करते. अंदाजित API खर्च सुमारे 78% कमी असूनही ते 40.3% यशाचे प्रमाण गाठते.
आमच्या COBOL स्थलांतर मूल्यमापनात, रीझनिंगच्या कमी स्तरावर GPT‑6.1 Sol 86.6% अचूकता साधते, तर GPT‑5.6 Sol ची अचूकता केवळ 5.4% आहे. यासाठीचा खर्चही 39% कमी आहे. रीझनिंगचा स्तर वाढवल्यावर अचूकता 97.9% पर्यंत पोहोचते आणि या मूल्यमापनात जवळजवळ पूर्ण यश मिळते.
एकत्रितपणे हे निष्कर्ष दाखवतात की आमची मॉडेल विविध प्रोग्रामिंग भाषांमध्ये काम करण्यात लक्षणीयरीत्या सक्षम होत आहेत आणि त्याचवेळी अधिक किफायतशीरही होत आहेत.
MultiLangBench मध्ये मॉडेलला ठरावीक प्रोग्रामिंग भाषेत SQLite-सुसंगत डेटाबेस इंजिन तयार करण्यास सांगितले जाते. मॉडेलने कोडसंचाची मांडणी करणे, स्थितीचे व्यवस्थापन करणे, त्रुटी हाताळणे आणि विद्यमान कार्यक्षमता कायम ठेवून नवीन वैशिष्ट्ये जोडणे आवश्यक असते.
वेगवेगळ्या भाषांमधील अंमलबजावण्यांची तुलना करण्यासाठी आम्ही डेटाबेस फाइल्सचा समान माध्यम म्हणून वापर करतो. तपासल्या जाणाऱ्या प्रोग्रामला सुरुवातीचा डेटाबेस आणि SQL क्वेरी दिली जाते. त्यानंतर तो सुधारित डेटाबेस तयार करतो. तयार झालेल्या डेटाबेसमध्ये अपेक्षित माहिती आहे का, हे तपासण्यासाठी आम्ही SQLite ची संदर्भ अंमलबजावणी वापरतो. यामुळे इंजिन तयार करण्यासाठी कोणतीही भाषा वापरली असली तरी आम्हाला त्याच चाचण्या वापरता येतात.
आम्ही SQLite च्या विद्यमान चाचणी संचातील चाचण्या या स्वरूपात रूपांतरित केल्या. दीर्घ कोडिंग सत्रात मॉडेल किती कार्यक्षम सुविधा तयार करू शकते, हे या मूल्यमापनातून मोजले जाते. यात चाचण्यांतील यशाचे प्रमाण आणि API खर्च दोन्ही नोंदवले जातात.
रीझनिंगच्या कमाल स्तरावर, 20 भाषांमध्ये GPT‑6 Astra च्या चाचण्यांतील यशाचे सरासरी प्रमाण 87.4% आहे, तर GPT‑5.6 Sol साठी ते 26.8% होते. चाचणी केलेल्या प्रत्येक भाषेत सुधारणा दिसते. त्यात COBOL (10.9% वरून 72.1%), OCaml (25.6% वरून 85.8%), Fortran (21.4% वरून 83.5%) आणि Visual Basic (27.5% वरून 89.4%) यांचा समावेश आहे. 20 पैकी 19 भाषांमध्ये Astra चे गुण 83% पेक्षा जास्त आहेत. COBOL सर्वात कठीण भाषा ठरली असून, त्यातील गुण 72% आहेत.
GPT‑6 Luna हा कमी खर्चाचा पर्याय असून तोही चाचणी केलेल्या प्रत्येक भाषेत GPT‑5.6 Sol पेक्षा चांगली कामगिरी करतो. रीझनिंगच्या कमाल स्तरावर त्याच्या चाचण्यांतील यशाचे सरासरी प्रमाण 40.3% पर्यंत पोहोचते. सुधारणा झालेल्या भाषांमध्ये COBOL (10.9% वरून 17.1%), OCaml (25.6% वरून 34.1%), Fortran (21.4% वरून 31.4%) आणि Visual Basic (27.5% वरून 41.6%) यांचा समावेश आहे. या सुधारणांसह प्रति नमुना अंदाजित सरासरी API खर्च $0.77 आहे, तर GPT‑5.6 Sol साठी तो $3.48 आहे. म्हणजेच हा खर्च सुमारे 78% कमी आहे.
आम्ही MultiLangBench ची मूल्यमापन व्यवस्था आणि चाचणी संच, तसेच प्रत्येक भाषेतील निष्कर्ष GitHub(नवीन विंडोमध्ये उघडेल) वर उपलब्ध करून देत आहोत. या मूल्यमापनात काय तपासले जाते हे विकसक पाहू शकतात, ते वापरत असलेल्या भाषांमधील कामगिरीचा आढावा घेऊ शकतात आणि त्यांच्या कामासाठी महत्त्वाच्या असलेल्या उणिवा ओळखू शकतात.
आमच्या दुसऱ्या मूल्यमापनात, प्रत्येक प्रोग्रामचे कार्य कायम ठेवून COBOL प्रोग्रामचे C++, Java, Kotlin, Python किंवा Rust मध्ये स्थलांतर करण्यास मॉडेलना सांगितले जाते.
यशस्वी स्थलांतरासाठी प्रोग्राममधील व्यावसायिक तर्क आणि COBOL भाषेची विशिष्ट कार्यपद्धती या दोन्ही गोष्टी समजून घेणे आवश्यक आहे. COBOL प्रोग्राम अनेकदा आर्थिक व्यवहार आणि व्यावसायिक नोंदींवर प्रक्रिया करतात. यात संख्यांचे पूर्णांकन करण्याचे नियम आणि गहाळ नोंदी हाताळण्याची पद्धत यांसारखे तपशील व्यवसायाच्या गरजांनुसार ठरलेले असतात. उदाहरणार्थ, पूर्णांकन करण्याची स्पष्ट सूचना दिलेली नसेल, तर COBOL मधील स्थिर-दशांश अंकगणित अतिरिक्त दशांश अंक वगळते. पुनर्लिखित प्रोग्रामने त्याऐवजी त्या संख्यांचे पूर्णांकन केले, तर तो त्रुटींशिवाय चालू शकतो, पण आर्थिक गणनांचे परिणाम वेगळे येऊ शकतात.
या कार्यपद्धती कायम राहतात का, हे तपासण्यासाठी आम्ही मॉडेलना न दाखवलेल्या चाचण्यांद्वारे त्यांचे मूल्यमापन करतो. या चाचण्यांमध्ये दिसणारे निर्गत परिणाम प्रत्येक बाइटनुसार तंतोतंत जुळणे आवश्यक असते. सर्व चाचण्या यशस्वी झाल्या तरच स्थलांतर यशस्वी मानले जाते. कार्यपद्धती कायम ठेवणाऱ्या अशा क्षमता जुन्या प्रणालींची देखभाल आणि आधुनिकीकरण करणाऱ्या संघांसाठी उपयुक्त आहेत. मात्र, प्रत्यक्ष वापरातील सॉफ्टवेअरसाठी त्यांचा उपयोग करताना तज्ज्ञांकडून पुनरावलोकन आणि प्रणालीचे व्यावसायिक नियम व अवलंबित्वे लक्षात घेऊन चाचणी करणे अजूनही आवश्यक आहे.
या मूल्यमापनात, रीझनिंगच्या कमी स्तरावर GPT‑6.1 Sol 86.6% अचूकता साधते. त्याच सेटिंगवर GPT‑5.6 Sol ची अचूकता 5.4% आहे. GPT‑6.1 Sol साठी API खर्च मात्र GPT‑5.6 Sol च्या खर्चाच्या केवळ 61% आहे. रीझनिंगचा स्तर वाढवल्यावर अचूकता 97.9% पर्यंत पोहोचते आणि या मूल्यमापनात जवळजवळ पूर्ण यश मिळते. आपला व्यवसाय ज्या सॉफ्टवेअरवर अवलंबून आहे त्याचे आधुनिकीकरण करणाऱ्या संघांसाठी अधिक अचूक आणि परवडणारे कोड स्थलांतर शक्य करण्याच्या दिशेने प्रगती होत असल्याचे हे मूल्यमापन निष्कर्ष दाखवतात.
या मूल्यमापनांमुळे, तसेच विकसक आणि व्यावसायिक ग्राहकांच्या थेट अभिप्रायामुळे, आमची मॉडेल कुठे सुधारत आहेत आणि कुठे अजूनही कमी पडत आहेत हे आम्हाला समजते.
अनोळखी रिपॉझिटरी समजून घेणे, बदलांचे नियोजन करणे, बांधणीची साधने वापरणे, चाचण्या चालवणे आणि बिघाडांतील त्रुटी शोधून दुरुस्त करणे ही सॉफ्टवेअर अभियांत्रिकी कौशल्ये अधिक भाषांमध्ये वापरण्यास मॉडेलना सक्षम करणे, हे आमचे ध्येय आहे.
तुमचा संघ वापरत असलेल्या भाषांमधील कोडिंग कामांसाठी तुम्ही API द्वारे आमची नवीनतम मॉडेल वापरून पाहू शकता. काय चांगले चालते, मॉडेलना कुठे अडचणी येतात आणि पुढे आम्ही कोणत्या भाषा किंवा कार्यपद्धतींवर लक्ष केंद्रित करावे, याविषयीचा तुमचा अभिप्राय आम्हाला दिशा देतो. त्याच्या मदतीने आम्ही मॉडेलचे प्रशिक्षण आणि मूल्यमापन सुधारतो, जेणेकरून तुम्ही अवलंबून असलेल्या सॉफ्टवेअरसाठी ती अधिक उपयुक्त ठरतील.
