हमारे मॉडल में हुए नवीनतम सुधारों से COBOL, Fortran और Visual Basic जैसी कम संसाधनों वाली प्रोग्रामिंग भाषाओं में सॉफ़्टवेयर बनाने और उसे दूसरी भाषा में रूपांतरित करने की क्षमताएँ बेहतर हुई हैं. Python और JavaScript जैसी भाषाओं की तुलना में इन भाषाओं में मॉडल के सीखने के लिए कम कोड और दस्तावेज़ उपलब्ध हैं. फिर भी, दुनिया भर की महत्वपूर्ण अवसंरचना और आवश्यक सेवाएँ इन पर निर्भर हैं. 40% से अधिक ऑनलाइन बैंकिंग प्रणालियाँ, 80% प्रत्यक्ष क्रेडिट कार्ड लेनदेन और 95% एटीएम लेनदेन COBOL पर आधारित हैं(एक नई विंडो में खुलेगा), जबकि Fortran का उपयोग मौसम के पूर्वानुमान(एक नई विंडो में खुलेगा) और परमाणु रिएक्टर के सुरक्षा विश्लेषण(एक नई विंडो में खुलेगा) में किया जाता है. इन भाषाओं में काम करने की एआई की क्षमता बेहतर होने से टीमों को उन सॉफ़्टवेयर के रखरखाव और आधुनिकीकरण में मदद मिल सकती है, जिन पर आवश्यक सेवाएँ निर्भर हैं.
इस काम को डेवलपर और एंटरप्राइज़ ग्राहकों की प्रतिक्रिया से दिशा मिलती है. उन्होंने हमें बताया है कि कोडिंग मॉडल को अक्सर इन भाषाओं में काम करने में कठिनाई होती है. इन सॉफ़्टवेयर का रखरखाव और आधुनिकीकरण कठिन हो सकता है: दस्तावेज़ अधूरे हो सकते हैं, मूल डेवलपर कंपनी छोड़ चुके हो सकते हैं और महत्वपूर्ण व्यावसायिक नियम केवल कोड में दर्ज हो सकते हैं. टीमें चाहे बग ठीक कर रही हों या सॉफ़्टवेयर को दूसरी भाषा में रूपांतरित कर रही हों, उन्हें उसकी वह कार्यप्रणाली बनाए रखनी होती है जिस पर उनकी प्रणालियाँ निर्भर हैं.
प्रगति मापने के लिए हमने दो मूल्यांकन तैयार किए. MultiLangBench जाँचता है कि कोई मॉडल 20 अलग-अलग प्रोग्रामिंग भाषाओं में शून्य से SQLite-संगत डेटाबेस इंजन बना सकता है या नहीं. हमारा COBOL रूपांतरण मूल्यांकन जाँचता है कि कोई मॉडल मौजूदा प्रोग्राम की कार्यप्रणाली बनाए रखते हुए उन्हें दूसरी भाषा में रूपांतरित कर सकता है या नहीं. साथ मिलकर, ये दो पूरक कौशलों की जाँच करते हैं: नया सॉफ़्टवेयर बनाना और मौजूदा सॉफ़्टवेयर की कार्यप्रणाली बनाए रखना.
हमारे नवीनतम मॉडल दोनों मूल्यांकनों में उल्लेखनीय सुधार दिखाते हैं और कम लागत पर कहीं अधिक सटीकता देते हैं.
MultiLangBench पर 20 प्रोग्रामिंग भाषाओं में GPT‑6 Astra की औसत परीक्षण सफलता दर 87.4% है, जबकि GPT‑5.6 Sol की 26.8% थी. परीक्षण में शामिल हर भाषा में सुधार हुआ है. GPT‑6 Luna भी GPT‑5.6 Sol से बेहतर प्रदर्शन करता है और लगभग 78% कम अनुमानित API लागत पर 40.3% की सफलता दर हासिल करता है.
हमारे COBOL रूपांतरण मूल्यांकन में कम रीज़निंग प्रयास पर GPT‑6.1 Sol की सटीकता 86.6% है, जबकि GPT‑5.6 Sol की केवल 5.4% थी. साथ ही, इसकी लागत 39% कम है. अधिक रीज़निंग प्रयास पर सटीकता 97.9% तक पहुँच जाती है, जो मूल्यांकन के अधिकतम संभव स्कोर के बेहद करीब है.
कुल मिलाकर, ये परिणाम दिखाते हैं कि हमारे मॉडल विविध प्रोग्रामिंग भाषाओं में काम करने में काफ़ी बेहतर हो रहे हैं और साथ ही अधिक किफ़ायती भी बन रहे हैं.
MultiLangBench में मॉडल को एक निर्दिष्ट प्रोग्रामिंग भाषा में SQLite-संगत डेटाबेस इंजन बनाने के लिए कहा जाता है. मॉडल को कोडबेस व्यवस्थित करना, स्थिति का प्रबंधन करना, त्रुटियाँ सँभालना और मौजूदा कार्यक्षमता बनाए रखते हुए नई सुविधाएँ जोड़ना होता है.
अलग-अलग भाषाओं में बने कार्यान्वयनों की तुलना करने के लिए हम डेटाबेस फ़ाइलों को साझा इंटरफ़ेस के रूप में इस्तेमाल करते हैं. परीक्षणाधीन प्रोग्राम को एक शुरुआती डेटाबेस और एक SQL क्वेरी मिलती है, जिनसे वह एक संशोधित डेटाबेस तैयार करता है. हम SQLite के संदर्भ कार्यान्वयन से जाँचते हैं कि परिणामी डेटाबेस में अपेक्षित सामग्री है या नहीं. इससे हम इंजन बनाने में इस्तेमाल की गई भाषा चाहे जो भी हो, एक जैसे परीक्षण लागू कर सकते हैं.
हमने SQLite के मौजूदा परीक्षण संग्रह के परीक्षणों को इस प्रारूप में ढाला. यह मूल्यांकन मापता है कि एक लंबे कोडिंग सत्र में मॉडल कितनी काम करने योग्य कार्यक्षमता बना सकता है. इसमें परीक्षणों की सफलता दर और API लागत, दोनों बताई जाती हैं.
अधिकतम रीज़निंग प्रयास पर 20 भाषाओं में GPT‑6 Astra की औसत परीक्षण सफलता दर 87.4% है, जबकि GPT‑5.6 Sol की 26.8% थी. परीक्षण में शामिल हर भाषा में सुधार हुआ है, जिनमें COBOL (10.9% से 72.1%), OCaml (25.6% से 85.8%), Fortran (21.4% से 83.5%) और Visual Basic (27.5% से 89.4%) शामिल हैं. Astra का स्कोर 20 में से 19 भाषाओं में 83% से अधिक है. COBOL सबसे कठिन भाषा बनी हुई है, जिसमें स्कोर 72% है.
GPT‑6 Luna एक कम लागत वाला विकल्प है, जो परीक्षण में शामिल हर भाषा में GPT‑5.6 Sol से बेहतर प्रदर्शन भी करता है. अधिकतम रीज़निंग प्रयास पर इसकी औसत परीक्षण सफलता दर 40.3% तक पहुँचती है. सुधारों में COBOL (10.9% से 17.1%), OCaml (25.6% से 34.1%), Fortran (21.4% से 31.4%) और Visual Basic (27.5% से 41.6%) शामिल हैं. ये सुधार प्रति नमूना $0.77 की अनुमानित औसत API लागत पर मिलते हैं, जो GPT‑5.6 Sol की $3.48 लागत से लगभग 78% कम है.
हम MultiLangBench की मूल्यांकन व्यवस्था और परीक्षण संग्रह को हर भाषा के परिणामों के साथ GitHub(एक नई विंडो में खुलेगा) पर जारी कर रहे हैं. डेवलपर देख सकते हैं कि मूल्यांकन किन चीज़ों की जाँच करता है, अपनी इस्तेमाल की जाने वाली भाषाओं में प्रदर्शन की समीक्षा कर सकते हैं और अपने काम के लिए अहम कमियों की पहचान कर सकते हैं.
हमारे दूसरे मूल्यांकन में मॉडल को COBOL प्रोग्राम की कार्यप्रणाली बनाए रखते हुए उन्हें C++, Java, Kotlin, Python या Rust में रूपांतरित करने के लिए कहा जाता है.
सफल रूपांतरण के लिए प्रोग्राम के व्यावसायिक तर्क और COBOL भाषा की विशिष्ट कार्यप्रणाली, दोनों को समझना ज़रूरी है. COBOL प्रोग्राम अक्सर वित्तीय लेनदेन और व्यावसायिक रिकॉर्ड संसाधित करते हैं. इनमें संख्याओं को पूर्णांकित करने के नियम और अनुपलब्ध रिकॉर्ड को सँभालने के तरीके जैसे विवरण व्यावसायिक आवश्यकताओं को दर्शाते हैं. उदाहरण के लिए, COBOL का निश्चित-बिंदु अंकगणित दशमलव के बाद के अतिरिक्त अंक हटा देता है, जब तक कि पूर्णांकन का स्पष्ट निर्देश न दिया गया हो. अगर दोबारा लिखा गया कोड इसके बजाय उन मानों का पूर्णांकन कर दे, तो वह बिना त्रुटि के चल सकता है, लेकिन वित्तीय परिणाम अलग दे सकता है.
यह जाँचने के लिए कि ये कार्यप्रणालियाँ बरकरार हैं या नहीं, हम मॉडल का मूल्यांकन छिपे हुए परीक्षणों पर करते हैं, जिनमें दिखाई देने वाले आउटपुट का हर बाइट मूल आउटपुट से मेल खाना चाहिए. रूपांतरण को तभी सफल माना जाता है जब सभी परीक्षण सफल हों. कार्यप्रणाली बनाए रखने वाली ऐसी क्षमताएँ पुरानी प्रणालियों का रखरखाव और आधुनिकीकरण करने वाली टीमों के लिए उपयोगी हैं. हालाँकि, वास्तविक उपयोग में चल रहे सॉफ़्टवेयर में इन्हें लागू करने के लिए अब भी विशेषज्ञ समीक्षा और प्रणाली के व्यावसायिक नियमों व निर्भरताओं के आधार पर परीक्षण ज़रूरी हैं.
इस मूल्यांकन में कम रीज़निंग प्रयास पर GPT‑6.1 Sol की सटीकता 86.6% है, जबकि उसी सेटिंग पर GPT‑5.6 Sol की 5.4% थी. यह परिणाम GPT‑5.6 Sol की API लागत के केवल 61% पर मिलता है. अधिक रीज़निंग प्रयास पर सटीकता 97.9% तक पहुँच जाती है, जो मूल्यांकन के अधिकतम संभव स्कोर के करीब है. इन मूल्यांकन परिणामों से अधिक सटीक और किफ़ायती कोड रूपांतरण की दिशा में हुई प्रगति दिखती है. यह उन टीमों के लिए उपयोगी है जो अपने व्यवसायों के लिए ज़रूरी सॉफ़्टवेयर का आधुनिकीकरण कर रही हैं.
डेवलपर और एंटरप्राइज़ ग्राहकों की सीधी प्रतिक्रिया के साथ ये मूल्यांकन हमें यह समझने में मदद करते हैं कि हमारे मॉडल कहाँ बेहतर हो रहे हैं और कहाँ अब भी पीछे हैं.
हमारा लक्ष्य है कि मॉडल अधिक भाषाओं में सॉफ़्टवेयर इंजीनियरिंग कौशल लागू कर सकें: अपरिचित रिपॉज़िटरी समझना, बदलावों की योजना बनाना, बिल्ड टूल का उपयोग करना, परीक्षण चलाना और विफलताओं के कारण ढूँढ़कर उन्हें ठीक करना.
आप API के ज़रिए हमारे नवीनतम मॉडल को अपनी टीम की इस्तेमाल की जाने वाली भाषाओं के कोडिंग कार्यों पर आज़मा सकते हैं. क्या अच्छा काम करता है, मॉडल को कहाँ कठिनाई होती है और हमें आगे किन भाषाओं या कार्यप्रवाहों पर ध्यान देना चाहिए—इन बातों पर आपकी प्रतिक्रिया हमारे मॉडल के प्रशिक्षण और मूल्यांकन को दिशा देती है, ताकि वे आपके ज़रूरी सॉफ़्टवेयर के लिए बेहतर मदद दे सकें.
