ہمارے ماڈلز میں تازہ ترین پیش رفت سے COBOL, Fortran اور Visual Basic جیسی کم وسائل کی حامل پروگرامنگ زبانوں میں سافٹ ویئر بنانے اور اسے منتقل کرنے کی صلاحیتوں میں بہتری آئی ہے. Python اور JavaScript جیسی زبانوں کے مقابلے میں ان زبانوں میں ماڈلز کے سیکھنے کے لیے کم کوڈ اور دستاویزات دستیاب ہیں, لیکن پھر بھی دنیا بھر کا اہم بنیادی ڈھانچہ اور ضروری خدمات ان پر انحصار کرتی ہیں. 40% سے زیادہ آن لائن بینکنگ سسٹمز, بالمشافہ کریڈٹ کارڈ ٹرانزیکشنز کا 80% اور ATM ٹرانزیکشنز کا 95% COBOL پر انحصار کرتے ہیں(نئی ونڈو میں کھلتا ہے), جبکہ Fortran کو موسم کی پیش گوئی(نئی ونڈو میں کھلتا ہے) اور جوہری ری ایکٹر کی حفاظت کے تجزیے(نئی ونڈو میں کھلتا ہے) میں استعمال کیا جاتا ہے. ان زبانوں میں کام کرنے کی AI کی صلاحیت کو بہتر بنا کر ٹیموں کو اس سافٹ ویئر کی دیکھ بھال اور اسے جدید بنانے میں مدد مل سکتی ہے جس پر ضروری خدمات انحصار کرتی ہیں.
اس کام میں ہمیں ڈیولپرز اور ادارہ جاتی صارفین کی آرا سے رہنمائی ملتی ہے, جنہوں نے بتایا ہے کہ کوڈنگ ماڈلز کو اکثر ان زبانوں میں دشواری پیش آتی ہے. اس سافٹ ویئر کی دیکھ بھال اور اسے جدید بنانا مشکل ہو سکتا ہے: دستاویزات نامکمل ہو سکتی ہیں, اصل ڈیولپرز کمپنی چھوڑ چکے ہو سکتے ہیں, اور اہم کاروباری قواعد صرف کوڈ میں موجود ہو سکتے ہیں. ٹیمیں چاہے خامیاں دور کر رہی ہوں یا سافٹ ویئر کو دوسری زبان میں منتقل کر رہی ہوں, انہیں کام کرنے کا وہ طرز برقرار رکھنا ہوتا ہے جس پر ان کے سسٹم انحصار کرتے ہیں.
پیش رفت کی پیمائش کے لیے ہم نے دو جائزے تیار کیے. MultiLangBench جانچتا ہے کہ آیا کوئی ماڈل 20 مختلف پروگرامنگ زبانوں میں SQLite سے ہم آہنگ ڈیٹابیس انجن بالکل ابتدا سے بنا سکتا ہے. COBOL کی منتقلی کا ہمارا جائزہ جانچتا ہے کہ آیا کوئی ماڈل موجودہ پروگراموں کے کام کرنے کا طرز برقرار رکھتے ہوئے انہیں دوسری زبان میں منتقل کر سکتا ہے. یہ دونوں جائزے مل کر ایک دوسرے کی تکمیل کرنے والی دو مہارتیں جانچتے ہیں: نیا سافٹ ویئر بنانا اور موجودہ سافٹ ویئر کے کام کو برقرار رکھنا.
ہمارے تازہ ترین ماڈلز دونوں جائزوں میں نمایاں بہتری دکھاتے ہیں اور کم لاگت پر کہیں زیادہ درست نتائج دیتے ہیں.
MultiLangBench پر GPT‑6 Astra کی 20 پروگرامنگ زبانوں میں ٹیسٹ میں کامیابی کی اوسط شرح 87.4% ہے, جبکہ GPT‑5.6 Sol کی یہ شرح 26.8% تھی, اور آزمائی گئی ہر زبان میں بہتری آئی ہے. GPT‑6 Luna بھی GPT‑5.6 Sol سے بہتر کارکردگی دکھاتا ہے اور API کی تخمینی لاگت تقریباً 78% کم رکھتے ہوئے 40.3% تک پہنچتا ہے.
COBOL کی منتقلی کے ہمارے جائزے میں GPT‑6.1 Sol کم ریزننگ کی سطح پر 86.6% درستگی حاصل کرتا ہے, جبکہ GPT‑5.6 Sol کی درستگی صرف 5.4% ہے, اور لاگت بھی 39% کم آتی ہے. ریزننگ کی زیادہ سطح پر درستگی 97.9% تک پہنچ جاتی ہے, یعنی جائزے میں تقریباً مکمل کامیابی حاصل ہو جاتی ہے.
مجموعی طور پر, یہ نتائج دکھاتے ہیں کہ ہمارے ماڈلز مختلف پروگرامنگ زبانوں میں کام کرنے میں نمایاں طور پر بہتر ہو رہے ہیں اور ساتھ ہی کم لاگت میں بہتر نتائج بھی دے رہے ہیں.
MultiLangBench میں ماڈل سے کسی مقررہ پروگرامنگ زبان میں SQLite سے ہم آہنگ ڈیٹابیس انجن بنانے کو کہا جاتا ہے. ماڈل کو کوڈ بیس کو منظم کرنا, سسٹم کی حالت کا نظم کرنا, خرابیوں سے نمٹنا اور موجودہ فنکشنلٹی کو برقرار رکھتے ہوئے نئے فیچرز شامل کرنے ہوتے ہیں.
مختلف زبانوں میں تیار کردہ نسخوں کا موازنہ کرنے کے لیے ہم ڈیٹابیس فائلوں کو مشترکہ واسطے کے طور پر استعمال کرتے ہیں. زیرِ آزمائش پروگرام کو ایک ابتدائی ڈیٹابیس اور ایک SQL استفسار دیا جاتا ہے, جس کے بعد وہ ایک ترمیم شدہ ڈیٹابیس تیار کرتا ہے. ہم SQLite کے حوالہ جاتی نسخے سے جانچتے ہیں کہ آیا حاصل شدہ ڈیٹابیس میں متوقع مواد موجود ہے. اس طرح انجن کسی بھی زبان میں بنایا گیا ہو, ہم اس پر وہی ٹیسٹ لاگو کر سکتے ہیں.
ہم نے SQLite کے موجودہ ٹیسٹ سوئٹ سے ٹیسٹ لے کر انہیں اس وضع کے مطابق ڈھالا. یہ جائزہ پیمائش کرتا ہے کہ ایک طویل کوڈنگ نشست میں ماڈل کتنا قابلِ عمل سافٹ ویئر تیار کر سکتا ہے, اور ٹیسٹ میں کامیابی کی شرح اور API کی لاگت دونوں بتاتا ہے.
ریزننگ کی زیادہ سے زیادہ سطح پر GPT‑6 Astra کی ان 20 زبانوں میں ٹیسٹ میں کامیابی کی اوسط شرح 87.4% ہے, جبکہ GPT‑5.6 Sol کی یہ شرح 26.8% تھی. آزمائی گئی ہر زبان میں بہتری آئی ہے, جن میں COBOL (10.9% سے 72.1%), OCaml (25.6% سے 85.8%), Fortran (21.4% سے 83.5%) اور Visual Basic (27.5% سے 89.4%) شامل ہیں. Astra کا اسکور 20 میں سے 19 زبانوں میں 83% سے زیادہ ہے, جبکہ COBOL اب بھی سب سے مشکل زبان ہے, جس میں اسکور 72% ہے.
GPT‑6 Luna ایک کم لاگت والا متبادل ہے جو آزمائی گئی ہر زبان میں GPT‑5.6 Sol سے بھی بہتر کارکردگی دکھاتا ہے. ریزننگ کی زیادہ سے زیادہ سطح پر اس کی ٹیسٹ میں کامیابی کی اوسط شرح 40.3% تک پہنچتی ہے. بہتری کی مثالوں میں COBOL (10.9% سے 17.1%), OCaml (25.6% سے 34.1%), Fortran (21.4% سے 31.4%) اور Visual Basic (27.5% سے 41.6%) شامل ہیں. یہ بہتریاں API کی فی نمونہ تخمینی اوسط لاگت $0.77 پر حاصل ہوتی ہیں, جبکہ GPT‑5.6 Sol کے لیے یہ لاگت $3.48 ہے, یعنی تقریباً 78% کم.
ہم MultiLangBench کے ایویلیوایشن سیٹ اپ اور ٹیسٹ سوئٹ, ہر زبان کے نتائج کے ساتھ, GitHub(نئی ونڈو میں کھلتا ہے) پر جاری کر رہے ہیں. ڈیولپرز دیکھ سکتے ہیں کہ جائزے میں کیا جانچا جاتا ہے, اپنی استعمال کردہ زبانوں میں کارکردگی کا جائزہ لے سکتے ہیں اور ایسی کمیوں کی نشان دہی کر سکتے ہیں جو ان کے کام کے لیے اہم ہیں.
ہمارے دوسرے جائزے میں ماڈلز سے کہا جاتا ہے کہ وہ ہر پروگرام کے کام کو برقرار رکھتے ہوئے COBOL پروگراموں کو C++, Java, Kotlin, Python یا Rust میں منتقل کریں.
کامیاب منتقلی کے لیے پروگرام کی کاروباری منطق اور COBOL زبان کے مخصوص طرزِ عمل, دونوں کو سمجھنا ضروری ہے. COBOL پروگرام اکثر مالی ٹرانزیکشنز اور کاروباری ریکارڈ پر کارروائی کرتے ہیں, جہاں اعداد کو قریب ترین قدر تک لانے کے قواعد اور گم شدہ ریکارڈ سے نمٹنے جیسی تفصیلات کاروباری ضروریات کی عکاسی کرتی ہیں. مثلاً, COBOL کا مقررہ اعشاری حساب زائد اعشاری ہندسے حذف کر دیتا ہے, جب تک واضح طور پر قریب ترین قدر تک لانے کو نہ کہا جائے. اگر دوبارہ لکھا گیا کوڈ اس کے بجائے ان قدروں کو قریب ترین قدر تک لے جائے, تو وہ بغیر کسی خرابی کے چلنے کے باوجود مختلف مالی نتائج دے سکتا ہے.
یہ جانچنے کے لیے کہ آیا کام کرنے کے یہ طریقے برقرار ہیں, ہم اپنے ماڈلز کو ایسے پوشیدہ ٹیسٹوں پر پرکھتے ہیں جن میں قابلِ مشاہدہ آؤٹ پٹ کا ہر بائٹ یکساں ہونا ضروری ہے. منتقلی صرف اسی وقت کامیاب سمجھی جاتی ہے جب تمام ٹیسٹ پاس ہو جائیں. کام کرنے کا طرز برقرار رکھنے کی ایسی صلاحیتیں پرانے سسٹموں کی دیکھ بھال اور انہیں جدید بنانے والی ٹیموں کے لیے مفید ہیں, تاہم عملی استعمال کے سافٹ ویئر پر انہیں لاگو کرنے کے لیے اب بھی ماہرین کا جائزہ اور سسٹم کے کاروباری قواعد اور انحصارات کے مطابق جانچ ضروری ہے.
اس جائزے میں GPT‑6.1 Sol کم ریزننگ کی سطح پر 86.6% درستگی حاصل کرتا ہے, جبکہ اسی ترتیب پر GPT‑5.6 Sol کی درستگی 5.4% ہے, اور API کی لاگت بھی اس کی صرف 61% ہے. ریزننگ کی زیادہ سطح پر درستگی 97.9% تک پہنچ جاتی ہے, یعنی جائزے میں تقریباً مکمل کامیابی حاصل ہو جاتی ہے. ان جائزوں کے نتائج زیادہ درست اور کم لاگت میں کوڈ کی منتقلی کی جانب پیش رفت دکھاتے ہیں, خاص طور پر ان ٹیموں کے لیے جو اپنے کاروبار کے لیے ضروری سافٹ ویئر کو جدید بنا رہی ہیں.
یہ جائزے, ڈیولپرز اور ادارہ جاتی صارفین کی براہِ راست آرا کے ساتھ, ہمیں یہ سمجھنے میں مدد دیتے ہیں کہ ہمارے ماڈلز کہاں بہتر ہو رہے ہیں اور کہاں اب بھی پیچھے ہیں.
ہمارا مقصد ماڈلز کو مزید زبانوں میں سافٹ ویئر انجینئرنگ کی مہارتیں بروئے کار لانے میں مدد دینا ہے: غیر مانوس ریپوزٹریز کو سمجھنا, تبدیلیوں کی منصوبہ بندی کرنا, سافٹ ویئر کی تیاری کے اوزار استعمال کرنا, ٹیسٹ چلانا اور خرابیوں کی وجہ ڈھونڈ کر انہیں دور کرنا.
آپ API کے ذریعے ہمارے تازہ ترین ماڈلز کو اپنی ٹیم کی استعمال کردہ زبانوں میں کوڈنگ کے کاموں پر آزما سکتے ہیں. کیا اچھا کام کرتا ہے, ماڈلز کو کہاں دشواری ہوتی ہے, اور ہمیں آگے کن زبانوں یا طریقۂ کار پر توجہ دینی چاہیے—ان باتوں پر آپ کی رائے ہمیں ماڈلز کی تربیت اور جانچ کا طریقہ طے کرنے میں مدد دیتی ہے, تاکہ وہ آپ کے لیے ضروری سافٹ ویئر میں بہتر معاونت کر سکیں.
