আমাদের মডেলগুলোর সাম্প্রতিক উন্নয়নের ফলে COBOL, Fortran ও Visual Basic-এর মতো কম প্রশিক্ষণ-তথ্যসমৃদ্ধ প্রোগ্রামিং ভাষায় সফটওয়্যার নির্মাণ এবং পুরোনো সফটওয়্যার নতুন প্রযুক্তিতে স্থানান্তরের সক্ষমতা বেড়েছে. Python ও JavaScript-এর মতো ভাষার তুলনায় এসব ভাষায় শেখার উপযোগী কোড ও ডকুমেন্টেশন কম পাওয়া যায়. অথচ বিশ্বজুড়ে গুরুত্বপূর্ণ অবকাঠামো এবং জরুরি পরিষেবাগুলো পরিচালনায় এসব ভাষার ভূমিকা অত্যন্ত গুরুত্বপূর্ণ. অনলাইন ব্যাংকিং ব্যবস্থার 40%-এর বেশি, সরাসরি উপস্থিত হয়ে করা ক্রেডিট কার্ড লেনদেনের 80% এবং এটিএম লেনদেনের 95% পরিচালিত হয়(একটি নতুন উইন্ডোতে খোলে) COBOL-এর সহায়তায়. অন্যদিকে, Fortran ব্যবহৃত হয় আবহাওয়ার পূর্বাভাশ্ব প্রদান(একটি নতুন উইন্ডোতে খোলে) ও পারমাণবিক চুল্লির নিরাপত্তা বিশ্লেষণে(একটি নতুন উইন্ডোতে খোলে). এসব ভাষায় কাজ করার ক্ষেত্রে এআই সক্ষমতা বাড়লে, অত্যাবশ্যকীয় সেবার জন্য প্রয়োজনীয় সফটওয়্যার রক্ষণাবেক্ষণ ও আধুনিকায়নে সংশ্লিষ্ট দলগুলো উপকৃত হতে পারে.
ডেভেলপার এবং এন্টারপ্রাইজ গ্রাহকদের মতামত এই কাজের মূল দিকনির্দেশনা হিসেবে কাজ করেছে. তাঁরা আমাদের জানিয়েছেন, কোডিং মডেলগুলো প্রায়ই এসব ভাষায় কাজ করতে গিয়ে সমস্যার সম্মুখীন হয়. এই সফটওয়্যারগুলোর রক্ষণাবেক্ষণ ও আধুনিকায়ন কঠিন হতে পারে: ডকুমেন্টেশন অসম্পূর্ণ থাকতে পারে, মূল ডেভেলপাররা হয়তো প্রতিষ্ঠান ছেড়ে চলে গেছেন, আর গুরুত্বপূর্ণ ব্যবসায়িক নিয়মগুলো শুধু কোডের মধ্যেই সংরক্ষিত থাকতে পারে. কোনো দল বাগ সংশোধন করুক বা সফটওয়্যারকে অন্য ভাষায় স্থানান্তর করুক, যে কার্যপদ্ধতির ওপর তাদের সিস্টেম নির্ভর করে, সেটি অপরিবর্তিত রাখা জরুরি.
অগ্রগতি পরিমাপের জন্য আমরা দুটি মূল্যায়ন পদ্ধতি তৈরি করেছি. MultiLangBench যাচাই করে, একটি মডেল 20টি ভিন্ন প্রোগ্রামিং ভাষায় একেবারে শুরু থেকে SQLite-সামঞ্জস্যপূর্ণ ডেটাবেস ইঞ্জিন তৈরি করতে পারে কি না. আমাদের COBOL স্থানান্তর মূল্যায়ন যাচাই করে, একটি মডেল বিদ্যমান প্রোগ্রামগুলোর কার্যপ্রণালি অক্ষুণ্ণ রেখে সেগুলোকে অন্য ভাষায় স্থানান্তর করতে পারে কি না. এই দুটি মূল্যায়ন একসঙ্গে দুটি পরিপূরক দক্ষতা যাচাই করে: নতুন সফটওয়্যার তৈরি করা এবং বিদ্যমান সফটওয়্যার যেভাবে কাজ করে, তা অক্ষুণ্ণ রাখা.
আমাদের সর্বশেষ মডেলগুলো উভয় মূল্যায়নেই উল্লেখযোগ্য উন্নতি দেখিয়েছে; এগুলো কম খরচে অনেক বেশি নির্ভুল ফলাফল দিচ্ছে.
MultiLangBench-এ 20টি প্রোগ্রামিং ভাষায় GPT‑6 Astra-এর পরীক্ষায় উত্তীর্ণের গড় হার 87.4%, যেখানে GPT‑5.6 Sol-এর হার ছিল 26.8%. পরীক্ষিত প্রতিটি ভাষাতেই উন্নতি হয়েছে. GPT‑6 Luna-ও GPT‑5.6 Sol-কে ছাড়িয়ে গেছে: আনুমানিক API খরচ প্রায় 78% কমিয়েও উত্তীর্ণের হার পৌঁছেছে 40.3%-এ.
আমাদের COBOL স্থানান্তর মূল্যায়নে GPT‑6.1 Sol যুক্তি বিশ্লেষণের নিম্ন প্রচেষ্টা-মাত্রায় 86.6% নির্ভুলতা অর্জন করেছে. এর তুলনায়, GPT‑5.6 Sol-এর নির্ভুলতা মাত্র 5.4%, অথচ GPT‑6.1 Sol-এর খরচ 39% কম. যুক্তি বিশ্লেষণের প্রচেষ্টার মাত্রা বাড়ালে নির্ভুলতা 97.9%-এ পৌঁছায়, যা এই মূল্যায়নে সর্বোচ্চ অর্জনযোগ্য ফলের প্রায় কাছাকাছি.
সামগ্রিকভাবে, এই ফলাফলগুলো দেখায় যে আমাদের মডেলগুলো বিভিন্ন ধরনের প্রোগ্রামিং ভাষা নিয়ে কাজ করার ক্ষেত্রে উল্লেখযোগ্যভাবে দক্ষ হয়ে উঠছে, একই সঙ্গে ব্যবহার খরচও কমছে.
MultiLangBench-এ একটি মডেলকে নির্দিষ্ট প্রোগ্রামিং ভাষায় SQLite সামঞ্জস্যপূর্ণ ডেটাবেস ইঞ্জিন তৈরি করতে বলা হয়. এক্ষেত্রে মডেলটিকে কোডবেস সাজানো, স্টেট পরিচালনা, ত্রুটি সামলানো এবং বিদ্যমান কার্যকারিতা অক্ষুণ্ণ রেখে নতুন ফিচার যোগ করার কাজ করতে.
বিভিন্ন প্রোগ্রামিং ভাষায় তৈরি বাস্তবায়নগুলোর তুলনা করতে আমরা একটি অভিন্ন ইন্টারফেস হিসেবে ডেটাবেস ফাইল ব্যবহার করি. পরীক্ষাধীন প্রোগ্রামটিকে একটি প্রাথমিক ডেটাবেস ও একটি SQL কোয়েরি দেওয়া হয়, এরপর প্রোগ্রামটি পরিবর্তিত একটি ডেটাবেস তৈরি করে. তৈরি হওয়া ডেটাবেসে প্রত্যাশিত তথ্য আছে কি না যাচাই করতে আমরা মানদণ্ড হিসেবে SQLite এর বাস্তবায়ন ব্যবহার করি. ফলে ইঞ্জিনটি যে ভাষাতেই তৈরি হোক, আমরা একই পরীক্ষা প্রয়োগ করতে পারি.
SQLite এর বিদ্যমান পরীক্ষাসমূহকে আমরা এই মূল্যায়ন পদ্ধতির সঙ্গে সামঞ্জস্যপূর্ণ করে রূপান্তর করেছি. দীর্ঘ কোডিং সেশনে একটি মডেল কতটা কার্যকর বৈশিষ্ট্য তৈরি করতে পারে, এই মূল্যায়ন তা পরিমাপ করে. এতে পরীক্ষায় উত্তীর্ণের হার ও API খরচ—দুটিই জানানো হয়.
যুক্তি বিশ্লেষণের সর্বোচ্চ মাত্রায় ২০টি ভাষায় GPT‑6 Astra-এর পরীক্ষায় উত্তীর্ণের গড় হার 87.4%, যেখানে GPT‑5.6 Sol-এর হার ছিল 26.8%. পরীক্ষিত প্রতিটি ভাষাতেই উন্নতি হয়েছে, যার মধ্যে রয়েছে COBOL (10.9% থেকে 72.1%), OCaml (25.6% থেকে 85.8%), Fortran (21.4% থেকে 83.5%) এবং Visual Basic (27.5% থেকে 89.4%). 20টি ভাষার মধ্যে 19টিতে Astra-এর স্কোর 83%-এর বেশি. COBOL-ই সবচেয়ে কঠিন ভাষা হিসেবে রয়ে গেছে, যেখানে উত্তীর্ণ হওয়ার হার 72%.
GPT‑6 Luna একটি সাশ্রয়ী বিকল্প, যা পরীক্ষিত প্রতিটি ভাষায় GPT‑5.6 Sol-এর চেয়েও ভালো ফল দেয়. যুক্তি বিশ্লেষণের প্রচেষ্টার সর্বোচ্চ মাত্রায় এর পরীক্ষায় উত্তীর্ণের গড় হার 40.3%. উন্নতির মধ্যে রয়েছে COBOL (10.9% থেকে 17.1%), OCaml (25.6% থেকে 34.1%), Fortran (21.4% থেকে 31.4%) এবং Visual Basic (27.5% থেকে 41.6%). এই উন্নতি অর্জিত হয়েছে প্রতি নমুনায় আনুমানিক 0.77 ডলার গড় API খরচে, যেখানে GPT‑5.6 Sol-এর খরচ 3.48 ডলার—অর্থাৎ প্রায় 78% কম.
আমরা প্রতিটি ভাষার ফলাফলসহ MultiLangBench-এর মূল্যায়ন ব্যবস্থা ও পরীক্ষাসমষ্টি GitHub(একটি নতুন উইন্ডোতে খোলে)-এ প্রকাশ করছি. ডেভেলপাররা এই মূল্যায়নে কী যাচাই করা হয় তা খতিয়ে দেখতে, নিজেদের ব্যবহৃত ভাষায় কার্যদক্ষতা পর্যালোচনা করতে এবং নিজেদের কাজের জন্য গুরুত্বপূর্ণ ঘাটতিগুলো শনাক্ত করতে পারবেন.
আমাদের দ্বিতীয় মূল্যায়নে মডেলগুলোকে COBOL প্রোগ্রাম C++, Java, Kotlin, Python অথবা Rust-এ স্থানান্তর করতে বলা হয়, যাতে প্রতিটি প্রোগ্রামের কার্যকারিতা অক্ষুণ্ণ থাকে.
সফলভাবে স্থানান্তর করতে হলে প্রোগ্রামটির ব্যবসায়িক যুক্তি এবং COBOL ভাষার নিজস্ব আচরণ—উভয়ই বুঝতে হয়. COBOL প্রোগ্রাম প্রায়ই আর্থিক লেনদেন ও ব্যবসায়িক রেকর্ড প্রক্রিয়াকরণে ব্যবহৃত হয়. এসব ক্ষেত্রে সংখ্যার রাউন্ডিংয়ের নিয়ম এবং রেকর্ড না পাওয়া গেলে কীভাবে তা সামলানো হবে—এ ধরনের বিষয় ব্যবসায়িক প্রয়োজনীয়তার প্রতিফলন ঘটায়. যেমন, COBOL-এর স্থির দশমিক-বিন্দুভিত্তিক গণনায় স্পষ্টভাবে রাউন্ডিংয়ের নির্দেশ না দিলে অতিরিক্ত দশমিক অঙ্ক বাদ পড়ে. নতুন করে লেখা কোডে এর বদলে মানগুলো পূর্ণায়ন করা হলে, তা ত্রুটি ছাড়াই চলতে পারে, অথচ আর্থিক ফলাফল ভিন্ন হতে পারে.
এই আচরণগুলো অক্ষুণ্ণ থাকছে কি না, তা যাচাই করতে আমরা মডেলগুলোকে কিছু গোপন পরীক্ষার মাধ্যমে মূল্যায়ন করি, এসব পরীক্ষায় পর্যবেক্ষণযোগ্য আউটপুটের প্রতিটি বাইট হুবহু মিলে যেতে হয়. সব পরীক্ষায় উত্তীর্ণ হলেই কেবল স্থানান্তর সফল বলে গণ্য হয়. আচরণ অক্ষুণ্ণ রাখার এ ধরনের সক্ষমতা পুরোনো সিস্টেমের রক্ষণাবেক্ষণ ও আধুনিকায়নে নিযুক্ত দলগুলোর কাজে আসে. তবে উৎপাদন পর্যায়ের সফটওয়্যারে এগুলো প্রয়োগ করার আগে বিশেষজ্ঞের পর্যালোচনা এবং সিস্টেমের ব্যবসায়িক নিয়ম ও নির্ভরশীলতার সঙ্গে সামঞ্জস্য রেখে পরীক্ষা করা এখনও জরুরি.
এই মূল্যায়নে যুক্তি বিশ্লেষণের নিম্ন মাত্রায় GPT‑6.1 Sol-এর নির্ভুলতা 86.6%, যেখানে একই সেটিংয়ে GPT‑5.6 Sol-এর নির্ভুলতা মাত্র 5.4%. এ ক্ষেত্রে GPT‑6.1 Sol-এর API খরচ GPT‑5.6 Sol-এর খরচের মাত্র 61%. যুক্তি বিশ্লেষণের মাত্রা বাড়ালে নির্ভুলতা 97.9%-এ পৌঁছায়, যা এই মূল্যায়নে সর্বোচ্চ অর্জনযোগ্য ফলের কাছাকাছি. এই মূল্যায়নের ফলাফল দেখায়, ব্যবসায়িক কার্যক্রমে নির্ভরশীল সফটওয়্যার আধুনিকায়নের ক্ষেত্রে দলগুলোর জন্য আরও নির্ভুল ও সাশ্রয়ী কোড স্থানান্তরের পথে অগ্রগতি হচ্ছে.
এই মূল্যায়নগুলো, ডেভেলপার ও এন্টারপ্রাইজ গ্রাহকদের কাছ থেকে সরাসরি পাওয়া মতামতের পাশাপাশি, আমাদের বুঝতে সাহায্য করে যে আমাদের মডেলগুলো কোন কোন ক্ষেত্রে উন্নতি করছে এবং কোথায় এখনও প্রত্যাশিত মানে পৌঁছাতে পারছে না.
আমাদের লক্ষ্য, আরও বেশি ভাষায় সফটওয়্যার প্রকৌশলের দক্ষতা প্রয়োগে মডেলগুলোকে সাহায্য করা: অপরিচিত রিপোজিটরি বোঝা, পরিবর্তনের পরিকল্পনা করা, বিল্ড টুল ব্যবহার, পরীক্ষা চালানো এবং ব্যর্থতার কারণ খুঁজে ত্রুটি সংশোধন করা.
আপনার দল যেসব ভাষা ব্যবহার করে, সেগুলোর কোডিংয়ের কাজে API-এর মাধ্যমে আমাদের সর্বশেষ মডেলগুলো ব্যবহার করে দেখতে পারেন. কী ভালো কাজ করছে, কোথায় মডেলগুলো সমস্যায় পড়ছে এবং এরপর কোন ভাষা বা ওয়ার্কফ্লোতে আমাদের মনোযোগ দেওয়া উচিত—এসব বিষয়ে আপনার মতামত মডেলের প্রশিক্ষণ ও মূল্যায়নের দিকনির্দেশনা দেয়. এতে আপনার নির্ভরযোগ্য সফটওয়্যারের জন্য আমরা আরও ভালো সহায়তা দিতে পারি.
