പഠനവിഭവങ്ങൾ കുറഞ്ഞ പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ കോഡിംഗിന്റെ മുന്നേറ്റം
COBOL, Fortran, Visual Basic പോലുള്ള, പഠനവിഭവങ്ങൾ കുറഞ്ഞ പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ സോഫ്റ്റ്‌വെയർ നിർമ്മിക്കാനും ഭാഷാമാറ്റം നടത്താനുമുള്ള കഴിവുകൾ ഞങ്ങളുടെ ഏറ്റവും പുതിയ മോഡൽ മുന്നേറ്റങ്ങൾ മെച്ചപ്പെടുത്തുന്നു. Python, JavaScript എന്നിവയെ അപേക്ഷിച്ച് ഈ ഭാഷകളിൽ മോഡലുകൾക്ക് പഠിക്കാൻ ലഭ്യമായ കോഡും രേഖകളും കുറവാണ്. എങ്കിലും ലോകമെങ്ങുമുള്ള നിർണായക അടിസ്ഥാനസൗകര്യങ്ങളും അവശ്യസേവനങ്ങളും ഇവയെ ആശ്രയിക്കുന്നു. ഓൺലൈൻ ബാങ്കിംഗ് സംവിധാനങ്ങളിൽ 40%-ലധികവും നേരിട്ടുള്ള ക്രെഡിറ്റ് കാർഡ് ഇടപാടുകളിൽ 80%-വും ATM ഇടപാടുകളിൽ 95%-വും COBOL അടിസ്ഥാനമാക്കിയാണ് പ്രവർത്തിക്കുന്നത്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു). Fortran ആകട്ടെ, കാലാവസ്ഥാ പ്രവചനത്തിലും(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ആണവ റിയാക്ടർ സുരക്ഷാ വിശകലനത്തിലും(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ഉപയോഗിക്കുന്നു. ഈ ഭാഷകളിൽ പ്രവർത്തിക്കാനുള്ള കൃത്രിമബുദ്ധിയുടെ കഴിവ് മെച്ചപ്പെടുത്തുന്നത്, അവശ്യസേവനങ്ങൾ ആശ്രയിക്കുന്ന സോഫ്റ്റ്‌വെയർ പരിപാലിക്കാനും നവീകരിക്കാനും ടീമുകളെ സഹായിച്ചേക്കാം.
കോഡിംഗ് മോഡലുകൾക്ക് ഈ ഭാഷകൾ കൈകാര്യം ചെയ്യാൻ പലപ്പോഴും ബുദ്ധിമുട്ടുണ്ടെന്ന് ഡെവലപ്പർമാരും സ്ഥാപന ഉപഭോക്താക്കളും ഞങ്ങളെ അറിയിച്ചിട്ടുണ്ട്. അവരുടെ പ്രതികരണങ്ങളാണ് ഈ പ്രവർത്തനത്തിന് ദിശ നൽകുന്നത്. ഈ സോഫ്റ്റ്‌വെയർ പരിപാലിക്കുന്നതും നവീകരിക്കുന്നതും പ്രയാസകരമാകാം: രേഖകൾ അപൂർണ്ണമാകാം, ആദ്യ ഡെവലപ്പർമാർ സ്ഥാപനം വിട്ടിരിക്കാം, പ്രധാന ബിസിനസ് നിയമങ്ങൾ കോഡിൽ മാത്രം നിലനിൽക്കുന്നവയാകാം. പിഴവുകൾ പരിഹരിക്കുമ്പോഴും മറ്റൊരു ഭാഷയിലേക്ക് മാറ്റുമ്പോഴും, സംവിധാനങ്ങൾ ആശ്രയിക്കുന്ന പ്രവർത്തനരീതി ടീമുകൾ നിലനിർത്തേണ്ടതുണ്ട്.
പുരോഗതി അളക്കാൻ ഞങ്ങൾ രണ്ട് മൂല്യനിർണയങ്ങൾ വികസിപ്പിച്ചു. 20 വ്യത്യസ്ത പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ ഒരു SQLite-അനുയോജ്യ ഡാറ്റാബേസ് എൻജിൻ ആദ്യം മുതൽ നിർമ്മിക്കാൻ മോഡലിന് കഴിയുമോ എന്ന് MultiLangBench പരിശോധിക്കുന്നു. നിലവിലുള്ള പ്രോഗ്രാമുകളുടെ പ്രവർത്തനരീതി നിലനിർത്തിക്കൊണ്ട് അവയെ മറ്റൊരു ഭാഷയിലേക്ക് മാറ്റാൻ മോഡലിന് കഴിയുമോ എന്ന് ഞങ്ങളുടെ COBOL ഭാഷാമാറ്റ മൂല്യനിർണയം പരിശോധിക്കുന്നു. പുതിയ സോഫ്റ്റ്‌വെയർ നിർമ്മിക്കുക, നിലവിലുള്ള സോഫ്റ്റ്‌വെയറിന്റെ പ്രവർത്തനം നിലനിർത്തുക എന്നീ പരസ്പരപൂരകമായ രണ്ട് കഴിവുകളാണ് ഇവ പരിശോധിക്കുന്നത്.
രണ്ട് മൂല്യനിർണയങ്ങളിലും ഞങ്ങളുടെ ഏറ്റവും പുതിയ മോഡലുകൾ ഗണ്യമായ പുരോഗതി കാണിക്കുന്നു. കുറഞ്ഞ ചെലവിൽ കൂടുതൽ ഉയർന്ന കൃത്യതയാണ് അവ നൽകുന്നത്.
MultiLangBench-ൽ, 20 പ്രോഗ്രാമിംഗ് ഭാഷകളിലായി GPT‑6 Astra 87.4% ശരാശരി പരിശോധനാ വിജയനിരക്ക് കൈവരിക്കുന്നു. GPT‑5.6 Sol-ന്റെ 26.8%-ൽ നിന്നുള്ള ഈ മുന്നേറ്റം പരിശോധിച്ച എല്ലാ ഭാഷകളിലും പ്രകടമാണ്. GPT‑6 Luna-യും GPT‑5.6 Sol-നെ മറികടന്ന് 40.3% കൈവരിക്കുന്നു. കണക്കാക്കിയ API ചെലവ് ഏകദേശം 78% കുറവുമാണ്.
ഞങ്ങളുടെ COBOL ഭാഷാമാറ്റ മൂല്യനിർണയത്തിൽ, കുറഞ്ഞ റീസണിംഗ് തോതിൽ GPT‑6.1 Sol 86.6% കൃത്യത കൈവരിക്കുന്നു. GPT‑5.6 Sol-ന് ഇത് വെറും 5.4% ആണ്. ചെലവാകട്ടെ 39% കുറവും. റീസണിംഗ് തോത് ഉയർത്തുമ്പോൾ കൃത്യത 97.9%-ൽ എത്തുന്നു. ഇതോടെ മൂല്യനിർണയത്തിലെ പരമാവധി നേട്ടത്തിന് അടുത്തെത്തുന്നു.
വിവിധ പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ പ്രവർത്തിക്കാനുള്ള ഞങ്ങളുടെ മോഡലുകളുടെ കഴിവ് ഗണ്യമായി മെച്ചപ്പെടുന്നുവെന്നും ഒപ്പം ചെലവുകാര്യക്ഷമത വർധിക്കുന്നുവെന്നും ഈ ഫലങ്ങൾ വ്യക്തമാക്കുന്നു.
നിർദിഷ്ട പ്രോഗ്രാമിംഗ് ഭാഷയിൽ SQLite-അനുയോജ്യ ഡാറ്റാബേസ് എൻജിൻ നിർമ്മിക്കാനാണ് MultiLangBench മോഡലിനോട് ആവശ്യപ്പെടുന്നത്. മോഡൽ കോഡ് ശേഖരം ക്രമീകരിക്കുകയും പ്രവർത്തനസ്ഥിതി നിയന്ത്രിക്കുകയും പിശകുകൾ കൈകാര്യം ചെയ്യുകയും നിലവിലെ പ്രവർത്തനങ്ങൾ നിലനിർത്തി പുതിയ സവിശേഷതകൾ ചേർക്കുകയും വേണം.
വിവിധ ഭാഷകളിലെ നടപ്പാക്കലുകൾ താരതമ്യം ചെയ്യാൻ ഡാറ്റാബേസ് ഫയലുകളെ ഞങ്ങൾ പൊതുവായ വിനിമയമാധ്യമമായി ഉപയോഗിക്കുന്നു. പരിശോധനയ്ക്കുള്ള പ്രോഗ്രാമിന് ഒരു പ്രാരംഭ ഡാറ്റാബേസും SQL ക്വറിയും ലഭിക്കുന്നു. തുടർന്ന് അത് മാറ്റം വരുത്തിയ ഡാറ്റാബേസ് സൃഷ്ടിക്കുന്നു. ഫലമായി ലഭിച്ച ഡാറ്റാബേസിൽ പ്രതീക്ഷിച്ച ഉള്ളടക്കമുണ്ടോ എന്ന് പരിശോധിക്കാൻ ഞങ്ങൾ മാനദണ്ഡമായ SQLite നടപ്പാക്കൽ ഉപയോഗിക്കുന്നു. എൻജിൻ നിർമ്മിക്കാൻ ഉപയോഗിച്ച ഭാഷ ഏതായാലും ഒരേ പരിശോധനകൾ നടത്താൻ ഇതിലൂടെ കഴിയുന്നു.
SQLite-ന്റെ നിലവിലുള്ള പരിശോധനാസമുച്ചയത്തിലെ പരിശോധനകൾ ഞങ്ങൾ ഈ രൂപത്തിലേക്ക് മാറ്റി. ദീർഘമായ ഒരു കോഡിംഗ് സെഷനിൽ മോഡലിന് എത്രത്തോളം പ്രവർത്തനക്ഷമത നിർമ്മിക്കാനാകുമെന്ന് ഈ മൂല്യനിർണയം അളക്കുന്നു. പരിശോധനാ വിജയനിരക്കും API ചെലവും ഇത് റിപ്പോർട്ട് ചെയ്യുന്നു.
പരമാവധി റീസണിംഗ് തോതിൽ, 20 ഭാഷകളിലായി GPT‑6 Astra 87.4% ശരാശരി പരിശോധനാ വിജയനിരക്ക് കൈവരിക്കുന്നു. GPT‑5.6 Sol-ന് ഇത് 26.8% ആയിരുന്നു. പരിശോധിച്ച എല്ലാ ഭാഷകളിലും പുരോഗതിയുണ്ട്: COBOL (10.9%-ൽ നിന്ന് 72.1%), OCaml (25.6%-ൽ നിന്ന് 85.8%), Fortran (21.4%-ൽ നിന്ന് 83.5%), Visual Basic (27.5%-ൽ നിന്ന് 89.4%) എന്നിവയിലും. 20 ഭാഷകളിൽ 19-ലും Astra 83%-നു മുകളിൽ നേടുന്നു. ഏറ്റവും പ്രയാസമേറിയ ഭാഷയായ COBOL-ൽ ഇത് 72% ആണ്.
കുറഞ്ഞ ചെലവുള്ള മറ്റൊരു തിരഞ്ഞെടുപ്പായ GPT‑6 Luna-യും പരിശോധിച്ച എല്ലാ ഭാഷകളിലും GPT‑5.6 Sol-നെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു. പരമാവധി റീസണിംഗ് തോതിൽ ഇത് 40.3% ശരാശരി പരിശോധനാ വിജയനിരക്ക് കൈവരിക്കുന്നു. COBOL (10.9%-ൽ നിന്ന് 17.1%), OCaml (25.6%-ൽ നിന്ന് 34.1%), Fortran (21.4%-ൽ നിന്ന് 31.4%), Visual Basic (27.5%-ൽ നിന്ന് 41.6%) എന്നിവയിലും പുരോഗതിയുണ്ട്. ഈ മെച്ചപ്പെടുത്തലുകൾക്കുള്ള കണക്കാക്കിയ ശരാശരി API ചെലവ് സാമ്പിളിന് $0.77 ആണ്. GPT‑5.6 Sol-ന്റെ $3.48-നെ അപേക്ഷിച്ച് ഇത് ഏകദേശം 78% കുറവാണ്.
ഓരോ ഭാഷയിലെയും ഫലങ്ങൾക്കൊപ്പം MultiLangBench മൂല്യനിർണയ സജ്ജീകരണവും പരിശോധനാസമുച്ചയവും ഞങ്ങൾ GitHub(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു)-ൽ പുറത്തിറക്കുന്നു. മൂല്യനിർണയം എന്താണ് പരിശോധിക്കുന്നതെന്ന് മനസ്സിലാക്കാനും തങ്ങൾ ഉപയോഗിക്കുന്ന ഭാഷകളിലെ പ്രകടനം വിലയിരുത്താനും സ്വന്തം ജോലിയെ ബാധിക്കുന്ന പോരായ്മകൾ കണ്ടെത്താനും ഡെവലപ്പർമാർക്ക് കഴിയും.
ഓരോ പ്രോഗ്രാമിന്റെയും പ്രവർത്തനം നിലനിർത്തിക്കൊണ്ട് COBOL പ്രോഗ്രാമുകളെ C++, Java, Kotlin, Python അല്ലെങ്കിൽ Rust-ലേക്ക് മാറ്റാനാണ് ഞങ്ങളുടെ രണ്ടാമത്തെ മൂല്യനിർണയം മോഡലുകളോട് ആവശ്യപ്പെടുന്നത്.
വിജയകരമായ ഭാഷാമാറ്റത്തിന് പ്രോഗ്രാമിന്റെ ബിസിനസ് യുക്തിയും COBOL-ന്റെ പ്രത്യേക ഭാഷാസ്വഭാവവും മനസ്സിലാക്കണം. COBOL പ്രോഗ്രാമുകൾ പലപ്പോഴും സാമ്പത്തിക ഇടപാടുകളും ബിസിനസ് രേഖകളും കൈകാര്യം ചെയ്യുന്നു. സംഖ്യകൾ റൗണ്ട് ചെയ്യാനുള്ള നിയമങ്ങളും ലഭ്യമല്ലാത്ത രേഖകൾ കൈകാര്യം ചെയ്യുന്ന രീതിയും പോലുള്ള വിശദാംശങ്ങൾ ബിസിനസ് ആവശ്യങ്ങൾ പ്രതിഫലിപ്പിക്കുന്നു. ഉദാഹരണത്തിന്, റൗണ്ട് ചെയ്യാൻ വ്യക്തമായി ആവശ്യപ്പെട്ടിട്ടില്ലെങ്കിൽ COBOL-ന്റെ സ്ഥിരദശാംശ ഗണിതത്തിൽ അധിക ദശാംശ അക്കങ്ങൾ ഒഴിവാക്കപ്പെടും. പകരം ആ മൂല്യങ്ങൾ റൗണ്ട് ചെയ്യുന്ന രീതിയിൽ പ്രോഗ്രാം മാറ്റിയെഴുതിയാൽ, അത് പിശകുകളില്ലാതെ പ്രവർത്തിച്ചാലും വ്യത്യസ്ത സാമ്പത്തിക ഫലങ്ങൾ നൽകാം.
ഈ പ്രവർത്തനരീതികൾ നിലനിർത്തുന്നുണ്ടോ എന്ന് അറിയാൻ, നിരീക്ഷിക്കാവുന്ന ഔട്ട്പുട്ടുകൾ ഓരോ ബൈറ്റിലും തുല്യമായിരിക്കണമെന്ന് ആവശ്യപ്പെടുന്ന രഹസ്യ പരിശോധനകളിലൂടെ ഞങ്ങൾ മോഡലുകളെ വിലയിരുത്തുന്നു. എല്ലാ പരിശോധനകളും വിജയിച്ചാൽ മാത്രമേ ഭാഷാമാറ്റം വിജയകരമായി കണക്കാക്കൂ. പ്രവർത്തനരീതി നിലനിർത്താനുള്ള ഇത്തരം കഴിവുകൾ പഴയ സംവിധാനങ്ങൾ പരിപാലിക്കുകയും നവീകരിക്കുകയും ചെയ്യുന്ന ടീമുകൾക്ക് പ്രയോജനകരമാണ്. എന്നാൽ യഥാർഥ ഉപയോഗത്തിലുള്ള സോഫ്റ്റ്‌വെയറിൽ ഇവ പ്രയോഗിക്കാൻ ഇപ്പോഴും വിദഗ്ധ അവലോകനവും സംവിധാനത്തിന്റെ ബിസിനസ് നിയമങ്ങളും ആശ്രിത ഘടകങ്ങളും അടിസ്ഥാനമാക്കിയുള്ള പരിശോധനയും ആവശ്യമാണ്.
ഈ മൂല്യനിർണയത്തിൽ കുറഞ്ഞ റീസണിംഗ് തോതിൽ GPT‑6.1 Sol 86.6% കൃത്യത കൈവരിക്കുന്നു. അതേ ക്രമീകരണത്തിൽ GPT‑5.6 Sol-ന്റെ കൃത്യത 5.4% ആണ്. അതിന്റെ API ചെലവിന്റെ വെറും 61% മാത്രമാണ് GPT‑6.1 Sol-ന് വേണ്ടിവരുന്നത്. റീസണിംഗ് തോത് ഉയർത്തുമ്പോൾ കൃത്യത 97.9%-ൽ എത്തുന്നു. ഇതോടെ മൂല്യനിർണയത്തിലെ പരമാവധി നേട്ടത്തിന് അടുത്തെത്തുന്നു. ബിസിനസുകൾ ആശ്രയിക്കുന്ന സോഫ്റ്റ്‌വെയർ നവീകരിക്കുന്ന ടീമുകൾക്ക് കൂടുതൽ കൃത്യമായും കുറഞ്ഞ ചെലവിലും കോഡ് ഭാഷാമാറ്റം നടത്താനുള്ള വഴിയിലാണ് ഈ ഫലങ്ങൾ പുരോഗതി കാണിക്കുന്നത്.
ഡെവലപ്പർമാരിൽനിന്നും സ്ഥാപന ഉപഭോക്താക്കളിൽനിന്നുമുള്ള നേരിട്ടുള്ള പ്രതികരണങ്ങൾക്കൊപ്പം ഈ മൂല്യനിർണയങ്ങളും, ഞങ്ങളുടെ മോഡലുകൾ എവിടെയാണ് മെച്ചപ്പെടുന്നതെന്നും എവിടെയാണ് ഇപ്പോഴും പിന്നിലാണെന്നും മനസ്സിലാക്കാൻ സഹായിക്കുന്നു.
കൂടുതൽ ഭാഷകളിൽ സോഫ്റ്റ്‌വെയർ എൻജിനീയറിംഗ് കഴിവുകൾ പ്രയോഗിക്കാൻ മോഡലുകളെ സഹായിക്കുകയാണ് ഞങ്ങളുടെ ലക്ഷ്യം: അപരിചിതമായ റിപ്പോസിറ്ററികൾ മനസ്സിലാക്കൽ, മാറ്റങ്ങൾ ആസൂത്രണം ചെയ്യൽ, നിർമ്മാണ ഉപകരണങ്ങൾ ഉപയോഗിക്കൽ, പരിശോധനകൾ നടത്തൽ, തകരാറുകൾ കണ്ടെത്തി പരിഹരിക്കൽ എന്നിവ ഇതിൽപ്പെടുന്നു.
നിങ്ങളുടെ ടീം ഉപയോഗിക്കുന്ന ഭാഷകളിലെ കോഡിംഗ് ജോലികൾക്കായി API വഴി ഞങ്ങളുടെ ഏറ്റവും പുതിയ മോഡലുകൾ പരീക്ഷിക്കാം. എന്തൊക്കെയാണ് നന്നായി പ്രവർത്തിക്കുന്നത്, മോഡലുകൾക്ക് എവിടെയാണ് ബുദ്ധിമുട്ടുള്ളത്, അടുത്തതായി ഏത് ഭാഷകളിലോ പ്രവർത്തനക്രമങ്ങളിലോ ശ്രദ്ധിക്കണം എന്നതിനെക്കുറിച്ചുള്ള നിങ്ങളുടെ പ്രതികരണങ്ങൾ പ്രധാനമാണ്. നിങ്ങൾ ആശ്രയിക്കുന്ന സോഫ്റ്റ്‌വെയറിനെ കൂടുതൽ നന്നായി പിന്തുണയ്ക്കാൻ മോഡലുകളെ പരിശീലിപ്പിക്കുകയും വിലയിരുത്തുകയും ചെയ്യുന്ന രീതി രൂപപ്പെടുത്താൻ അവ സഹായിക്കുന്നു.
