અમારા મોડલમાં થયેલી તાજેતરની પ્રગતિથી COBOL, Fortran અને Visual Basic જેવી ઓછાં સંસાધનો ઉપલબ્ધ હોય તેવી પ્રોગ્રામિંગ ભાષાઓમાં સોફ્ટવેર બનાવવા અને તેનું સ્થળાંતર કરવાની ક્ષમતાઓ વધુ મજબૂત બની છે. Python અને JavaScript જેવી ભાષાઓની સરખામણીમાં આ ભાષાઓમાં મોડલને શીખવા માટે ઓછો કોડ અને ઓછાં દસ્તાવેજો ઉપલબ્ધ છે, છતાં વિશ્વભરનું મહત્ત્વપૂર્ણ માળખું અને આવશ્યક સેવાઓ આ ભાષાઓ પર આધાર રાખે છે. 40%થી વધુ ઑનલાઇન બેંકિંગ પ્રણાલીઓ, રૂબરૂ થતા ક્રેડિટ કાર્ડના 80% વ્યવહારો અને ATMના 95% વ્યવહારો COBOL પર આધારિત છે(નવી વિન્ડોમાં ખૂલે છે), જ્યારે Fortranનો ઉપયોગ હવામાનની આગાહી(નવી વિન્ડોમાં ખૂલે છે) અને પરમાણુ રિએક્ટરની સલામતીના વિશ્લેષણ(નવી વિન્ડોમાં ખૂલે છે)માં થાય છે. આ ભાષાઓમાં કામ કરવાની AIની ક્ષમતા સુધારવાથી ટીમોને આવશ્યક સેવાઓ જેના પર નિર્ભર છે તે સોફ્ટવેરની જાળવણી અને આધુનિકીકરણમાં મદદ મળી શકે છે.
ડેવલપર અને મોટા ઉદ્યોગોના ગ્રાહકોના પ્રતિસાદથી આ કાર્યને દિશા મળે છે. તેમણે અમને જણાવ્યું છે કે કોડિંગ મોડલને ઘણી વાર આ ભાષાઓમાં કામ કરવામાં મુશ્કેલી પડે છે. આ સોફ્ટવેરની જાળવણી અને આધુનિકીકરણ મુશ્કેલ હોઈ શકે છે: દસ્તાવેજીકરણ અધૂરું હોય, મૂળ ડેવલપરે કંપની છોડી દીધી હોય અને વ્યવસાયના મહત્ત્વપૂર્ણ નિયમો ફક્ત કોડમાં જ સચવાયેલા હોય એવું બની શકે છે. ટીમો ખામીઓ સુધારતી હોય કે બીજી ભાષામાં માઇગ્રેટ કરતી હોય, તેમની પ્રણાલીઓ જેના પર નિર્ભર છે તે કાર્યરીતિ જાળવવી જરૂરી છે.
પ્રગતિ માપવા માટે અમે બે મૂલ્યાંકન વિકસાવ્યાં. MultiLangBench એ ચકાસે છે કે મોડલ 20 અલગ-અલગ પ્રોગ્રામિંગ ભાષાઓમાં શરૂઆતથી SQLite સાથે સુસંગત ડેટાબેઝ એન્જિન બનાવી શકે છે કે નહીં. અમારું COBOL સ્થળાંતર મૂલ્યાંકન એ ચકાસે છે કે મોડલ હાલના પ્રોગ્રામની કાર્યરીતિ જાળવીને તેમને બીજી ભાષામાં માઇગ્રેટ કરી શકે છે કે નહીં. આ બંને મૂલ્યાંકન મળીને બે પૂરક કૌશલ્યો ચકાસે છે: નવું સોફ્ટવેર બનાવવું અને હાલનું સોફ્ટવેર જે કરે છે તેને જાળવી રાખવું.
અમારા તાજેતરના મોડલ બંને મૂલ્યાંકનમાં નોંધપાત્ર સુધારો દર્શાવે છે અને ઓછા ખર્ચે ઘણી વધારે ચોકસાઈ આપે છે.
MultiLangBench પર 20 પ્રોગ્રામિંગ ભાષાઓમાં પરીક્ષણોમાં સરેરાશ સફળતાનો દર GPT‑5.6 Solના 26.8%થી વધીને GPT‑6 Astra માટે 87.4% થાય છે, અને પરીક્ષણ કરાયેલી દરેક ભાષામાં સુધારો જોવા મળે છે. GPT‑6 Luna પણ GPT‑5.6 Sol કરતાં સારી કામગીરી કરે છે અને આશરે 78% ઓછા અંદાજિત API ખર્ચે 40.3% સુધી પહોંચે છે.
અમારા COBOL સ્થળાંતર મૂલ્યાંકનમાં, ઓછા રિઝનિંગ પ્રયાસ સાથે GPT‑6.1 Sol 86.6% ચોકસાઈ હાંસલ કરે છે, જ્યારે GPT‑5.6 Solની ચોકસાઈ માત્ર 5.4% છે. આ સાથે ખર્ચ પણ 39% ઓછો થાય છે. વધુ રિઝનિંગ પ્રયાસ સાથે ચોકસાઈ 97.9% સુધી પહોંચે છે, એટલે કે મૂલ્યાંકનમાં લગભગ સંપૂર્ણ સફળતા મળે છે.
આ પરિણામો એકંદરે દર્શાવે છે કે અમારા મોડલ વિવિધ પ્રોગ્રામિંગ ભાષાઓમાં કામ કરવામાં નોંધપાત્ર રીતે વધુ સક્ષમ બની રહ્યા છે અને સાથે વધુ ખર્ચ-કાર્યક્ષમ પણ બની રહ્યા છે.
MultiLangBench મોડલને નિર્દિષ્ટ પ્રોગ્રામિંગ ભાષામાં SQLite સાથે સુસંગત ડેટાબેઝ એન્જિન બનાવવાનું કહે છે. મોડલે કોડબેઝ ગોઠવવો, પ્રોગ્રામની સ્થિતિનું સંચાલન કરવું, ભૂલો સંભાળવી અને હાલની કાર્યક્ષમતા જાળવીને નવી સુવિધાઓ ઉમેરવી જરૂરી છે.
જુદી-જુદી ભાષાઓમાં બનાવેલા અમલીકરણોની સરખામણી કરવા માટે અમે ડેટાબેઝ ફાઇલોનો ઉપયોગ સહિયારા ઇન્ટરફેસ તરીકે કરીએ છીએ. પરીક્ષણ હેઠળના પ્રોગ્રામને પ્રારંભિક ડેટાબેઝ અને SQL ક્વેરી આપવામાં આવે છે, ત્યારબાદ તે સુધારેલો ડેટાબેઝ બનાવે છે. પરિણામે મળેલા ડેટાબેઝમાં અપેક્ષિત સામગ્રી છે કે નહીં તે ચકાસવા અમે SQLiteના સંદર્ભ અમલીકરણનો ઉપયોગ કરીએ છીએ. આથી એન્જિન બનાવવા માટે ગમે તે ભાષાનો ઉપયોગ થયો હોય, અમે એકસરખાં પરીક્ષણો લાગુ કરી શકીએ છીએ.
અમે SQLiteના હાલના પરીક્ષણ સંગ્રહમાંથી પરીક્ષણોને આ સ્વરૂપ માટે અનુકૂળ બનાવ્યાં. આ મૂલ્યાંકન લાંબા કોડિંગ સત્ર દરમિયાન મોડલ કેટલી કાર્યરત સુવિધાઓ બનાવી શકે છે તે માપે છે અને પરીક્ષણોમાં સફળતાનો દર તથા API ખર્ચ બંને દર્શાવે છે.
મહત્તમ રિઝનિંગ પ્રયાસ સાથે, આ 20 ભાષાઓમાં પરીક્ષણોમાં સરેરાશ સફળતાનો દર GPT‑5.6 Solના 26.8%થી વધીને GPT‑6 Astra માટે 87.4% થાય છે. પરીક્ષણ કરાયેલી દરેક ભાષામાં સુધારો થયો છે, જેમાં COBOL (10.9%થી 72.1%), OCaml (25.6%થી 85.8%), Fortran (21.4%થી 83.5%) અને Visual Basic (27.5%થી 89.4%)નો સમાવેશ થાય છે. Astra 20માંથી 19 ભાષાઓમાં 83%થી વધુ ગુણ મેળવે છે, જ્યારે COBOL 72% સાથે સૌથી મુશ્કેલ ભાષા રહે છે.
GPT‑6 Luna ઓછા ખર્ચનો વિકલ્પ આપે છે અને પરીક્ષણ કરાયેલી દરેક ભાષામાં GPT‑5.6 Sol કરતાં વધુ સારી કામગીરી પણ કરે છે. મહત્તમ રિઝનિંગ પ્રયાસ સાથે તે પરીક્ષણોમાં 40.3%નો સરેરાશ સફળતા દર હાંસલ કરે છે. સુધારાઓમાં COBOL (10.9%થી 17.1%), OCaml (25.6%થી 34.1%), Fortran (21.4%થી 31.4%) અને Visual Basic (27.5%થી 41.6%)નો સમાવેશ થાય છે. આ સુધારાઓ માટે નમૂના દીઠ અંદાજિત સરેરાશ API ખર્ચ $0.77 છે, જે GPT‑5.6 Solના $3.48ની સરખામણીમાં આશરે 78% ઓછો છે.
અમે દરેક ભાષાનાં પરિણામો સાથે MultiLangBenchની મૂલ્યાંકન વ્યવસ્થા અને પરીક્ષણસંગ્રહ GitHub(નવી વિન્ડોમાં ખૂલે છે) પર જાહેર કરી રહ્યા છીએ. ડેવલપર મૂલ્યાંકન શું ચકાસે છે તે તપાસી શકે છે, પોતે ઉપયોગ કરતા હોય તે ભાષાઓમાં કામગીરીની સમીક્ષા કરી શકે છે અને પોતાના કામ માટે મહત્ત્વની હોય તેવી ખામીઓ ઓળખી શકે છે.
અમારું બીજું મૂલ્યાંકન મોડલને દરેક પ્રોગ્રામનું કાર્ય જાળવીને COBOL પ્રોગ્રામનું C++, Java, Kotlin, Python અથવા Rustમાં માઇગ્રેટ કરવાનું કહે છે.
સફળ સ્થળાંતર માટે પ્રોગ્રામનું વ્યવસાયિક તર્ક અને COBOL ભાષાની ચોક્કસ કાર્યરીતિ બંને સમજવાં જરૂરી છે. COBOL પ્રોગ્રામ ઘણી વાર નાણાકીય વ્યવહારો અને વ્યવસાયિક રેકોર્ડની પ્રક્રિયા કરે છે. તેમાં સંખ્યાઓને પૂર્ણાંકિત કરવાના નિયમો અને ગેરહાજર રેકોર્ડ સંભાળવાની રીત જેવી વિગતો વ્યવસાયની જરૂરિયાતો દર્શાવે છે. ઉદાહરણ તરીકે, COBOLનું નિશ્ચિત દશાંશ સ્થાનવાળું અંકગણિત, પૂર્ણાંકન માટે સ્પષ્ટ સૂચના ન હોય તો, દશાંશ પછીના વધારાના અંકો કાઢી નાખે છે. તેને બદલે આ મૂલ્યોનું પૂર્ણાંકન કરતો ફરીથી લખાયેલો પ્રોગ્રામ ભૂલો વિના ચાલી શકે છે, છતાં તે જુદાં નાણાકીય પરિણામો આપી શકે છે.
આ કાર્યરીતિઓ જળવાઈ છે કે નહીં તે ચકાસવા માટે અમે અમારા મોડલનું ગુપ્ત પરીક્ષણો દ્વારા મૂલ્યાંકન કરીએ છીએ, જેમાં દેખાતા આઉટપુટના દરેક બાઇટ સરખા હોવા જરૂરી છે. બધાં પરીક્ષણો સફળ થાય તો જ સ્થળાંતર સફળ ગણાય છે. કાર્યરીતિ જાળવતી આવી ક્ષમતાઓ જૂની પ્રણાલીઓની જાળવણી અને આધુનિકીકરણ કરતી ટીમો માટે ઉપયોગી છે. જોકે વાસ્તવિક ઉપયોગમાં રહેલા સોફ્ટવેરમાં તેનો અમલ કરવા માટે હજી પણ નિષ્ણાતોની સમીક્ષા અને પ્રણાલીના વ્યવસાયિક નિયમો તથા નિર્ભરતાઓને ધ્યાનમાં રાખીને પરીક્ષણ કરવું જરૂરી છે.
આ મૂલ્યાંકનમાં, ઓછા રિઝનિંગ પ્રયાસ સાથે GPT‑6.1 Sol 86.6% ચોકસાઈ હાંસલ કરે છે, જ્યારે એ જ સેટિંગ પર GPT‑5.6 Solની ચોકસાઈ 5.4% છે. તે પણ GPT‑5.6 Solના API ખર્ચના માત્ર 61% ખર્ચે. વધુ રિઝનિંગ પ્રયાસ સાથે ચોકસાઈ 97.9% સુધી પહોંચે છે, એટલે કે મૂલ્યાંકનમાં લગભગ સંપૂર્ણ સફળતા મળે છે. આ મૂલ્યાંકનનાં પરિણામો દર્શાવે છે કે પોતાના વ્યવસાય માટે આવશ્યક સોફ્ટવેરનું આધુનિકીકરણ કરતી ટીમો માટે વધુ ચોક્કસ અને સસ્તા કોડ સ્થળાંતરની દિશામાં પ્રગતિ થઈ રહી છે.
આ મૂલ્યાંકનો અને ડેવલપર તથા મોટા ઉદ્યોગોના ગ્રાહકોનો સીધો પ્રતિસાદ અમને એ સમજવામાં મદદ કરે છે કે અમારા મોડલ ક્યાં સુધરી રહ્યા છે અને ક્યાં હજી ઓછા પડે છે.
અમારો ધ્યેય મોડલને વધુ ભાષાઓમાં સોફ્ટવેર એન્જિનિયરિંગનાં કૌશલ્યો લાગુ કરવામાં મદદ કરવાનો છે: અજાણી રિપોઝિટરીઓ સમજવી, ફેરફારોનું આયોજન કરવું, બિલ્ડ સાધનો વાપરવાં, પરીક્ષણો ચલાવવાં અને નિષ્ફળતાનાં કારણો શોધીને સુધારવાં.
તમારી ટીમ જે ભાષાઓ વાપરે છે તે ભાષાઓનાં કોડિંગ કાર્યો માટે તમે API મારફતે અમારા તાજેતરના મોડલ અજમાવી શકો છો. શું સારી રીતે કામ કરે છે, મોડલને ક્યાં મુશ્કેલી પડે છે અને હવે પછી આપણે કઈ ભાષાઓ કે કાર્યપ્રવાહો પર ધ્યાન આપવું જોઈએ તે અંગેનો તમારો પ્રતિસાદ અમને મોડલની તાલીમ અને મૂલ્યાંકનની દિશા નક્કી કરવામાં મદદ કરે છે. આથી તમે જેના પર નિર્ભર છો તે સોફ્ટવેર માટે અમે વધુ સારી સહાય આપી શકીએ છીએ.
