ਸਾਡੇ ਮਾਡਲਾਂ ਵਿੱਚ ਨਵੀਨਤਮ ਤਰੱਕੀ ਨਾਲ COBOL, Fortran ਅਤੇ Visual Basic ਵਰਗੀਆਂ ਘੱਟ ਸੰਸਾਧਨਾਂ ਵਾਲੀਆਂ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਸੌਫਟਵੇਅਰ ਬਣਾਉਣ ਅਤੇ ਮਾਈਗ੍ਰੇਸ਼ਨ ਕਰਨ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਹੋਰ ਮਜ਼ਬੂਤ ਹੋਈਆਂ ਹਨ. Python ਅਤੇ JavaScript ਵਰਗੀਆਂ ਭਾਸ਼ਾਵਾਂ ਦੇ ਮੁਕਾਬਲੇ ਇਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਮਾਡਲਾਂ ਦੇ ਸਿੱਖਣ ਲਈ ਘੱਟ ਕੋਡ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਉਪਲਬਧ ਹਨ, ਫਿਰ ਵੀ ਦੁਨੀਆ ਭਰ ਦਾ ਅਹਿਮ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਅਤੇ ਜ਼ਰੂਰੀ ਸੇਵਾਵਾਂ ਇਹਨਾਂ 'ਤੇ ਨਿਰਭਰ ਹਨ. 40% ਤੋਂ ਵੱਧ ਔਨਲਾਈਨ ਬੈਂਕਿੰਗ ਪ੍ਰਣਾਲੀਆਂ, 80% ਵਿਅਕਤੀਗਤ ਤੌਰ 'ਤੇ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਕ੍ਰੈਡਿਟ ਕਾਰਡ ਲੈਣ-ਦੇਣ ਅਤੇ 95% ATM ਲੈਣ-ਦੇਣ COBOL ਨੂੰ ਵਰਤਦੇ ਹਨ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਜਦਕਿ Fortran ਦੀ ਵਰਤੋਂ ਮੌਸਮ ਦੀ ਭਵਿੱਖਬਾਣੀ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਅਤੇ ਪਰਮਾਣੂ ਰਿਐਕਟਰਾਂ ਦੇ ਸੁਰੱਖਿਆ ਵਿਸ਼ਲੇਸ਼ਣ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵਿੱਚ ਹੁੰਦੀ ਹੈ. ਇਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਕੰਮ ਕਰਨ ਦੀ AI ਦੀ ਸਮਰੱਥਾ ਸੁਧਾਰਨ ਨਾਲ ਟੀਮਾਂ ਨੂੰ ਉਸ ਸੌਫਟਵੇਅਰ ਦੀ ਸੰਭਾਲ ਅਤੇ ਆਧੁਨਿਕੀਕਰਨ ਵਿੱਚ ਮਦਦ ਮਿਲ ਸਕਦੀ ਹੈ ਜਿਸ 'ਤੇ ਜ਼ਰੂਰੀ ਸੇਵਾਵਾਂ ਨਿਰਭਰ ਹਨ.
ਇਸ ਕੰਮ ਨੂੰ ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਗਾਹਕਾਂ ਦੀਆਂ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਤੋਂ ਸੇਧ ਮਿਲਦੀ ਹੈ, ਜਿਨ੍ਹਾਂ ਨੇ ਸਾਨੂੰ ਦੱਸਿਆ ਹੈ ਕਿ ਕੋਡਿੰਗ ਮਾਡਲਾਂ ਨੂੰ ਇਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਅਕਸਰ ਮੁਸ਼ਕਲ ਆਉਂਦੀ ਹੈ. ਇਸ ਸੌਫਟਵੇਅਰ ਦੀ ਸੰਭਾਲ ਅਤੇ ਆਧੁਨਿਕੀਕਰਨ ਮੁਸ਼ਕਲ ਹੋ ਸਕਦਾ ਹੈ: ਦਸਤਾਵੇਜ਼ ਅਧੂਰੇ ਹੋ ਸਕਦੇ ਹਨ, ਮੂਲ ਡਿਵੈਲਪਰ ਕੰਪਨੀ ਛੱਡ ਚੁੱਕੇ ਹੋ ਸਕਦੇ ਹਨ ਅਤੇ ਕਾਰੋਬਾਰ ਦੇ ਅਹਿਮ ਨਿਯਮ ਸਿਰਫ਼ ਕੋਡ ਵਿੱਚ ਹੀ ਮੌਜੂਦ ਹੋ ਸਕਦੇ ਹਨ. ਭਾਵੇਂ ਟੀਮਾਂ ਬੱਗ ਠੀਕ ਕਰ ਰਹੀਆਂ ਹੋਣ ਜਾਂ ਕਿਸੇ ਹੋਰ ਭਾਸ਼ਾ ਵਿੱਚ ਮਾਈਗ੍ਰੇਟ ਕਰ ਰਹੀਆਂ ਹੋਣ, ਉਹਨਾਂ ਨੂੰ ਉਹ ਕਾਰਜਸ਼ੀਲਤਾ ਬਰਕਰਾਰ ਰੱਖਣੀ ਪੈਂਦੀ ਹੈ ਜਿਸ 'ਤੇ ਉਹਨਾਂ ਦੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ.
ਪ੍ਰਗਤੀ ਮਾਪਣ ਲਈ, ਅਸੀਂ ਦੋ ਮੁਲਾਂਕਣ ਤਿਆਰ ਕੀਤੇ. MultiLangBench ਪਰਖਦਾ ਹੈ ਕਿ ਕੀ ਕੋਈ ਮਾਡਲ 20 ਵੱਖ-ਵੱਖ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ SQLite - ਅਨੁਕੂਲ ਡਾਟਾਬੇਸ ਇੰਜਣ ਸ਼ੁਰੂ ਤੋਂ ਬਣਾ ਸਕਦਾ ਹੈ. ਸਾਡਾ COBOL ਮਾਈਗ੍ਰੇਸ਼ਨ ਮੁਲਾਂਕਣ ਪਰਖਦਾ ਹੈ ਕਿ ਕੀ ਕੋਈ ਮਾਡਲ ਮੌਜੂਦਾ ਪ੍ਰੋਗਰਾਮਾਂ ਦਾ ਵਿਹਾਰ ਬਰਕਰਾਰ ਰੱਖਦਿਆਂ ਉਹਨਾਂ ਨੂੰ ਕਿਸੇ ਹੋਰ ਭਾਸ਼ਾ ਵਿੱਚ ਮਾਈਗ੍ਰੇਟ ਕਰ ਸਕਦਾ ਹੈ. ਇਹ ਦੋਵੇਂ ਮਿਲ ਕੇ ਦੋ ਪੂਰਕ ਸਕਿੱਲਾਂ ਨੂੰ ਪਰਖਦੇ ਹਨ: ਨਵਾਂ ਸੌਫਟਵੇਅਰ ਬਣਾਉਣਾ ਅਤੇ ਮੌਜੂਦਾ ਸੌਫਟਵੇਅਰ ਦੀ ਕਾਰਜਸ਼ੀਲਤਾ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣਾ.
ਸਾਡੇ ਨਵੀਨਤਮ ਮਾਡਲ ਦੋਵਾਂ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚ ਕਾਫ਼ੀ ਸੁਧਾਰ ਦਿਖਾਉਂਦੇ ਹਨ ਅਤੇ ਘੱਟ ਲਾਗਤ 'ਤੇ ਬਹੁਤ ਵੱਧ ਸਟੀਕਤਾ ਦਿੰਦੇ ਹਨ.
MultiLangBench 'ਤੇ GPT‑6 Astra ਦੀ 20 ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਟੈਸਟ ਪਾਸ ਕਰਨ ਦੀ ਔਸਤ ਦਰ 87.4% ਹੈ, ਜਦਕਿ GPT‑5.6 Sol ਲਈ ਇਹ 26.8% ਸੀ. ਪਰਖੀ ਗਈ ਹਰ ਭਾਸ਼ਾ ਵਿੱਚ ਸੁਧਾਰ ਹੋਇਆ ਹੈ. GPT‑6 Luna ਵੀ GPT‑5.6 Sol ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ ਅਤੇ ਲਗਭਗ 78% ਘੱਟ ਅਨੁਮਾਨਿਤ API ਲਾਗਤ 'ਤੇ 40.3% ਦੀ ਦਰ ਹਾਸਲ ਕਰਦਾ ਹੈ.
ਸਾਡੇ COBOL ਮਾਈਗ੍ਰੇਸ਼ਨ ਮੁਲਾਂਕਣ ਵਿੱਚ GPT‑6.1 Sol ਘੱਟ ਰੀਜ਼ਨਿੰਗ ਯਤਨ ਨਾਲ 86.6% ਸਟੀਕਤਾ ਹਾਸਲ ਕਰਦਾ ਹੈ, ਜਦਕਿ GPT‑5.6 Sol ਲਈ ਇਹ ਸਿਰਫ਼ 5.4% ਹੈ. ਇਸ ਦੀ ਲਾਗਤ ਵੀ 39% ਘੱਟ ਹੈ. ਵੱਧ ਰੀਜ਼ਨਿੰਗ ਯਤਨ ਨਾਲ ਸਟੀਕਤਾ 97.9% ਤੱਕ ਪਹੁੰਚ ਜਾਂਦੀ ਹੈ, ਜੋ ਮੁਲਾਂਕਣ ਵਿੱਚ ਲਗਭਗ ਪੂਰੀ ਸਟੀਕਤਾ ਦੇ ਬਰਾਬਰ ਹੈ.
ਇਕੱਠੇ ਵੇਖਿਆਂ, ਇਹ ਨਤੀਜੇ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਸਾਡੇ ਮਾਡਲ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਕੰਮ ਕਰਨ ਵਿੱਚ ਕਾਫ਼ੀ ਬਿਹਤਰ ਹੋ ਰਹੇ ਹਨ ਅਤੇ ਨਾਲ ਹੀ ਵਧੇਰੇ ਕਿਫ਼ਾਇਤੀ ਵੀ ਬਣ ਰਹੇ ਹਨ.
MultiLangBench ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਇੱਕ ਨਿਰਧਾਰਤ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਵਿੱਚ SQLite - ਅਨੁਕੂਲ ਡਾਟਾਬੇਸ ਇੰਜਣ ਬਣਾਉਣ ਲਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ. ਮਾਡਲ ਨੂੰ ਕੋਡਬੇਸ ਵਿਵਸਥਿਤ ਕਰਨਾ, ਸਥਿਤੀ ਦਾ ਪ੍ਰਬੰਧ ਕਰਨਾ, ਗ਼ਲਤੀਆਂ ਸੰਭਾਲਣੀਆਂ ਅਤੇ ਮੌਜੂਦਾ ਫੰਕਸ਼ਨੈਲਿਟੀ ਬਰਕਰਾਰ ਰੱਖਦਿਆਂ ਨਵੇਂ ਫੀਚਰ ਜੋੜਨੇ ਪੈਂਦੇ ਹਨ.
ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਬਣੇ ਰੂਪਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ ਅਸੀਂ ਡਾਟਾਬੇਸ ਫ਼ਾਈਲਾਂ ਨੂੰ ਸਾਂਝੇ ਇੰਟਰਫੇਸ ਵਜੋਂ ਵਰਤਦੇ ਹਾਂ. ਪਰਖੇ ਜਾ ਰਹੇ ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਡਾਟਾਬੇਸ ਅਤੇ SQL ਪੁੱਛਗਿੱਛ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਤੋਂ ਬਾਅਦ ਉਹ ਇੱਕ ਸੋਧਿਆ ਹੋਇਆ ਡਾਟਾਬੇਸ ਬਣਾਉਂਦਾ ਹੈ. ਅਸੀਂ SQLite ਦੀ ਰੈਫ਼ਰੈਂਸ ਇੰਪਲੀਮੈਂਟੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਜਾਂਚਦੇ ਹਾਂ ਕਿ ਨਤੀਜੇ ਵਜੋਂ ਬਣੇ ਡਾਟਾਬੇਸ ਵਿੱਚ ਉਮੀਦ ਮੁਤਾਬਕ ਸਮੱਗਰੀ ਹੈ ਜਾਂ ਨਹੀਂ. ਇਸ ਤਰ੍ਹਾਂ ਅਸੀਂ ਇੱਕੋ ਟੈਸਟ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹਾਂ, ਭਾਵੇਂ ਇੰਜਣ ਕਿਸੇ ਵੀ ਭਾਸ਼ਾ ਵਿੱਚ ਬਣਾਇਆ ਗਿਆ ਹੋਵੇ.
ਅਸੀਂ SQLite ਦੇ ਮੌਜੂਦਾ ਟੈਸਟ ਸੂਟ ਵਿਚਲੇ ਟੈਸਟਾਂ ਨੂੰ ਇਸ ਫਾਰਮੈਟ ਲਈ ਢਾਲਿਆ. ਇਹ ਮੁਲਾਂਕਣ ਮਾਪਦਾ ਹੈ ਕਿ ਲੰਬੇ ਕੋਡਿੰਗ ਸੈਸ਼ਨ ਦੌਰਾਨ ਮਾਡਲ ਕਿੰਨੀ ਕਾਰਜਸ਼ੀਲ ਫੰਕਸ਼ਨੈਲਿਟੀ ਬਣਾ ਸਕਦਾ ਹੈ ਅਤੇ ਟੈਸਟ ਪਾਸ ਕਰਨ ਦੀ ਦਰ ਤੇ API ਲਾਗਤ, ਦੋਵੇਂ ਦੱਸਦਾ ਹੈ.
ਵੱਧ ਤੋਂ ਵੱਧ ਰੀਜ਼ਨਿੰਗ ਯਤਨ ਨਾਲ GPT‑6 Astra ਦੀਆਂ 20 ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਟੈਸਟ ਪਾਸ ਕਰਨ ਦੀ ਔਸਤ ਦਰ 87.4% ਹੈ, ਜੋ GPT‑5.6 Sol ਦੀ 26.8% ਦਰ ਨਾਲੋਂ ਵੱਧ ਹੈ. ਪਰਖੀ ਗਈ ਹਰ ਭਾਸ਼ਾ ਵਿੱਚ ਸੁਧਾਰ ਹੋਇਆ ਹੈ, ਜਿਸ ਵਿੱਚ COBOL (10.9% ਤੋਂ 72.1%), OCaml (25.6% ਤੋਂ 85.8%), Fortran (21.4% ਤੋਂ 83.5%) ਅਤੇ Visual Basic (27.5% ਤੋਂ 89.4%) ਸ਼ਾਮਲ ਹਨ. Astra ਦੀ ਟੈਸਟ ਪਾਸ ਕਰਨ ਦੀ ਦਰ 20 ਵਿੱਚੋਂ 19 ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ 83% ਤੋਂ ਵੱਧ ਹੈ, ਜਦਕਿ COBOL 72% ਨਾਲ ਸਭ ਤੋਂ ਔਖੀ ਭਾਸ਼ਾ ਬਣੀ ਹੋਈ ਹੈ.
GPT‑6 Luna ਇੱਕ ਘੱਟ ਲਾਗਤ ਵਾਲਾ ਵਿਕਲਪ ਹੈ, ਜੋ ਪਰਖੀ ਗਈ ਹਰ ਭਾਸ਼ਾ ਵਿੱਚ GPT‑5.6 Sol ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਵੀ ਕਰਦਾ ਹੈ. ਵੱਧ ਤੋਂ ਵੱਧ ਰੀਜ਼ਨਿੰਗ ਯਤਨ ਨਾਲ ਇਸ ਦੀ ਟੈਸਟ ਪਾਸ ਕਰਨ ਦੀ ਔਸਤ ਦਰ 40.3% ਤੱਕ ਪਹੁੰਚਦੀ ਹੈ. ਸੁਧਾਰਾਂ ਵਿੱਚ COBOL (10.9% ਤੋਂ 17.1%), OCaml (25.6% ਤੋਂ 34.1%), Fortran (21.4% ਤੋਂ 31.4%) ਅਤੇ Visual Basic (27.5% ਤੋਂ 41.6%) ਸ਼ਾਮਲ ਹਨ. ਇਹ ਸੁਧਾਰ ਪ੍ਰਤੀ ਨਮੂਨਾ $0.77 ਦੀ ਅਨੁਮਾਨਿਤ ਔਸਤ API ਲਾਗਤ ਨਾਲ ਹਾਸਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਜਦਕਿ GPT‑5.6 Sol ਲਈ ਇਹ ਲਾਗਤ $3.48 ਹੈ—ਭਾਵ ਲਗਭਗ 78% ਘੱਟ.
ਅਸੀਂ MultiLangBench ਦਾ ਮੁਲਾਂਕਣ ਸੈੱਟਅੱਪ ਅਤੇ ਟੈਸਟ ਸੂਟ, ਹਰ ਭਾਸ਼ਾ ਦੇ ਨਤੀਜਿਆਂ ਸਮੇਤ,GitHub(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ)'ਤੇ ਜਾਰੀ ਕਰ ਰਹੇ ਹਾਂ. ਡਿਵੈਲਪਰ ਵੇਖ ਸਕਦੇ ਹਨ ਕਿ ਮੁਲਾਂਕਣ ਕੀ ਪਰਖਦਾ ਹੈ, ਆਪਣੀਆਂ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਸਮੀਖਿਆ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਆਪਣੇ ਕੰਮ ਲਈ ਅਹਿਮ ਕਮੀਆਂ ਪਛਾਣ ਸਕਦੇ ਹਨ.
ਸਾਡੇ ਦੂਜੇ ਮੁਲਾਂਕਣ ਵਿੱਚ ਮਾਡਲਾਂ ਨੂੰ ਹਰੇਕ ਪ੍ਰੋਗਰਾਮ ਦਾ ਕੰਮ ਬਰਕਰਾਰ ਰੱਖਦਿਆਂ COBOL ਪ੍ਰੋਗਰਾਮਾਂ ਨੂੰ C++, Java, Kotlin, Python ਜਾਂ Rust ਵਿੱਚ ਮਾਈਗ੍ਰੇਟ ਕਰਨ ਲਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ.
ਸਫਲ ਮਾਈਗ੍ਰੇਸ਼ਨ ਲਈ ਪ੍ਰੋਗਰਾਮ ਦੇ ਕਾਰੋਬਾਰੀ ਲੌਜਿਕ ਅਤੇ COBOL ਭਾਸ਼ਾ ਦੇ ਖ਼ਾਸ ਕਾਰਜ-ਵਿਹਾਰ, ਦੋਵਾਂ ਨੂੰ ਸਮਝਣਾ ਜ਼ਰੂਰੀ ਹੈ. COBOL ਪ੍ਰੋਗਰਾਮ ਅਕਸਰ ਵਿੱਤੀ ਲੈਣ-ਦੇਣ ਅਤੇ ਕਾਰੋਬਾਰੀ ਰਿਕਾਰਡਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ, ਜਿੱਥੇ ਅੰਕਾਂ ਨੂੰ ਪੂਰਨ ਕਰਨ ਦੇ ਨਿਯਮ ਅਤੇ ਗੁੰਮ ਰਿਕਾਰਡਾਂ ਨੂੰ ਸੰਭਾਲਣ ਵਰਗੇ ਵੇਰਵੇ ਕਾਰੋਬਾਰੀ ਲੋੜਾਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ. ਮਿਸਾਲ ਲਈ, COBOL ਵਿੱਚ ਸਥਿਰ-ਦਸ਼ਮਲਵ ਗਣਿਤ ਵਾਧੂ ਦਸ਼ਮਲਵ ਅੰਕਾਂ ਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹੈ, ਜਦੋਂ ਤੱਕ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਪੂਰਨ ਕਰਨ ਦੀ ਹਦਾਇਤ ਨਾ ਦਿੱਤੀ ਗਈ ਹੋਵੇ. ਜੇਕਰ ਮੁੜ ਲਿਖਿਆ ਗਿਆ ਕੋਡ ਇਸ ਦੀ ਬਜਾਏ ਉਹਨਾਂ ਮੁੱਲਾਂ ਨੂੰ ਪੂਰਨ ਕਰ ਦੇਵੇ, ਤਾਂ ਉਹ ਬਿਨਾਂ ਕਿਸੇ ਗ਼ਲਤੀ ਦੇ ਚੱਲ ਸਕਦਾ ਹੈ, ਪਰ ਵੱਖਰੇ ਵਿੱਤੀ ਨਤੀਜੇ ਦੇ ਸਕਦਾ ਹੈ.
ਇਹ ਪਰਖਣ ਲਈ ਕਿ ਇਹ ਕਾਰਜ-ਵਿਹਾਰ ਬਰਕਰਾਰ ਹਨ ਜਾਂ ਨਹੀਂ, ਅਸੀਂ ਆਪਣੇ ਮਾਡਲਾਂ ਦਾ ਲੁਕਵੇਂ ਟੈਸਟਾਂ ਰਾਹੀਂ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਾਂ. ਇਹਨਾਂ ਵਿੱਚ ਵੇਖਣਯੋਗ ਆਊਟਪੁੱਟ ਦਾ ਹਰ ਬਾਈਟ ਬਿਲਕੁਲ ਇੱਕੋ ਜਿਹਾ ਹੋਣਾ ਲਾਜ਼ਮੀ ਹੈ. ਮਾਈਗ੍ਰੇਸ਼ਨ ਤਾਂ ਹੀ ਸਫਲ ਮੰਨੀ ਜਾਂਦੀ ਹੈ ਜੇ ਸਾਰੇ ਟੈਸਟ ਪਾਸ ਹੋਣ. ਕਾਰਜ-ਵਿਹਾਰ ਬਰਕਰਾਰ ਰੱਖਣ ਵਾਲੀਆਂ ਅਜਿਹੀਆਂ ਸਮਰੱਥਾਵਾਂ ਪੁਰਾਣੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਸੰਭਾਲ ਅਤੇ ਆਧੁਨਿਕੀਕਰਨ ਕਰਨ ਵਾਲੀਆਂ ਟੀਮਾਂ ਲਈ ਲਾਹੇਵੰਦ ਹਨ. ਫਿਰ ਵੀ, ਇਨ੍ਹਾਂ ਨੂੰ ਪ੍ਰੋਡਕਸ਼ਨ ਸੌਫਟਵੇਅਰ 'ਤੇ ਲਾਗੂ ਕਰਨ ਲਈ ਮਾਹਰ ਸਮੀਖਿਆ ਅਤੇ ਪ੍ਰਣਾਲੀ ਦੇ ਕਾਰੋਬਾਰੀ ਨਿਯਮਾਂ ਤੇ ਨਿਰਭਰਤਾਵਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਜਾਂਚ ਜ਼ਰੂਰੀ ਹੈ.
ਇਸ ਮੁਲਾਂਕਣ ਵਿੱਚ GPT‑6.1 Sol ਘੱਟ ਰੀਜ਼ਨਿੰਗ ਯਤਨ ਨਾਲ 86.6% ਸਟੀਕਤਾ ਹਾਸਲ ਕਰਦਾ ਹੈ, ਜਦਕਿ ਉਸੇ ਸੈਟਿੰਗ 'ਤੇ GPT‑5.6 Sol ਦੀ ਸਟੀਕਤਾ 5.4% ਹੈ. ਇਹ GPT‑5.6 Sol ਦੀ API ਲਾਗਤ ਦੇ ਸਿਰਫ਼ 61% 'ਤੇ ਸੰਭਵ ਹੁੰਦਾ ਹੈ. ਵੱਧ ਰੀਜ਼ਨਿੰਗ ਯਤਨ ਨਾਲ ਸਟੀਕਤਾ 97.9% ਤੱਕ ਪਹੁੰਚ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਮੁਲਾਂਕਣ ਲਗਭਗ ਪੂਰੀ ਸਟੀਕਤਾ ਦੇ ਪੱਧਰ ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ. ਇਹ ਮੁਲਾਂਕਣ ਦੇ ਨਤੀਜੇ ਵਧੇਰੇ ਸਟੀਕ ਅਤੇ ਕਿਫ਼ਾਇਤੀ ਕੋਡ ਮਾਈਗ੍ਰੇਸ਼ਨ ਵੱਲ ਹੋਈ ਤਰੱਕੀ ਦਿਖਾਉਂਦੇ ਹਨ—ਖ਼ਾਸਕਰ ਉਹਨਾਂ ਟੀਮਾਂ ਲਈ ਜੋ ਉਸ ਸੌਫਟਵੇਅਰ ਦਾ ਆਧੁਨਿਕੀਕਰਨ ਕਰ ਰਹੀਆਂ ਹਨ ਜਿਸ 'ਤੇ ਉਨ੍ਹਾਂ ਦੇ ਕਾਰੋਬਾਰ ਨਿਰਭਰ ਕਰਦੇ ਹਨ.
ਇਹ ਮੁਲਾਂਕਣ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਗਾਹਕਾਂ ਤੋਂ ਮਿਲੀਆਂ ਸਿੱਧੀਆਂ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਸਾਨੂੰ ਇਹ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ ਕਿ ਸਾਡੇ ਮਾਡਲ ਕਿੱਥੇ ਸੁਧਰ ਰਹੇ ਹਨ ਅਤੇ ਕਿੱਥੇ ਅਜੇ ਵੀ ਕਮੀਆਂ ਹਨ.
ਸਾਡਾ ਟੀਚਾ ਮਾਡਲਾਂ ਨੂੰ ਹੋਰ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਸੌਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਹੁਨਰ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨਾ ਹੈ: ਅਣਜਾਣ ਰਿਪੋਜ਼ਟਰੀਆਂ ਨੂੰ ਸਮਝਣਾ, ਤਬਦੀਲੀਆਂ ਦੀ ਯੋਜਨਾ ਬਣਾਉਣਾ, ਬਿਲਡ ਟੂਲ ਵਰਤਣਾ, ਟੈਸਟ ਚਲਾਉਣਾ ਅਤੇ ਨਾਕਾਮੀਆਂ ਨੂੰ ਡੀਬੱਗ ਕਰਨਾ.
ਤੁਸੀਂ API ਰਾਹੀਂ ਸਾਡੇ ਨਵੀਨਤਮ ਮਾਡਲਾਂ ਨੂੰ ਆਪਣੀ ਟੀਮ ਵੱਲੋਂ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਭਾਸ਼ਾਵਾਂ ਦੇ ਕੋਡਿੰਗ ਕੰਮਾਂ 'ਤੇ ਅਜ਼ਮਾ ਸਕਦੇ ਹੋ. ਕੀ ਚੰਗਾ ਕੰਮ ਕਰਦਾ ਹੈ, ਮਾਡਲਾਂ ਨੂੰ ਕਿੱਥੇ ਮੁਸ਼ਕਲ ਆਉਂਦੀ ਹੈ ਅਤੇ ਅੱਗੇ ਸਾਨੂੰ ਕਿਹੜੀਆਂ ਭਾਸ਼ਾਵਾਂ ਜਾਂ ਵਰਕਫਲੋਜ਼ 'ਤੇ ਧਿਆਨ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ—ਇਹਨਾਂ ਬਾਰੇ ਤੁਹਾਡੀਆਂ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਅਤੇ ਉਹਨਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਦੇ ਤਰੀਕਿਆਂ ਨੂੰ ਆਕਾਰ ਦੇਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ, ਤਾਂ ਜੋ ਅਸੀਂ ਉਸ ਸੌਫਟਵੇਅਰ ਲਈ ਬਿਹਤਰ ਸਹਾਇਤਾ ਦੇ ਸਕੀਏ ਜਿਸ 'ਤੇ ਤੁਸੀਂ ਨਿਰਭਰ ਹੋ.