10 ਜੂਨ, 2025 ਦੀ ਅਪਡੇਟ: OpenAI o3‑pro ਹੁਣ ChatGPT ਵਿੱਚ Pro ਵਰਤੋਂਕਾਰਾਂ ਲਈ, ਨਾਲ ਹੀ ਸਾਡੇ API ਵਿੱਚ ਵੀ ਉਪਲਬਧ ਹੈ. OpenAI o1‑pro ਵਾਂਗ, o3‑pro ਸਾਡੇ ਸਭ ਤੋਂ ਬੁੱਧੀਮਾਨ ਮਾਡਲ OpenAI o3 ਦਾ ਇੱਕ ਸੰਸਕਰਣ ਹੈ, ਜਿਸ ਨੂੰ ਹੋਰ ਲੰਮਾ ਸੋਚਣ ਅਤੇ ਸਭ ਤੋਂ ਭਰੋਸੇਯੋਗ ਜਵਾਬ ਦੇਣ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਪੂਰੇ ਵੇਰਵੇ ਸਾਡੇ release notes(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵਿੱਚ ਮਿਲ ਸਕਦੇ ਹਨ।
ਅੱਜ, ਅਸੀਂ OpenAI o3 ਅਤੇ o4-mini, ਜਾਰੀ ਕਰ ਰਹੇ ਹਾਂ, ਜੋ ਸਾਡੇ o-series ਮਾਡਲਾਂ ਵਿੱਚ ਸਭ ਤੋਂ ਨਵੇਂ ਹਨ ਅਤੇ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਹੋਰ ਲੰਮਾ ਸੋਚਣ ਲਈ ਟ੍ਰੇਨ ਕੀਤੇ ਗਏ ਹਨ। ਇਹ ਅੱਜ ਤੱਕ ਜਾਰੀ ਕੀਤੇ ਸਾਡੇ ਸਭ ਤੋਂ ਸਮਾਰਟ ਮਾਡਲ ਹਨ, ਜੋ ਜਿਗਿਆਸੂ ਵਰਤੋਂਕਾਰਾਂ ਤੋਂ ਲੈ ਕੇ ਉੱਨਤ ਖੋਜਕਾਰਾਂ ਤੱਕ ਹਰ ਕਿਸੇ ਲਈ ChatGPT ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਬਦਲਾਅ ਦਰਸਾਉਂਦੇ ਹਨ। ਪਹਿਲੀ ਵਾਰ, ਸਾਡੇ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ ChatGPT ਅੰਦਰ ਹਰ ਟੂਲ ਨੂੰ ਏਜੰਟ-ਜਿਹੇ ਤਰੀਕੇ ਨਾਲ ਵਰਤ ਅਤੇ ਮਿਲਾ ਸਕਦੇ ਹਨ। ਇਸ ਵਿੱਚ ਵੈੱਬ ਖੋਜਣਾ, Python ਨਾਲ ਅੱਪਲੋਡ ਕੀਤੀਆਂ ਫ਼ਾਈਲਾਂ ਅਤੇ ਹੋਰ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ, ਦ੍ਰਿਸ਼ਟੀਗਤ inputs ਬਾਰੇ ਡੂੰਘੀ ਰੀਜ਼ਨਿੰਗ ਕਰਨਾ, ਅਤੇ ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਣ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਹ ਮਾਡਲ ਇਸ ਗੱਲ ਬਾਰੇ ਰੀਜ਼ਨਿੰਗ ਕਰਨ ਲਈ ਟ੍ਰੇਨ ਕੀਤੇ ਗਏ ਹਨ ਕਿ ਵਿਸਥਾਰਪੂਰਣ ਅਤੇ ਸੋਚ-ਵਿਚਾਰ ਵਾਲੇ ਜਵਾਬ ਸਹੀ ਆਉਟਪੁੱਟ ਫਾਰਮੈਟਾਂ ਵਿੱਚ ਪੈਦਾ ਕਰਨ ਲਈ ਟੂਲ ਕਦੋਂ ਅਤੇ ਕਿਵੇਂ ਵਰਤਣੇ ਹਨ, ਆਮ ਤੌਰ ਤੇ ਇੱਕ ਮਿੰਟ ਤੋਂ ਘੱਟ ਸਮੇਂ ਵਿੱਚ, ਤਾਂ ਜੋ ਹੋਰ ਜਟਿਲ ਸਮੱਸਿਆਵਾਂ ਹੱਲ ਕੀਤੀਆਂ ਜਾ ਸਕਣ। ਇਸ ਨਾਲ ਇਹ ਬਹੁ-ਪੱਖੀ ਸਵਾਲਾਂ ਨੂੰ ਹੋਰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਹੱਲ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਇਹ ਇੱਕ ਹੋਰ ਏਜੰਟ-ਜਿਹੇ ChatGPT ਵੱਲ ਕਦਮ ਹੈ ਜੋ ਤੁਹਾਡੇ behalf ਤੇ ਸੁਤੰਤਰ ਤੌਰ ਤੇ ਕੰਮ ਕਰ ਸਕੇ। state-of-the-art ਰੀਜ਼ਨਿੰਗ ਅਤੇ ਪੂਰੀ ਟੂਲ ਪਹੁੰਚ ਦੀ ਮਿਲੀ-ਜੁਲੀ ਤਾਕਤ ਅਕਾਦਮਿਕ benchmarks ਅਤੇ ਅਸਲ-ਦੁਨੀਆ ਦੇ ਕੰਮਾਂ ਦੋਵਾਂ ਵਿੱਚ ਕਾਫ਼ੀ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਬਦਲਦੀ ਹੈ, ਜੋ ਬੁੱਧੀਮਾਨੀ ਅਤੇ ਉਪਯੋਗਤਾ ਦੋਵਾਂ ਲਈ ਨਵਾਂ ਮਾਪਦੰਡ ਸੈੱਟ ਕਰਦੀ ਹੈ।
OpenAI o3 ਸਾਡਾ ਸਭ ਤੋਂ ਤਾਕਤਵਰ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ ਹੈ ਜੋ ਕੋਡਿੰਗ, ਗਣਿਤ, ਵਿਗਿਆਨ, ਦ੍ਰਿਸ਼ਟੀਗਤ ਸਮਝ ਅਤੇ ਹੋਰ ਖੇਤਰਾਂ ਵਿੱਚ ਅਤਿ-ਆਧੁਨਿਕ ਹੱਦਾਂ ਨੂੰ ਅੱਗੇ ਧੱਕਦਾ ਹੈ। ਇਹ Codeforces, SWE-bench (ਕਿਸੇ ਕਸਟਮ ਮਾਡਲ-ਵਿਸ਼ੇਸ਼ scaffold ਬਣਾਏ ਬਿਨਾਂ), ਅਤੇ MMMU ਸਮੇਤ ਬੈਂਚਮਾਰਕਾਂ ਤੇ ਨਵਾਂ SOTA ਸੈਟ ਕਰਦਾ ਹੈ। ਇਹ ਜਟਿਲ ਸਵਾਲਾਂ ਲਈ ਆਦਰਸ਼ ਹੈ ਜਿਨ੍ਹਾਂ ਲਈ ਕਈ ਪੱਖਾਂ ਵਾਲਾ ਵਿਸ਼ਲੇਸ਼ਣ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਜਿਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਤੁਰੰਤ ਸਪੱਸ਼ਟ ਨਹੀਂ ਹੋ ਸਕਦੇ। ਇਹ ਖਾਸ ਤੌਰ ਤੇ ਦ੍ਰਿਸ਼ਟੀਗਤ ਕੰਮਾਂ ਜਿਵੇਂ ਚਿੱਤਰਾਂ, ਚਾਰਟਾਂ ਅਤੇ ਗ੍ਰਾਫਿਕਸ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਬਾਹਰੀ ਮਾਹਿਰਾਂ ਦੁਆਰਾ ਕੀਤੀਆਂ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚ, ਔਖੇ ਅਸਲ-ਦੁਨੀਆ ਦੇ ਕੰਮਾਂ ਤੇ o3, OpenAI o1 ਨਾਲੋਂ 20 ਫੀਸਦੀ ਘੱਟ ਵੱਡੀਆਂ ਗਲਤੀਆਂ ਕਰਦਾ ਹੈ, ਅਤੇ ਖਾਸ ਕਰਕੇ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ, ਕਾਰੋਬਾਰ/ਕੰਸਲਟਿੰਗ ਅਤੇ ਰਚਨਾਤਮਕ ਵਿਚਾਰ-ਉਤਪੱਤੀ ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਬੇਹਤਰ ਹੈ। ਸ਼ੁਰੂਆਤੀ ਟੈਸਟਰਾਂ ਨੇ ਇਸ ਦੀ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਸਖ਼ਤੀ ਨੂੰ ਇੱਕ ਵਿਚਾਰ-ਸਾਥੀ ਵਜੋਂ ਉਭਾਰਿਆ ਅਤੇ ਨਵੀਆਂ ਹਿਪੋਥਿਸਿਸ ਬਣਾਉਣ ਅਤੇ ਉਨ੍ਹਾਂ ਦਾ ਆਲੋਚਨਾਤਮਕ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਇਸ ਦੀ ਸਮਰੱਥਾ ਤੇ ਜ਼ੋਰ ਦਿੱਤਾ, ਖਾਸ ਕਰਕੇ ਜੀਵ ਵਿਗਿਆਨ, ਗਣਿਤ ਅਤੇ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਸੰਦਰਭਾਂ ਵਿੱਚ।
OpenAI o4-mini ਇੱਕ ਛੋਟਾ ਮਾਡਲ ਹੈ ਜੋ ਤੇਜ਼, ਕਿਫਾਇਤੀ ਰੀਜ਼ਨਿੰਗ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ। ਇਹ ਆਪਣੇ ਆਕਾਰ ਅਤੇ ਲਾਗਤ ਲਈ ਸ਼ਾਨਦਾਰ ਪ੍ਰਦਰਸ਼ਨ ਹਾਸਲ ਕਰਦਾ ਹੈ, ਖਾਸ ਕਰਕੇ ਗਣਿਤ, ਕੋਡਿੰਗ ਅਤੇ ਦ੍ਰਿਸ਼ਟੀਗਤ ਕੰਮਾਂ ਵਿੱਚ। ਇਹ AIME 2024 ਅਤੇ 2025 ਤੇ ਬੈਂਚਮਾਰਕ ਕੀਤਾ ਗਿਆ ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਵਾਲਾ ਮਾਡਲ ਹੈ। ਹਾਲਾਂਕਿ ਕੰਪਿਊਟਰ ਤੱਕ ਪਹੁੰਚ AIME ਪ੍ਰੀਖਿਆ ਦੀ ਮੁਸ਼ਕਲਤਾ ਨੂੰ ਅਰਥਪੂਰਣ ਢੰਗ ਨਾਲ ਘਟਾਉਂਦੀ ਹੈ, ਅਸੀਂ ਇਹ ਵੀ ਧਿਆਨਯੋਗ ਪਾਇਆ ਕਿ o4-mini, Python interpreter ਤੱਕ ਪਹੁੰਚ ਮਿਲਣ ਤੇ, AIME 2025 ਵਿੱਚ 99.5% pass@1 (100% consensus@8) ਹਾਸਲ ਕਰਦਾ ਹੈ। ਭਾਵੇਂ ਇਹ ਨਤੀਜੇ ਉਹਨਾਂ ਮਾਡਲਾਂ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ ਤੁਲਨਾ ਨਹੀਂ ਕੀਤੇ ਜਾਣੇ ਚਾਹੀਦੇ ਜਿਨ੍ਹਾਂ ਕੋਲ ਟੂਲ ਪਹੁੰਚ ਨਹੀਂ ਹੈ, ਫਿਰ ਵੀ ਇਹ ਇੱਕ ਉਦਾਹਰਨ ਹੈ ਕਿ o4-mini ਉਪਲਬਧ ਟੂਲਾਂ ਨੂੰ ਕਿੰਨਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਵਰਤਦਾ ਹੈ। o3 ਵੀ AIME 2025 ਵਿੱਚ ਟੂਲ ਵਰਤੋਂ ਤੋਂ ਇਸੇ ਤਰ੍ਹਾਂ ਦੇ ਸੁਧਾਰ ਦਿਖਾਂਦਾ ਹੈ (98.4% pass@1, 100% consensus@8)।
ਮਾਹਿਰ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚ, o4-mini ਆਪਣੇ ਪੂਰਵਜ o3‑mini ਨਾਲੋਂ non-STEM ਕੰਮਾਂ ਦੇ ਨਾਲ-साथ data science ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਵੀ ਬਿਹਤਰ ਹੈ। ਇਸ ਦੀ ਕੁਸ਼ਲਤਾ ਦੇ ਕਾਰਨ, o4-mini, o3 ਨਾਲੋਂ ਕਾਫੀ ਵੱਧ ਵਰਤੋਂ ਸੀਮਾਵਾਂ ਨੂੰ ਸਮਰਥਨ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਉਹਨਾਂ ਸਵਾਲਾਂ ਲਈ ਇੱਕ ਮਜ਼ਬੂਤ high-volume, high-throughput ਵਿਕਲਪ ਬਣਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਰੀਜ਼ਨਿੰਗ ਤੋਂ ਲਾਭ ਹੁੰਦਾ ਹੈ। ਬਾਹਰੀ ਮਾਹਿਰ ਮੁਲਾਂਕਣਕਾਰਾਂ ਨੇ ਦੋਵੇਂ ਮਾਡਲਾਂ ਨੂੰ ਆਪਣੇ ਪੂਰਵਜਾਂ ਨਾਲੋਂ ਸੁਧਰੇ instruction following ਅਤੇ ਹੋਰ ਉਪਯੋਗੀ, ਪੜਤਾਲਯੋਗ ਜਵਾਬ ਦਿਖਾਉਂਦੇ ਹੋਏ ਰੇਟ ਕੀਤਾ, ਜਿਸ ਦਾ ਕਾਰਨ ਸੁਧਰੀ ਬੁੱਧੀਮਾਨੀ ਅਤੇ ਵੈੱਬ ਸਰੋਤਾਂ ਦੀ ਸ਼ਾਮਿਲੀਅਤ ਹੈ। ਸਾਡੇ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲਾਂ ਦੇ ਪਿਛਲੇ ਵਰਜਨਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਕੇ, ਇਹ ਦੋਵੇਂ ਮਾਡਲ ਹੋਰ ਕੁਦਰਤੀ ਅਤੇ ਗੱਲਬਾਤੀ ਮਹਿਸੂਸ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਇਹ ਜਵਾਬਾਂ ਨੂੰ ਹੋਰ ਨਿੱਜੀ ਅਤੇ ਸਬੰਧਤ ਬਣਾਉਣ ਲਈ ਮੈਮਰੀ ਅਤੇ ਪਿਛਲੀਆਂ ਗੱਲਬਾਤਾਂ ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹਨ।
ਮਲਟੀਮੋਡਲ
ਕੋਡਿੰਗ
ਸਾਰੀਆਂ SWE-bench evaluation runs n=477 verified tasks ਦੇ ਇਕ fixed subset ਦੀ ਵਰਤੋਂ ਕਰਦੀਆਂ ਹਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਸਾਡੇ ਅੰਦਰੂਨੀ infrastructure ਤੇ validate ਕੀਤਾ ਗਿਆ ਹੈ।
Instruction following ਅਤੇ ਏਜੰਟ-ਜਿਹੀ ਟੂਲ ਵਰਤੋਂ
ਸਾਰੇ ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਉੱਚ ‘reasoning effort’ settings ਤੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ChatGPT ਵਿੱਚ ‘o4-mini-high’ ਵਰਗੇ variants ਨਾਲ ਮਿਲਦੀਆਂ ਹਨ।
OpenAI o3 ਦੇ ਵਿਕਾਸ ਦੌਰਾਨ, ਅਸੀਂ ਦੇਖਿਆ ਹੈ ਕਿ large-scale ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ GPT‑series pretraining ਵਿੱਚ ਵੇਖੇ ਗਏ ਉਹੀ “ਜ਼ਿਆਦਾ compute = ਬਿਹਤਰ performance” ਰੁਝਾਨ ਦਿਖਾਉਂਦੀ ਹੈ। scaling path ਨੂੰ ਦੁਬਾਰਾ ਅਪਣਾਕੇ, ਇਸ ਵਾਰ RL ਵਿੱਚ, ਅਸੀਂ training compute ਅਤੇ inference-time reasoning ਦੋਵਾਂ ਵਿੱਚ ਇੱਕ ਹੋਰ order of magnitude ਦਾ ਵਾਧਾ ਕੀਤਾ ਹੈ, ਫਿਰ ਵੀ ਸਾਨੂੰ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸਪਸ਼ਟ gains ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ, ਜੋ ਇਸ ਗੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦੇ ਹਨ ਕਿ ਮਾਡਲਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਇਸ ਗੱਲ ਨਾਲ ਲਗਾਤਾਰ ਸੁਧਰਦਾ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿੰਨਾ ਸੋਚਣ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲਦੀ ਹੈ। OpenAI o1 ਦੇ ਬਰਾਬਰ latency ਅਤੇ cost ਤੇ, o3 ChatGPT ਵਿੱਚ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਇਹ ਵੀ validate ਕੀਤਾ ਹੈ ਕਿ ਜੇ ਅਸੀਂ ਇਸ ਨੂੰ ਹੋਰ ਲੰਮਾ ਸੋਚਣ ਦਈਏ, ਤਾਂ ਇਸ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਲਗਾਤਾਰ ਚੜ੍ਹਦਾ ਰਹਿੰਦਾ ਹੈ।
ਅਸੀਂ ਦੋਵੇਂ ਮਾਡਲਾਂ ਨੂੰ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਰਾਹੀਂ ਟੂਲ ਵਰਤਣ ਲਈ ਵੀ ਟ੍ਰੇਨ ਕੀਤਾ, ਜਿਸ ਨਾਲ ਉਨ੍ਹਾਂ ਨੂੰ ਕੇਵਲ ਟੂਲ ਕਿਵੇਂ ਵਰਤਣੇ ਹਨ ਇਹ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਇਹ ਵੀ ਕਿ ਉਹ ਕਦੋਂ ਵਰਤਣੇ ਹਨ। ਚਾਹੁੰਦੇ ਨਤੀਜਿਆਂ ਦੇ ਆਧਾਰ ਤੇ ਟੂਲ ਤਾਇਨਾਤ ਕਰਨ ਦੀ ਉਨ੍ਹਾਂ ਦੀ ਯੋਗਤਾ ਉਨ੍ਹਾਂ ਨੂੰ open-ended ਸਥਿਤੀਆਂ ਵਿੱਚ ਹੋਰ ਸਮਰੱਥ ਬਣਾਉਂਦੀ ਹੈ, ਖਾਸ ਕਰਕੇ ਜਿਥੇ visual reasoning ਅਤੇ multi-step workflows ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। ਇਹ ਸੁਧਾਰ ਅਕਾਦਮਿਕ benchmarks ਅਤੇ ਅਸਲ-ਦੁਨੀਆ ਦੇ ਕੰਮਾਂ ਦੋਵਾਂ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਸ਼ੁਰੂਆਤੀ ਟੈਸਟਰਾਂ ਨੇ ਰਿਪੋਰਟ ਕੀਤਾ।
ਪਹਿਲੀ ਵਾਰ, ਇਹ ਮਾਡਲ ਚਿੱਤਰਾਂ ਨੂੰ ਆਪਣੀ chain of thought ਵਿੱਚ ਸਿੱਧੇ ਇਕਸਾਰ ਕਰ ਸਕਦੇ ਹਨ। ਇਹ ਸਿਰਫ਼ ਚਿੱਤਰ ਨਹੀਂ ਵੇਖਦੇ, ਇਹ ਉਸ ਨਾਲ ਸੋਚਦੇ ਹਨ। ਇਹ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੀ ਇੱਕ ਨਵੀਂ ਸ਼੍ਰੇਣੀ ਖੋਲ੍ਹਦਾ ਹੈ ਜੋ ਦ੍ਰਿਸ਼ਟੀਗਤ ਅਤੇ ਪਾਠਕ ਰੀਜ਼ਨਿੰਗ ਨੂੰ ਮਿਲਾਂਦੀ ਹੈ, ਅਤੇ ਜੋ multimodal benchmarks ਵਿੱਚ ਇਨ੍ਹਾਂ ਦੇ state-of-the-art ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ।
ਲੋਕ whiteboard ਦੀ ਫੋਟੋ, textbook diagram ਜਾਂ ਹੱਥ ਨਾਲ ਬਣਾਇਆ sketch ਅੱਪਲੋਡ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਮਾਡਲ ਉਸ ਦੀ ਵਿਆਖਿਆ ਕਰ ਸਕਦਾ ਹੈ, ਭਾਵੇਂ ਚਿੱਤਰ ਧੁੰਦਲਾ, ਉਲਟਾ ਜਾਂ ਘੱਟ ਗੁਣਵੱਤਾ ਵਾਲਾ ਹੋਵੇ। ਟੂਲ ਵਰਤੋਂ ਨਾਲ, ਮਾਡਲ reasoning process ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਤੁਰੰਤ ਚਿੱਤਰਾਂ ਨੂੰ ਘੁਮਾ ਸਕਦੇ ਹਨ, zoom ਕਰ ਸਕਦੇ ਹਨ ਜਾਂ ਰੂਪਾਂਤਰਿਤ ਕਰ ਸਕਦੇ ਹਨ।
ਇਹ ਮਾਡਲ visual perception ਕੰਮਾਂ ਤੇ ਆਪਣੇ ਵਰਗ ਵਿੱਚ ਸਭ ਤੋਂ ਵਧੀਆ ਸ਼ੁੱਧਤਾ ਦਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਇਹ ਉਹ ਸਵਾਲ ਹੱਲ ਕਰ ਸਕਦੇ ਹਨ ਜੋ ਪਹਿਲਾਂ ਪਹੁੰਚ ਤੋਂ ਬਾਹਰ ਸਨ। ਹੋਰ ਜਾਣਨ ਲਈ visual reasoning research blog ਵੇਖੋ।
OpenAI o3 ਅਤੇ o4-mini ਨੂੰ ChatGPT ਅੰਦਰ ਟੂਲਾਂ ਤੱਕ ਪੂਰੀ ਪਹੁੰਚ ਹੈ, ਨਾਲ ਹੀ API ਵਿੱਚ ਫੰਕਸ਼ਨ ਕਾਲਿੰਗ ਰਾਹੀਂ ਤੁਹਾਡੇ ਆਪਣੇ ਕਸਟਮ ਟੂਲਾਂ ਤੱਕ ਵੀ। ਇਹ ਮਾਡਲ ਇਸ ਗੱਲ ਬਾਰੇ ਰੀਜ਼ਨਿੰਗ ਕਰਨ ਲਈ ਟ੍ਰੇਨ ਕੀਤੇ ਗਏ ਹਨ ਕਿ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕਰਨਾ ਹੈ, ਅਤੇ ਵਿਸਥਾਰਪੂਰਣ ਅਤੇ ਸੋਚ-ਵਿਚਾਰ ਵਾਲੇ ਜਵਾਬ ਸਹੀ ਆਉਟਪੁੱਟ ਫਾਰਮੈਟਾਂ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਪੈਦਾ ਕਰਨ ਲਈ ਕਦੋਂ ਅਤੇ ਕਿਵੇਂ ਟੂਲ ਵਰਤਣੇ ਹਨ। ਆਮ ਤੌਰ ਤੇ ਇਹ ਕੰਮ ਇੱਕ ਮਿੰਟ ਤੋਂ ਘੱਟ ਸਮੇਂ ਵਿੱਚ ਹੋ ਜਾਂਦਾ ਹੈ।
ਉਦਾਹਰਨ ਲਈ, ਕੋਈ ਵਰਤੋਂਕਾਰ ਪੁੱਛ ਸਕਦਾ ਹੈ: “California ਵਿੱਚ ਗਰਮੀ ਦੇ ਮੌਸਮ ਦੀ energy usage ਪਿਛਲੇ ਸਾਲ ਨਾਲ ਕਿਵੇਂ ਤੁਲਨਾ ਕਰੇਗੀ?” ਮਾਡਲ public utility data ਲਈ ਵੈੱਬ ਤੇ ਖੋਜ ਕਰ ਸਕਦਾ ਹੈ, forecast ਬਣਾਉਣ ਲਈ Python ਕੋਡ ਲਿਖ ਸਕਦਾ ਹੈ, graph ਜਾਂ image ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਕਈ ਟੂਲ ਕਾਲਾਂ ਨੂੰ ਇਕੱਠਾ ਜੋੜਦੇ ਹੋਏ ਅਨੁਮਾਨ ਦੇ ਪਿੱਛੇ ਦੇ ਮੁੱਖ ਕਾਰਕ ਸਮਝਾ ਸਕਦਾ ਹੈ। ਰੀਜ਼ਨਿੰਗ ਮਾਡਲਾਂ ਨੂੰ ਮਿਲਣ ਵਾਲੀ ਜਾਣਕਾਰੀ ਦੇ ਮੁਤਾਬਕ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਨ ਅਤੇ ਲੋੜ ਪੈਣ ਤੇ ਦਿਸ਼ਾ ਬਦਲਣ ਦੀ ਸਮਰੱਥਾ ਦਿੰਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਇਹ search providers ਦੀ ਮਦਦ ਨਾਲ ਵੈੱਬ ਤੇ ਕਈ ਵਾਰ ਖੋਜ ਕਰ ਸਕਦੇ ਹਨ, ਨਤੀਜੇ ਦੇਖ ਸਕਦੇ ਹਨ, ਅਤੇ ਹੋਰ ਜਾਣਕਾਰੀ ਦੀ ਲੋੜ ਹੋਣ ਤੇ ਨਵੀਆਂ ਖੋਜਾਂ ਅਜ਼ਮਾ ਸਕਦੇ ਹਨ।
ਇਹ ਲਚਕੀਲਾ, ਰਣਨੀਤਿਕ ਤਰੀਕਾ ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਕੰਮਾਂ ਨਾਲ ਨਜਿੱਠਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਲਈ ਮਾਡਲ ਦੇ built-in ਗਿਆਨ ਤੋਂ ਪਰੇ ਤਾਜ਼ਾ ਜਾਣਕਾਰੀ ਤੱਕ ਪਹੁੰਚ, ਲੰਬੀ ਰੀਜ਼ਨਿੰਗ, synthesis, ਅਤੇ ਵੱਖ-ਵੱਖ modalities ਵਿੱਚ output generation ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਸਾਰੀਆਂ ਉਦਾਹਰਨਾਂ OpenAI o3 ਨਾਲ ਪੂਰੀਆਂ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ।
OpenAI o3
OpenAI o1
OpenAI o3 search ਵਰਤੇ ਬਿਨਾਂ ਸਹੀ ਜਵਾਬ ਪ੍ਰਾਪਤ ਕਰ ਲੈਂਦਾ ਹੈ, ਜਦਕਿ o1 ਸਹੀ ਜਵਾਬ ਦੇਣ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦਾ ਹੈ।
ਕਿਫਾਇਤੀ ਰੀਜ਼ਨਿੰਗ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣਾ
ਲਾਗਤ ਵਿਰੁੱਧ ਪ੍ਰਦਰਸ਼ਨ: o3‑mini ਅਤੇ o4-mini
ਲਾਗਤ ਵਿਰੁੱਧ ਪ੍ਰਦਰਸ਼ਨ: o1 ਅਤੇ o3
OpenAI o3 ਅਤੇ o4-mini ਉਹ ਸਭ ਤੋਂ ਬੁੱਧੀਮਾਨ ਮਾਡਲ ਹਨ ਜੋ ਅਸੀਂ ਕਦੇ ਜਾਰੀ ਕੀਤੇ ਹਨ, ਅਤੇ ਇਹ ਅਕਸਰ ਆਪਣੇ ਪੂਰਵਜਾਂ OpenAI o1 ਅਤੇ o3‑mini ਨਾਲੋਂ ਹੋਰ ਕੁਸ਼ਲ ਵੀ ਹਨ। ਉਦਾਹਰਨ ਲਈ, 2025 AIME ਗਣਿਤ ਮੁਕਾਬਲੇ ਵਿੱਚ, o3 ਲਈ cost-performance frontier, o1 ਨਾਲੋਂ ਸਪਸ਼ਟ ਤੌਰ ਤੇ ਸੁਧਰਦੀ ਹੈ, ਅਤੇ ਇਸੇ ਤਰ੍ਹਾਂ o4-mini ਦੀ frontier, o3‑mini ਨਾਲੋਂ ਸਪਸ਼ਟ ਤੌਰ ਤੇ ਬਿਹਤਰ ਹੈ। ਹੋਰ ਆਮ ਤੌਰ ਤੇ, ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਅਧਿਕਤਰ ਅਸਲ-ਦੁਨੀਆ ਵਰਤੋਂ ਲਈ, o3 ਅਤੇ o4-mini ਕ੍ਰਮਵਾਰ o1 ਅਤੇ o3‑mini ਨਾਲੋਂ ਹੋਰ ਸਮਾਰਟ ਵੀ ਹੋਣਗੇ ਅਤੇ ਸਸਤੇ ਵੀ।
ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਵਿੱਚ ਹਰ ਸੁਧਾਰ ਲਈ ਉਸ ਦੇ ਅਨੁਸਾਰ ਸੁਰੱਖਿਆ ਵਿੱਚ ਵੀ ਸੁਧਾਰ ਲਾਜ਼ਮੀ ਹੈ। OpenAI o3 ਅਤੇ o4-mini ਲਈ, ਅਸੀਂ ਆਪਣਾ safety training data ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੁਬਾਰਾ ਬਣਾਇਆ, ਜਿਸ ਵਿੱਚ biological threats (biorisk), malware generation, ਅਤੇ jailbreaks ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਨਵੇਂ refusal prompts ਸ਼ਾਮਲ ਕੀਤੇ। ਇਸ ਨਵੇਂ data ਕਾਰਨ o3 ਅਤੇ o4-mini ਨੇ ਸਾਡੇ ਅੰਦਰੂਨੀ refusal benchmarks (ਉਦਾਹਰਨ ਲਈ, instruction hierarchy, jailbreaks) ਤੇ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਹਾਸਲ ਕੀਤਾ ਹੈ। ਮਾਡਲ refusals ਦੇ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ frontier risk ਖੇਤਰਾਂ ਵਿੱਚ ਖਤਰਨਾਕ prompts ਨੂੰ flag ਕਰਨ ਲਈ system-level mitigations ਵੀ ਵਿਕਸਿਤ ਕੀਤੀਆਂ ਹਨ। ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਵਿੱਚ ਸਾਡੇ ਪਹਿਲਾਂ ਦੇ ਕੰਮ ਵਾਂਗ, ਅਸੀਂ ਇੱਕ reasoning LLM monitor ਟ੍ਰੇਨ ਕੀਤਾ ਜੋ ਮਨੁੱਖਾਂ ਦੁਆਰਾ ਲਿਖੀਆਂ ਅਤੇ ਸਮਝ ਆਉਣ ਵਾਲੀਆਂ safety specifications ਤੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। biorisk ਤੇ ਲਾਗੂ ਕਰਨ ਤੇ, ਇਸ monitor ਨੇ ਸਾਡੀ human red‑teaming campaign ਵਿੱਚ ਲਗਭਗ 99% conversations ਨੂੰ ਸਫ਼ਲਤਾਪੂਰਵਕ flag ਕੀਤਾ।
ਅਸੀਂ ਦੋਵੇਂ ਮਾਡਲਾਂ ਦੀ ਅੱਜ ਤੱਕ ਦੇ ਸਭ ਤੋਂ ਕਠੋਰ safety program ਨਾਲ stress testing ਕੀਤੀ। ਸਾਡੇ ਅਪਡੇਟ ਕੀਤੇ ਪ੍ਰਿਪੇਅਰਡਨੈਸ ਫ੍ਰੇਮਵਰਕ ਦੇ ਅਨੁਸਾਰ, ਅਸੀਂ o3 ਅਤੇ o4-mini ਦਾ Framework ਦੁਆਰਾ ਕਵਰ ਕੀਤੇ ਤਿੰਨ tracked capability ਖੇਤਰਾਂ ਵਿੱਚ ਮੁਲਾਂਕਣ ਕੀਤਾ: biological and chemical, cybersecurity, ਅਤੇ AI self-improvement। ਇਨ੍ਹਾਂ ਮੁਲਾਂਕਣਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਆਧਾਰ ਤੇ, ਅਸੀਂ ਨਿਰਧਾਰਤ ਕੀਤਾ ਹੈ ਕਿ o3 ਅਤੇ o4‑mini ਦੋਵੇਂ ਹੀ ਤਿੰਨਾਂ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ Framework ਦੀ "High" threshold ਤੋਂ ਹੇਠਾਂ ਰਹਿੰਦੇ ਹਨ। ਅਸੀਂ ਇਨ੍ਹਾਂ ਮੁਲਾਂਕਣਾਂ ਦੇ ਵਿਸਥਾਰਪੂਰਣ ਨਤੀਜੇ ਨਾਲ ਜੁੜੇ ਸਿਸਟਮ ਕਾਰਡ. ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਹਨ।
ਅਸੀਂ ਇੱਕ ਨਵਾਂ ਪ੍ਰਯੋਗ ਵੀ ਸਾਂਝਾ ਕਰ ਰਹੇ ਹਾਂ: Codex CLI, ਇੱਕ ਹਲਕਾ coding ਏਜੰਟ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਆਪਣੇ terminal ਤੋਂ ਚਲਾ ਸਕਦੇ ਹੋ। ਇਹ ਤੁਹਾਡੇ ਕੰਪਿਊਟਰ ਤੇ ਸਿੱਧਾ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ o3 ਅਤੇ o4-mini ਵਰਗੇ ਮਾਡਲਾਂ ਦੀਆਂ ਰੀਜ਼ਨਿੰਗ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਨਾਲ ਹੀ GPT‑4.1 ਵਰਗੇ ਵਾਧੂ API ਮਾਡਲਾਂ ਲਈ ਆਉਣ ਵਾਲੇ ਸਮਰਥਨ ਨਾਲ।
ਤੁਸੀਂ command line ਤੋਂ multimodal reasoning ਦੇ ਲਾਭ ਲੈ ਸਕਦੇ ਹੋ, ਮਾਡਲ ਨੂੰ screenshots ਜਾਂ low fidelity sketches ਦੇ ਕੇ, ਨਾਲ ਹੀ ਆਪਣੇ ਸਥਾਨਕ ਕੋਡ ਤੱਕ ਪਹੁੰਚ ਜੋੜ ਕੇ। ਅਸੀਂ ਇਸ ਨੂੰ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਵਰਤੋਂਕਾਰਾਂ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਕੰਪਿਊਟਰਾਂ ਨਾਲ ਜੋੜਣ ਲਈ ਇੱਕ minimal interface ਵਜੋਂ ਦੇਖਦੇ ਹਾਂ। Codex CLI ਅੱਜ github.com/openai/codex(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ open-source ਹੈ।
ਇਸ ਦੇ ਨਾਲ ਨਾਲ, ਅਸੀਂ Codex CLI ਅਤੇ OpenAI ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਪ੍ਰੋਜੈਕਟਾਂ ਦੇ ਸਮਰਥਨ ਲਈ $1 million ਦੀ ਇੱਕ ਪਹਿਲ ਸ਼ੁਰੂ ਕਰ ਰਹੇ ਹਾਂ। ਅਸੀਂ API credits ਦੇ ਰੂਪ ਵਿੱਚ $25,000 USD ਦੇ ਹਿੱਸਿਆਂ ਵਿੱਚ grant applications ਦਾ ਮੁਲਾਂਕਣ ਕਰਾਂਗੇ ਅਤੇ ਮਨਜ਼ੂਰ ਕਰਾਂਗੇ। ਪ੍ਰਸਤਾਵ ਇੱਥੇ ਜਮ੍ਹਾਂ ਕਰਵਾਏ ਜਾ ਸਕਦੇ ਹਨ।
ChatGPT Plus, Pro, ਅਤੇ Team ਵਰਤੋਂਕਾਰ ਅੱਜ ਤੋਂ ਮਾਡਲ ਚੋਣਕਾਰ ਵਿੱਚ o3, o4-mini, ਅਤੇ o4-mini-high ਦੇਖਣਗੇ, ਜੋ o1, o3‑mini, ਅਤੇ o3‑mini‑high ਦੀ ਥਾਂ ਲੈਣਗੇ। ChatGPT Enterprise ਅਤੇ Edu ਵਰਤੋਂਕਾਰਾਂ ਨੂੰ ਇੱਕ ਹਫ਼ਤੇ ਵਿੱਚ ਪਹੁੰਚ ਮਿਲੇਗੀ। ਮੁਫ਼ਤ ਵਰਤੋਂਕਾਰ ਆਪਣਾ ਸਵਾਲ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ composer ਵਿੱਚ 'Think' ਚੁਣ ਕੇ o4-mini ਅਜ਼ਮਾ ਸਕਦੇ ਹਨ। ਸਭ ਯੋਜਨਾਵਾਂ ਵਿੱਚ rate limits ਪਹਿਲਾਂ ਵਾਲੇ ਮਾਡਲ ਸੈੱਟ ਵਾਂਗ ਹੀ ਅਣਬਦਲੇ ਰਹਿਣਗੇ।
ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਕੁਝ ਹਫ਼ਤਿਆਂ ਵਿੱਚ OpenAI o3‑pro ਨੂੰ ਪੂਰੇ ਟੂਲ ਸਮਰਥਨ ਨਾਲ ਜਾਰੀ ਕਰਾਂਗੇ। ਇਸ ਵੇਲੇ ਲਈ, Pro ਵਰਤੋਂਕਾਰ ਹਾਲੇ ਵੀ o1‑pro ਤੱਕ ਪਹੁੰਚ ਕਰ ਸਕਦੇ ਹਨ।
o3 ਅਤੇ o4-mini ਦੋਵੇਂ ਅੱਜ ਤੋਂ ਡਿਵੈਲਪਰਾਂ ਲਈ ਚੈਟ ਕੰਪਲੀਸ਼ਨਜ਼ API ਅਤੇ Responses API ਰਾਹੀਂ ਵੀ ਉਪਲਬਧ ਹਨ (ਕੁਝ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਹਨਾਂ ਮਾਡਲਾਂ ਤੱਕ ਪਹੁੰਚ ਲਈ
ਅੱਜ ਦੀਆਂ ਅਪਡੇਟਾਂ ਇਸ ਦਿਸ਼ਾ ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਹਨ ਜਿਸ ਵੱਲ ਸਾਡੇ ਮਾਡਲ ਵੱਧ ਰਹੇ ਹਨ: ਅਸੀਂ o-series ਦੀਆਂ ਵਿਸ਼ੇਸ਼ ਰੀਜ਼ਨਿੰਗ ਸਮਰੱਥਾਵਾਂ ਨੂੰ GPT‑series ਦੀਆਂ ਹੋਰ ਕੁਦਰਤੀ ਗੱਲਬਾਤੀ ਯੋਗਤਾਵਾਂ ਅਤੇ ਟੂਲ ਵਰਤੋਂ ਨਾਲ ਇਕਜੁੱਟ ਕਰ ਰਹੇ ਹਾਂ। ਇਹ ਤਾਕਤਾਂ ਇਕੱਠੀਆਂ ਕਰਕੇ, ਸਾਡੇ ਭਵਿੱਖ ਦੇ ਮਾਡਲ ਸਰਗਰਮ ਟੂਲ ਵਰਤੋਂ ਅਤੇ ਉੱਨਤ ਸਮੱਸਿਆ-ਹੱਲ ਨਾਲ ਨਾਲ ਬਿਨਾਂ ਰੁਕਾਵਟ, ਕੁਦਰਤੀ ਗੱਲਬਾਤਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨਗੇ।
28 ਜੁਲਾਈ, 2025 ਦੀ ਅਪਡੇਟ: SWE-Lancer dataset ਅਤੇ ਨਤੀਜੇ 17 ਜੁਲਾਈ, 2025 ਤੱਕ ਅਪਡੇਟ ਕੀਤੇ ਗਏ ਹਨ, ਉਪਲਬਧ: https://github.com/openai/preparedness(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਅਤੇ ਸਾਡੇ ਸਿਸਟਮ ਕਾਰਡ ਵਿੱਚ। ਇਹ ਅਪਡੇਟ ਕਮਾਏ ਗਏ dollars ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਵਾਲੀਆਂ ਕਈ ਸਮੱਸਿਆਵਾਂ ਦਾ ਹੱਲ ਕਰਦੀ ਹੈ ਅਤੇ execution ਦੌਰਾਨ internet connectivity ਦੀ ਲੋੜ ਹਟਾਉਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ variability ਦਾ ਇੱਕ ਮੁੱਖ ਸਰੋਤ ਖਤਮ ਹੁੰਦਾ ਹੈ।
16 ਅਪ੍ਰੈਲ, 2025 ਦੀ ਅਪਡੇਟ: Charxiv-r ਅਤੇ Mathvista ਤੇ o3 ਦੇ ਨਤੀਜੇ ਇੱਕ system prompt ਬਦਲਾਅ ਨੂੰ ਦਰਸਾਉਣ ਲਈ ਅਪਡੇਟ ਕੀਤੇ ਗਏ, ਜੋ ਅਸਲ ਮੁਲਾਂਕਣ ਵਿੱਚ ਮੌਜੂਦ ਨਹੀਂ ਸੀ।
ਲੇਖਕ
ਫੁਟਨੋਟਸ
* tau-bench ਮੁਲਾਂਕਣ ਅੰਕ variance ਘਟਾਉਣ ਲਈ 5 runs ਦੇ ਔਸਤ ਹਨ, ਅਤੇ ਇਹ ਕਿਸੇ ਵੀ custom tools ਜਾਂ prompting ਤੋਂ ਬਿਨਾਂ ਚਲਾਏ ਜਾਂਦੇ ਹਨ। ਅਸੀਂ ਪਾਇਆ ਕਿ tau-bench retail rollouts ਵਿੱਚ user model errors ਦੀ ਸੰਭਾਵਨਾ ਵੱਧ ਹੁੰਦੀ ਹੈ। ਸ਼ੇਡ ਕੀਤੀ ਬਾਰ ਲਈ ਅੰਕ user model ਵਜੋਂ GPT-4.1 ਨਾਲ ਚਲਾਏ ਗਏ ਹਨ ਕਿਉਂਕਿ ਇਹ instruction following ਵਿੱਚ GPT-4o ਨਾਲੋਂ ਕਾਫੀ ਬਿਹਤਰ ਹੈ।
* SWE-bench 256k max context length ਵਰਤਦਾ ਹੈ, ਜੋ o4-mini ਲਈ solve rate ਨੂੰ ਲਗਭਗ 3% ਸੁਧਾਰਦਾ ਹੈ ਅਤੇ o3 ਦੀ solve rate ਤੇ <1% ਅਸਰ ਪਾਂਦਾ ਹੈ। ਅਸੀਂ 23 ਉਹ ਨਮੂਨੇ ਵੀ ਬਾਹਰ ਰੱਖਦੇ ਹਾਂ ਜੋ ਸਾਡੇ ਅੰਦਰੂਨੀ infrastructure ਤੇ ਨਹੀਂ ਚੱਲ ਸਕਦੇ।
** browsing ਚਾਲੂ ਕਰਨ ਤੇ, ਮਾਡਲ ਕਈ ਵਾਰ ਆਨਲਾਈਨ ਸਹੀ ਜਵਾਬ ਲੱਭ ਸਕਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ ਕਿਸੇ dataset ਦੇ sample problems ਵਾਲੀਆਂ blog posts ਪੜ੍ਹ ਕੇ। browsing ਦੌਰਾਨ ਮਾਡਲ ਦੁਆਰਾ cheating ਕਰਨ ਬਾਰੇ ਚਿੰਤਾਵਾਂ ਨੂੰ ਘਟਾਉਣ ਲਈ ਅਸੀਂ ਦੋ ਤਰੀਕੇ ਵਰਤਦੇ ਹਾਂ:
ਉਹ domains ਬਲੌਕ ਕੀਤੇ ਜਿਥੋਂ ਅਸੀਂ ਪਹਿਲਾਂ ਮਾਡਲ ਨੂੰ cheating ਕਰਦਾ ਦੇਖਿਆ ਹੈ।
ਹਰ ਕੋਸ਼ਿਸ਼ ਵਿੱਚ ਸਾਰੇ tokens ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇੱਕ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ ਨੂੰ monitor ਵਜੋਂ ਵਰਤਿਆ ਗਿਆ, ਤਾਂ ਜੋ ਸ਼ੱਕੀ ਵਿਵਹਾਰ ਦੀ ਪਛਾਣ ਕੀਤੀ ਜਾ ਸਕੇ। ਸ਼ੱਕੀ ਵਿਵਹਾਰ ਦੀ ਪਰਿਭਾਸ਼ਾ ਹੈ "ਕੋਈ ਪੰਨਾ, ਫ਼ਾਈਲ ਜਾਂ snippet ਜਿਸਦਾ ਮੁੱਖ ਉਦੇਸ਼ ਇਸ ਖਾਸ ਸਵਾਲ ਦਾ ਸਹੀ ਜਵਾਬ ਦੇਣਾ ਹੋਵੇ, ਜਿਵੇਂ ਕੋਈ ਅਧਿਕਾਰਕ grading key, ਲੀਕ ਹੋਈ “solutions” gist, ਜਾਂ ਅਜਿਹੀ ਚਰਚਾ ਜੋ ਤਿਆਰ ਜਵਾਬ ਨੂੰ ਸ਼ਬਦ-ਬ-ਸ਼ਬਦ quote ਕਰਦੀ ਹੋਵੇ।" ਨਿਰਦੋਸ਼ ਵਿਵਹਾਰ ਦੀ ਪਰਿਭਾਸ਼ਾ ਹੈ "ਕੋਈ ਵੀ ਅਧਿਕਾਰਕ ਸਰੋਤ ਜਿਸ ਨੂੰ ਇੱਕ ਮਿਹਨਤੀ ਮਨੁੱਖ ਸਲਾਹ ਲਈ ਵੇਖ ਸਕਦਾ ਹੈ (documentation, manuals, scholarly papers, ਮਾਣਯੋਗ ਲੇਖ), ਭਾਵੇਂ ਉਸ ਵਿੱਚ ਸੰਜੋਗਵਸ਼ ਸਹੀ ਜਵਾਬ ਹੋਵੇ।" ਜਿਹੜੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਨੂੰ monitor ਨੇ ਸ਼ੱਕੀ rollout ਮੰਨਿਆ, ਉਨ੍ਹਾਂ ਨੂੰ ਗਲਤ ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਜਾਂਚ ਵਿੱਚ ਅਸਫਲ ਹੋਏ ਬਹੁਤਰੇ ਨਮੂਨੇ ਉਹ ਸਮੱਸਿਆਵਾਂ ਸਨ ਜਿਨ੍ਹਾਂ ਦਾ ਸਹੀ ਹੱਲ ਇੰਟਰਨੈੱਟ ਦੇ ਕਈ ਸਰੋਤਾਂ ਤੇ ਉਪਲਬਧ ਸੀ, ਜੋ HLE ਨਾਲ ਅਸੰਬੰਧਿਤ ਸਨ।
ਅੰਤ ਵਿੱਚ, browsing ਨਾਲ ਸਾਡੀਆਂ ਮੁਲਾਂਕਣਾਂ OpenAI API ਵਿੱਚ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੁਹਰਾਈਆਂ ਨਾ ਜਾ ਸਕਣ, ਕਿਉਂਕਿ ChatGPT ਅਤੇ OpenAI API ਦੇ search engine backends ਵਿੱਚ ਅੰਤਰ ਹੈ। ਇਹ ਨਤੀਜੇ ChatGPT ਵਰਤੋਂਕਾਰ ਅਨੁਭਵ ਦੀ ਨੁਮਾਇੰਦਗੀ ਕਰਨ ਲਈ ਹਨ, ਪਰ ਮੰਗ ਦੇ ਅਨੁਸਾਰ search configuration ਸਮੇਂ ਨਾਲ ਬਦਲ ਸਕਦੀ ਹੈ।
ਯੋਗਦਾਨਕਰਤਾ
Aaditya Singh, Aaron Schlesinger, Adam Fry, Adam Lerer, Adam Perelman, Adam Walker, Ahmed El-Kishky, Aidan Clark, Aidan McLaughlin, Aiden Low, Akila Welihinda, Akshay Nathan, Aleksander Madry, Aleksandra Spyra, Alex Karpenko, Alex Neitz, Alex Tachard Passos, Alex Wei, Alexander Prokofiev, Alexander Zielenski, Alexandra Barr, Alexey Ivanov, Alexi Christakis, Alfred Xue, Allison Tam, Ally Bennett, Ally Bennett , Amelia Liu, Amy McDonald Sandjideh, Ananya Kumar, Andre Saraiva, Andrea Vallone, Andrew Chen, Andrew Duberstein, Andrew Gibiansky, Andrew Kondrich, Andrew Tulloch, Andrey Mishchenko, Andy Applebaum, Andy Wang, Angela Baek, Annie Wei, Anting Shen, Antoine Pelisse, Anuj Saharan, Arun Vijayvergiya, Ashley Tyra, Ashvin Nair, Avi Nayak, Avital Oliver, Behrooz Ghorbani, Belinda Truong, Ben Sokolowsky, Beth Hoover, Bo Xu, Boaz Barak, Bohan Zhang, Borys Minaiev, Botao Hao, Bowen Baker, Bowen Cheng, Brandon McKinzie, Brandon Wang, Brian Hsu, Brian Yang, Brian Yu, Brian Zhang, Camillo Lugaresi, Carolina Paz, Carpus Chang, Cary Bassin , Cary Hudson, Casey Chu, Chak Li, Charles Zhao, Charlie Jatt, Charlotte Cole, Chelsea Voss, Chen Shen, Chengxu Zhuang, Chris Colby, Chris Hallacy , Chris Koch, Christina Kaplan, Christina Kim, Colin Reid, Colin Wei, Cristina Scheau, D. Sculley, Damien Deville, Dan Roberts, Dana Palmie, Dane Stuckey, Daniel Levine, David Hu, David Martin, David Robinson, David Sasaki, Davis Wu, Derek Chen, Dibya Bhattacharjee, Dimitris Tsipras, Dinghua Li, DJ Strouse, dmed Medina, Drew Hintz, Eddie Zhang, Edmund Wong, Elaine Ya Le, Eli Yani , Elizabeth Proehl, Emily Sokolova, Enoch Cheung, Eri Schwartz, Eric Mitchell, Eric Ning, Eric Sigler, Eric Wallace, Eugenio Panero, Evan Mays, Evgenii Nikishin, Fan Wang, Fangyuan Li, Filippo Raso, Foivos Tsimpourlas, Fouad Matin, Francis Song, Francis Zhang, Gary Yang, Gene Oden, Giambattista Parascandolo, Gildas Chabot, Grace Kim, Grace Zhao, Greg Brockman, Gregory Valiant, Guillaume Leclerc, Hadi Salman, Haitang Hu, Hannah Sheahan, Hao Sheng, Haoyu Wang, Henrique Ponde de Oliveira Pinto, Henry Aspegren, Heqing Yan, Hessam Bagherinezhad, Hongyu Ren, Hunter Lightman, Hyeonwoo Noh, Ian Kivlichan, Ian Sohl, Ignasi Clavera, Ikai Lan, Ilge Akkaya, Ilya Kostrikov, Irina Kofman, Isa Fulford, Jake Brill, Jakub Pachocki, James Betker, James Lee, James Qin, Jamie Kiros, Jason Ai, Jay Wang, Jean Harb, Jeff Mickey, Jeffrey Han, Jeffrey Wang, Jeremy Chen, Jerry Tworek, Jessica Liang, Jessica Shieh, Ji Lin, Jiahui Yu, Jianfeng Wang, Jie Tang, Jihan Yin, Jing Li, Joanne Jang, Joel Morris, Johannes Ferstad, Johannes Heidecke, John Fishbein, Jon Okun, Jonathan Gordon, Joost Huizinga, Jos Kraaijeveld, Joseph Mo, Josh Lawson , Josh Tobin, Junhua Mao, Kai Chen, Kai Hayashi, Karan Singhal, Karina Nguyen, Katy Shi, Kelly Stirman, Kenji Hata, Kenny Nguyen, Keren Gu-Lemberg, Kevin Gladstone, Kevin King, Kevin Liu, Kevin Lu, Kevin Park, Kevin Stone, Kevin Weil, Kevin Whinnery, Kevin Yu, Kote Mushegiani, Kristen Ying, Kristian Georgiev, Kshitij Gupta, Kyle Kosic, Lama Ahmad, Larry Lv, Lauren Itow, Lauren Yang, Lee Byron, Leo Chen, Leo Liu, Leon Maksin, Leyton Ho, Li Jing, Liang Xiong, Lin Yang, Linden Li, Lorenz Kuhn, Louis Feuvrier, Lu Zhang, Łukasz Kaiser, Mahmoud Eariby, Maja Trębacz, Manas Joglekar, Manoli Liodakis, Manuka Stratta, Mark Chen, Mark Hudnall, Mark Sun, Mark Wang, Martin Li, Marvin Zhang, Mateusz Litwin, Matt Jones, Matt Lim, Max Johnson, Max Schwarzer, Mayank Gupta, Meghan Shah, Mengqing Wang, Mengyuan Yan, Mia Glaese, Michael Bolin, Michael Lampe, Michael Malek, Michael Sharman, Michael Zhang, Michele Wang, Michelle Pokrass, Miguel Oom Temudo de Castro, Mihai Florian, Mike McClay, Mike Trpcic, Miki Habryn, Miles Wang, Ming Chen, Mingxuan Wang, Minnia Feng, Mitchell Gordon, Mo Bavarian, Mostafa Rohaninejad, Nacho Soto, Nakul Khanna, Nat McAleese, Natalie Staudacher, Natan LaFontaine, Neel Ajjarapu, Nick Felt, Nick Turley, Nikil Pancha, Nikita Mikhaylin, Niko Felix, Nikunj Handa, Ning Liu, Nishant Rai, Noah Jorgensen, Noam Brown, Oleg Boiko, Oleg Murk, Olivia Watkins, Olivier Godement, Oona Gleeson, Paul Ashbourne, Pavel Belov, Peter Flockhart, Peter Hoeschele, Peter Zhokhov, Philip Pronin, Phillip Guo, Phoebe Thacker, Prafulla Dhariwal, Prashanth R, Rachel Dias, Rahul Arora, Rajkumar Samuel, Rasmus Rygaard, Ravi Teja Mullapudi, Raymond Li, Raz Gaon, Reah Miyara, Reiichiro Nakano, Reimar Leike, Rennie Song, Rhythm Garg, RJ Marsan, Robert Xiong, Robin Brown, Roman Tsiupa, Rui Shu, Ruslan Nigmatullin, Saachi Jain, Saagar Patel, Sam Altman, Sam Toizer, Sam Toyer, Samir Ahmed, Samuel Miserendino, Samuel Wolrich , Sandhini Agarwal, Santiago Hernández, Sarah Dong, Savannah Heon, Scott Ethersmith, Scott Mayer McKinney, Sean Fitzgerald, Sever Banesiu, Shamez Hemani, Shengjia Zhao, Shengli Hu, Shibani Santurkar, Shreyas Krishnaswamy, Shuchao Bi, Shunyu Yao, Shuyuan Zhang, Simón Posada Fishman, Spencer Papay, Spug Golden, Srinivas Narayanan, Stanley Hsieh, Stephen Logsdon, Sundeep Tirumalareddy, Tal Stramer, Tao Wang, Tao Xin, Taylor Gordon, Tejal Patwardhan, Thibault Sottiaux, Tina Sriskandarajah, Tony Casparro, Tony Zhao, Trevor Creech, Uzair Navid Iftikhar, Valerie Qi, Vineet Kosaraju, Vishal Kuo, Vitchyr Pong, Vivek Verma, Vlad Petrov, Wenda Zhou, Wenlei Xie, Wenting Zhan, Will DePue, Will Ellsworth, William Sheu, Wyatt Thompson, Yaming Lin, Yann Dubois, Yaodong Yu, Yara Khakbaz, Yash Patil, Yifan Wu, Yilong Qin, Yining Chen, Yirui Zhang, Yo Shavit , Young Cha, Yunyun Wang, Yushi Wang, Zack Sultan, Zehao Dou, Zewei Chu, Zheng Shao, Zhigang Wang, Zhishuai Zhang, Zihao Zhang