ਸਾਡਾ ਮਿਸ਼ਨ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ AGI ਦਾ ਲਾਭ ਸਾਰੀ ਮਨੁੱਖਤਾ ਤੱਕ ਪਹੁੰਚੇ। ਜੇ AI ਹਰ ਕਿਸੇ ਲਈ ਲਾਭਕਾਰੀ ਹੋਣੀ ਹੈ, ਤਾਂ ਇਸ ਨੂੰ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਸਭਿਆਚਾਰਾਂ ਵਿੱਚ ਵਧੀਆ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਦੁਨੀਆ ਭਰ ਦੇ ਲਗਭਗ 80 ਫੀਸਦੀ ਲੋਕ ਅੰਗਰੇਜ਼ੀ ਨੂੰ ਆਪਣੀ ਮੁੱਖ ਭਾਸ਼ਾ ਵਜੋਂ ਨਹੀਂ ਬੋਲਦੇ, ਫਿਰ ਵੀ ਗੈਰ-ਅੰਗਰੇਜ਼ੀ ਭਾਸ਼ਾਈ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਮਾਪਣ ਵਾਲੇ ਜ਼ਿਆਦਾਤਰ ਮੌਜੂਦਾ ਬੈਂਚਮਾਰਕ ਘੱਟ ਪੈਂਦੇ ਹਨ.
MMMLU(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵਰਗੇ ਮੌਜੂਦਾ ਬਹੁਭਾਸ਼ੀ ਬੈਂਚਮਾਰਕ ਹੁਣ ਸੰਤ੍ਰਿਪਤ ਹੋ ਚੁੱਕੇ ਹਨ—ਚੋਟੀ ਦੇ ਮਾਡਲ ਉੱਚ ਸਕੋਰਾਂ ਦੇ ਨੇੜੇ ਇਕੱਠੇ ਹੋ ਜਾਂਦੇ ਹਨ—ਜਿਸ ਕਾਰਨ ਅਸਲ ਤਰੱਕੀ ਮਾਪਣ ਲਈ ਉਹ ਘੱਟ ਲਾਭਕਾਰੀ ਰਹਿੰਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮੌਜੂਦਾ ਬੈਂਚਮਾਰਕ ਮੁੱਖ ਤੌਰ ਤੇ ਅਨੁਵਾਦ ਜਾਂ ਬਹੁ-ਵਿਕਲਪੀ ਕੰਮਾਂ ਤੇ ਕੇਂਦ੍ਰਿਤ ਹਨ। ਇਹ ਉਹ ਗੱਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਪਕੜਦੇ ਜੋ AI ਸਿਸਟਮ ਦੀ ਭਾਸ਼ਾਈ ਸਮਰੱਥਾ ਦਾ ਮੁਲਾਂਕਨ ਕਰਨ ਲਈ ਸੱਚਮੁੱਚ ਮਹੱਤਵਪੂਰਨ ਹੈ—ਸੰਦਰਭ, ਸਭਿਆਚਾਰ, ਇਤਿਹਾਸ, ਅਤੇ ਉਹ ਚੀਜ਼ਾਂ ਜੋ ਲੋਕਾਂ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਰਹਿਣ ਵਾਲੇ ਸਥਾਨਾਂ ਤੇ ਮਹੱਤਵ ਰੱਖਦੀਆਂ ਹਨ.
ਇਸੇ ਲਈ ਅਸੀਂ IndQA ਬਣਾਇਆ, ਇੱਕ ਨਵਾਂ ਬੈਂਚਮਾਰਕ ਜੋ ਇਹ ਜਾਣਚਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ AI ਮਾਡਲ ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸਵਾਲਾਂ ਨੂੰ ਕਿੰਨਾ ਸਮਝਦੇ ਹਨ ਅਤੇ ਉਨ੍ਹਾਂ ਬਾਰੇ ਕਿਵੇਂ ਰੀਜ਼ਨਿੰਗ ਕਰਦੇ ਹਨ, ਉਹ ਵੀ ਸਭਿਆਚਾਰਕ ਖੇਤਰਾਂ ਦੀ ਵੱਡੀ ਰੇਂਜ ਵਿੱਚ। ਹਾਲਾਂਕਿ ਸਾਡਾ ਉਦੇਸ਼ ਹੋਰ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਖੇਤਰਾਂ ਲਈ ਵੀ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਬੈਂਚਮਾਰਕ ਬਣਾਉਣਾ ਹੈ, ਭਾਰਤ ਇੱਕ ਸਪਸ਼ਟ ਸ਼ੁਰੂਆਤੀ ਬਿੰਦੂ ਹੈ। ਭਾਰਤ ਵਿੱਚ ਲਗਭਗ ਇੱਕ ਅਰਬ ਲੋਕ ਹਨ ਜੋ ਅੰਗਰੇਜ਼ੀ ਨੂੰ ਆਪਣੀ ਮੁੱਖ ਭਾਸ਼ਾ ਵਜੋਂ ਨਹੀਂ ਵਰਤਦੇ, 22 ਅਧਿਕਾਰਕ ਭਾਸ਼ਾਵਾਂ ਹਨ (ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ ਸੱਤ ਵਿੱਚ 50 ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਬੋਲਣ ਵਾਲੇ ਹਨ), ਅਤੇ ਇਹ ChatGPT ਦਾ ਦੂਜਾ ਸਭ ਤੋਂ ਵੱਡਾ ਬਾਜ਼ਾਰ ਹੈ.
ਇਹ ਕੰਮ ਭਾਰਤੀ ਯੂਜ਼ਰਾਂ ਲਈ ਸਾਡੇ ਉਤਪਾਦਾਂ ਅਤੇ ਸਾਧਨਾਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਅਤੇ ਦੇਸ਼ ਭਰ ਵਿੱਚ ਆਪਣੀ ਤਕਨਾਲੋਜੀ ਨੂੰ ਹੋਰ ਪਹੁੰਚਯੋਗ ਬਣਾਉਣ ਦੀ ਸਾਡੀ ਲਗਾਤਾਰ ਵਚਨਬੱਧਤਾ ਦਾ ਹਿੱਸਾ ਹੈ.
IndQA ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਭਾਰਤੀ ਸਭਿਆਚਾਰ ਅਤੇ ਰੋਜ਼ਾਨਾ ਜੀਵਨ ਬਾਰੇ ਗਿਆਨ ਅਤੇ ਰੀਜ਼ਨਿੰਗ ਦਾ ਮੁਲਾਂਕਨ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ 12 ਭਾਸ਼ਾਵਾਂ ਅਤੇ 10 ਸਭਿਆਚਾਰਕ ਖੇਤਰਾਂ ਵਿੱਚ 2,278 ਸਵਾਲ ਸ਼ਾਮਲ ਹਨ, ਜੋ ਭਾਰਤ ਭਰ ਦੇ 261 ਖੇਤਰ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਦੇ ਸਹਿਯੋਗ ਨਾਲ ਬਣਾਏ ਗਏ ਹਨ। MMMLU ਅਤੇ MGSM ਵਰਗੇ ਮੌਜੂਦਾ ਬੈਂਚਮਾਰਕਾਂ ਤੋਂ ਵੱਖਰਾ, ਇਹ ਉਹਨਾਂ ਸਭਿਆਚਾਰਕ ਤੌਰ ਤੇ ਸੁਕਸ਼ਮ ਅਤੇ ਰੀਜ਼ਨਿੰਗ-ਕੇਂਦ੍ਰਿਤ ਕੰਮਾਂ ਦੀ ਜਾਂਚ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਮੌਜੂਦਾ ਮੁਲਾਂਕਨ ਪਕੜਣ ਵਿੱਚ ਮੁਸ਼ਕਲ ਮਹਿਸੂਸ ਕਰਦੇ ਹਨ.
IndQA ਸਭਿਆਚਾਰਕ ਤੌਰ ਤੇ ਸਬੰਧਤ ਵਿਸ਼ਿਆਂ ਦੀ ਵਿਸ਼ਾਲ ਰੇਂਜ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਵਾਸਤੁਕਲਾ ਅਤੇ ਡਿਜ਼ਾਈਨ, ਕਲਾ ਅਤੇ ਸਭਿਆਚਾਰ, ਰੋਜ਼ਾਨਾ ਜੀਵਨ, ਭੋਜਨ ਅਤੇ ਪਕਵਾਨ, ਇਤਿਹਾਸ, ਕਾਨੂੰਨ ਅਤੇ ਨੈਤਿਕਤਾ, ਸਾਹਿਤ ਅਤੇ ਭਾਸ਼ਾਵਿਗਿਆਨ, ਮੀਡੀਆ ਅਤੇ ਮਨੋਰੰਜਨ, ਧਰਮ ਅਤੇ ਆਧਿਆਤਮਿਕਤਾ, ਅਤੇ ਖੇਡਾਂ ਅਤੇ ਮਨੋਰੰਜਨ—ਜਿਸ ਵਿੱਚ ਪ੍ਰਸ਼ਨ ਮੂਲ ਰੂਪ ਵਿੱਚ ਬੰਗਾਲੀ, ਅੰਗਰੇਜ਼ੀ, ਹਿੰਦੀ, ਹਿੰਗਲਿਸ਼, ਕੰਨੜ, ਮਰਾਠੀ, ਓਡੀਆ, ਤੇਲుగు, ਗੁਜਰਾਤੀ, ਮਲਿਆਲਮ, ਪੰਜਾਬੀ, ਅਤੇ ਤਾਮਿਲ ਵਿੱਚ ਲਿਖੇ ਗਏ ਹਨ। ਨੋਟ: ਗੱਲਬਾਤਾਂ ਵਿੱਚ ਕੋਡ-ਸਵਿੱਚਿੰਗ ਦੀ ਵਿਆਪਕਤਾ ਨੂੰ ਦੇਖਦੇ ਹੋਏ ਅਸੀਂ ਖਾਸ ਤੌਰ ਤੇ ਹਿੰਗਲਿਸ਼ ਸ਼ਾਮਲ ਕੀਤੀ ਹੈ.
ਹਰ ਡਾਟਾਪਾਇੰਟ ਵਿੱਚ ਇੱਕ ਸਭਿਆਚਾਰਕ ਤੌਰ ਤੇ ਆਧਾਰਿਤ ਪ੍ਰੌੰਪਟ ਭਾਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ, ਜਾਂਚਯੋਗਤਾ ਲਈ ਇੱਕ ਅੰਗਰੇਜ਼ੀ ਅਨੁਵਾਦ, ਮੁਲਾਂਕਨ ਲਈ ਰੂਬ੍ਰਿਕ ਮਾਪਦੰਡ, ਅਤੇ ਇੱਕ ਆਦਰਸ਼ ਜਵਾਬ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਜੋ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਦੀਆਂ ਉਮੀਦਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ.
IndQA ਰੂਬ੍ਰਿਕ-ਆਧਾਰਿਤ ਪੱਧਤੀ ਵਰਤਦਾ ਹੈ। ਹਰ ਜਵਾਬ ਨੂੰ ਉਸ ਖਾਸ ਪ੍ਰਸ਼ਨ ਲਈ ਖੇਤਰ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਦੁਆਰਾ ਲਿਖੇ ਮਾਪਦੰਡਾਂ ਦੇ ਮੁਕਾਬਲੇ ਅੰਕਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਮਾਪਦੰਡ ਸਪਸ਼ਟ ਕਰਦੇ ਹਨ ਕਿ ਇੱਕ ਆਦਰਸ਼ ਜਵਾਬ ਵਿੱਚ ਕੀ ਸ਼ਾਮਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਜਾਂ ਕੀ ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ, ਅਤੇ ਹਰ ਇਕ ਨੂੰ ਉਸਦੀ ਮਹੱਤਤਾ ਦੇ ਆਧਾਰ ਤੇ ਭਾਰਿਤ ਅੰਕ ਮੁੱਲ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਮਾਡਲ-ਆਧਾਰਿਤ ਗਰੇਡਰ ਜਾਂਚਦਾ ਹੈ ਕਿ ਹਰ ਮਾਪਦੰਡ ਪੂਰਾ ਹੋਇਆ ਹੈ ਜਾਂ ਨਹੀਂ। ਅੰਤਿਮ ਸਕੋਰ, ਪੂਰੇ ਹੋਏ ਮਾਪਦੰਡਾਂ ਲਈ ਮਿਲੇ ਅੰਕਾਂ ਦਾ ਕੁੱਲ ਸੰਭਾਵਿਤ ਅੰਕਾਂ ਵਿੱਚੋਂ ਜੋੜ ਹੁੰਦਾ ਹੈ.
- ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਦੁਆਰਾ ਲਿਖੇ ਸਵਾਲ. ਅਸੀਂ ਭਾਰਤ ਦੇ 10 ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ਗਿਆਨ ਲੱਭਣ ਲਈ ਭਾਗੀਦਾਰਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ। ਉਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਖੇਤਰਾਂ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨਾਲ ਜੁੜੇ ਮੁਸ਼ਕਲ, ਰੀਜ਼ਨਿੰਗ-ਕੇਂਦ੍ਰਿਤ ਪ੍ਰੌੰਪਟ ਤਿਆਰ ਕੀਤੇ। ਇਹ ਵਿਸ਼ੇਸ਼ਗਿਆਨ ਸੰਬੰਧਤ ਭਾਸ਼ਾ (ਅਤੇ ਅੰਗਰੇਜ਼ੀ) ਦੇ ਮੂਲ-ਪੱਧਰ ਦੇ ਬੋਲਣ ਵਾਲੇ ਹਨ ਅਤੇ ਡੂੰਘੀ ਵਿਸ਼ੇਸ਼ ਗਿਆਨਤਾ ਲਿਆਉਂਦੇ ਹਨ.
- ਵਿਰੋਧੀ ਫਿਲਟਰੀਕਰਨ: ਹਰ ਪ੍ਰਸ਼ਨ ਨੂੰ ਉਸਦੀ ਰਚਨਾ ਦੇ ਸਮੇਂ OpenAI ਦੇ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਮਾਡਲਾਂ ਦੇ ਖਿਲਾਫ ਜਾਂਚਿਆ ਗਿਆ: GPT‑4o, OpenAI o3, GPT‑4.5, ਅਤੇ (ਅੰਸ਼ਿਕ ਤੌਰ ਤੇ, ਜਨਤਕ ਲਾਂਚ ਤੋਂ ਬਾਅਦ) GPT‑5। ਅਸੀਂ ਕੇਵਲ ਉਹੀ ਪ੍ਰਸ਼ਨ ਰੱਖੇ ਜਿੱਥੇ ਇਨ੍ਹਾਂ ਮਾਡਲਾਂ ਦੀ ਬਹੁਗਿਣਤੀ ਕਬੂਲਯੋਗ ਜਵਾਬ ਦੇਣ ਵਿੱਚ ਅਸਫਲ ਰਹੀ, ਤਾਂ ਜੋ ਤਰੱਕੀ ਲਈ ਥਾਂ ਬਚੀ ਰਹੇ.
- ਵਿਸਥਾਰਪੂਰਣ ਮਾਪਦੰਡ. ਹਰ ਪ੍ਰਸ਼ਨ ਦੇ ਨਾਲ, ਖੇਤਰ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਨੇ ਉਹ ਮਾਪਦੰਡ ਦਿੱਤੇ ਜੋ ਮਾਡਲ ਦੇ ਜਵਾਬ ਨੂੰ ਅੰਕਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਜਿਵੇਂ ਕਿਸੇ ਲੇਖ-ਅਧਾਰਿਤ ਪ੍ਰਸ਼ਨ ਲਈ ਇਮਤਿਹਾਨੀ ਰੂਬ੍ਰਿਕ ਹੁੰਦੀ ਹੈ। ਇਹ ਮਾਪਦੰਡ ਉਮੀਦਵਾਰ ਮਾਡਲਾਂ ਦੇ ਜਵਾਬਾਂ ਨੂੰ ਅੰਕਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ.
- ਆਦਰਸ਼ ਜਵਾਬ + ਸਮੀਖਿਆ. ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਨੇ ਆਦਰਸ਼ ਜਵਾਬ ਅਤੇ ਅੰਗਰੇਜ਼ੀ ਅਨੁਵਾਦ ਜੋੜੇ, ਫਿਰ ਸਹਿਕਰਮੀ ਸਮੀਖਿਆ ਅਤੇ ਦੁਹਰਾਈਆਂ ਸੁਧਾਰਾਂ ਤੋਂ ਬਾਅਦ ਮਨਜ਼ੂਰੀ ਦਿੱਤੀ ਗਈ.
ਭਾਸ਼ਾ: ਬੰਗਾਲੀ
ਖੇਤਰ: ਸਾਹਿਤ ਅਤੇ ਭਾਸ਼ਾਵਿਗਿਆਨ
ਖੇਤਰ: ਭੋਜਨ ਅਤੇ ਪਕਵਾਨ
ਅਸੀਂ IndQA ਦਾ ਵਰਤੋਂ ਇਹ ਮੁਲਾਂਕਨ ਕਰਨ ਲਈ ਕਰਦੇ ਹਾਂ ਕਿ ਹਾਲੀਆ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲ ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ ਅਤੇ ਪਿਛਲੇ ਕੁਝ ਸਾਲਾਂ ਦੀ ਤਰੱਕੀ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਾਂ। IndQA ਨਾਲ ਅਸੀਂ ਦੇਖ ਸਕਦੇ ਹਾਂ ਕਿ OpenAI ਦੇ ਮਾਡਲ ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ ਉੱਤੇ ਸਮੇਂ ਦੇ ਨਾਲ ਕਾਫ਼ੀ ਸੁਧਰੇ ਹਨ (ਕੁਝ ਚੇਤਾਵਨੀਆਂ ਸਮੇਤ), ਪਰ ਫਿਰ ਵੀ ਸੁਧਾਰ ਲਈ ਕਾਫ਼ੀ ਥਾਂ ਬਾਕੀ ਹੈ। ਅਸੀਂ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਹੋਰ ਬਿਹਤਰ ਬਣਾਉਣ ਅਤੇ ਭਵਿੱਖ ਦੇ ਮਾਡਲਾਂ ਲਈ ਨਤੀਜੇ ਸਾਂਝੇ ਕਰਨ ਦੀ ਉਡੀਕ ਕਰ ਰਹੇ ਹਾਂ.
ਹੇਠਾਂ ਅਸੀਂ ਭਾਸ਼ਾ ਅਤੇ ਖੇਤਰ ਅਨੁਸਾਰ ਵੀ IndQA ਉੱਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਵਰਗੀਕਰਨ ਕਰਦੇ ਹਾਂ, ਜਿਸ ਵਿੱਚ GPT‑5 Thinking High ਦੀ ਹੋਰ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਕੀਤੀ ਗਈ ਹੈ.
ਕਿਉਂਕਿ ਭਾਸ਼ਾਵਾਂ ਅਨੁਸਾਰ ਪ੍ਰਸ਼ਨ ਇਕੋ ਜਿਹੇ ਨਹੀਂ ਹਨ, ਇਸ ਲਈ IndQA ਕੋਈ ਭਾਸ਼ਾਈ ਲੀਡਰਬੋਰਡ ਨਹੀਂ ਹੈ; ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ ਦੇ ਸਕੋਰਾਂ ਨੂੰ ਭਾਸ਼ਾਈ ਯੋਗਤਾ ਦੀ ਸਿੱਧੀ ਤੁਲਨਾ ਵਜੋਂ ਨਹੀਂ ਸਮਝਣਾ ਚਾਹੀਦਾ। ਇਸ ਦੀ ਬਜਾਏ, ਅਸੀਂ IndQA ਨੂੰ ਕਿਸੇ ਮਾਡਲ ਪਰਿਵਾਰ ਜਾਂ ਸੰਰਚਨਾ ਦੇ ਅੰਦਰ ਸਮੇਂ ਦੇ ਨਾਲ ਸੁਧਾਰ ਮਾਪਣ ਲਈ ਵਰਤਣ ਦੀ ਯੋਜਨਾ ਰੱਖਦੇ ਹਾਂ.
ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕਿਉਂਕਿ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਉਹਨਾਂ ਵਿੱਚੋਂ ਛਾਂਟਿਆ ਗਿਆ ਸੀ ਜਿਨ੍ਹਾਂ ਦਾ GPT‑4o, OpenAI o3, GPT‑4.5, ਅਤੇ (ਜਨਤਕ ਲਾਂਚ ਤੋਂ ਬਾਅਦ) GPT‑5 ਪ੍ਰਯਾਪਤ ਜਵਾਬ ਨਹੀਂ ਦੇ ਸਕੇ, ਇਸ ਲਈ ਪ੍ਰਸ਼ਨ-ਚੋਣ ਇਨ੍ਹਾਂ ਮਾਡਲਾਂ ਦੇ ਖਿਲਾਫ ਵਿਰੋਧੀ ਹੈ। ਇਸ ਨਾਲ ਸੰਭਾਵਤ ਤੌਰ ਤੇ GPT‑5 ਦੇ ਸਬੰਧਤ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਵਿਆਖਿਆ ਗੁੰਝਲਦਾਰ ਹੋ ਸਕਦੀ ਹੈ, ਅਤੇ ਗੈਰ-OpenAI ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਸਾਰੇ OpenAI ਮਾਡਲਾਂ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚ ਸਕਦਾ ਹੈ.
ਅਸੀਂ ਉਹਨਾਂ 261 ਭਾਰਤੀ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ—ਪੱਤਰਕਾਰਾਂ, ਭਾਸ਼ਾਵਿਗਿਆਨੀਆਂ, ਵਿਦਵਾਨਾਂ, ਕਲਾਕਾਰਾਂ ਅਤੇ ਉਦਯੋਗਿਕ ਅਭਿਆਸਕਾਂ—ਦੇ ਆਭਾਰੀ ਹਾਂ ਜਿਨ੍ਹਾਂ ਨੇ IndQA ਲਈ ਪ੍ਰਸ਼ਨ ਲਿਖੇ ਅਤੇ ਸਮੀਖਿਆ ਕੀਤੀ। ਜਿਨ੍ਹਾਂ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਨਾਲ ਅਸੀਂ ਕੰਮ ਕੀਤਾ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਉਦਾਹਰਨਾਂ ਇਹ ਹਨ:
- 750 ਤੋਂ ਵੱਧ ਫਿਲਮਾਂ ਨਾਲ ਇੱਕ ਨੰਦੀ ਅਵਾਰਡ ਜੇਤੂ ਤੇਲుగు ਅਦਾਕਾਰ ਅਤੇ ਸਕ੍ਰੀਨਰਾਈਟਰ
- ਤਰੁਣ ਭਾਰਤ ਵਿੱਚ ਇੱਕ ਮਰਾਠੀ ਪੱਤਰਕਾਰ ਅਤੇ ਸੰਪਾਦਕ
- ਕੰਨੜ ਭਾਸ਼ਾਵਿਗਿਆਨ ਦਾ ਇਕ ਵਿਦਵਾਨ ਅਤੇ ਸ਼ਬਦਕੋਸ਼ ਸੰਪਾਦਕ
- ਇੱਕ ਅੰਤਰਰਾਸ਼ਟਰੀ ਸ਼ਤਰੰਜ ਗ੍ਰੈਂਡਮਾਸਟਰ ਜੋ ਟਾਪ-100 ਸ਼ਤਰੰਜ ਖਿਡਾਰੀਆਂ ਨੂੰ ਪ੍ਰਸ਼ਿਕਸ਼ਿਤ ਕਰਦਾ ਹੈ
- ਇੱਕ ਤਾਮਿਲ ਲੇਖਕ, ਕਵੀ ਅਤੇ ਸਭਿਆਚਾਰਕ ਕਾਰਕੁਨ ਜੋ ਸਮਾਜਿਕ ਨਿਆਂ, ਜਾਤੀ ਸਮਾਨਤਾ ਅਤੇ ਸਾਹਿਤਕ ਆਜ਼ਾਦੀ ਲਈ ਆਵਾਜ਼ ਉਠਾਉਂਦਾ ਹੈ
- ਇੱਕ ਅਵਾਰਡ ਜੇਤੂ ਪੰਜਾਬੀ ਸੰਗੀਤਕਾਰ
- ਇੱਕ ਗੁਜਰਾਤੀ ਵਿਰਾਸਤ ਕਿਊਰੇਟਰ ਅਤੇ ਸੰਰਕਸ਼ਣ ਵਿਸ਼ੇਸ਼ਗਿਆਨ
- ਇੱਕ ਅਵਾਰਡ ਜੇਤੂ ਮਲਿਆਲਮ ਕਵੀ ਅਤੇ ਪਰਫਾਰਮੈਂਸ ਕਲਾਕਾਰ
- ਇਤਿਹਾਸ ਦੇ ਪ੍ਰੋਫੈਸਰ, ਜੋ ਬੰਗਾਲ ਦੀ ਸਮਰੱਥ ਸਭਿਆਚਾਰਕ ਵਿਰਾਸਤ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ਤਾ ਰੱਖਦੇ ਹਨ
- ਵਾਸਤੁਕਲਾ ਦੇ ਪ੍ਰੋਫੈਸਰ, ਜੋ ਓਡੀਸ਼ਾ ਦੇ ਮੰਦਰਾਂ ਤੇ ਕੇਂਦ੍ਰਿਤ ਹਨ
ਸਾਨੂੰ ਆਸ ਹੈ ਕਿ IndQA ਦਾ ਜਾਰੀ ਹੋਣਾ ਖੋਜ ਭਾਈਚਾਰੇ ਨੂੰ ਨਵੇਂ ਬੈਂਚਮਾਰਕ ਬਣਾਉਣ ਲਈ ਜਾਣਕਾਰੀ ਅਤੇ ਪ੍ਰੇਰਣਾ ਦੇਵੇਗਾ। IndQA-ਸ਼ੈਲੀ ਦੇ ਪ੍ਰਸ਼ਨ ਖਾਸ ਤੌਰ ਤੇ ਉਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਜਾਂ ਸਭਿਆਚਾਰਕ ਖੇਤਰਾਂ ਵਿੱਚ ਕੀਮਤੀ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਮੌਜੂਦਾ AI ਬੈਂਚਮਾਰਕ ਘੱਟ ਕਵਰ ਕਰਦੇ ਹਨ। IndQA ਵਰਗੇ ਮਿਲਦੇ-ਜੁਲਦੇ ਬੈਂਚਮਾਰਕ ਬਣਾਉਣ ਨਾਲ AI ਖੋਜ ਲੈਬਾਂ ਨੂੰ ਉਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਖੇਤਰਾਂ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਵਿੱਚ ਮਦਦ ਮਿਲ ਸਕਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨਾਲ ਮਾਡਲ ਅੱਜ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ, ਅਤੇ ਭਵਿੱਖ ਵਿੱਚ ਸੁਧਾਰਾਂ ਲਈ ਇੱਕ ਦਿਸ਼ਾ-ਸੂਚਕ ਪ੍ਰਦਾਨ ਹੋ ਸਕਦਾ ਹੈ.
ਲੇਖਕ
ਪੜ੍ਹਦੇ ਰਹੋ
