LifeSciBench ਦੀ ਜਾਣ-ਪਛਾਣ

ਏਜੰਟਿਕ AI ਪ੍ਰਣਾਲੀਆਂ ਵਿਗਿਆਨਕ ਕੰਮ ਕਰਨ ਵਿੱਚ ਲਗਾਤਾਰ ਵਧੇਰੇ ਸਮਰੱਥ ਹੋ ਰਹੀਆਂ ਹਨ। ਹਾਲਾਂਕਿ, ਜੀਵਨ ਵਿਗਿਆਨ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਲਈ ਉਹਨਾਂ ਦੀ ਉਪਯੋਗਤਾ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਕਿ ਉਹ ਅਸਲ ਖੋਜ ਦੀ ਜਟਿਲਤਾ ਨੂੰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੰਭਾਲਦੀਆਂ ਹਨ। ਉਹ ਕੰਮ ਸ਼ਾਇਦ ਹੀ ਕਦੇ ਕਿਸੇ ਇੱਕ ਤੱਥ-ਯਾਦ ਰੱਖਣ ਵਾਲੇ ਸਵਾਲ ਜਾਂ ਇੱਕ ਸਾਫ਼-ਸੁਥਰੀ ਭਵਿੱਖਬਾਣੀ ਦੀ ਸਮੱਸਿਆ ਵਰਗਾ ਹੁੰਦਾ ਹੈ। ਖੋਜਕਰਤਾ ਅਧੂਰੇ ਸਬੂਤਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਦੇ ਹਨ, ਵਿਰੋਧੀ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤਾਲਮੇਲ ਬਣਾਉਂਦੇ ਹਨ, ਮੁਸ਼ਕਲ ਪ੍ਰਯੋਗ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਪਰਖਾਂ ਦੀਆਂ ਖਾਮੀਆਂ ਨੂੰ ਦੂਰ ਕਰਦੇ ਹਨ, ਅਨੁਵਾਦਕ ਜੋਖਮ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਨ ਅਤੇ ਅਨਿਸ਼ਚਿਤਤਾ ਦੇ ਤਹਿਤ ਇਹ ਫੈਸਲਾ ਕਰਦੇ ਹਨ ਕਿ ਅੱਗੇ ਕੀ ਕਰਨਾ ਹੈ।

ਮੌਜੂਦਾ ਬੈਂਚਮਾਰਕ ਇਹਨਾਂ ਸਮਰੱਥਾਵਾਂ ਦਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੁਲਾਂਕਣ ਨਹੀਂ ਕਰਦੇ। ਜੀਵਨ ਵਿਗਿਆਨ ਦੇ ਬਹੁਤ ਸਾਰੇ ਮੁਲਾਂਕਣ ਸੀਮਤ ਖੇਤਰਾਂ ਜਾਂ ਵੱਖਰੇ ਹੁਨਰਾਂ 'ਤੇ ਕੇਂਦਰਿਤ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਸਵਾਲ ਯੋਜਨਾਬੱਧ ਫਾਰਮੈਟ ਅਤੇ ਸਪਸ਼ਟ ਸੰਦਰਭ ਉੱਤਰਾਂ ਵਾਲੇ ਹੁੰਦੇ ਹਨ। ਹਾਲਾਂਕਿ ਇਹ ਕੀਮਤੀ ਹਨ, ਪਰ ਇਹ ਅਕਸਰ ਇਸ ਗੱਲ ਦਾ ਸਹੀ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦੇ ਹਨ ਕਿ ਕੀ ਕੋਈ ਮਾਡਲ ਖੋਜ-ਪੱਧਰ ਦੇ ਵਿਆਪਕ ਕੰਮਾਂ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।

ਅਸੀਂ ਇਸ ਫਰਕ ਨੂੰ ਦੂਰ ਕਰਨ ਲਈ ਹੀ LifeSciBench ਨੂੰ ਤਿਆਰ ਕੀਤਾ ਹੈ। ਇਸਦਾ ਹਰ ਇੱਕ ਕੰਮ ਜੀਵਨ ਵਿਗਿਆਨ ਦੇ ਉਨ੍ਹਾਂ ਸਰਗਰਮ ਵਿਗਿਆਨੀਆਂ ਦੇ ਫੈਸਲਿਆਂ 'ਤੇ ਅਧਾਰਿਤ ਹੈ ਜਿਨ੍ਹਾਂ ਕੋਲ Ph.D. ਪੱਧਰ ਦੀ ਸਿਖਲਾਈ ਹੈ ਅਤੇ ਬਾਇਓਟੈਕ ਅਤੇ ਫਾਰਮਾਸਿਊਟੀਕਲ ਖੇਤਰਾਂ ਵਿੱਚ ਦਵਾਈਆਂ ਦੀ ਖੋਜ ਦੇ ਪ੍ਰੋਗਰਾਮਾਂ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣ ਦਾ ਸਿੱਧਾ ਅਨੁਭਵ ਹੈ।

LifeSciBench ਵਿੱਚ ਮਾਹਰਾਂ ਦੁਆਰਾ ਲਿਖੇ 750 ਕੰਮ ਸ਼ਾਮਲ ਹਨ, ਜੋ ਸੱਤ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ ਅਤੇ ਸੱਤ ਜੀਵ-ਵਿਗਿਆਨਕ ਖੇਤਰਾਂ ਵਿੱਚ ਫੈਲੇ ਹੋਏ ਹਨ।

LifeSciBench ਇਹ ਮਾਪਦਾ ਹੈ ਕਿ ਕੀ AI ਪ੍ਰਣਾਲੀਆਂ ਸਿਰਫ਼ ਜੀਵ-ਵਿਗਿਆਨ ਦੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਦੀ ਬਜਾਏ, ਅਸਲ ਜੀਵਨ ਵਿਗਿਆਨ ਖੋਜ ਦੇ ਕੰਮਾਂ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰ ਸਕਦੀਆਂ ਹਨ ਜਾਂ ਨਹੀਂ। ਬੈਂਚਮਾਰਕ ਵਰਗੀਕਰਨ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ, ਅਸੀਂ ਸਰਗਰਮ ਜੀਵਨ ਵਿਗਿਆਨੀਆਂ ਦਾ ਸਰਵੇਖਣ ਕੀਤਾ ਕਿ ਉਹ ਵਿਹਾਰਕ ਖੋਜ ਦੇ ਮਾਹੌਲ ਵਿੱਚ ਕਿਹੜੀਆਂ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਸਭ ਤੋਂ ਵੱਧ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਫਿਰ, ਅਸੀਂ ਉਹਨਾਂ ਦੇ ਜਵਾਬਾਂ ਨੂੰ ਸੱਤ ਮੁੱਖ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਵੰਡਿਆ: ਸਬੂਤਾਂ ਨੂੰ ਸੰਭਾਲਣਾ, ਵਿਸ਼ਲੇਸ਼ਣ, ਡਿਜ਼ਾਈਨ ਅਤੇ ਅਨੁਕੂਲਨ, ਵਿਗਿਆਨਕ ਰੀਜ਼ਨਿੰਗ, ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਸੰਚਾਲਨ, ਅਨੁਵਾਦ, ਅਤੇ ਵਿਗਿਆਨਕ ਸੰਚਾਰ।

ਹਰ ਇੱਕ ਕੰਮ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਜਿਵੇਂ ਇੱਕ ਵਿਗਿਆਨੀ ਕਿਸੇ ਜਾਣਕਾਰ ਸਹਿਯੋਗੀ ਨੂੰ ਬੇਨਤੀ ਕਰ ਰਿਹਾ ਹੋਵੇ: ਇੱਕ ਵਿਗਿਆਨਕ ਪ੍ਰੋਂਪਟ, ਕੋਈ ਵੀ ਪ੍ਰਸੰਗਿਕ ਸੰਦਰਭ ਜਾਂ ਆਰਟੀਫੈਕਟਾਂ, ਅਤੇ ਇੱਕ ਖੁੱਲ੍ਹੇ-ਜਵਾਬ ਵਾਲਾ ਉੱਤਰ। ਮਾਹਰਾਂ ਦੁਆਰਾ ਲਿਖੇ ਗਏ ਰੂਬਰਿਕ ਇਹ ਪਰਖਦੇ ਹਨ ਕਿ ਕੀ ਕੋਈ ਮਾਡਲ ਕਿਸੇ ਖਾਸ ਸਮੱਸਿਆ ਲਈ ਸਹੀ ਪੱਧਰ ਦੇ ਵੇਰਵੇ, ਤਰਕ, ਚੇਤਾਵਨੀਆਂ ਅਤੇ ਫਾਰਮੈਟਿੰਗ ਨਾਲ ਸਹੀ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ, ਜਿਸਦੀ ਇੱਕ ਵਿਗਿਆਨੀ ਉਮੀਦ ਕਰਦਾ ਹੈ।

LifeSciBench ਅਸਲ ਦੁਨੀਆ ਦੇ ਵਿਗਿਆਨਕ ਉਪਯੋਗ ਲਈ ਲੋੜੀਂਦੇ ਘੱਟ-ਸਪਸ਼ਟ, ਵਿਹਾਰਕ ਹੁਨਰਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਵਿਗਿਆਨਕ ਰੀਜ਼ਨਿੰਗ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ। ਇਸਦੇ ਕੰਮ ਮਾਡਲਾਂ ਨੂੰ ਅਸਲ ਖੋਜ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਕਹਿੰਦੇ ਹਨ: ਸਬੂਤਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨਾ, ਖੇਤਰ-ਅਧਾਰਿਤ ਫੈਸਲੇ ਲੈਣਾ, ਅਤੇ ਅਜਿਹੇ ਨਤੀਜੇ ਸਾਂਝੇ ਕਰਨਾ ਜੋ ਮਾਹਰ ਸਮੀਖਿਅਕਾਂ ਲਈ ਉਪਯੋਗੀ ਹੋਣ। ਬਹੁਤ ਸਾਰੇ ਕੰਮਾਂ ਵਿੱਚ ਮਾਡਲਾਂ ਲਈ ਅਨਿਸ਼ਚਿਤਤਾ ਨੂੰ ਸੰਭਾਲਣਾ ਅਤੇ ਸਿਰਫ਼ ਪ੍ਰੋਂਪਟ ਲਿਖਤ 'ਤੇ ਨਿਰਭਰ ਰਹਿਣ ਦੀ ਬਜਾਏ ਸਹਾਇਕ ਡਾਟਾ ਫਾਈਲਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਤਰਕ ਕਰਨਾ ਵੀ ਜ਼ਰੂਰੀ ਹੁੰਦਾ ਹੈ।

ਇਹ ਬੈਂਚਮਾਰਕ ਜੀਵਨ ਵਿਗਿਆਨ ਦੇ ਕੰਮ ਦੀ ਜਟਿਲਤਾ ਨੂੰ ਦਰਸਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਕੁੱਲ ਮਿਲਾ ਕੇ, 79% ਕੰਮਾਂ ਲਈ ਕਈ ਰੀਜ਼ਨਿੰਗ ਜਾਂ ਫੈਸਲੇ ਲੈਣ ਵਾਲੇ ਕਦਮਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਪ੍ਰਤੀ ਕੰਮ ਔਸਤਨ ਚਾਰ ਕਦਮ ਹੁੰਦੇ ਹਨ। LifeSciBench ਵਿੱਚ 1,062 ਜੁੜੇ ਹੋਏ ਆਰਟੀਫੈਕਟ ਸ਼ਾਮਲ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਚਿੱਤਰ, PDFs, ਸਾਰਣੀਆਂ, ਸੀਕਵੈਂਸ ਫਾਈਲਾਂ, ਬਣਤਰ ਜਾਂ ਰਸਾਇਣਕ ਫਾਈਲਾਂ, ਅਤੇ ਵੈੱਬ ਹਵਾਲੇ ਸ਼ਾਮਲ ਹਨ। ਅੱਧੇ ਤੋਂ ਵੱਧ ਕੰਮਾਂ (53%) ਵਿੱਚ ਮਾਡਲਾਂ ਲਈ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਆਰਟੀਫੈਕਟ ਤੋਂ ਜਾਣਕਾਰੀ ਦੀ ਵਿਆਖਿਆ ਜਾਂ ਸੰਸਲੇਸ਼ਣ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੁੰਦਾ ਹੈ।

ਇਹ ਕੰਮ ਜੀਵਨ ਵਿਗਿਆਨ ਦੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਦੇ 173 ਮਾਹਰ ਵਿਗਿਆਨੀਆਂ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਸਨ। ਹਰੇਕ ਵਿਗਿਆਨੀ ਕੋਲ Ph.D. ਪੱਧਰ ਦੀ ਸਿਖਲਾਈ ਅਤੇ ਬਾਇਓਟੈਕਨਾਲੋਜੀ ਜਾਂ ਫਾਰਮਾਸਿਊਟੀਕਲ ਉਦਯੋਗ ਦਾ ਤਜਰਬਾ ਸੀ। ਕੰਮਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕੀਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਜਿੰਨੇ ਚਾਹੇ ਸੋਧ ਚੱਕਰਾਂ ਵਿੱਚੋਂ ਲੰਘਾਇਆ ਜਾ ਸਕਦਾ ਸੀ, ਜਿਸ ਲਈ ਕੋਈ ਨਿਸ਼ਚਿਤ ਸੀਮਾ ਨਹੀਂ ਸੀ; ਸਵੀਕਾਰ ਕੀਤੇ ਗਏ ਕੰਮਾਂ ਵਿੱਚ ਔਸਤਨ ਛੇ ਸਵੈ-ਨਿਰਦੇਸ਼ਿਤ ਆਟੋਮੇਟਿਡ ਸਮੀਖਿਆ ਚੱਕਰ ਹੋਏ ਅਤੇ ਮਾਹਰਾਂ ਦੀਆਂ ਸਮੀਖਿਆਵਾਂ ਦੇ ਘੱਟੋ-ਘੱਟ ਦੋ ਦੌਰ ਪੂਰੇ ਕੀਤੇ ਗਏ। ਸਮੀਖਿਆਵਾਂ ਜਾਂ ਤਾਂ ਇੱਕ ਪ੍ਰਮਾਣਿਤ ਸਹੀ ਉੱਤਰ ਜਾਂ ਮਜ਼ਬੂਤ ਮਾਹਰ ਆਮ ਸਹਿਮਤੀ 'ਤੇ ਆਧਾਰਿਤ ਸਨ, ਜਿਸ ਵਿੱਚ ਸੰਬੰਧਿਤ ਖੇਤਰ ਦੇ ਸਮੀਖਿਅਕਾਂ ਵਿਚਕਾਰ ਘੱਟੋ-ਘੱਟ 90% ਸਹਿਮਤੀ ਸੀ। ਇਸ ਪ੍ਰਕਿਰਿਆ ਨੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਕਿ ਸਵੀਕਾਰ ਕੀਤੇ ਗਏ ਕੰਮ ਵਿਗਿਆਨਕ ਤੌਰ 'ਤੇ ਸਹੀ, ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਸਪਸ਼ਟ, ਅਤੇ ਵਿਹਾਰਕ ਖੋਜ ਦੀ ਪ੍ਰਤੀਨਿਧਤਾ ਕਰਦੇ ਸਨ।

LifeSciBench ਦੇ ਕੰਮਾਂ ਦਾ ਮੁਲਾਂਕਣ ਇੱਕ ਵਿਸਤ੍ਰਿਤ, ਕੰਮ-ਵਿਸ਼ੇਸ਼ ਰੂਬਰਿਕ ਨਾਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜੋ ਉਮੀਦ ਕੀਤੇ ਗਏ ਜਵਾਬ ਨੂੰ ਖਾਸ ਵਿਗਿਆਨਕ ਦਾਅਵਿਆਂ, ਗਣਨਾਵਾਂ, ਫੈਸਲਿਆਂ, ਤਰਕਾਂ ਆਦਿ ਵਿੱਚ ਵੰਡਦਾ ਹੈ। ਪੂਰੇ ਬੈਂਚਮਾਰਕ ਵਿੱਚ, ਮਾਹਰਾਂ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਰੂਬਰਿਕਸ ਵਿੱਚ 19,020 ਮਾਪਦੰਡ ਸ਼ਾਮਲ ਹਨ—ਯਾਨੀ ਪ੍ਰਤੀ ਕੰਮ ਔਸਤਨ 25 ਮਾਪਦੰਡ—ਜੋ ਵਿਗਿਆਨਕ ਸ਼ੁੱਧਤਾ ਅਤੇ ਖੋਜ ਸੰਬੰਧੀ ਫੈਸਲਿਆਂ ਲਈ ਉਪਯੋਗਤਾ ਦੋਵਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਨ।

ਇਹ ਡਿਜ਼ਾਈਨ ਇਸ ਗੱਲ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਅਸਲ ਵਿੱਚ ਵਿਗਿਆਨਕ ਕੰਮ ਦਾ ਮੁਲਾਂਕਣ ਕਿਸ ਤਰ੍ਹਾਂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ: ਜੀਵਨ ਵਿਗਿਆਨ ਦੇ ਬਹੁਤ ਸਾਰੇ ਕੰਮਾਂ ਦਾ ਮੁਲਾਂਕਣ ਸਿਰਫ਼ ਅੰਤਿਮ ਜਵਾਬ ਦੀ ਜਾਂਚ ਕਰਕੇ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ। ਕੋਈ ਜਵਾਬ ਸਹੀ ਉੱਚ-ਪੱਧਰੀ ਸਿੱਟੇ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ ਪਰ ਫਿਰ ਵੀ ਉਸਨੂੰ ਅਧੂਰਾ ਮੰਨਿਆ ਜਾ ਸਕਦਾ ਹੈ ਜੇਕਰ, ਉਦਾਹਰਨ ਲਈ, ਇਹ ਕਿਸੇ ਮੁੱਖ ਪਰਖ ਦੀ ਸੀਮਾ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦਾ ਹੈ ਜਾਂ ਕਿਸੇ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਜੀਵ-ਵਿਗਿਆਨਕ ਬਾਰੀਕੀ ਨੂੰ ਸਰਗਰਮੀ ਨਾਲ ਸਾਹਮਣੇ ਲਿਆਉਣ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ, ਇੱਕ ਅਧੂਰੇ ਜਵਾਬ ਵਿੱਚ ਵੀ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੀ ਰੀਜ਼ਨਿੰਗ ਹੋ ਸਕਦੀ ਹੈ, ਭਾਵੇਂ ਉਹ ਕੰਮ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਹੱਲ ਨਾ ਕਰਦਾ ਹੋਵੇ।

ਸੂਖਮ ਰੂਬਰਿਕਸ ਇਸ ਬਾਰੀਕੀ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਫੜਦੇ ਹਨ। LifeSciBench ਨਾ ਸਿਰਫ਼ ਅੰਤਿਮ-ਜਵਾਬ ਦੀ ਸ਼ੁੱਧਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ, ਬਲਕਿ ਇਹ ਵੀ ਦੇਖਦਾ ਹੈ ਕਿ ਕੀ ਕੋਈ ਮਾਡਲ ਵਿਗਿਆਨਕ ਤੌਰ 'ਤੇ ਵੈਧ ਅਤੇ ਵਿਹਾਰਕ ਤੌਰ 'ਤੇ ਲਾਭਦਾਇਕ ਤਰੀਕੇ ਨਾਲ ਆਪਣੇ ਜਵਾਬ ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।

ਅਸੀਂ ਇੱਕ ਸੁਤੰਤਰ ਮਾਹਰ ਸਮੀਖਿਆ ਰਾਹੀਂ LifeSciBench ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕੀਤਾ ਹੈ। ਇਹ ਫੀਡਬੈਕ 453 ਅਜਿਹੇ ਸਮੀਖਿਅਕਾਂ ਵੱਲੋਂ ਆਇਆ ਜੋ ਇਹਨਾਂ ਕੰਮਾਂ ਨੂੰ ਲਿਖਣ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਸਨ। ਉਹਨਾਂ ਸਮੀਖਿਅਕਾਂ ਵਿੱਚੋਂ 97% ਕੋਲ Ph.D. ਜਾਂ ਇਸਦੇ ਬਰਾਬਰ ਦੀ ਡਾਕਟਰੇਟ ਡਿਗਰੀ ਸੀ, ਜਿਨ੍ਹਾਂ ਕੋਲ ਔਸਤਨ 12 ਸਾਲਾਂ ਦਾ ਖੇਤਰੀ ਤਜਰਬਾ ਅਤੇ 14 ਪੀਅਰ-ਸਮੀਖਿਆ ਕੀਤੇ ਪ੍ਰਕਾਸ਼ਨ ਸਨ; 88% ਨੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਪੁਰਸਕਾਰ ਜਾਂ ਫੈਲੋਸ਼ਿਪ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਜਾਣਕਾਰੀ ਦਿੱਤੀ।

ਸਮੀਖਿਅਕਾਂ ਨੇ ਇਸ ਗੱਲ ਦੇ ਆਧਾਰ 'ਤੇ ਹਰੇਕ ਕਾਰਜ ਨੂੰ ਸਕੋਰ ਦਿੱਤੇ ਕਿ ਕੀ ਉਹ ਕਾਰਜ ਮਜ਼ਬੂਤ ਬੈਂਚਮਾਰਕ ਸਵਾਲ ਲਈ ਲੋੜੀਂਦੇ ਗੁਣਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ: ਜਿਵੇਂ ਕਿ ਅਸਲ-ਦੁਨੀਆਂ ਦੇ ਖੋਜ ਕਾਰਜਾਂ ਨਾਲ ਮੇਲ ਖਾਣਾ, ਰੀਜ਼ਨਿੰਗ ਅਤੇ ਖੇਤਰ ਦੀ ਮੁਹਾਰਤ ਦਾ ਸਹੀ ਟੈਸਟ ਲੈਣਾ, ਸਬੂਤਾਂ ਜਾਂ ਮਾਹਰਾਂ ਦੀ ਆਮ ਸਹਿਮਤੀ 'ਤੇ ਅਧਾਰਤ ਹੋਣਾ, ਅਤੇ ਮਾਡਲ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਸਮੁੱਚੀ ਉਪਯੋਗਤਾ। ਹਰੇਕ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਸਮੀਖਿਅਕਾਂ ਦੀ ਆਪਸੀ ਸਹਿਮਤੀ 96% ਤੋਂ ਵੱਧ ਰਹੀ।

ਸਮੀਖਿਅਕਾਂ ਦੀਆਂ ਟਿੱਪਣੀਆਂ ਨੇ ਸੰਖਿਆਤਮਕ ਰੇਟਿੰਗਾਂ ਦੀ ਹੋਰ ਪੁਸ਼ਟੀ ਕੀਤੀ:

ਅਸੀਂ ਦੋ ਪੂਰਕ ਪੈਮਾਨਿਆਂ ਦੀ ਰਿਪੋਰਟ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ। ਪਾਸ ਹੋਣ ਦੀ ਦਰ ਉਨ੍ਹਾਂ ਕਾਰਜਾਂ ਦੀ ਪ੍ਰਤੀਸ਼ਤਤਾ ਹੈ ਜਿਨ੍ਹਾਂ 'ਤੇ ਕੋਈ ਮਾਡਲ 70% ਦੀ ਕਾਰਜ-ਪੱਧਰੀ ਸਫਲਤਾ ਦੀ ਹੱਦ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ। ਸਕੋਰ ਔਸਤ ਰੂਬਰਿਕ ਅੰਕ ਹੈ, ਜੋ ਪੂਰਾ ਕਾਰਜ ਹੱਲ ਨਾ ਹੋਣ 'ਤੇ ਵੀ ਵੱਖ-ਵੱਖ ਮਾਪਦੰਡਾਂ ਲਈ ਅਧੂਰੇ ਨੰਬਰ ਦਿੰਦਾ ਹੈ। ਇਹ ਦੋਵੇਂ ਹੀ ਮਹੱਤਵਪੂਰਨ ਹਨ ਕਿਉਂਕਿ ਕਿਸੇ ਵਿਗਿਆਨਕ ਕਾਰਜ ਦਾ ਜਵਾਬ ਕਿਸੇ ਪੂਰੇ ਜਵਾਬ ਦੀ ਹਰ ਜ਼ਰੂਰਤ ਨੂੰ ਪੂਰਾ ਕੀਤੇ ਬਿਨਾਂ ਵੀ ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਸਹੀ ਜਾਂ ਉਪਯੋਗੀ ਹੋ ਸਕਦਾ ਹੈ।

ਮਾਡਲ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਾਰਜ ਦੀ ਕਿਸਮ, ਕਾਰਜ-ਪ੍ਰਣਾਲੀ, ਅਤੇ ਜਵਾਬ ਦੇ ਫਾਰਮੈਟ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕਾਫ਼ੀ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ।

LifeSciBench ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲ ਵਿਗਿਆਨਕ ਸੰਸ਼ਲੇਸ਼ਣ, ਸੰਚਾਰ, ਅਤੇ ਸੰਰਚਨਾਤਮਕ ਵਿਆਖਿਆ ਵਾਲੇ ਕਾਰਜਾਂ ਵਿੱਚ ਤੁਲਨਾਤਮਕ ਰੂਪ ਵਿੱਚ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਹਨ। ਹਾਲਾਂਕਿ, ਪੂਰਨ ਪਾਸ ਦਰਾਂ ਅਜੇ ਵੀ ਮਾਮੂਲੀ ਹਨ, ਇਸ ਲਈ ਇਹ ਬੈਂਚਮਾਰਕ ਖੇਤਰ ਸੰਤ੍ਰਿਪਤਾ ਦੇ ਪੱਧਰ ਤੋਂ ਬਹੁਤ ਦੂਰ ਹਨ, ਪਰ GPT‑Rosalind ਨੇ GPT‑5.5 ਦੇ ਮੁਕਾਬਲੇ ਸਾਰਥਕ ਪ੍ਰਗਤੀ ਦਿਖਾਈ ਹੈ, ਜਿਸ ਨੇ ਪਾਸ ਹੋਣ ਦੀ ਸਮੁੱਚੀ ਦਰ ਨੂੰ 25.7% ਤੋਂ ਵਧਾ ਕੇ 36.1% ਕਰ ਦਿੱਤਾ ਹੈ।

ਮਾਡਲ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਵਿੱਚ ਪ੍ਰਗਤੀ ਦੇ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਰੁਝਾਨ ਵਿਗਿਆਨਕ ਸੰਚਾਰ ਅਤੇ ਟ੍ਰਾਂਸਲੇਸ਼ਨ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਵਿਗਿਆਨਕ ਸੰਚਾਰ ਵਿੱਚ ਪਾਸ ਹੋਣ ਦੀ ਦਰ GPT‑5.5 ਲਈ 56.3% ਤੋਂ ਵਧ ਕੇ GPT‑Rosalind ਲਈ 71.1% ਹੋ ਜਾਂਦੀ ਹੈ; ਇਹ ਸ਼੍ਰੇਣੀ ਛੋਟੀ ਹੈ (n=9), ਇਸ ਲਈ ਇਸਦੀ ਵਿਆਖਿਆ ਸਾਵਧਾਨੀ ਨਾਲ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ, ਪਰ ਇਹ ਸੰਕੇਤ ਦਿੰਦੀ ਹੈ ਕਿ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲ ਸਬੂਤਾਂ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਅਤੇ ਮਾਹਰਾਂ ਦੇ ਸਾਹਮਣੇ ਪੇਸ਼ ਕਰਨ ਯੋਗ ਭਰੋਸੇਯੋਗ ਸਪਸ਼ਟੀਕਰਨ ਤਿਆਰ ਕਰਨ ਦੀ ਆਪਣੀ ਸਮਰੱਥਾ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਸੁਧਾਰ ਕਰ ਰਹੇ ਹਨ। ਟ੍ਰਾਂਸਲੇਸ਼ਨ (ਦਵਾਈ ਦੇ ਵਿਕਾਸ ਦੀ "ਬੈਂਚ-ਟੂ-ਬੈੱਡਸਾਈਡ" ਪ੍ਰਕਿਰਿਆ) ਵੀ ਇਸੇ ਤਰ੍ਹਾਂ ਦਾ ਪੈਟਰਨ ਦਿਖਾਉਂਦੀ ਹੈ, ਜੋ ਕਿ GPT‑5.5 ਲਈ 36.8% ਤੋਂ ਵਧ ਕੇ GPT‑Rosalind ਲਈ 57.7% ਹੋ ਗਈ ਹੈ, ਜੋ ਇਹ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਮਾਡਲ ਕਲੀਨਿਕਲ-ਪੂਰਵ ਸਬੂਤਾਂ ਨੂੰ ਕਲੀਨਿਕਲ ਪ੍ਰਭਾਵਾਂ ਨਾਲ ਜੋੜਨ ਦੀ ਆਪਣੀ ਸਮਰੱਥਾ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਮਾਹਰ ਹੋ ਰਹੇ ਹਨ।

ਰੂਬਰਿਕ ਪੱਧਰ ਦੇ ਨਤੀਜੇ ਵੀ ਇਸੇ ਦਿਸ਼ਾ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ। ਮਾਹਰਾਂ ਲਈ ਉਪਯੋਗੀ ਜਾਂ ਅਮਲ ਵਿੱਚ ਲਿਆਉਣ ਯੋਗ ਨਤੀਜਿਆਂ ਦੀ ਮੰਗ ਕਰਨ ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ GPT‑5.5 ਦੇ 29.1% ਦੇ ਮੁਕਾਬਲੇ GPT‑Rosalind ਨੇ 44.7% ਸਕੋਰ ਕਰਦਾ ਹੈ। ਅਨਿਸ਼ਚਿਤਤਾ ਅਤੇ ਚੇਤਾਵਨੀਆਂ ਨੂੰ ਸੰਭਾਲਣ ਦੀ ਲੋੜ ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ ਇਹ GPT‑5.5 ਦੇ 29.3% ਦੇ ਮੁਕਾਬਲੇ 44.8% ਸਕੋਰ ਕਰਦਾ ਹੈ। ਇਹ ਪੈਟਰਨ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਕਿ AI ਮਾਡਲ ਉਦੋਂ ਸਭ ਤੋਂ ਵੱਧ ਉਪਯੋਗੀ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਕਾਰਜ ਦੀ ਸਪਸ਼ਟ ਸਬੂਤ-ਸੀਮਾ ਹੁੰਦੀ ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ ਸੁਚੱਜੇ ਵਿਗਿਆਨਕ ਫੈਸਲੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਆਰਟੀਫੈਕਟ-ਭਾਰੀ, ਡਿਜ਼ਾਈਨ-ਭਾਰੀ, ਅਤੇ ਸੰਚਾਲਨ ਸਬੰਧੀ ਸੀਮਾਵਾਂ ਵਾਲੇ ਵਿਗਿਆਨਕ ਕੰਮਾਂ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਅਜੇ ਵੀ ਕਾਫ਼ੀ ਕਮਜ਼ੋਰ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, ਡਿਜ਼ਾਈਨ, ਓਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਅਤੇ ਭਵਿੱਖਬਾਣੀ ਸਭ ਤੋਂ ਮੁਸ਼ਕਲ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚੋਂ ਇੱਕ ਬਣੀ ਹੋਈ ਹੈ, ਜਿਸ ਵਿੱਚ GPT‑Rosalind ਦੀ ਪਾਸ ਦਰ ਸਿਰਫ਼ 30.7% ਹੈ; ਵਿਸ਼ਲੇਸ਼ਣ ਵੀ 30.3% ਦੀ ਦਰ ਨਾਲ ਬਰਾਬਰ ਦਾ ਮੁਸ਼ਕਲ ਹੈ।

ਆਰਟੀਫੈਕਟ ਦੀ ਵਰਤੋਂ ਇੱਕ ਬਹੁਤ ਹੀ ਸਪਸ਼ਟ ਕਮੀ ਹੈ। ਭਾਵੇਂ ਕਿ GPT‑Rosalind ਆਰਟੀਫੈਕਟ-ਭਾਰੀ ਸਥਿਤੀਆਂ ਵਿੱਚ GPT‑5.5 ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ, ਫਿਰ ਵੀ ਇਸਦੀ ਪਾਸ ਦਰ ਸਿਰਫ਼ ਟੈਕਸਟ-ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ 45.1% ਤੋਂ ਡਿੱਗ ਕੇ ਆਰਟੀਫੈਕਟ ਜਾਂ URL ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ 28.1% ਰਹਿ ਜਾਂਦੀ ਹੈ। GPT‑5.5 ਵੀ ਇਹੀ ਪੈਟਰਨ ਦਿਖਾਉਂਦਾ ਹੈ, ਜਿਸ ਦੀ ਦਰ 29.9% ਤੋਂ ਡਿੱਗ ਕੇ 21.9% ਹੋ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਵਿਸ਼ਲੇਸ਼ਣ ਇਹ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ ਕਿ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲ ਗੁੰਝਲਦਾਰ ਚਿੱਤਰਾਂ ਜਾਂ ਵੱਡੀਆਂ ਸੀਕਵੈਂਸ ਫਾਈਲਾਂ ਵਿੱਚੋਂ ਜਾਣਕਾਰੀ ਕੱਢਣ ਅਤੇ ਉਸ ਜਾਣਕਾਰੀ ਨੂੰ ਅੰਤਿਮ ਉੱਤਰ ਵਿੱਚ ਜੋੜਨ ਵਿੱਚ ਕਾਫ਼ੀ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ।

ਜਵਾਬ ਦਾ ਫਾਰਮੈਟ ਵੀ ਕਾਫ਼ੀ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ। ਅਜਿਹੇ ਕਾਰਜ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਬਿਲਕੁਲ ਸਹੀ ਸੀਕਵੈਂਸ, ਸੰਰਚਨਾ, ਜਾਂ ਕੰਸਟ੍ਰਕਟ-ਪੱਧਰ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਉਨ੍ਹਾਂ ਵਿੱਚ ਪਾਸ ਹੋਣ ਦੀ ਦਰ ਕਾਫੀ ਘੱਟ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ: GPT‑Rosalind ਸੰਖਿਆਤਮਕ ਕੰਮਾਂ 'ਤੇ ਸਿਰਫ਼ 14.8% ਅਤੇ ਸੀਕਵੈਂਸ ਜਾਂ ਸੰਰਚਨਾ ਵਾਲੇ ਨਤੀਜਿਆਂ 'ਤੇ ਸਿਰਫ਼ 24.0% ਤੱਕ ਹੀ ਪਹੁੰਚਦਾ ਹੈ। ਕੰਸਟ੍ਰਕਟ-ਜਨਰੇਸ਼ਨ ਦੇ ਕੰਮ ਵੀ ਕਾਫ਼ੀ ਕਮਜ਼ੋਰ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ GPT‑Rosalind 27.3% 'ਤੇ ਹੈ ਅਤੇ ਇਹ GPT‑5.5 ਦੇ ਮੁਕਾਬਲੇ ਬਹੁਤ ਘੱਟ ਸੁਧਾਰ ਦਿਖਾਉਂਦਾ ਹੈ। ਇਸ ਕਮੀ ਦਾ ਕੁਝ ਹਿੱਸਾ ਸਟੀਕ-ਉੱਤਰ ਵਾਲੇ ਕੰਮਾਂ ਲਈ ਬਣਾਈ ਗਈ ਸਖ਼ਤ ਮੁਲਾਂਕਣ ਪ੍ਰਣਾਲੀ ਨੂੰ ਵੀ ਦਰਸਾ ਸਕਦਾ ਹੈ, ਜਿੱਥੇ ਗਣਨਾ ਜਾਂ ਫਾਰਮੈਟਿੰਗ ਵਿੱਚ ਛੋਟਾ ਜਿਹਾ ਫਰਕ ਵੀ ਜਵਾਬ ਨੂੰ ਪਾਸ ਹੋਣ ਦੀ ਹੱਦ ਤੋਂ ਹੇਠਾਂ ਲਿਆ ਸਕਦਾ ਹੈ। ਫਿਰ ਵੀ, ਇਹ ਅਸਫਲਤਾਵਾਂ ਵਿਗਿਆਨਕ ਤੌਰ 'ਤੇ ਕਾਫੀ ਮਹੱਤਵਪੂਰਨ ਹਨ ਕਿਉਂਕਿ ਜੀਵ ਵਿਗਿਆਨ ਦੀਆਂ ਕਈ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਅਜਿਹੇ ਨਤੀਜਿਆਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜੋ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਵਰਤੇ ਜਾਣ ਜਿੰਨੇ ਬਿਲਕੁਲ ਸਹੀ ਹੋਣ, ਜਿਵੇਂ ਕਿ CRISPR/HDR ਡੋਨਰ ਡਿਜ਼ਾਈਨ ਜਾਂ siRNA ਡਿਜ਼ਾਈਨ ਵਿੱਚ।

ਮਾਡਲ ਅਕਸਰ ਕਾਰਜ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਹੱਲ ਕੀਤੇ ਬਿਨਾਂ ਵੀ ਉਸ ਦੇ ਕੁਝ ਹਿੱਸੇ ਨੂੰ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਪੂਰਾ ਕਰ ਲੈਂਦੇ ਹਨ। ਲਗਭਗ 14% ਕਾਰਜਾਂ ਵਿੱਚ, ਮਾਡਲਾਂ ਨੇ ਸਟੀਕ-ਪਾਸ ਹੋਣ ਦੀ ਹੱਦ ਨੂੰ ਪਾਰ ਨਾ ਕਰਨ ਦੇ ਬਾਵਜੂਦ ਵੀ ਰੂਬਰਿਕ ਵਿੱਚ ਚੰਗੇ ਕ੍ਰੈਡਿਟ ਹਾਸਲ ਕੀਤੇ। GPT‑Rosalind ਲਈ, 109 ਕਾਰਜ ਅਜਿਹੇ ਸਨ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਪਾਸ ਹੋਣ ਦੀ ਦਰ 20% ਤੋਂ ਘੱਟ ਸੀ, ਪਰ ਫਿਰ ਵੀ ਉਨ੍ਹਾਂ ਨੇ ਰੂਬਰਿਕ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ 50% ਅੰਕ ਪ੍ਰਾਪਤ ਕੀਤੇ। ਅਸਲ ਅਭਿਆਸ ਵਿੱਚ, ਇਸਦਾ ਮਤਲਬ ਇਹ ਹੈ ਕਿ ਮਾਡਲ ਸ਼ਾਇਦ ਸਬੰਧਤ ਸਬੂਤਾਂ ਦੀ ਪਛਾਣ ਕਰ ਲੈਂਦੇ ਹਨ ਜਾਂ ਸੰਭਾਵਿਤ ਅਧੂਰਾ ਜਵਾਬ ਤਿਆਰ ਕਰ ਦਿੰਦੇ ਹਨ, ਪਰ ਫਿਰ ਵੀ ਅਸਫਲ ਹੋ ਜਾਂਦੇ ਹਨ ਕਿਉਂਕਿ ਉਹ ਕਿਸੇ ਮੁੱਖ ਪਾਬੰਦੀ ਨੂੰ ਖੁੰਝਾ ਦਿੰਦੇ ਹਨ, ਗਲਤ ਸਬੂਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਅਧੂਰੀ ਗਣਨਾ ਕਰਦੇ ਹਨ, ਜਾਂ ਆਪਣੇ ਤਰਕ ਨੂੰ ਵਿਗਿਆਨਕ ਤੌਰ 'ਤੇ ਉਪਯੋਗੀ ਅੰਤਿਮ ਫੈਸਲੇ ਨਾਲ ਜੋੜਨ ਵਿੱਚ ਅਸਮਰੱਥ ਰਹਿੰਦੇ ਹਨ।

LifeSciBench ਇਹ ਮਾਪਣ ਵੱਲ ਇੱਕ ਕਦਮ ਹੈ ਕਿ ਜੀਵ ਵਿਗਿਆਨ ਖੋਜ ਲਈ AI ਪ੍ਰਣਾਲੀਆਂ ਕਿੰਨੀਆਂ ਉਪਯੋਗੀ ਹੋ ਸਕਦੀਆਂ ਹਨ, ਪਰ ਇਹ ਅਸਲ ਖੋਜ ਵਾਤਾਵਰਣ ਵਿੱਚ ਮਾਡਲਾਂ ਦਾ ਅਧਿਐਨ ਕਰਨ ਦਾ ਬਦਲ ਨਹੀਂ ਹੈ। ਇਹ ਬੈਂਚਮਾਰਕ ਉਨ੍ਹਾਂ ਸੁਤੰਤਰ ਕਾਰਜਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦਾ ਹੈ ਜੋ ਉਦਯੋਗ ਵਿੱਚ ਵਾਰ-ਵਾਰ ਹੋਣ ਵਾਲੀਆਂ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ, ਜਦੋਂ ਕਿ ਇਹ ਕਈ ਵਿਗਿਆਨਕ ਮਾਹਰਤਾਵਾਂ ਅਤੇ ਕਾਰਜਾਂ ਦੀਆਂ ਕਿਸਮਾਂ ਨੂੰ ਆਪਣੇ ਮੌਜੂਦਾ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਛੱਡ ਦਿੰਦਾ ਹੈ। ਅਸਲ ਖੋਜ ਇੱਕ ਨਿਰੰਤਰ ਪ੍ਰਕਿਰਿਆ ਹੈ: ਵਿਗਿਆਨੀ ਨਵੇਂ ਸਬੂਤ ਇਕੱਠੇ ਕਰਦੇ ਹਨ, ਆਪਣੀਆਂ ਪਰਿਕਲਪਨਾਵਾਂ ਵਿੱਚ ਸੋਧ ਕਰਦੇ ਹਨ, ਅੱਗੇ ਦੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਹਨ, ਅਤੇ ਨਤੀਜੇ ਸਾਹਮਣੇ ਆਉਣ 'ਤੇ ਆਪਣੀਆਂ ਯੋਜਨਾਵਾਂ ਨੂੰ ਉਸੇ ਅਨੁਸਾਰ ਢਾਲਦੇ ਹਨ।

ਇਸ ਲਈ, LifeSciBench 'ਤੇ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਸਲ ਕਾਰਜ-ਪੱਧਰ ਦੀ ਸਮਰੱਥਾ ਦੇ ਸਬੂਤ ਵਜੋਂ ਦੇਖਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਨਾ ਕਿ ਖੋਜ ਦੇ ਅੰਤਿਮ ਪ੍ਰਭਾਵ ਦੇ ਸਿੱਧੇ ਮਾਪ ਵਜੋਂ। ਇਹ ਬੈਂਚਮਾਰਕ ਉਦਯੋਗਿਕ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ 'ਤੇ ਅਧਾਰਤ ਜ਼ਰੂਰ ਹੈ, ਪਰ ਇਹ ਅਸਲ ਖੋਜ ਪ੍ਰੋਗਰਾਮਾਂ ਦੀ ਪੂਰੀ ਵਿਭਿੰਨਤਾ ਜਾਂ ਗਤੀਸ਼ੀਲਤਾ ਨੂੰ ਆਪਣੇ ਅੰਦਰ ਨਹੀਂ ਸਮੇਟਦਾ, ਜਿੱਥੇ ਪ੍ਰਗਤੀ ਉਨ੍ਹਾਂ ਕਾਰਕਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਜੋ ਸਮੇਂ ਦੇ ਨਾਲ ਹੌਲੀ-ਹੌਲੀ ਸਾਹਮਣੇ ਆਉਂਦੇ ਹਨ।

ਅਗਲਾ ਕਦਮ ਬੈਂਚਮਾਰਕ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਸਲ ਖੋਜ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਤਾਇਨਾਤੀ ਸਬੰਧੀ ਅਧਿਐਨਾਂ ਨਾਲ ਜੋੜਨਾ ਹੈ। ਹਾਲਾਂਕਿ, LifeSciBench ਨੂੰ ਅਭਿਆਸ ਕਰ ਰਹੇ ਵਿਗਿਆਨੀਆਂ ਦੇ ਸਹਿਯੋਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਪਰ ਇਹ ਮਾਪਣ ਲਈ ਕਿ ਕੀ AI ਪ੍ਰਣਾਲੀਆਂ ਖੋਜ ਦੀ ਗਤੀ ਨੂੰ ਤੇਜ਼ ਕਰਦੀਆਂ ਹਨ ਜਾਂ R&D ਦੇ ਨਤੀਜਿਆਂ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦੀਆਂ ਹਨ, ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਅਤੇ ਇਸ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਅਧਿਐਨ ਅਸਲ ਖੋਜ ਵਾਤਾਵਰਣ ਵਿੱਚ, ਲੰਬੇ ਸਮੇਂ ਦੌਰਾਨ, ਅਤੇ ਰੀਜ਼ਨਿੰਗ, ਫੀਡਬੈਕ ਅਤੇ ਪ੍ਰਯੋਗਾਤਮਕ ਫਾਲੋ-ਅਪ ਦੇ ਕਈ ਗੇੜਾਂ ਦੌਰਾਨ ਕਰਨਾ ਪਵੇਗਾ।