ਕਾਰੋਬਾਰਾਂ ਲਈ AI ਦੇ ਅਗਲੇ ਅਧਿਆਇ ਨੂੰ evals ਕਿਵੇਂ ਅੱਗੇ ਵਧਾਉਂਦੀਆਂ ਹਨ

ਦੁਨੀਆ ਭਰ ਵਿੱਚ ਦੱਸ ਲੱਖ ਤੋਂ ਵੱਧ ਕਾਰੋਬਾਰ⁠ ਵਧੀਕ ਕੁਸ਼ਲਤਾ ਅਤੇ ਮੁੱਲ ਸਿਰਜਣ ਲਈ AI ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਨ। ਪਰ ਕੁਝ ਸੰਸਥਾਵਾਂ ਨੂੰ ਉਹ ਨਤੀਜੇ ਨਹੀਂ ਮਿਲੇ ਜਿਨ੍ਹਾਂ ਦੀ ਉਹ ਉਮੀਦ ਕਰ ਰਹੀਆਂ ਸਨ। ਇਸ ਖਾਈ ਦਾ ਕਾਰਨ ਕੀ ਹੈ?

OpenAI ਵਿੱਚ ਅਸੀਂ ਆਪਣੇ ਮਹੱਤਵਾਕਾਂਕਸ਼ੀ ਲਕਸ਼ ਹਾਸਲ ਕਰਨ ਲਈ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਸਾਡੇ ਵੱਲੋਂ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਮੁੱਖ ਸਾਧਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹਨ evals, ਜੋ AI ਸਿਸਟਮ ਦੀ ਉਮੀਦਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਮਾਪਣ ਅਤੇ ਸੁਧਾਰਣ ਦੇ ਤਰੀਕੇ ਹਨ।

ਉਤਪਾਦ ਲੋੜ ਦਸਤਾਵੇਜ਼ਾਂ ਵਾਂਗ, evals ਅਸਪਸ਼ਟ ਲਕਸ਼ਾਂ ਅਤੇ ਅਮੂਰਤ ਵਿਚਾਰਾਂ ਨੂੰ ਖਾਸ ਅਤੇ ਸਪਸ਼ਟ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਰਣਨੀਤਿਕ ਢੰਗ ਨਾਲ evals ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਗਾਹਕ-ਸਾਮ੍ਹਣੇ ਵਾਲਾ ਉਤਪਾਦ ਜਾਂ ਅੰਦਰੂਨੀ ਸੰਦ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਹੋਰ ਭਰੋਸੇਯੋਗ ਬਣ ਸਕਦਾ ਹੈ, ਉੱਚ-ਗੰਭੀਰਤਾ ਵਾਲੀਆਂ ਗਲਤੀਆਂ ਘਟ ਸਕਦੀਆਂ ਹਨ, ਨੁਕਸਾਨੀ ਜੋਖਮ ਤੋਂ ਸੁਰੱਖਿਆ ਮਿਲ ਸਕਦੀ ਹੈ, ਅਤੇ ਕਿਸੇ ਸੰਸਥਾ ਨੂੰ ਉੱਚੇ ROI ਲਈ ਮਾਪਣਯੋਗ ਰਾਹ ਮਿਲ ਸਕਦਾ ਹੈ।

OpenAI ਵਿੱਚ ਸਾਡੇ ਮਾਡਲ ਹੀ ਸਾਡੇ ਉਤਪਾਦ ਹਨ, ਇਸ ਲਈ ਸਾਡੇ ਖੋਜਕਰਤਾ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਮਾਡਲਾਂ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਮਾਪਣ ਲਈ ਕੜੀਆਂ ਅਤਿ-ਆਧੁਨਿਕ evals⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ¹ ਵਰਤਦੇ ਹਨ। ਭਾਵੇਂ ਅਤਿ-ਆਧੁਨਿਕ evals ਸਾਨੂੰ ਵਧੀਆ ਮਾਡਲ ਤੇਜ਼ੀ ਨਾਲ ਜਾਰੀ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ, ਪਰ ਉਹ ਕਿਸੇ ਖਾਸ ਕਾਰੋਬਾਰੀ ਸੈਟਿੰਗ ਵਿੱਚ ਕਿਸੇ ਖਾਸ ਵਰਕਫਲੋ 'ਤੇ ਮਾਡਲ ਕਿਵੇਂ ਕੰਮ ਕਰੇਗਾ, ਇਸ ਲਈ ਲੋੜੀਂਦੀਆਂ ਸਾਰੀਆਂ ਬਾਰੀਕੀਆਂ ਨਹੀਂ ਦਿਖਾ ਸਕਦੀਆਂ। ਇਸੇ ਲਈ ਅੰਦਰੂਨੀ ਟੀਮਾਂ ਨੇ ਦਰਜਨਾਂ ਸੰਦਰਭਕ evals ਵੀ ਬਣਾਈਆਂ ਹਨ ਜੋ ਕਿਸੇ ਖਾਸ ਉਤਪਾਦ ਜਾਂ ਅੰਦਰੂਨੀ ਵਰਕਫਲੋ ਅੰਦਰ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਅੰਕਲਨ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੀਆਂ ਗਈਆਂ ਹਨ। ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਕਾਰੋਬਾਰੀ ਨੇਤਾਵਾਂ ਨੂੰ ਵੀ ਆਪਣੀ ਸੰਸਥਾ ਦੀਆਂ ਲੋੜਾਂ ਅਤੇ ਕੰਮਕਾਜੀ ਵਾਤਾਵਰਣ ਲਈ ਖਾਸ ਸੰਦਰਭਕ evals ਬਣਾਉਣਾ ਸਿੱਖਣਾ ਚਾਹੀਦਾ ਹੈ।

ਇਹ ਉਹਨਾਂ ਕਾਰੋਬਾਰੀ ਨੇਤਾਵਾਂ ਲਈ ਇੱਕ ਪ੍ਰਾਈਮਰ ਹੈ ਜੋ ਆਪਣੀਆਂ ਸੰਸਥਾਵਾਂ ਵਿੱਚ evals ਲਾਗੂ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਨ। ਸੰਦਰਭਕ evals, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਕਿਸੇ ਖਾਸ ਸੰਸਥਾ ਦੇ ਵਰਕਫਲੋ ਜਾਂ ਉਤਪਾਦ ਲਈ ਤਿਆਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਵਿਕਾਸ ਦਾ ਇੱਕ ਸਰਗਰਮ ਖੇਤਰ ਹਨ ਅਤੇ ਅਜੇ ਤੱਕ ਕੋਈ ਨਿਸ਼ਚਿਤ ਪ੍ਰਕਿਰਿਆਵਾਂ ਸਾਹਮਣੇ ਨਹੀਂ ਆਈਆਂ। ਇਸ ਕਾਰਨ, ਇਹ ਲੇਖ ਇੱਕ ਵਿਸ਼ਾਲ ਫਰੇਮਵਰਕ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਅਸੀਂ ਕਈ ਸਥਿਤੀਆਂ ਵਿੱਚ ਕਾਰਗਰ ਦੇਖਿਆ ਹੈ। ਸਾਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਇਹ ਖੇਤਰ ਵਿਕਸਤ ਹੋਵੇਗਾ ਅਤੇ ਹੋਰ ਫਰੇਮਵਰਕ ਸਾਹਮਣੇ ਆਉਣਗੇ ਜੋ ਖਾਸ ਕਾਰੋਬਾਰੀ ਸੰਦਰਭਾਂ ਅਤੇ ਲਕਸ਼ਾਂ ਨੂੰ ਸੰਬੋਧਨ ਕਰਨਗੇ। ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਅਗਰਗਾਮੀ, AI-ਸਮਰਥਿਤ ਉਪਭੋਗਤਾ ਉਤਪਾਦ ਲਈ ਇੱਕ ਸ਼ਾਨਦਾਰ eval ਨੂੰ ਮਿਆਰੀ ਕਾਰਜ ਪ੍ਰਕਿਰਿਆ 'ਤੇ ਆਧਾਰਿਤ ਅੰਦਰੂਨੀ ਆਟੋਮੇਸ਼ਨ ਲਈ eval ਨਾਲੋਂ ਵੱਖਰੀ ਪ੍ਰਕਿਰਿਆ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ। ਅਸੀਂ ਮੰਨਦੇ ਹਾਂ ਕਿ ਹੇਠਾਂ ਦਿੱਤਾ ਫਰੇਮਵਰਕ ਦੋਹਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਸਰਵੋਤਮ ਅਭਿਆਸਾਂ ਦੇ ਸੰਗ੍ਰਹਿ ਵਜੋਂ ਕੰਮ ਕਰੇਗਾ ਅਤੇ ਤੁਹਾਡੀ ਸੰਸਥਾ ਦੀਆਂ ਲੋੜਾਂ ਅਨੁਸਾਰ evals ਬਣਾਉਂਦੇ ਸਮੇਂ ਲਾਭਦਾਇਕ ਮਾਰਗਦਰਸ਼ਕ ਹੋਵੇਗਾ।

ਇੱਕ ਛੋਟੀ, ਸਸ਼ਕਤ ਟੀਮ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ ਜੋ ਸਧਾਰਣ ਸ਼ਬਦਾਂ ਵਿੱਚ ਤੁਹਾਡੇ AI ਸਿਸਟਮ ਦਾ ਉਦੇਸ਼ ਲਿਖ ਸਕੇ, ਉਦਾਹਰਨ ਵਜੋਂ: “ਯੋਗ ਆਉਣ ਵਾਲੀਆਂ ਈਮੇਲਾਂ ਨੂੰ ਬ੍ਰਾਂਡ ਦੇ ਅਨੁਕੂਲ ਰਹਿੰਦੇ ਹੋਏ ਨਿਰਧਾਰਤ ਡੈਮੋਜ਼ ਵਿੱਚ ਬਦਲੋ।”

ਇਸ ਟੀਮ ਵਿੱਚ ਤਕਨੀਕੀ ਅਤੇ ਖੇਤਰ-ਸਬੰਧੀ ਦੱਖਲ ਵਾਲੇ ਲੋਕਾਂ ਦਾ ਮਿਲਾਪ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ (ਦਿੱਤੀ ਉਦਾਹਰਨ ਵਿੱਚ, ਤੁਸੀਂ ਟੀਮ ਵਿੱਚ ਵਿਕਰੀ ਵਿਸ਼ੇਸ਼ਗਿਆ ਚਾਹੋਗੇ)। ਉਹ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਨਤੀਜਿਆਂ ਨੂੰ ਦਰਸਾ ਸਕਣ ਜੋ ਮਾਪਣੇ ਹਨ, ਵਰਕਫਲੋ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਰੂਪਰੇਖਿਤ ਕਰ ਸਕਣ, ਅਤੇ ਹਰ ਮਹੱਤਵਪੂਰਨ ਫੈਸਲਾ ਬਿੰਦੂ ਦੀ ਪਹਿਚਾਣ ਕਰ ਸਕਣ ਜਿਸ ਦਾ ਤੁਹਾਡਾ AI ਸਿਸਟਮ ਸਾਹਮਣਾ ਕਰੇਗਾ। ਉਸ ਵਰਕਫਲੋ ਦੇ ਹਰ ਕਦਮ ਲਈ, ਟੀਮ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਸਫਲਤਾ ਕਿਹੋ ਜਿਹੀ ਦਿਸਦੀ ਹੈ ਅਤੇ ਕਿਸ ਤੋਂ ਬਚਣਾ ਹੈ। ਇਹ ਪ੍ਰਕਿਰਿਆ ਦਰਜਨਾਂ ਉਦਾਹਰਨ ਇਨਪੁਟਾਂ (ਜਿਵੇਂ ਆਉਣ ਵਾਲੀਆਂ ਈਮੇਲਾਂ) ਨੂੰ ਉਹਨਾਂ ਆਉਟਪੁਟਾਂ ਨਾਲ ਨਕਸ਼ਾਬੱਧ ਕਰੇਗੀ ਜੋ ਉਹ ਸਿਸਟਮ ਤੋਂ ਲੈਣਾ ਚਾਹੁੰਦੇ ਹਨ। ਉਦਾਹਰਨਾਂ ਦਾ ਬਣਿਆ golden set ਇਸ ਗੱਲ ਲਈ ਇੱਕ ਜੀਵੰਤ, ਅਧਿਕਾਰਤ ਸੰਦਰਭ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਸਭ ਤੋਂ ਨਿਪੁੰਨ ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਦੇ ਫੈਸਲੇ ਅਤੇ ਰੁਚੀ ਅਨੁਸਾਰ “ਸ਼ਾਨਦਾਰ” ਕੀ ਦਿਸਦਾ ਹੈ।

ਸ਼ੁਰੂਆਤੀ ਹਾਲਤ ਤੋਂ ਘਬਰਾਓ ਨਾ ਜਾਂ ਸਭ ਕੁਝ ਇਕੱਠੇ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਾ ਕਰੋ। ਇਹ ਪ੍ਰਕਿਰਿਆ ਦੁਹਰਾਈ ਜਾਂਦੀ ਅਤੇ ਕੁਝ ਹੱਦ ਤੱਕ ਬੇਤਰਤੀਬ ਹੁੰਦੀ ਹੈ। ਸ਼ੁਰੂਆਤੀ ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ ਬੇਹੱਦ ਮਦਦਗਾਰ ਹੋ ਸਕਦੀ ਹੈ। ਸਿਸਟਮ ਦੇ ਸ਼ੁਰੂਆਤੀ ਸੰਸਕਰਣ ਤੋਂ 50 ਤੋਂ 100 ਆਉਟਪੁਟਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਨਾਲ ਪਤਾ ਲੱਗੇਗਾ ਕਿ ਤੁਹਾਡਾ ਸਿਸਟਮ ਕਿਵੇਂ ਅਤੇ ਕਦੋਂ ਅਸਫਲ ਹੋ ਰਿਹਾ ਹੈ। ਇਹ “error analysis” ਵੱਖ-ਵੱਖ ਗਲਤੀਆਂ (ਅਤੇ ਉਹਨਾਂ ਦੀ ਆਵਰਤੀ) ਦੀ ਇੱਕ ਵਰਗੀਕਰਨ ਸੂਚੀ ਦੇਵੇਗੀ, ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਸਿਸਟਮ ਦੇ ਸੁਧਾਰ ਨਾਲ-ਨਾਲ ਟ੍ਰੈਕ ਕਰੋਗੇ।

ਇਹ ਪ੍ਰਕਿਰਿਆ ਸਿਰਫ ਤਕਨੀਕੀ ਨਹੀਂ ਹੈ—ਇਹ ਅੰਤਰ-ਕਿਰਿਆਸ਼ੀਲ ਹੈ ਅਤੇ ਕਾਰੋਬਾਰੀ ਲਕਸ਼ਾਂ ਅਤੇ ਚਾਹੀਦੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਪਰਿਭਾਸ਼ਾ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ। ਤਕਨੀਕੀ ਟੀਮਾਂ ਨੂੰ ਇਕੱਲਿਆਂ ਇਹ ਨਿਰਣਯ ਕਰਨ ਲਈ ਨਹੀਂ ਕਿਹਾ ਜਾਣਾ ਚਾਹੀਦਾ ਕਿ ਗਾਹਕਾਂ ਜਾਂ ਉਤਪਾਦ, ਵਿਕਰੀ ਜਾਂ HR ਵਰਗੀਆਂ ਹੋਰ ਟੀਮਾਂ ਦੀਆਂ ਲੋੜਾਂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਕੀ ਹੈ। ਇਸ ਲਈ, ਖੇਤਰ-ਵਿਸ਼ੇਸ਼ਗਿਆ, ਤਕਨੀਕੀ ਲੀਡ ਅਤੇ ਹੋਰ ਮੁੱਖ ਹਿੱਸੇਦਾਰਾਂ ਨੂੰ ਸਾਂਝੀ ਮਾਲਕੀ ਰੱਖਣੀ ਚਾਹੀਦੀ ਹੈ।

ਅਗਲਾ ਕਦਮ ਮਾਪਣਾ ਹੈ। ਮਾਪਣ ਦਾ ਲਕਸ਼ ਇਹ ਹੈ ਕਿ ਇਹ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਠੋਸ ਉਦਾਹਰਨਾਂ ਸਾਹਮਣੇ ਲਿਆਵੇ ਕਿ ਸਿਸਟਮ ਕਿਵੇਂ ਅਤੇ ਕਦੋਂ ਅਸਫਲ ਹੋ ਰਿਹਾ ਹੈ। ਇਸ ਲਈ, ਇੱਕ ਸਮਰਪਿਤ ਟੈਸਟ ਵਾਤਾਵਰਣ ਬਣਾਓ ਜੋ ਅਸਲ-ਦੁਨੀਆ ਦੀਆਂ ਸਥਿਤੀਆਂ ਨੂੰ ਨੇੜੇ ਤੋਂ ਦਰਸਾਏ—ਕੇਵਲ ਡੈਮੋ ਜਾਂ ਪ੍ਰੌੰਪਟ ਪਲੇਗ੍ਰਾਊਂਡ ਨਹੀਂ। ਤੁਹਾਡੇ ਸਿਸਟਮ ਨੂੰ ਅਸਲ ਵਿੱਚ ਜਿਹੜੇ ਦਬਾਅ ਅਤੇ edge cases ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਵੇਗਾ, ਉਹਨਾਂ ਹੀ ਹਾਲਾਤਾਂ ਵਿੱਚ ਆਪਣੇ golden set ਅਤੇ error analysis ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਅੰਕਲਨ ਕਰੋ।

Rubrics ਤੁਹਾਡੇ ਸਿਸਟਮ ਤੋਂ ਨਿਕਲੇ ਆਉਟਪੁਟਾਂ ਦਾ ਮੁਲਾਂਕਣ ਹੋਰ ਠੋਸ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੇ ਹਨ, ਪਰ ਇਹ ਸੰਭਵ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੁੱਲ ਲਕਸ਼ਾਂ ਦੀ ਕੀਮਤ 'ਤੇ ਉੱਪਰੀ ਪੱਧਰ ਦੀਆਂ ਚੀਜ਼ਾਂ 'ਤੇ ਬਹੁਤ ਵੱਧ ਜ਼ੋਰ ਦਿੱਤਾ ਜਾਵੇ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕੁਝ ਗੁਣ ਮਾਪਣਾ ਮੁਸ਼ਕਲ ਜਾਂ ਅਸੰਭਵ ਹੁੰਦਾ ਹੈ। ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਰਵਾਇਤੀ ਕਾਰੋਬਾਰੀ ਮਾਪਦੰਡ ਮਹੱਤਵਪੂਰਨ ਹੋਣਗੇ। ਹੋਰਾਂ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਨਵੇਂ ਮਾਪਦੰਡ ਬਣਾਉਣੇ ਪੈਣਗੇ। ਆਪਣੇ ਵਿਸ਼ੇ-ਵਿਸ਼ੇਸ਼ਗਿਆਨਾਂ ਨੂੰ ਪੂਰੀ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਸ਼ਾਮਲ ਰੱਖੋ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਆਪਣੇ ਮੁੱਖ ਉਦੇਸ਼ਾਂ ਨਾਲ ਘਣੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਰੱਖੋ।

ਸਿਸਟਮ ਦੀ ਅਸਲੀ ਜਾਂਚ ਕਰਨ ਲਈ, ਜਿੱਥੇ ਵੀ ਸੰਭਵ ਹੋਵੇ, ਅਸਲ-ਦੁਨੀਆ ਦੀਆਂ ਸਥਿਤੀਆਂ ਤੋਂ ਲਿਆਈਆਂ ਉਦਾਹਰਨਾਂ ਵਰਤੋ, ਅਤੇ ਉਹ edge cases ਵੀ ਸ਼ਾਮਲ ਕਰੋ ਜਾਂ ਬਣਾਓ ਜੋ ਵਿਰਲੇ ਤਾਂ ਹੁੰਦੇ ਹਨ ਪਰ ਗਲਤ ਸੰਭਾਲੇ ਜਾਣ 'ਤੇ ਮਹਿੰਗੇ ਸਾਬਤ ਹੁੰਦੇ ਹਨ।

ਕੁਝ evals ਨੂੰ LLM grader ਦੀ ਵਰਤੋਂ ਨਾਲ ਸਕੇਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜੋ ਇੱਕ AI ਮਾਡਲ ਹੁੰਦਾ ਹੈ ਜੋ ਆਉਟਪੁਟਾਂ ਨੂੰ ਓਸੇ ਤਰੀਕੇ ਨਾਲ ਗਰੇਡ ਕਰਦਾ ਹੈ ਜਿਵੇਂ ਕੋਈ ਵਿਸ਼ੇਸ਼ਗਿਆ ਕਰੇ; ਫਿਰ ਵੀ, ਮਨੁੱਖੀ ਭੂਮਿਕਾ ਜਾਰੀ ਰੱਖਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਤੁਹਾਡੇ ਖੇਤਰ-ਵਿਸ਼ੇਸ਼ਗਿਆ ਨੂੰ ਸਹੀਪਣ ਲਈ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ LLM graders ਦਾ ਆਡਿਟ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਸਿਸਟਮ ਦੇ ਵਿਹਾਰ ਦੇ ਲੌਗਾਂ ਦੀ ਸਿੱਧੀ ਸਮੀਖਿਆ ਵੀ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।

Evals ਤੁਹਾਨੂੰ ਇਹ ਫ਼ੈਸਲਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੀਆਂ ਹਨ ਕਿ ਕੋਈ ਸਿਸਟਮ ਲਾਂਚ ਲਈ ਤਿਆਰ ਹੈ ਜਾਂ ਨਹੀਂ, ਪਰ ਇਹ ਲਾਂਚ 'ਤੇ ਖਤਮ ਨਹੀਂ ਹੁੰਦੀਆਂ। ਤੁਹਾਨੂੰ ਲਗਾਤਾਰ ਆਪਣੇ ਸਿਸਟਮ ਦੇ ਅਸਲ ਇਨਪੁਟਾਂ ਤੋਂ ਬਣੇ ਅਸਲ ਆਉਟਪੁਟਾਂ ਦੀ ਗੁਣਵੱਤਾ ਮਾਪਣੀ ਚਾਹੀਦੀ ਹੈ। ਕਿਸੇ ਵੀ ਉਤਪਾਦ ਵਾਂਗ, ਤੁਹਾਡੇ ਅੰਤਿਮ ਉਪਭੋਗਤਾਵਾਂ ਤੋਂ ਮਿਲਣ ਵਾਲੇ ਸੰਕੇਤ (ਚਾਹੇ ਬਾਹਰੀ ਹੋਣ ਜਾਂ ਅੰਦਰੂਨੀ) ਖ਼ਾਸ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੇ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਤੁਹਾਡੀ eval ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

ਆਖਰੀ ਕਦਮ ਲਗਾਤਾਰ ਸੁਧਾਰ ਲਈ ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਸਥਾਪਿਤ ਕਰਨਾ ਹੈ। ਤੁਹਾਡੀ eval ਦੁਆਰਾ ਸਾਹਮਣੇ ਆਈਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੇ ਕਈ ਰੂਪ ਹੋ ਸਕਦੇ ਹਨ: ਪ੍ਰੌੰਪਟਾਂ ਨੂੰ ਨਿਖਾਰਨਾ, ਡਾਟਾ ਐਕਸੈਸ ਨੂੰ ਠੀਕ ਕਰਨਾ, eval ਨੂੰ ਹੀ ਤੁਹਾਡੇ ਲਕਸ਼ਾਂ ਨੂੰ ਹੋਰ ਵਧੀਆ ਦਰਸਾਉਣ ਲਈ ਅਪਡੇਟ ਕਰਨਾ, ਆਦਿ। ਜਿਵੇਂ-ਜਿਵੇਂ ਤੁਸੀਂ ਨਵੀਆਂ ਕਿਸਮਾਂ ਦੀਆਂ ਗਲਤੀਆਂ ਲੱਭਦੇ ਹੋ, ਉਹਨਾਂ ਨੂੰ ਆਪਣੀ error analysis ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ ਅਤੇ ਉਹਨਾਂ ਦਾ ਹੱਲ ਕਰੋ। ਹਰ iteration ਪਿਛਲੀ 'ਤੇ ਅਧਾਰਿਤ ਹੁੰਦੀ ਹੈ: ਨਵੇਂ ਮਾਪਦੰਡ ਅਤੇ ਸਿਸਟਮ ਦੇ ਵਿਹਾਰ ਬਾਰੇ ਹੋਰ ਸਪਸ਼ਟ ਉਮੀਦਾਂ ਨਵੇਂ edge cases ਅਤੇ ਔਖੀਆਂ, ਡਿੱਗੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਠੀਕ ਕਰਨ ਲਈ ਸਾਹਮਣੇ ਲਿਆਉਂਦੀਆਂ ਹਨ।

ਇਸ iteration ਨੂੰ ਸਮਰਥਨ ਦੇਣ ਲਈ, ਇੱਕ data flywheel ਬਣਾਓ। ਇਨਪੁਟ, ਆਉਟਪੁਟ ਅਤੇ ਨਤੀਜੇ ਲੌਗ ਕਰੋ; ਉਹਨਾਂ ਲੌਗਾਂ ਦੇ ਨਮੂਨੇ ਤਹਿ ਸ਼ਡਿਊਲ ਮੁਤਾਬਕ ਲਵੋ ਅਤੇ ਅਸਪਸ਼ਟ ਜਾਂ ਮਹਿੰਗੇ ਮਾਮਲਿਆਂ ਨੂੰ ਆਪਣੇ ਆਪ ਵਿਸ਼ੇਸ਼ਗਿਆ ਸਮੀਖਿਆ ਵੱਲ ਭੇਜੋ। ਇਹ ਵਿਸ਼ੇਸ਼ਗਿਆ ਫ਼ੈਸਲੇ ਆਪਣੀ eval ਅਤੇ error analysis ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ, ਫਿਰ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਪ੍ਰੌੰਪਟਾਂ, ਸੰਦਾਂ ਜਾਂ ਮਾਡਲਾਂ ਨੂੰ ਅਪਡੇਟ ਕਰਨ ਲਈ ਕਰੋ। ਇਸ ਚੱਕਰ ਰਾਹੀਂ ਤੁਸੀਂ ਸਿਸਟਮ ਲਈ ਆਪਣੀਆਂ ਉਮੀਦਾਂ ਨੂੰ ਹੋਰ ਸਪਸ਼ਟ ਤਰੀਕੇ ਨਾਲ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋਗੇ, ਇਸਨੂੰ ਉਹਨਾਂ ਉਮੀਦਾਂ ਨਾਲ ਹੋਰ ਮਜ਼ਬੂਤੀ ਨਾਲ ਅਨੁਕੂਲ ਕਰੋਗੇ, ਅਤੇ ਟ੍ਰੈਕ ਕਰਨ ਲਈ ਵਾਧੂ ਸੰਬੰਧਤ ਆਉਟਪੁਟਾਂ ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਪਛਾਣ ਕਰੋਗੇ। ਇਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਲਾਗੂ ਕਰਨ ਨਾਲ ਇੱਕ ਵੱਡਾ, ਵਿਲੱਖਣ, ਸੰਦਰਭ-ਵਿਸ਼ੇਸ਼ ਡਾਟਾਸੈੱਟ ਮਿਲਦਾ ਹੈ ਜਿਸ ਦੀ ਨਕਲ ਕਰਨੀ ਔਖੀ ਹੁੰਦੀ ਹੈ—ਇੱਕ ਕੀਮਤੀ ਸੰਪਤੀ ਜਿਸਦਾ ਤੁਹਾਡੀ ਸੰਸਥਾ ਲਾਭ ਉਠਾ ਸਕਦੀ ਹੈ ਜਦੋਂ ਤੁਸੀਂ ਆਪਣੇ ਬਾਜ਼ਾਰ ਵਿੱਚ ਸਭ ਤੋਂ ਵਧੀਆ ਉਤਪਾਦ ਜਾਂ ਪ੍ਰਕਿਰਿਆ ਤਿਆਰ ਕਰ ਰਹੇ ਹੋ।

ਭਾਵੇਂ evals ਤੁਹਾਡੇ AI ਸਿਸਟਮ ਨੂੰ ਸੁਧਾਰਣ ਲਈ ਇੱਕ ਪ੍ਰਣਾਲੀਬੱਧ ਤਰੀਕਾ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਪਰ ਨਵੀਆਂ ਅਸਫਲਤਾ ਰੂਪ-ਰੇਖਾਵਾਂ ਉਭਰ ਸਕਦੀਆਂ ਹਨ। ਅਮਲ ਵਿੱਚ, ਜਿਵੇਂ-ਜਿਵੇਂ ਮਾਡਲ, ਡਾਟਾ ਅਤੇ ਕਾਰੋਬਾਰੀ ਲਕਸ਼ ਵਿਕਸਤ ਹੁੰਦੇ ਹਨ, evals ਨੂੰ ਵੀ ਲਗਾਤਾਰ ਬਣਾਈ ਰੱਖਣਾ, ਵਿਸਥਾਰ ਕਰਨਾ ਅਤੇ stress-test ਕਰਨਾ ਲਾਜ਼ਮੀ ਹੈ।

ਬਾਹਰੀ-ਸਾਮ੍ਹਣੇ ਵਾਲੀਆਂ ਤਾਇਨਾਤੀਆਂ ਲਈ, evals ਹੋਰ ਰਵਾਇਤੀ A/B ਟੈਸਟਾਂ ਅਤੇ ਉਤਪਾਦ ਪ੍ਰਯੋਗਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦੀਆਂ। ਇਹ ਰਵਾਇਤੀ ਪ੍ਰਯੋਗਾਂ ਦੀ ਪੂਰਕ ਹਨ ਜੋ ਇੱਕ-ਦੂਜੇ ਨੂੰ ਦਿਸ਼ਾ ਦੇਣ ਵਿੱਚ ਅਤੇ ਇਹ ਦਿਖਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੀਆਂ ਹਨ ਕਿ ਤੁਹਾਡੇ ਦੁਆਰਾ ਕੀਤੇ ਬਦਲਾਅ ਅਸਲ-ਦੁਨੀਆ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ।

ਹਰ ਵੱਡਾ ਤਕਨੀਕੀ ਬਦਲਾਅ ਕਾਰਜਕਾਰੀ ਉਤਕ੍ਰਿਸ਼ਟਤਾ ਅਤੇ ਮੁਕਾਬਲਾਤੀ ਫਾਇਦੇ ਨੂੰ ਨਵਾਂ ਰੂਪ ਦੇਂਦਾ ਹੈ। OKRs ਅਤੇ KPIs ਵਰਗੇ ਫਰੇਮਵਰਕਾਂ ਨੇ ਵੱਡੇ ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਯੁੱਗ ਵਿੱਚ ਸੰਸਥਾਵਾਂ ਨੂੰ ਆਪਣੇ ਕਾਰੋਬਾਰ ਲਈ “ਜੋ ਮਹੱਤਵ ਰੱਖਦਾ ਹੈ ਉਸਨੂੰ ਮਾਪਣ” ਦੇ ਆਸ-ਪਾਸ ਖੁਦ ਨੂੰ ਢਾਲਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਹੈ। Evals AI ਦੇ ਯੁੱਗ ਲਈ ਮਾਪਣ ਦਾ ਕੁਦਰਤੀ ਵਿਸਥਾਰ ਹਨ।

ਸੰਭਾਵਨਾਤਮਕ ਸਿਸਟਮਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਨਵੇਂ ਕਿਸਮ ਦੇ ਮਾਪਣ ਅਤੇ ਤੋਲ-ਮੋਲ ਬਾਰੇ ਹੋਰ ਡੂੰਘੀ ਵਿਚਾਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਨੇਤਾਵਾਂ ਨੂੰ ਤੈਅ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਕਿ ਕਦੋਂ ਸ਼ੁੱਧਤਾ ਲਾਜ਼ਮੀ ਹੈ, ਕਦੋਂ ਉਹ ਹੋਰ ਲਚਕੀਲੇ ਹੋ ਸਕਦੇ ਹਨ, ਅਤੇ ਗਤੀ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਵਿੱਚ ਸੰਤੁਲਨ ਕਿਵੇਂ ਬਣਾਇਆ ਜਾਵੇ।

Evals ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਓਸੇ ਕਾਰਨ ਮੁਸ਼ਕਲ ਹੈ ਜਿਸ ਕਾਰਨ ਸ਼ਾਨਦਾਰ ਉਤਪਾਦ ਬਣਾਉਣਾ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ; ਇਹ ਕੜਾਈ, ਦ੍ਰਿਸ਼ਟੀ ਅਤੇ ਸੁਝਬੂਝ ਦੀ ਮੰਗ ਕਰਦੀਆਂ ਹਨ। ਜੇ ਇਹ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੀਤੀਆਂ ਜਾਣ, ਤਾਂ evals ਵਿਲੱਖਣ ਫਰਕ ਪੈਦਾ ਕਰਨ ਵਾਲੇ ਤੱਤ ਬਣ ਜਾਂਦੀਆਂ ਹਨ। ਇੱਕ ਅਜੇਹੇ ਸੰਸਾਰ ਵਿੱਚ ਜਿੱਥੇ ਜਾਣਕਾਰੀ ਦੁਨੀਆ ਭਰ ਵਿੱਚ ਖੁੱਲ੍ਹੇ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹੈ ਅਤੇ ਵਿਸ਼ੇਸ਼ਗਿਆਤਾ ਲੋਕਤੰਤਰਿਕ ਹੋ ਚੁੱਕੀ ਹੈ, ਤੁਹਾਡਾ ਫਾਇਦਾ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਸਿਸਟਮ ਤੁਹਾਡੇ ਸੰਦਰਭ ਅੰਦਰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ। ਮਜ਼ਬੂਤ evals ਤੁਹਾਡੇ ਸਿਸਟਮਾਂ ਦੇ ਸੁਧਾਰ ਨਾਲ-ਨਾਲ ਸੰਚਿਤ ਹੋਣ ਵਾਲੇ ਫਾਇਦੇ ਅਤੇ ਸੰਸਥਾਗਤ ਜਾਣਕਾਰੀ-ਅਨੁਭਵ ਤਿਆਰ ਕਰਦੀਆਂ ਹਨ।

ਮੂਲ ਤੌਰ 'ਤੇ, evals ਕਾਰੋਬਾਰੀ ਸੰਦਰਭ ਅਤੇ ਉਦੇਸ਼ਾਂ ਦੀ ਡੂੰਘੀ ਸਮਝ ਬਾਰੇ ਹਨ। ਜੇ ਤੁਸੀਂ ਆਪਣੇ ਵਰਤੋਂ ਮਾਮਲੇ ਲਈ “ਸ਼ਾਨਦਾਰ” ਦਾ ਅਰਥ ਪਰਿਭਾਸ਼ਿਤ ਨਹੀਂ ਕਰ ਸਕਦੇ, ਤਾਂ ਸੰਭਾਵਨਾ ਘੱਟ ਹੈ ਕਿ ਤੁਸੀਂ ਉਸਨੂੰ ਹਾਸਲ ਕਰੋਗੇ। ਇਸ ਅਰਥ ਵਿੱਚ, evals AI ਯੁੱਗ ਦਾ ਇੱਕ ਮੁੱਖ ਸਬਕ ਉਜਾਗਰ ਕਰਦੀਆਂ ਹਨ: ਪ੍ਰਬੰਧਕੀ ਹੁਨਰ ਹੀ AI ਹੁਨਰ ਹਨ। ਸਪਸ਼ਟ ਲਕਸ਼, ਸਿੱਧਾ ਫੀਡਬੈਕ, ਸਾਵਧਾਨ ਫ਼ੈਸਲਾ-ਸਮਰੱਥਾ, ਅਤੇ ਤੁਹਾਡੇ value proposition, ਰਣਨੀਤੀ ਅਤੇ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਸਪਸ਼ਟ ਸਮਝ ਅਜੇ ਵੀ ਮਹੱਤਵ ਰੱਖਦੀ ਹੈ, ਸ਼ਾਇਦ ਪਹਿਲਾਂ ਨਾਲੋਂ ਵੀ ਵੱਧ।

ਜਿਵੇਂ-ਜਿਵੇਂ ਹੋਰ ਸਰਵੋਤਮ ਅਭਿਆਸ ਅਤੇ ਫਰੇਮਵਰਕ ਸਾਹਮਣੇ ਆਉਣਗੇ, ਅਸੀਂ ਉਹ ਸਾਂਝੇ ਕਰਦੇ ਰਹਾਂਗੇ। ਇਸ ਦਰਮਿਆਨ, ਅਸੀਂ ਤੁਹਾਨੂੰ evals ਨਾਲ ਪ੍ਰਯੋਗ ਕਰਨ ਅਤੇ ਇਹ ਖੋਜਣ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕਰਦੇ ਹਾਂ ਕਿ ਤੁਹਾਡੀਆਂ ਲੋੜਾਂ ਲਈ ਕਿਹੜੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਸਭ ਤੋਂ ਵਧੀਆ ਕੰਮ ਕਰਦੀਆਂ ਹਨ। ਸ਼ੁਰੂ ਕਰਨ ਲਈ, ਹੱਲ ਕੀਤੀ ਜਾਣ ਵਾਲੀ ਸਮੱਸਿਆ ਅਤੇ ਆਪਣੇ ਖੇਤਰ-ਵਿਸ਼ੇਸ਼ਗਿਆ ਦੀ ਪਹਿਚਾਣ ਕਰੋ, ਆਪਣੀ ਛੋਟੀ ਟੀਮ ਇਕੱਠੀ ਕਰੋ, ਅਤੇ ਜੇ ਤੁਸੀਂ ਸਾਡੇ API 'ਤੇ ਨਿਰਮਾਣ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਸਾਡੇ Platform Docs⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵੇਖੋ।

“ਸ਼ਾਨਦਾਰ” ਦੀ ਸਿਰਫ਼ ਉਮੀਦ ਨਾ ਕਰੋ। ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ, ਮਾਪੋ ਅਤੇ ਉਸ ਵੱਲ ਸੁਧਾਰ ਕਰਦੇ ਜਾਓ.