ਭਾਸ਼ਾ ਮਾਡਲ ਫਿਊ-ਸ਼ਾਟ ਸਿੱਖਣ ਵਾਲੇ ਹਨ

ਹਾਲੀਆ ਕੰਮ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ ਟੈਕਸਟ ਦੇ ਵੱਡੇ ਕੋਰਪਸ ਉੱਤੇ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਕਰਨ ਅਤੇ ਫਿਰ ਕਿਸੇ ਖਾਸ ਕੰਮ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕਰਨ ਨਾਲ ਕਈ NLP ਕੰਮਾਂ ਅਤੇ ਬੈਂਚਮਾਰਕਾਂ ਉੱਤੇ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰ ਮਿਲੇ ਹਨ। ਹਾਲਾਂਕਿ ਆਰਕੀਟੈਕਚਰ ਦੇ ਪੱਧਰ 'ਤੇ ਇਹ ਵਿਧੀ ਆਮ ਤੌਰ 'ਤੇ ਕੰਮ-ਅਗਨੋਸਟਿਕ ਹੁੰਦੀ ਹੈ, ਫਿਰ ਵੀ ਇਸ ਲਈ ਹਜ਼ਾਰਾਂ ਜਾਂ ਦਹਾਕਿਆਂ ਹਜ਼ਾਰ ਉਦਾਹਰਣਾਂ ਵਾਲੇ ਕੰਮ-ਵਿਸ਼ੇਸ਼ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾਸੈੱਟਾਂ ਦੀ ਲੋੜ ਰਹਿੰਦੀ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਮਨੁੱਖ ਆਮ ਤੌਰ 'ਤੇ ਸਿਰਫ ਕੁਝ ਉਦਾਹਰਣਾਂ ਤੋਂ ਜਾਂ ਸਧਾਰਣ ਹਦਾਇਤਾਂ ਤੋਂ ਕੋਈ ਨਵਾਂ ਭਾਸ਼ਾਈ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ - ਇਹੋ ਜਿਹੀ ਗੱਲ ਹੈ ਜਿਸ ਨੂੰ ਮੌਜੂਦਾ NLP ਸਿਸਟਮ ਅਜੇ ਵੀ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਕਰਨ ਵਿੱਚ ਜੂਝਦੇ ਹਨ। ਇੱਥੇ ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦਾ ਪੈਮਾਨਾ ਵਧਾਉਣ ਨਾਲ ਕੰਮ-ਅਗਨੋਸਟਿਕ, ਫਿਊ-ਸ਼ਾਟ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਬਹੁਤ ਸੁਧਾਰ ਆਉਂਦਾ ਹੈ, ਕਈ ਵਾਰ ਪਹਿਲਾਂ ਦੇ ਸਰਵੋਤਮ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤਰੀਕਿਆਂ ਨਾਲ ਮੁਕਾਬਲੇਯੋਗ ਪੱਧਰ ਤੱਕ ਵੀ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, ਅਸੀਂ GPT‑3 ਨੂੰ ਟ੍ਰੇਨ ਕਰਦੇ ਹਾਂ, ਜੋ 175 ਅਰਬ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲਾ ਇੱਕ ਆਟੋਰੇਗ੍ਰੈਸਿਵ ਭਾਸ਼ਾ ਮਾਡਲ ਹੈ, ਜੋ ਕਿਸੇ ਵੀ ਪਹਿਲਾਂ ਦੇ ਗੈਰ-ਸਪਾਰਸ ਭਾਸ਼ਾ ਮਾਡਲ ਨਾਲੋਂ 10 ਗੁਣਾ ਵੱਧ ਹੈ, ਅਤੇ ਫਿਊ-ਸ਼ਾਟ ਸੈਟਿੰਗ ਵਿੱਚ ਇਸ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਾਂ। ਸਾਰੇ ਕੰਮਾਂ ਲਈ, GPT‑3 ਨੂੰ ਕਿਸੇ ਵੀ ਗ੍ਰੇਡੀਐਂਟ ਅਪਡੇਟ ਜਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤੋਂ ਬਿਨਾਂ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿੱਥੇ ਕੰਮ ਅਤੇ ਫਿਊ-ਸ਼ਾਟ ਡੈਮੋਨਸਟ੍ਰੇਸ਼ਨ ਸਿਰਫ ਮਾਡਲ ਨਾਲ ਟੈਕਸਟ ਅੰਤਰਕਿਰਿਆ ਰਾਹੀਂ ਨਿਰਧਾਰਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। GPT‑3 ਕਈ NLP ਡੇਟਾਸੈੱਟਾਂ 'ਤੇ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਅਨੁਵਾਦ, ਪ੍ਰਸ਼ਨ-ਉੱਤਰ, ਅਤੇ ਕਲੋਜ਼ ਕੰਮ ਸ਼ਾਮਲ ਹਨ, ਨਾਲ ਹੀ ਕਈ ਅਜਿਹੇ ਕੰਮ ਵੀ ਜਿਨ੍ਹਾਂ ਲਈ ਤੁਰੰਤ ਰੀਜ਼ਨਿੰਗ ਜਾਂ ਡੋਮੇਨ ਅਨੁਕੂਲਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਿਵੇਂ ਸ਼ਬਦਾਂ ਨੂੰ ਸਹੀ ਕ੍ਰਮ ਵਿੱਚ ਲਿਆਉਣਾ, ਕਿਸੇ ਨਵੇਂ ਸ਼ਬਦ ਨੂੰ ਵਾਕ ਵਿੱਚ ਵਰਤਣਾ, ਜਾਂ 3-ਅੰਕੀ ਗਣਿਤ ਕਰਨਾ। ਇਸੇ ਸਮੇਂ, ਅਸੀਂ ਕੁਝ ਅਜਿਹੇ ਡੇਟਾਸੈੱਟਾਂ ਦੀ ਵੀ ਪਹਿਚਾਣ ਕਰਦੇ ਹਾਂ ਜਿੱਥੇ GPT‑3 ਦੀ ਫਿਊ-ਸ਼ਾਟ ਸਿੱਖਿਆ ਅਜੇ ਵੀ ਜੂਝਦੀ ਹੈ, ਅਤੇ ਕੁਝ ਅਜਿਹੇ ਡੇਟਾਸੈੱਟਾਂ ਦੀ ਵੀ ਜਿੱਥੇ GPT‑3 ਨੂੰ ਵੱਡੇ ਵੈੱਬ ਕੋਰਪਸ ਉੱਤੇ ਟ੍ਰੇਨਿੰਗ ਨਾਲ ਸੰਬੰਧਿਤ ਵਿਧੀਵਿਗਿਆਨਕ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਆਖਿਰ ਵਿੱਚ, ਅਸੀਂ ਪਾਉਂਦੇ ਹਾਂ ਕਿ GPT‑3 ਖ਼ਬਰਾਂ ਦੇ ਲੇਖਾਂ ਦੇ ਅਜਿਹੇ ਨਮੂਨੇ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਮਨੁੱਖੀ ਮੁਲਾਂਕਣਕਾਰਾਂ ਲਈ ਮਨੁੱਖਾਂ ਦੁਆਰਾ ਲਿਖੇ ਲੇਖਾਂ ਤੋਂ ਵੱਖ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ। ਅਸੀਂ ਇਸ ਖੋਜ ਦੇ ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ GPT‑3 ਦੇ ਵਿਆਪਕ ਸਮਾਜਿਕ ਪ੍ਰਭਾਵਾਂ 'ਤੇ ਚਰਚਾ ਕਰਦੇ ਹਾਂ।