ਮਾਡਲਾਂ ਨੂੰ ਆਪਣੇ ਅਨਿਸ਼ਚਿਤਤਾ ਨੂੰ ਸ਼ਬਦਾਂ ਵਿੱਚ ਪ੍ਰਗਟ ਕਰਨਾ ਸਿਖਾਉਣਾ

ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਇੱਕ GPT‑3 ਮਾਡਲ ਆਪਣਿਆਂ ਹੀ ਜਵਾਬਾਂ ਬਾਰੇ ਅਨਿਸ਼ਚਿਤਤਾ ਨੂੰ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਪ੍ਰਗਟ ਕਰਨਾ ਸਿੱਖ ਸਕਦਾ ਹੈ—ਮਾਡਲ logits ਦੀ ਵਰਤੋਂ ਤੋਂ ਬਿਨਾਂ। ਜਦੋਂ ਇਸਨੂੰ ਕੋਈ ਸਵਾਲ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਮਾਡਲ ਇੱਕ ਜਵਾਬ ਅਤੇ ਭਰੋਸੇ ਦਾ ਇੱਕ ਪੱਧਰ ਦੋਵੇਂ ਤਿਆਰ ਕਰਦਾ ਹੈ (ਜਿਵੇਂ "90% confidence" ਜਾਂ "high confidence")। ਇਹ ਪੱਧਰ ਉਹਨਾਂ ਸੰਭਾਵਨਾਵਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ ਜੋ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੈਲੀਬ੍ਰੇਟ ਕੀਤੀਆਂ ਹੁੰਦੀਆਂ ਹਨ। distribution shift ਦੇ ਹਾਲਾਤ ਵਿੱਚ ਵੀ ਮਾਡਲ ਦਰਮਿਆਨੇ ਪੱਧਰ ਤੱਕ ਕੈਲੀਬ੍ਰੇਟ ਰਹਿੰਦਾ ਹੈ, ਅਤੇ ਇਹ ਮਨੁੱਖੀ ਉਦਾਹਰਣਾਂ ਦੀ ਨਕਲ ਕਰਨ ਦੀ ਬਜਾਇ ਆਪਣੇ ਹੀ ਜਵਾਬਾਂ ਵਿੱਚ ਅਨਿਸ਼ਚਿਤਤਾ ਲਈ ਸੰਵੇਦਨਸ਼ੀਲ ਰਹਿੰਦਾ ਹੈ। ਸਾਡੀ ਜਾਣਕਾਰੀ ਅਨੁਸਾਰ, ਇਹ ਪਹਿਲੀ ਵਾਰ ਹੈ ਕਿ ਕਿਸੇ ਮਾਡਲ ਨੂੰ ਆਪਣੇ ਹੀ ਜਵਾਬਾਂ ਬਾਰੇ ਕੈਲੀਬ੍ਰੇਟ ਕੀਤੀ ਅਨਿਸ਼ਚਿਤਤਾ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਪ੍ਰਗਟ ਕਰਦੇ ਹੋਏ ਦਿਖਾਇਆ ਗਿਆ ਹੈ। ਕੈਲੀਬ੍ਰੇਸ਼ਨ ਦੀ ਜਾਂਚ ਲਈ, ਅਸੀਂ CalibratedMath ਨਾਮਕ ਟਾਸਕਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਸ਼ਬਦਾਂ ਵਿੱਚ ਪ੍ਰਗਟ ਕੀਤੀ ਅਨਿਸ਼ਚਿਤਤਾ ("verbalized probability") ਦੀ ਕੈਲੀਬ੍ਰੇਸ਼ਨ ਦੀ ਤੁਲਨਾ ਮਾਡਲ logits ਤੋਂ ਕੱਢੀ ਗਈ ਅਨਿਸ਼ਚਿਤਤਾ ਨਾਲ ਕਰਦੇ ਹਾਂ। ਦੋਵੇਂ ਕਿਸਮਾਂ ਦੀ ਅਨਿਸ਼ਚਿਤਤਾ distribution shift ਦੇ ਹਾਲਾਤ ਵਿੱਚ ਕੈਲੀਬ੍ਰੇਸ਼ਨ ਨੂੰ ਆਮ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਰੱਖਦੀਆਂ ਹਨ। ਅਸੀਂ ਇਹ ਸਬੂਤ ਵੀ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ GPT‑3 ਦੀ ਕੈਲੀਬ੍ਰੇਸ਼ਨ ਨੂੰ ਆਮ ਕਰਨ ਦੀ ਯੋਗਤਾ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਾਈਆਂ ਗਈਆਂ latent representations 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ, ਜੋ ਇਸਦੇ ਜਵਾਬਾਂ ਬਾਰੇ epistemic uncertainty ਨਾਲ ਸੰਬੰਧਿਤ ਹਨ।