CLIP: ਟੈਕਸਟ ਅਤੇ ਚਿੱਤਰਾਂ ਨੂੰ ਜੋੜਨਾ

ਅਸੀਂ CLIP ਨਾਮਕ ਇੱਕ neural network ਪੇਸ਼ ਕਰ ਰਹੇ ਹਾਂ ਜੋ ਕੁਦਰਤੀ ਭਾਸ਼ਾ supervision ਤੋਂ visual concepts ਕੁਸ਼ਲਤਾਪੂਰਵਕ ਸਿੱਖਦਾ ਹੈ. CLIP ਨੂੰ ਕਿਸੇ ਵੀ visual classification benchmark ਉੱਤੇ ਸਿਰਫ ਪਛਾਣੀਆਂ ਜਾਣ ਵਾਲੀਆਂ visual categories ਦੇ ਨਾਮ ਦੇ ਕੇ ਲਾਗੂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਬਿਲਕੁਲ GPT‑2 ਅਤੇ GPT‑3 ਦੀਆਂ “ਜ਼ੀਰੋ-ਸ਼ਾਟ” ਸਮਰੱਥਾਵਾਂ ਵਾਂਗ.

ਹਾਲਾਂਕਿ ਡੀਪ ਲਰਨਿੰਗ ਨੇ computer vision ਵਿੱਚ ਕ੍ਰਾਂਤੀ ਲਿਆਈ ਹੈ, ਮੌਜੂਦਾ ਪਹੁੰਚਾਂ ਵਿੱਚ ਕਈ ਵੱਡੀਆਂ ਸਮੱਸਿਆਵਾਂ ਹਨ: ਆਮ vision datasets ਬਣਾਉਣ ਲਈ ਬਹੁਤ ਮਿਹਨਤ ਅਤੇ ਖਰਚਾ ਲੱਗਦਾ ਹੈ ਜਦਕਿ ਉਹ ਸਿਰਫ visual concepts ਦਾ ਇੱਕ ਸੰਕੁਚਿਤ ਸਮੂਹ ਹੀ ਸਿਖਾਉਂਦੀਆਂ ਹਨ. ਮਿਆਰੀ vision models ਇੱਕ ਸਮੇਂ ਇੱਕ ਹੀ ਕੰਮ ਵਿੱਚ ਚੰਗੇ ਹੁੰਦੇ ਹਨ ਅਤੇ ਨਵੇਂ ਕੰਮ ਲਈ ਉਨ੍ਹਾਂ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰਨ ਲਈ ਵੱਡੀ ਮਿਹਨਤ ਲੱਗਦੀ ਹੈ. ਅਤੇ benchmarks ਉੱਤੇ ਚੰਗੀ ਕਾਰਗੁਜ਼ਾਰੀ ਕਰਨ ਵਾਲੇ ਮਾਡਲ stress tests ਉੱਤੇ ਨਿਰਾਸ਼ਾਜਨਕ ਤੌਰ ਉੱਤੇ ਕਮਜ਼ੋਰ ਨਿਕਲਦੇ ਹਨ,^{1, 2, 3, 4} ਜਿਸ ਨਾਲ computer vision ਲਈ ਪੂਰੀ ਡੀਪ ਲਰਨਿੰਗ ਪਹੁੰਚ ਉੱਤੇ ਹੀ ਸਵਾਲ ਉੱਠਦੇ ਹਨ.

ਅਸੀਂ ਇੱਕ neural network ਪੇਸ਼ ਕਰਦੇ ਹਾਂ ਜੋ ਇਨ੍ਹਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦਾ ਉਦੇਸ਼ ਰੱਖਦਾ ਹੈ: ਇਹ ਬਹੁਤ ਵੱਖਰੇ ਚਿੱਤਰਾਂ ਅਤੇ ਬਹੁਤ ਵੱਖਰੀ ਕੁਦਰਤੀ ਭਾਸ਼ਾ supervision ਉੱਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਇੰਟਰਨੈੱਟ ਉੱਤੇ ਪ੍ਰਚੁਰ ਮਾਤਰਾ ਵਿੱਚ ਉਪਲਬਧ ਹੈ. ਡਿਜ਼ਾਇਨ ਅਨੁਸਾਰ, ਇਸ network ਨੂੰ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਹਦਾਇਤ ਦੇ ਕੇ ਵੱਖ-ਵੱਖ classification benchmarks ਕਰਨ ਲਈ ਕਿਹਾ ਜਾ ਸਕਦਾ ਹੈ, ਬਿਨਾਂ benchmark ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਲਈ ਸਿੱਧੇ optimize ਕੀਤੇ, ਬਿਲਕੁਲ GPT‑2⁵ ਅਤੇ GPT‑3⁶ ਦੀਆਂ “ਜ਼ੀਰੋ-ਸ਼ਾਟ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ)” ਸਮਰੱਥਾਵਾਂ ਵਾਂਗ. ਇਹ ਇੱਕ ਮੁੱਖ ਬਦਲਾਅ ਹੈ: benchmark ਲਈ ਸਿੱਧੇ optimize ਨਾ ਕਰਕੇ, ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਇਹ ਕਾਫ਼ੀ ਵੱਧ ਪ੍ਰਤੀਨਿਧਿਕ ਬਣ ਜਾਂਦਾ ਹੈ. ਸਾਡਾ ਸਿਸਟਮ ਇਸ “robustness gap” ਨੂੰ 75% ਤੱਕ ਘਟਾ ਦਿੰਦਾ ਹੈ ਅਤੇ ਮੂਲ ResNet-50⁷ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ImageNet⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) zero-shot ਉੱਤੇ, ਮੂਲ 1.28M labeled examples ਵਿੱਚੋਂ ਕਿਸੇ ਦਾ ਵੀ ਉਪਯੋਗ ਕੀਤੇ ਬਿਨਾਂ.

CLIP (Contrastive Language–Image Pre-training) ਜ਼ੀਰੋ-ਸ਼ਾਟ ਟ੍ਰਾਂਸਫਰ, ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਨਿਗਰਾਨੀ, ਅਤੇ multimodal learning ਉੱਤੇ ਹੋਏ ਵੱਡੇ ਕੰਮ ਦੇ ਆਧਾਰ ਉੱਤੇ ਬਣਿਆ ਹੈ. zero-data learning ਦਾ ਵਿਚਾਰ ਇੱਕ ਦਹਾਕੇ ਤੋਂ ਵੀ ਪੁਰਾਣਾ ਹੈ⁸ ਪਰ ਹਾਲ ਹੀ ਤੱਕ ਇਸ ਦਾ ਅਧਿਐਨ ਜ਼ਿਆਦਾਤਰ computer vision ਵਿੱਚ ਨਾ-ਵੇਖੀਆਂ object categories ਤੱਕ generalize ਕਰਨ ਦੇ ਤਰੀਕੇ ਵਜੋਂ ਕੀਤਾ ਜਾਂਦਾ ਸੀ.^{9, 10} ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਸਮਝ ਇਹ ਸੀ ਕਿ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਨੂੰ ਇੱਕ ਲਚਕੀਲੇ prediction space ਵਜੋਂ ਵਰਤਿਆ ਜਾਵੇ ਤਾਂ ਜੋ generalization ਅਤੇ transfer ਸੰਭਵ ਹੋ ਸਕਣ. 2013 ਵਿੱਚ, Stanford ਦੇ Richard Socher ਅਤੇ ਸਹਿ-ਲੇਖਕਾਂ¹¹ ਨੇ CIFAR-10 ਉੱਤੇ ਇੱਕ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਕੇ ਇੱਕ proof of concept ਤਿਆਰ ਕੀਤਾ ਜੋ word vector embedding space ਵਿੱਚ predictions ਕਰਦਾ ਸੀ ਅਤੇ ਦਿਖਾਇਆ ਕਿ ਇਹ ਮਾਡਲ ਦੋ ਨਾ-ਵੇਖੀਆਂ classes ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰ ਸਕਦਾ ਸੀ. ਉਸੇ ਸਾਲ DeVISE¹² ਨੇ ਇਸ ਪਹੁੰਚ ਨੂੰ ਵਧਾਇਆ ਅਤੇ ਦਿਖਾਇਆ ਕਿ ImageNet ਮਾਡਲ ਨੂੰ fine-tune ਕਰਨਾ ਸੰਭਵ ਸੀ ਤਾਂ ਜੋ ਉਹ ਮੂਲ 1000 training set ਤੋਂ ਬਾਹਰ ਵਾਲੀਆਂ objects ਦੀ ਸਹੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ generalize ਕਰ ਸਕੇ.

CLIP ਲਈ ਸਭ ਤੋਂ ਪ੍ਰੇਰਣਾਦਾਇਕ ਕੰਮ FAIR ਦੇ Ang Li ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਸਹਿ-ਲੇਖਕਾਂ¹³ ਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੇ 2016 ਵਿੱਚ ਦਿਖਾਇਆ ਕਿ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਨਿਗਰਾਨੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਈ ਮੌਜੂਦਾ computer vision classification datasets, ਜਿਵੇਂ canonical ImageNet dataset, ਉੱਤੇ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਟ੍ਰਾਂਸਫਰ ਸੰਭਵ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ. ਉਨ੍ਹਾਂ ਨੇ ਇਹ ImageNet CNN ਨੂੰ fine-tune ਕਰਕੇ ਕੀਤਾ ਤਾਂ ਜੋ ਉਹ 30 ਮਿਲੀਅਨ Flickr ਫੋਟੋਆਂ ਦੇ titles, descriptions ਅਤੇ tags ਦੇ ਪਾਠ ਤੋਂ visual concepts (visual n-grams) ਦੇ ਕਾਫ਼ੀ ਵੱਡੇ ਸਮੂਹ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰੇ ਅਤੇ ਉਹ ImageNet zero-shot ਉੱਤੇ 11.5% ਸਹੀਤਾ ਤੱਕ ਪਹੁੰਚੇ.

ਅੰਤ ਵਿੱਚ, CLIP ਪਿਛਲੇ ਸਾਲ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਨਿਗਰਾਨੀ ਤੋਂ visual representations ਸਿੱਖਣ ਦੀ ਮੁੜ ਸਮੀਖਿਆ ਕਰਨ ਵਾਲੇ ਪੇਪਰਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦਾ ਹਿੱਸਾ ਹੈ. ਇਸ ਕੰਮ ਦੀ ਲੜੀ ਵਿੱਚ ਹੋਰ ਆਧੁਨਿਕ architectures ਜਿਵੇਂ ਟ੍ਰਾਂਸਫਾਰਮਰ³² ਵਰਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਇਸ ਵਿੱਚ VirTex³³ ਸ਼ਾਮਲ ਹੈ, ਜਿਸ ਨੇ autoregressive ਲੈਂਗਵੇਜ ਮਾਡਲਿੰਗ ਦੀ ਜਾਂਚ ਕੀਤੀ, ICMLM³⁴ ਜਿਸ ਨੇ masked language modeling ਦੀ ਪੜਤਾਲ ਕੀਤੀ, ਅਤੇ ConVIRT³⁵ ਜਿਸ ਨੇ CLIP ਲਈ ਸਾਡੇ ਵਰਤੇ contrastive objective ਦਾ ਹੀ ਅਧਿਐਨ ਕੀਤਾ ਪਰ medical imaging ਦੇ ਖੇਤਰ ਵਿੱਚ.

ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਇੱਕ ਸਧਾਰਣ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ task ਨੂੰ scale ਕਰਨਾ ਹੀ ਚਿੱਤਰ ਵਰਗੀਕਰਨ datasets ਦੀਆਂ ਬਹੁਤ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਉੱਤੇ ਮੁਕਾਬਲਾਤਮਕ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਕਾਰਗੁਜ਼ਾਰੀ ਹਾਸਲ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਹੈ. ਸਾਡਾ ਤਰੀਕਾ supervision ਦੇ ਇੱਕ ਪ੍ਰਚੁਰ ਉਪਲਬਧ ਸਰੋਤ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ: ਚਿੱਤਰਾਂ ਨਾਲ ਜੋੜਿਆ ਪਾਠ ਜੋ ਸਾਰੇ ਇੰਟਰਨੈੱਟ ਉੱਤੇ ਮਿਲਦਾ ਹੈ. ਇਸ data ਦੀ ਵਰਤੋਂ CLIP ਲਈ ਹੇਠਾਂ ਦਿੱਤਾ proxy training task ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ: ਇੱਕ ਚਿੱਤਰ ਦਿੱਤਾ ਹੋਣ ਤੇ, 32,768 ਯਾਦਰਚੱਛਿਕ ਤੌਰ ਉੱਤੇ ਚੁਣੇ ਗਏ text snippets ਦੇ ਇੱਕ ਸਮੂਹ ਵਿੱਚੋਂ ਇਹ ਭਵਿੱਖਬਾਣੀ ਕਰੋ ਕਿ ਸਾਡੇ dataset ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਇਸ ਨਾਲ ਕਿਹੜਾ ਜੋੜਿਆ ਗਿਆ ਸੀ.

ਇਸ task ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਸਾਡੀ ਅੰਦਰੂਨੀ ਸਮਝ ਇਹ ਹੈ ਕਿ CLIP ਮਾਡਲਾਂ ਨੂੰ ਚਿੱਤਰਾਂ ਵਿੱਚ visual concepts ਦੀ ਇੱਕ ਵੱਡੀ ਕਿਸਮ ਦੀ ਪਛਾਣ ਕਰਨੀ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਨਾਮਾਂ ਨਾਲ ਜੋੜਨਾ ਸਿੱਖਣਾ ਪਵੇਗਾ. ਨਤੀਜੇ ਵਜੋਂ, CLIP ਮਾਡਲ ਫਿਰ ਲਗਭਗ ਮਨਮਾਨੇ visual classification tasks ਉੱਤੇ ਲਾਗੂ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ. ਉਦਾਹਰਨ ਵਜੋਂ, ਜੇ ਕਿਸੇ dataset ਦਾ ਕੰਮ ਕੁੱਤਿਆਂ ਵਿਰੁੱਧ ਬਿਲੀਆਂ ਦੀਆਂ ਫੋਟੋਆਂ ਦਾ ਵਰਗੀਕਰਨ ਕਰਨਾ ਹੈ, ਤਾਂ ਅਸੀਂ ਹਰ ਚਿੱਤਰ ਲਈ ਜਾਂਚਦੇ ਹਾਂ ਕਿ ਕੀ CLIP ਮਾਡਲ ਪਾਠ ਵਰਣਨ “a photo of a dog” ਜਾਂ “a photo of a cat” ਵਿੱਚੋਂ ਕਿਹੜੇ ਦੇ ਉਸ ਨਾਲ ਜੋੜੇ ਜਾਣ ਦੀ ਵੱਧ ਸੰਭਾਵਨਾ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦਾ ਹੈ.

CLIP ਨੂੰ computer vision ਲਈ ਮਿਆਰੀ ਡੀਪ ਲਰਨਿੰਗ ਪਹੁੰਚ ਦੀਆਂ ਕਈ ਵੱਡੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਘਟਾਉਣ ਲਈ ਡਿਜ਼ਾਇਨ ਕੀਤਾ ਗਿਆ ਸੀ:

ਮਹਿੰਗੇ datasets: ਡੀਪ ਲਰਨਿੰਗ ਨੂੰ ਬਹੁਤ ਸਾਰੇ data ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ vision models ਰਿਵਾਇਤੀ ਤੌਰ ਉੱਤੇ ਹੱਥੋਂ label ਕੀਤੇ datasets ਉੱਤੇ ਟ੍ਰੇਨ ਕੀਤੇ ਜਾਂਦੇ ਰਹੇ ਹਨ ਜੋ ਬਣਾਉਣ ਵਿੱਚ ਮਹਿੰਗੇ ਹੁੰਦੇ ਹਨ ਅਤੇ ਸਿਰਫ ਪਹਿਲਾਂ ਤੋਂ ਨਿਰਧਾਰਤ visual concepts ਦੀ ਸੀਮਿਤ ਗਿਣਤੀ ਲਈ supervision ਦਿੰਦੇ ਹਨ. ਇਸ ਖੇਤਰ ਦੇ ਸਭ ਤੋਂ ਵੱਡੇ ਉੱਦਮਾਂ ਵਿੱਚੋਂ ਇੱਕ, ImageNet dataset, ਵਿੱਚ 22,000 object categories ਲਈ 14 ਮਿਲੀਅਨ ਚਿੱਤਰ annotate ਕਰਨ ਲਈ 25,000 ਤੋਂ ਵੱਧ workers ਦੀ ਲੋੜ ਪਈ. ਇਸ ਦੇ ਉਲਟ, CLIP text–image pairs ਤੋਂ ਸਿੱਖਦਾ ਹੈ ਜੋ ਪਹਿਲਾਂ ਹੀ ਇੰਟਰਨੈੱਟ ਉੱਤੇ ਸਰਵਜਨਿਕ ਤੌਰ ਉੱਤੇ ਉਪਲਬਧ ਹਨ. ਮਹਿੰਗੇ ਵੱਡੇ labeled datasets ਦੀ ਲੋੜ ਘਟਾਉਣ ਬਾਰੇ ਪਿਛਲੇ ਕੰਮਾਂ ਵਿੱਚ ਵਿਸਤਾਰ ਨਾਲ ਅਧਿਐਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਖਾਸ ਤੌਰ ਉੱਤੇ self-supervised learning,^{14, 15, 16} contrastive methods,^{17, 18, 19, 20, 21} self-training approaches,^{22, 23} ਅਤੇ generative modeling.^{24, 25, 26, 27}

ਸੰਕੁਚਿਤ: ਇੱਕ ImageNet ਮਾਡਲ 1000 ImageNet categories ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਿੱਚ ਵਧੀਆ ਹੁੰਦਾ ਹੈ, ਪਰ “out of the box” ਇਹ ਕੇਵਲ ਇਹੀ ਕਰ ਸਕਦਾ ਹੈ. ਜੇ ਅਸੀਂ ਕੋਈ ਹੋਰ ਕੰਮ ਕਰਨਾ ਚਾਹੀਏ, ਤਾਂ ਇੱਕ ML practitioner ਨੂੰ ਨਵਾਂ dataset ਬਣਾਉਣਾ ਪੈਂਦਾ ਹੈ, ਇੱਕ output head ਜੋੜਨੀ ਪੈਂਦੀ ਹੈ, ਅਤੇ ਮਾਡਲ ਨੂੰ fine-tune ਕਰਨਾ ਪੈਂਦਾ ਹੈ. ਇਸ ਦੇ ਉਲਟ, CLIP ਨੂੰ ਵਾਧੂ training examples ਤੋਂ ਬਿਨਾਂ visual classification ਦੇ ਕਈ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. CLIP ਨੂੰ ਨਵੇਂ ਕੰਮ ਉੱਤੇ ਲਾਗੂ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਸਿਰਫ CLIP ਦੇ text-encoder ਨੂੰ ਕੰਮ ਦੇ visual concepts ਦੇ ਨਾਮ “ਦੱਸਣੇ” ਹੁੰਦੇ ਹਨ, ਅਤੇ ਇਹ CLIP ਦੀਆਂ visual representations ਦਾ ਇੱਕ linear classifier output ਕਰੇਗਾ. ਇਸ classifier ਦੀ ਸਹੀਤਾ ਅਕਸਰ fully supervised ਮਾਡਲਾਂ ਨਾਲ ਮੁਕਾਬਲਾਤਮਕ ਹੁੰਦੀ ਹੈ.

ਹੇਠਾਂ ਅਸੀਂ ਵੱਖ-ਵੱਖ datasets ਦੇ examples ਉੱਤੇ ਜ਼ੀਰੋ-ਸ਼ਾਟ CLIP classifiers ਦੀਆਂ ਯਾਦਰਚੱਛਿਕ, non-cherry picked, predictions ਦਿਖਾਉਂਦੇ ਹਾਂ.

ਕਮਜ਼ੋਰ ਅਸਲ-ਦੁਨੀਆ ਕਾਰਗੁਜ਼ਾਰੀ: ਡੀਪ ਲਰਨਿੰਗ ਸਿਸਟਮਾਂ ਬਾਰੇ ਅਕਸਰ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਉਹ vision benchmarks ਉੱਤੇ ਮਨੁੱਖੀ ਜਾਂ ਇੱਥੋਂ ਤੱਕ ਕਿ ਅਧਿਮਾਨਵੀ ਕਾਰਗੁਜ਼ਾਰੀ ਹਾਸਲ ਕਰ ਲੈਂਦੀਆਂ ਹਨ^{28, A}, ਪਰ ਜਦੋਂ ਉਨ੍ਹਾਂ ਨੂੰ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਤੈਨਾਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਨ੍ਹਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ benchmark ਤੋਂ ਬਣੀ ਉਮੀਦ ਨਾਲੋਂ ਕਾਫ਼ੀ ਘੱਟ ਹੋ ਸਕਦੀ ਹੈ. ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, “benchmark performance” ਅਤੇ “real performance.” ਵਿਚਕਾਰ ਇੱਕ ਖਾਈ ਹੈ. ਅਸੀਂ ਅਨੁਮਾਨ ਲਗਾਉਂਦੇ ਹਾਂ ਕਿ ਇਹ ਖਾਈ ਇਸ ਲਈ ਆਉਂਦੀ ਹੈ ਕਿਉਂਕਿ ਮਾਡਲ ਸਿਰਫ benchmark ਉੱਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਲਈ optimize ਕਰਕੇ “cheat” ਕਰਦੇ ਹਨ, ਬਿਲਕੁਲ ਉਸ ਵਿਦਿਆਰਥੀ ਵਾਂਗ ਜੋ ਸਿਰਫ ਪਿਛਲੇ ਸਾਲਾਂ ਦੇ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਪੜ੍ਹ ਕੇ ਇਮਤਿਹਾਨ ਪਾਸ ਕਰ ਲੈਂਦਾ ਹੈ. ਇਸ ਦੇ ਉਲਟ, CLIP ਮਾਡਲ ਨੂੰ benchmarks ਉੱਤੇ ਉਨ੍ਹਾਂ ਦੇ data ਉੱਤੇ ਟ੍ਰੇਨ ਕੀਤੇ ਬਿਨਾਂ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਇਸ ਤਰ੍ਹਾਂ “cheat” ਨਹੀਂ ਕਰ ਸਕਦਾ. ਇਸ ਕਾਰਨ benchmark ਉੱਤੇ ਇਸ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਸਲ ਦੁਨੀਆ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਕਾਫ਼ੀ ਵੱਧ ਪ੍ਰਤੀਨਿਧਿਕ ਬਣਦੀ ਹੈ. “cheating hypothesis” ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ, ਅਸੀਂ ਇਹ ਵੀ ਮਾਪਦੇ ਹਾਂ ਕਿ ਜਦੋਂ CLIP ਨੂੰ ImageNet ਲਈ “study” ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਮਿਲਦੀ ਹੈ ਤਾਂ ਇਸ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਕਿਵੇਂ ਬਦਲਦੀ ਹੈ. ਜਦੋਂ CLIP ਦੀਆਂ features ਉੱਤੇ ਇੱਕ linear classifier fit ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ImageNet test set ਉੱਤੇ CLIP ਦੀ ਸਹੀਤਾ ਲਗਭਗ 10% ਵੱਧ ਜਾਂਦੀ ਹੈ. ਪਰ ਇਹ classifier “robust” ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਮਾਪਣ ਵਾਲੇ ਹੋਰ 7 datasets ਦੇ evaluation suite ਵਿੱਚ ਔਸਤਨ ਇਸ ਤੋਂ ਵਧੀਆ ਨਹੀਂ ਕਰਦਾ.³⁰

1. CLIP ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ

CLIP ਬਿਨਾਂ ਫਿਲਟਰ ਕੀਤੇ, ਬਹੁਤ ਵੱਖਰੇ, ਅਤੇ ਬਹੁਤ ਸ਼ੋਰ ਵਾਲੇ data ਤੋਂ ਸਿੱਖਦਾ ਹੈ, ਅਤੇ ਇਸ ਦਾ ਉਦੇਸ਼ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਢੰਗ ਨਾਲ ਵਰਤਿਆ ਜਾਣਾ ਹੈ. ਅਸੀਂ GPT‑2 ਅਤੇ 3 ਤੋਂ ਜਾਣਦੇ ਹਾਂ ਕਿ ਅਜੇਹੇ data ਉੱਤੇ ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲ ਪ੍ਰਭਾਵਸ਼ਾਲੀ zero-shot ਕਾਰਗੁਜ਼ਾਰੀ ਹਾਸਲ ਕਰ ਸਕਦੇ ਹਨ. ਹਾਲਾਂਕਿ, ਅਜੇਹੇ ਮਾਡਲਾਂ ਲਈ ਮਹੱਤਵਪੂਰਨ training compute ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ. ਲੋੜੀਂਦੇ compute ਨੂੰ ਘਟਾਉਣ ਲਈ, ਅਸੀਂ ਆਪਣੀ ਪਹੁੰਚ ਦੀ training efficiency ਸੁਧਾਰਣ ਦੇ algorithmic ਤਰੀਕਿਆਂ ਉੱਤੇ ਧਿਆਨ ਦਿੱਤਾ.

ਅਸੀਂ ਦੋ algorithmic ਚੋਣਾਂ ਦੀ ਰਿਪੋਰਟ ਕਰਦੇ ਹਾਂ ਜਿਨ੍ਹਾਂ ਨਾਲ compute ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਬਚਤ ਹੋਈ. ਪਹਿਲੀ ਚੋਣ text ਨੂੰ images ਨਾਲ ਜੋੜਨ ਲਈ contrastive objective ਅਪਣਾਉਣਾ ਸੀ.^{31, 17, 35} ਅਸੀਂ ਸ਼ੁਰੂ ਵਿੱਚ VirTex³³ ਵਰਗੀ image-to-text ਪਹੁੰਚ ਦੀ ਜਾਂਚ ਕੀਤੀ ਸੀ, ਪਰ state-of-the-art ਕਾਰਗੁਜ਼ਾਰੀ ਹਾਸਲ ਕਰਨ ਲਈ ਇਸ ਨੂੰ scale ਕਰਨ ਵਿੱਚ ਮੁਸ਼ਕਲਾਂ ਆਈਆਂ. ਛੋਟੇ ਤੋਂ ਮੱਧਮ ਪੱਧਰ ਦੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ, ਅਸੀਂ ਪਾਇਆ ਕਿ CLIP ਦੁਆਰਾ ਵਰਤਿਆ contrastive objective ਜ਼ੀਰੋ-ਸ਼ਾਟ ImageNet classification ਵਿੱਚ 4x ਤੋਂ 10x ਵੱਧ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ. ਦੂਜੀ ਚੋਣ Vision Transformer³⁶ ਅਪਣਾਉਣਾ ਸੀ, ਜਿਸ ਨੇ ਸਾਨੂੰ ਇੱਕ ਮਿਆਰੀ ResNet ਨਾਲੋਂ compute efficiency ਵਿੱਚ ਹੋਰ 3x ਲਾਭ ਦਿੱਤਾ. ਆਖ਼ਿਰ ਵਿੱਚ, ਸਾਡਾ ਸਭ ਤੋਂ ਵਧੀਆ ਕਾਰਗੁਜ਼ਾਰੀ ਵਾਲਾ CLIP ਮਾਡਲ 256 GPUs ਉੱਤੇ 2 ਹਫ਼ਤਿਆਂ ਲਈ ਟ੍ਰੇਨ ਹੁੰਦਾ ਹੈ, ਜੋ ਮੌਜੂਦਾ ਵੱਡੇ ਪੱਧਰ ਦੇ image ਮਾਡਲਾਂ ਵਰਗਾ ਹੀ ਹੈ.^{37, 23, 38, 36}

2. CLIP ਲਚਕੀਲਾ ਅਤੇ ਆਮ ਹੈ

ਕਿਉਂਕਿ CLIP ਮਾਡਲ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਤੋਂ ਸਿੱਧੇ visual concepts ਦੀ ਇੱਕ ਵਿਆਪਕ ਰੇਂਜ ਸਿੱਖਦੇ ਹਨ, ਇਹ ਮੌਜੂਦਾ ImageNet ਮਾਡਲਾਂ ਨਾਲੋਂ ਕਾਫ਼ੀ ਵੱਧ ਲਚਕੀਲੇ ਅਤੇ ਆਮ ਹਨ. ਅਸੀਂ ਪਾਇਆ ਕਿ ਇਹ ਕਈ ਵੱਖਰੇ ਕੰਮ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਢੰਗ ਨਾਲ ਕਰ ਸਕਦੇ ਹਨ. ਇਸ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਅਸੀਂ CLIP ਦੀ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਕਾਰਗੁਜ਼ਾਰੀ 30 ਤੋਂ ਵੱਧ ਵੱਖਰੇ datasets ਉੱਤੇ ਮਾਪੀ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ fine-grained object classification, geo-localization, videos ਵਿੱਚ action recognition, ਅਤੇ OCR ਵਰਗੇ ਕੰਮ ਸ਼ਾਮਲ ਹਨ.^B ਖਾਸ ਤੌਰ ਉੱਤੇ, OCR ਸਿੱਖਣਾ ਅਜੇਹੇ ਦਿਲਚਸਪ ਵਰਤਾਰੇ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਹੈ ਜੋ ਮਿਆਰੀ ImageNet ਮਾਡਲਾਂ ਵਿੱਚ ਨਹੀਂ ਹੁੰਦਾ. ਉੱਪਰ, ਅਸੀਂ ਹਰ zero-shot classifier ਤੋਂ ਇੱਕ ਯਾਦਰਚੱਛਿਕ non-cherry picked prediction ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਾਂ.

ਇਹ ਖੋਜ linear probes ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਇੱਕ ਮਿਆਰੀ representation learning evaluation ਵਿੱਚ ਵੀ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ. ਸਭ ਤੋਂ ਵਧੀਆ CLIP ਮਾਡਲ ਸਾਡੇ ਦੁਆਰਾ ਜਾਂਚੇ ਗਏ 26 ਵਿੱਚੋਂ 20 ਵੱਖਰੇ transfer datasets ਉੱਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਸਰਵਜਨਿਕ ਤੌਰ ਉੱਤੇ ਉਪਲਬਧ ImageNet ਮਾਡਲ, Noisy Student EfficientNet-L2,²³ ਤੋਂ ਅੱਗੇ ਨਿਕਲ ਜਾਂਦਾ ਹੈ.

ਹਾਲਾਂਕਿ CLIP ਆਮ objects ਦੀ ਪਛਾਣ ਕਰਨ ਵਿੱਚ ਆਮ ਤੌਰ ਉੱਤੇ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ, ਇਹ ਹੋਰ ਅਮੂਰਤ ਜਾਂ ਵਿਧੀਸੰਬੰਧੀ ਕੰਮਾਂ ਵਿੱਚ ਸੰਘਰਸ਼ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਕਿਸੇ ਚਿੱਤਰ ਵਿੱਚ objects ਦੀ ਗਿਣਤੀ ਕਰਨਾ, ਅਤੇ ਹੋਰ ਜਟਿਲ ਕੰਮਾਂ ਵਿੱਚ, ਜਿਵੇਂ ਫੋਟੋ ਵਿੱਚ ਸਭ ਤੋਂ ਨੇੜੇ ਕਾਰ ਕਿੰਨੀ ਨੇੜੇ ਹੈ ਇਸ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨੀ. ਇਨ੍ਹਾਂ ਦੋ datasets ਉੱਤੇ, zero-shot CLIP ਸਿਰਫ ਯਾਦਰਚੱਛਿਕ ਅੰਦਾਜ਼ੇ ਨਾਲੋਂ ਥੋੜ੍ਹਾ ਹੀ ਵਧੀਆ ਹੈ. zero-shot CLIP ਬਹੁਤ ਸੁੱਖਮ ਵਰਗੀਕਰਨ ਵਿੱਚ ਵੀ task-specific ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਸੰਘਰਸ਼ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ car models, aircraft ਦੇ variants, ਜਾਂ flower species ਵਿੱਚ ਫ਼ਰਕ ਦੱਸਣਾ.

CLIP ਵਿੱਚ ਉਹਨਾਂ ਚਿੱਤਰਾਂ ਲਈ generalization ਵੀ ਅਜੇ ਕਮਜ਼ੋਰ ਹੈ ਜੋ ਇਸ ਦੇ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ dataset ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਸਨ. ਉਦਾਹਰਨ ਲਈ, ਹਾਲਾਂਕਿ CLIP ਇੱਕ ਸਮਰੱਥ OCR ਸਿਸਟਮ ਸਿੱਖਦਾ ਹੈ, ਜਦੋਂ MNIST dataset ਦੇ handwritten digits ਉੱਤੇ ਇਸ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ zero-shot CLIP ਸਿਰਫ 88% ਸਹੀਤਾ ਹਾਸਲ ਕਰਦਾ ਹੈ, ਜੋ dataset ਉੱਤੇ ਮਨੁੱਖਾਂ ਦੀ 99.75% ਸਹੀਤਾ ਨਾਲੋਂ ਕਾਫ਼ੀ ਘੱਟ ਹੈ. ਆਖ਼ਿਰ ਵਿੱਚ, ਅਸੀਂ ਵੇਖਿਆ ਹੈ ਕਿ CLIP ਦੇ ਜ਼ੀਰੋ-ਸ਼ਾਟ classifiers ਸ਼ਬਦਚੋਣ ਜਾਂ ਵਾਕ-ਰਚਨਾ ਲਈ ਸੰਵੇਦਨਸ਼ੀਲ ਹੋ ਸਕਦੇ ਹਨ ਅਤੇ ਕਈ ਵਾਰ ਚੰਗੀ ਕਾਰਗੁਜ਼ਾਰੀ ਲਈ trial and error “ਪ੍ਰੌੰਪਟ ਇੰਜੀਨੀਅਰਿੰਗ” ਦੀ ਲੋੜ ਪੈਂਦੀ ਹੈ.

CLIP ਲੋਕਾਂ ਨੂੰ ਆਪਣੇ classifier ਡਿਜ਼ਾਇਨ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਅਤੇ task-specific training data ਦੀ ਲੋੜ ਨੂੰ ਹਟਾਉਂਦਾ ਹੈ. ਇਹ classes ਕਿਵੇਂ ਡਿਜ਼ਾਇਨ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਇਸ ਦਾ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਮਾਡਲ ਪੱਖਪਾਤ ਦੋਵਾਂ ਉੱਤੇ ਵੱਡਾ ਅਸਰ ਪੈ ਸਕਦਾ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਅਸੀਂ ਵੇਖਦੇ ਹਾਂ ਕਿ ਜਦੋਂ Fairface³⁹ race labels^C ਅਤੇ ਕੁਝ ਬਹੁਤ ਹੀ ਅਪਮਾਨਜਨਕ ਸ਼ਬਦ ਜਿਵੇਂ “criminal”, “animal,” ਆਦਿ ਸਮੇਤ labels ਦਾ ਇੱਕ ਸੈੱਟ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਮਾਡਲ 0–20 ਸਾਲ ਉਮਰ ਦੇ ਲੋਕਾਂ ਦੀਆਂ ਤਸਵੀਰਾਂ ਨੂੰ ~32.3% ਦਰ ਨਾਲ ਅਪਮਾਨਜਨਕ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਰੱਖਣ ਵੱਲ ਝੁਕਦਾ ਹੈ. ਹਾਲਾਂਕਿ, ਜਦੋਂ ਅਸੀਂ ਸੰਭਾਵੀ classes ਦੀ ਸੂਚੀ ਵਿੱਚ “child” ਸ਼੍ਰੇਣੀ ਜੋੜਦੇ ਹਾਂ, ਤਾਂ ਇਹ ਵਰਤਾਰਾ ~8.7% ਤੱਕ ਘਟ ਜਾਂਦਾ ਹੈ.

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕਿਉਂਕਿ CLIP ਨੂੰ task-specific training data ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ, ਇਹ ਕੁਝ niche tasks ਨੂੰ ਹੋਰ ਆਸਾਨੀ ਨਾਲ ਸੰਭਵ ਬਣਾ ਸਕਦਾ ਹੈ. ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਕੰਮ ਗੋਪਨੀਯਤਾ ਜਾਂ ਨਿਗਰਾਨੀ ਨਾਲ ਸੰਬੰਧਿਤ ਖਤਰੇ ਪੈਦਾ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਅਸੀਂ ਇਸ ਚਿੰਤਾ ਦੀ ਜਾਂਚ CLIP ਦੀ celebrity identification ਉੱਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਅਧਿਐਨ ਕਰਕੇ ਕਰਦੇ ਹਾਂ. 100 ਉਮੀਦਵਾਰਾਂ ਵਿੱਚੋਂ ਚੋਣ ਕਰਦੇ ਸਮੇਂ “in the wild” celebrity image classification ਲਈ CLIP ਦੀ top-1 ਸਹੀਤਾ 59.2% ਹੈ ਅਤੇ 1000 ਸੰਭਾਵੀ ਚੋਣਾਂ ਵਿੱਚੋਂ ਚੋਣ ਕਰਦੇ ਸਮੇਂ top-1 ਸਹੀਤਾ 43.3% ਹੈ. ਹਾਲਾਂਕਿ task agnostic ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਨਾਲ ਇਹ ਨਤੀਜੇ ਹਾਸਲ ਕਰਨਾ ਧਿਆਨਯੋਗ ਹੈ, ਇਹ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿਆਪਕ ਤੌਰ ਉੱਤੇ ਉਪਲਬਧ production level ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਨ ਤੇ ਮੁਕਾਬਲਾਤਮਕ ਨਹੀਂ ਹੈ. ਅਸੀਂ ਆਪਣੇ ਪੇਪਰ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵਿੱਚ CLIP ਵੱਲੋਂ ਪੈਦਾ ਕੀਤੀਆਂ ਚੁਣੌਤੀਆਂ ਦੀ ਹੋਰ ਵੀ ਜਾਂਚ ਕਰਦੇ ਹਾਂ ਅਤੇ ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਇਹ ਕੰਮ ਅਜੇਹੇ ਮਾਡਲਾਂ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ, ਘਾਟਾਂ ਅਤੇ ਪੱਖਪਾਤਾਂ ਦੀ ਵਰਣਨਾ ਬਾਰੇ ਭਵਿੱਖੀ ਖੋਜ ਨੂੰ ਪ੍ਰੇਰਿਤ ਕਰੇਗਾ. ਅਸੀਂ ਇਨ੍ਹਾਂ ਸਵਾਲਾਂ ਉੱਤੇ ਖੋਜ ਭਾਈਚਾਰੇ ਨਾਲ ਸੰਵਾਦ ਲਈ ਉਤਸ਼ਾਹਿਤ ਹਾਂ.

CLIP ਨਾਲ, ਅਸੀਂ ਇਹ ਜਾਂਚਿਆ ਹੈ ਕਿ ਕੀ ਇੰਟਰਨੈੱਟ ਪੱਧਰ ਦੀ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਉੱਤੇ task agnostic ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ, ਜਿਸ ਨੇ ਹਾਲ ਵਿੱਚ NLP ਵਿੱਚ ਇੱਕ ਵੱਡੀ ਤੋੜ ਕੀਤੀ ਹੈ, ਹੋਰ ਖੇਤਰਾਂ ਲਈ ਡੀਪ ਲਰਨਿੰਗ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਸੁਧਾਰਣ ਲਈ ਵੀ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ. ਹੁਣ ਤੱਕ computer vision ਵਿੱਚ ਇਸ ਪਹੁੰਚ ਨੂੰ ਲਾਗੂ ਕਰਦੇ ਹੋਏ ਜੋ ਨਤੀਜੇ ਅਸੀਂ ਵੇਖੇ ਹਨ, ਉਹ ਸਾਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੇ ਹਨ. GPT ਪਰਿਵਾਰ ਵਾਂਗ, CLIP ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਕਈ ਕਿਸਮ ਦੇ ਕੰਮ ਸਿੱਖਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਅਸੀਂ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਟ੍ਰਾਂਸਫਰ ਰਾਹੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ. ImageNet ਉੱਤੇ ਸਾਡੀਆਂ ਖੋਜਾਂ ਵੀ ਹੌਸਲਾ ਦਿੰਦੀਆਂ ਹਨ ਕਿ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਮੁਲਾਂਕਣ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਦਾ ਹੋਰ ਪ੍ਰਤੀਨਿਧਿਕ ਮਾਪ ਹੈ.