CLIP: Текст ба зургийг холбох нь

Бид CLIP нэртэй нейрон сүлжээг танилцуулж байна. Энэ нь байгалийн хэлний хяналтаас дүрслэх ойлголтуудыг үр ашигтай суралцдаг. CLIP-ийг таних ёстой дүрслэх ангиллуудын нэрийг зүгээр л өгснөөр ямар ч дүрслэх ангиллын benchmark-д хэрэглэж болно. Энэ нь GPT‑2 болон GPT‑3‑ийн “тэг оролдлого” чадвартай төстэй.

Гүний сургалт компьютер харааг хувьсгалчлан өөрчилсөн ч одоогийн аргуудад хэд хэдэн томоохон асуудал бий: ердийн харааны өгөгдлийн багцуудыг бий болгоход их хөдөлмөр, өндөр өртөг шаарддаг бөгөөд тэдгээр нь зөвхөн хязгаарлагдмал дүрслэх ойлголтуудыг заадаг; стандарт харааны загварууд нэг л даалгаварт сайн бөгөөд шинэ даалгаварт тохируулахад ихээхэн хүчин чармайлт шаарддаг; мөн benchmark дээр сайн ажилладаг загварууд stress test дээр урам хугалам муу гүйцэтгэл үзүүлдэг^{1, 2, 3, 4} нь компьютер хараанд хэрэглэгдэх гүний сургалтын бүхэл аргачлалд эргэлзээ төрүүлдэг.

Бид эдгээр асуудлыг шийдэхийг зорьсон нэг нейрон сүлжээг танилцуулж байна: энэ нь интернетэд элбэг байдаг маш олон төрлийн зураг болон маш олон янзын байгалийн хэлний хяналт дээр сургагдсан. Дизайнаараа, энэ сүлжээг байгалийн хэлээр зааварлан маш олон төрлийн ангиллын benchmark-ийг гүйцэтгүүлж болдог бөгөөд benchmark-ийн гүйцэтгэлийг шууд оновчлохгүйгээр ажилладаг нь GPT‑2⁵ болон GPT‑3⁶-ийн “тэг оролдлого⁠(шинэ цонхонд нээгдэнэ)” чадвартай төстэй. Энэ бол гол өөрчлөлт: benchmark-ийг шууд оновчлохгүй байх нь илүү төлөөлөхүйц болдгийг бид харуулсан; манай систем анхны ResNet-50⁷-ийн ImageNet⁠(шинэ цонхонд нээгдэнэ) тэг оролдлого гүйцэтгэлтэй дүйцэхийн зэрэгцээ анхны 1.28M шошголсон жишээнүүдийн алиныг нь ч ашиглалгүйгээр энэ “бат бөхийн зөрүү”-г 75% хүртэл бууруулдаг.

CLIP (Contrastive Language–Image Pre-training) нь тэг оролдлого шилжүүлэлт, байгалийн хэлний хяналт, олон төрлийн горимт сургалтын өргөн хүрээний ажлууд дээр тулгуурладаг. Өгөгдөлгүй сургалтын санаа арав гаруй жилийн өмнөөс эхтэй⁸ боловч саяхныг хүртэл энэ нь ихэвчлэн компьютер хараанд хараахан үзэгдээгүй объектын ангилалд ерөнхийшүүлэх арга байдлаар судлагдаж байв.^{9, 10} Чухал ойлголт нь ерөнхийшүүлэлт ба шилжүүлэлтийг боломжтой болгохын тулд байгалийн хэлийг уян хатан таамаглалын орон зай болгон ашиглах явдал байв. 2013 онд Stanford-ийн Richard Socher болон хамтран зохиогчид¹¹ CIFAR-10 дээр нэг загварыг сургаж, үгийн вектор эмбеддингийн орон зайд таамаглал хийх концепцийн нотолгоог боловсруулсан бөгөөд энэ загвар өмнө нь үзэгдээгүй хоёр ангиллыг таамаглаж чаддагийг харуулсан. Мөн тэр жил DeVISE¹² энэ аргыг өргөжүүлж, ImageNet загварыг нарийн тохируулснаар анхны 1000 сургалтын багцаас гаднах объектуудыг зөв таамаглах хэмжээнд ерөнхийшүүлж болдгийг үзүүлсэн.

CLIP-д хамгийн их урам өгсөн ажил бол FAIR-ийн Ang Li болон хамтран зохиогчдын¹³ 2016 онд хийсэн ажил бөгөөд тэд байгалийн хэлний хяналтыг ашиглан ImageNet зэрэг одоо байгаа хэд хэдэн компьютер харааны ангиллын өгөгдлийн багц руу тэг оролдлого шилжүүлэлт хийхийг харуулсан. Тэд 30 сая Flickr зургийн гарчиг, тайлбар, шошгоны текстээс 훨 илүү өргөн хүрээний дүрслэх ойлголтуудыг (visual n-grams) таамаглахаар ImageNet CNN-ийг нарийн тохируулж, ImageNet тэг оролдлого дээр 11.5% нарийвчлалд хүрч чадсан.

Эцэст нь, CLIP нь өнгөрсөн нэг жилийн хугацаанд байгалийн хэлний хяналтаас дүрслэлийн төлөөлөл суралцах сэдвийг дахин авч үзсэн цуврал өгүүллүүдийн нэг хэсэг юм. Энэ чиглэл нь Трансформер³² зэрэг илүү орчин үеийн архитектуруудыг ашигладаг бөгөөд авторегрессив хэлний загварчлалыг судалсан VirTex,³³ маскласан хэлний загварчлалыг судалсан ICMLM,³⁴ мөн CLIP-д ашигласан ижил contrastive зорилгыг эмнэлгийн дүрслэлийн салбарт судалсан ConVIRT-ийг³⁵ агуулдаг.

Энгийн урьдчилсан сургалтын даалгаврыг хэмжээгээр нь өсгөхөд л олон төрлийн зургийн ангиллын өгөгдлийн багц дээр өрсөлдөхүйц тэг оролдлого гүйцэтгэлд хүрэхэд хангалттай гэдгийг бид харуулж байна. Манай арга элбэг байдаг нэг хяналтын эх үүсвэрийг ашигладаг: интернет даяар байдаг зурагтай хосолсон текст. Энэ өгөгдлөөр CLIP-д зориулсан дараах орлуулга сургалтын даалгаврыг үүсгэдэг: нэг зураг өгөгдвөл, санамсаргүй түүвэрлэсэн 32,768 текстийн хэсгээс манай өгөгдлийн багцад бодитоор түүнтэй хосолсон аль нь болохыг таамаглах.

Энэ даалгаврыг шийдэхийн тулд CLIP загварууд зурган дахь олон төрлийн дүрслэх ойлголтыг таньж, тэдгээрийг нэртэй нь холбож сурах хэрэгтэй болно гэж бид зөнгөөрөө үзэж байна. Үүний үр дүнд CLIP загваруудыг бараг дурын дүрслэх ангиллын даалгаварт хэрэглэж болно. Жишээлбэл, хэрэв өгөгдлийн багцын даалгавар нь нохой ба муурын зургийг ангилах бол бид зураг бүрийн хувьд CLIP загвар “a photo of a dog” эсвэл “a photo of a cat” гэсэн текст тайлбарын алийг нь түүнтэй хослох магадлал өндөр гэж таамаглаж байгааг шалгадаг.

CLIP нь компьютер хараанд хэрэглэгддэг стандарт гүний сургалтын аргын хэд хэдэн томоохон асуудлыг бууруулахаар зохион бүтээгдсэн:

Өртөг өндөр өгөгдлийн багц: Гүний сургалтад маш их өгөгдөл шаардлагатай бөгөөд харааны загваруудыг уламжлалт ёсоор гараар шошголсон, бүтээхэд үнэтэй, урьдчилан тогтоосон цөөн тооны дүрслэх ойлголтод л хяналт өгдөг өгөгдлийн багцууд дээр сургаж ирсэн. Энэ салбарын хамгийн том хүчин чармайлтын нэг болох ImageNet өгөгдлийн багцад 22,000 объектын ангилалд зориулж 14 сая зургийг тайлбарлуулахын тулд 25,000 гаруй ажилтан шаардлагатай болсон. Харин CLIP нь интернетэд аль хэдийн нийтэд нээлттэй байгаа текст–зургийн хосоос суралцдаг. Өртөг өндөр, том хэмжээтэй шошголсон өгөгдлийн багцын хэрэгцээг бууруулах асуудлыг өмнөх ажлууд өргөн судалсан бөгөөд ялангуяа өөрөө хянагддаг сургалт,^{14, 15, 16} contrastive аргууд,^{17, 18, 19, 20, 21} өөрөө сургалтын хандлагууд,^{22, 23} болон үүсмэл загварчлал.^{24, 25, 26, 27}

Хязгаарлагдмал: ImageNet загвар нь ImageNet-ийн 1000 ангиллыг таамаглахдаа сайн боловч “шууд ашиглахад” түүний чадвар тийм л. Хэрэв бид өөр ямар нэгэн даалгавар гүйцэтгэхийг хүсвэл ML мэргэжилтэн шинэ өгөгдлийн багц бүтээж, гаралтын толгой нэмээд, загварыг нарийн тохируулах хэрэгтэй болдог. Харин CLIP-ийг нэмэлт сургалтын жишээ шаардалгүйгээр маш олон төрлийн дүрслэх ангиллын даалгаварт тохируулж болно. CLIP-ийг шинэ даалгаварт хэрэглэхийн тулд тухайн даалгаврын дүрслэх ойлголтуудын нэрийг CLIP-ийн текст-энкодерт “хэлэхэд” л хангалттай бөгөөд энэ нь CLIP-ийн дүрслэх төлөөллүүдийн шугаман ангилагчийг гаргана. Энэ ангилагчийн нарийвчлал нь бүрэн хянагддаг загваруудтай өрсөлдөхүйц байдаг.

Доор бид янз бүрийн өгөгдлийн багцын жишээн дээрх тэг оролдлого CLIP ангилагчдын санамсаргүй, сонгож шүүгээгүй таамаглалуудыг үзүүлэв.

Бодит орчин дахь сул гүйцэтгэл: Гүний сургалтын системүүдийг ихэвчлэн харааны шалгуур үзүүлэлтүүд дээр хүний түвшний, бүр хүнийхээс давсан гүйцэтгэлтэй гэж мэдээлдэг^{28, A} боловч бодит орчинд нэвтрүүлэхэд тэдний гүйцэтгэл нь тухайн benchmark-аас тогтоосон хүлээлтээс хавьгүй доогуур байж болно. Өөрөөр хэлбэл, “benchmark гүйцэтгэл” ба “бодит гүйцэтгэл” хооронд зөрүү бий. Энэ зөрүү нь загварууд benchmark дээрх гүйцэтгэлийг л оновчлох замаар “хуурдаг”-аас үүсдэг гэж бид таамаглаж байна. Энэ нь өмнөх жилүүдийн шалгалтын асуултуудыг л цээжилж шалгалт өгсөн оюутантай адил. Харин CLIP загварыг benchmark-уудын өгөгдөл дээр сургах шаардлагагүйгээр үнэлж болдог тул ийм байдлаар “хуурах” боломжгүй. Үүний үр дүнд түүний benchmark дээрх гүйцэтгэл нь бодит орчин дахь гүйцэтгэлийг илүү сайн төлөөлдөг. “Хууралтын таамаглал”-ыг шалгахын тулд CLIP-д ImageNet-д “бэлдэх” боломж олгоход гүйцэтгэл нь хэрхэн өөрчлөгдөхийг мөн хэмжсэн. CLIP-ийн шинжүүд дээр шугаман ангилагч тааруулахад ImageNet тест багц дээрх CLIP-ийн нарийвчлал бараг 10%-иар сайжирдаг. Гэвч энэ ангилагч нь “бат бөх” гүйцэтгэлийг хэмждэг өөр 7 өгөгдлийн багцын үнэлгээний багц дээр дунджаар илүү сайн биш байна.³⁰

1. CLIP маш үр ашигтай

CLIP нь шүүлтгүй, маш олон янз, дуу чимээ ихтэй өгөгдлөөс суралцдаг бөгөөд тэг оролдлого байдлаар ашиглагдахаар зориулагдсан. GPT‑2 ба 3-аас ийм өгөгдөл дээр сурсан загварууд анхаарал татахуйц тэг оролдлого гүйцэтгэлд хүрч чаддагийг бид мэднэ; гэхдээ ийм загваруудад их хэмжээний сургалтын тооцоолол шаардлагатай. Шаардлагатай тооцооллыг бууруулахын тулд бид өөрсдийн аргын сургалтын үр ашгийг сайжруулах алгоритмын аргуудад анхаарсан.

Их хэмжээний тооцооллын хэмнэлтэд хүргэсэн хоёр алгоритмын сонголтыг бид тайлагнаж байна. Эхний сонголт нь текстийг зурагтай холбох contrastive зорилгыг нэвтрүүлсэн явдал юм.^{31, 17, 35} Бид анх VirTex-тэй төстэй зураг-ээс-текст арга судалсан³³ боловч үүнийг өргөжүүлэн хамгийн сүүлийн үеийн гүйцэтгэлд хүргэхэд хүндрэлтэй тулгарсан. Жижиг, дунд хэмжээний туршилтуудад CLIP-ийн ашигладаг contrastive зорилго нь ImageNet тэг оролдлого ангилалд 4x-10x илүү үр ашигтай болохыг бид олсон. Хоёр дахь сонголт нь Vision Transformer-ийг³⁶ нэвтрүүлсэн явдал бөгөөд энэ нь стандарт ResNet-ээс тооцооллын үр ашигт дахин 3x өсөлт өгсөн. Эцэст нь, бидний хамгийн сайн гүйцэтгэлтэй CLIP загвар 256 GPU дээр 2 долоо хоног сурдаг бөгөөд энэ нь одоогийн том хэмжээний зургийн загваруудтай төстэй.^{37, 23, 38, 36}

2. CLIP уян хатан бөгөөд ерөнхий

CLIP загварууд байгалийн хэлнээс өргөн хүрээний дүрслэх ойлголтуудыг шууд сурдаг тул одоо байгаа ImageNet загваруудаас мэдэгдэхүйц илүү уян хатан, ерөнхий байдаг. Тэд олон янзын даалгаврыг тэг оролдлогоор гүйцэтгэж чаддагийг бид олсон. Үүнийг батлахын тулд бид нарийн түвшний объект ангилал, газарзүйн байршил тогтоох, видео дахь үйлдэл таних, OCR зэрэг даалгавруудыг багтаасан 30 гаруй өөр өгөгдлийн багц дээр CLIP-ийн тэг оролдлого гүйцэтгэлийг хэмжсэн.^B Ялангуяа OCR сурах нь стандарт ImageNet загваруудад гардаггүй, сонирхол татам зан төлвийн жишээ юм. Дээр бид тэг оролдлого ангилагч бүрээс санамсаргүй, сонгож шүүгээгүй таамаглалыг дүрслэн үзүүлсэн.

Энэ олдвор шугаман probe ашигласан стандарт төлөөлөл сургалтын үнэлгээнд мөн туссан. Бидний хамгийн сайн CLIP загвар олон нийтэд нээлттэй байгаа хамгийн сайн ImageNet загвар болох Noisy Student EfficientNet-L2-оос²³ бидний туршсан 26 өөр шилжүүлэлтийн өгөгдлийн багцын 20 дээр илүү байна.

CLIP нь нийтлэг объект танихдаа ихэвчлэн сайн ажилладаг ч зурагт байгаа объектын тоог тоолох зэрэг илүү хийсвэр эсвэл системтэй даалгавар, мөн зураг дахь хамгийн ойрын машин хэр ойр байгааг таамаглах зэрэг илүү төвөгтэй даалгаварт хүндрэлтэй байдаг. Энэ хоёр өгөгдлийн багц дээр тэг оролдлого CLIP нь санамсаргүй таамаглалаас ялимгүй дээр л байна. Мөн тэг оролдлого CLIP нь машины загваруудын ялгаа, нисэх онгоцны хувилбарууд, эсвэл цэцгийн зүйлүүдийг ялгах зэрэг маш нарийн түвшний ангилалд даалгавар тусгай загваруудтай харьцуулахад хүндрэлтэй байдаг.

CLIP нь урьдчилсан сургалтын өгөгдлийн багцад хамрагдаагүй зургуудад ерөнхийшүүлэх чадвар мөн муу хэвээр байна. Жишээлбэл, CLIP чадвартай OCR систем сурдаг ч MNIST өгөгдлийн багц дахь гараар бичсэн цифрүүд дээр үнэлэхэд тэг оролдлого CLIP зөвхөн 88% нарийвчлалд хүрдэг нь уг өгөгдлийн багц дээрх хүний 99.75%-иас хавьгүй доогуур үзүүлэлт юм. Эцэст нь, CLIP-ийн тэг оролдлого ангилагчид нь үг сонголт эсвэл өгүүлбэрийн хэлбэршилтэд мэдрэмтгий байж, сайн ажиллуулахын тулд заримдаа туршиж алдах маягийн “өгөгдлийн инженерчлэл” шаарддагийг бид ажигласан.

CLIP нь хүмүүст өөрсдийн ангилагчийг зохион бүтээх боломж олгож, даалгавар тусгай сургалтын өгөгдлийн хэрэгцээг арилгадаг. Эдгээр ангиллыг хэрхэн зохион бүтээх нь загварын гүйцэтгэл болон загварын хазайлтад хүчтэй нөлөөлж болно. Жишээлбэл, Fairface³⁹ арьс өнгийн шошгууд^C болон “criminal”, “animal” зэрэг хэдэн ноцтой нэр томьёог багтаасан шошгын багц өгөхөд, загвар 0–20 насны хүмүүсийн зургийг ноцтой ангилалд ~32.3%-ийн түвшинд ангилах хандлагатай байдаг. Харин боломжит ангиллуудын жагсаалтад “child” ангиллыг нэмэхэд энэ зан төлөв ~8.7% хүртэл буурдаг.

Нэмж хэлэхэд, CLIP-д даалгавар тусгай сургалтын өгөгдөл хэрэггүй тул тодорхой нарийн даалгавруудыг илүү хялбар нээж өгч чадна. Эдгээрийн зарим нь хувийн нууц эсвэл тандалттай холбоотой эрсдэл дагуулж болох бөгөөд бид энэ асуудлыг CLIP-ийн алдартан таних гүйцэтгэлийг судалж авч үзсэн. 100 нэр дэвшигчээс сонгох үед “in the wild” алдартны зургийн ангилал дээр CLIP-ийн top-1 нарийвчлал 59.2%, 1000 боломжит сонголтоос сонгох үед top-1 нарийвчлал 43.3% байна. Даалгавар-үл хамаарах урьдчилсан сургалтаар ийм үр дүнд хүрсэн нь онцлохуйц боловч энэ гүйцэтгэл өргөн хэрэглэгддэг үйлдвэрлэлийн түвшний загваруудтай харьцуулахад өрсөлдөхүйц биш юм. Бид CLIP-ийн үүсгэж буй сорилтуудыг манай өгүүлэл⁠(шинэ цонхонд нээгдэнэ) дээр цаашид судалсан бөгөөд энэ ажил ийм загваруудын чадвар, сул тал, хазайлтын шинж чанарыг тодорхойлох ирээдүйн судалгааг өдөөх болно гэж найдаж байна. Ийм асуултуудаар судалгааны нийгэмлэгтэй хамтран ажиллахдаа бид баяртай байна.

CLIP-ээр бид сүүлийн үеийн NLP нээлтүүдийг дэмжсэн интернетийн хэмжээний байгалийн хэлэн дээрх даалгавар-үл хамаарах урьдчилсан сургалтыг бусад салбар дахь гүний сургалтын гүйцэтгэлийг сайжруулахад мөн ашиглаж болох эсэхийг шалгасан. Энэ аргыг компьютер хараанд хэрэглэхэд одоогоор үзсэн үр дүн биднийг ихэд урамшуулж байна. GPT гэр бүлийн адил CLIP нь урьдчилсан сургалтын үеэр олон төрлийн даалгавар сурдаг бөгөөд үүнийг бид тэг оролдлого шилжүүлэлтээр харуулсан. Мөн ImageNet дээрх бидний олдворууд тэг оролдлого үнэлгээ нь загварын чадварыг илүү төлөөлөх хэмжүүр болохыг санал болгож байгаад бид урамтай байна.