CLIP: ტექსტისა და სურათების დაკავშირება

წარმოგიდგენთ ნეირონულ ქსელს სახელად CLIP, რომელიც ბუნებრივი ენის ზედამხედველობიდან ვიზუალურ კონცეფციებს ეფექტიანად სწავლობს. CLIP შეიძლება გამოყენებულ იქნას ვიზუალური კლასიფიკაციის ნებისმიერ ბენჩმარკზე მხოლოდ ამოსაცნობი ვიზუალური კატეგორიების სახელების მითითებით, GPT‑2‑ისა და GPT‑3‑ის „zero-shot“ შესაძლებლობების მსგავსად.

მიუხედავად იმისა, რომ სიღრმისეულმა სწავლებამ კომპიუტერული ხედვა რადიკალურად შეცვალა, მიმდინარე მიდგომებს რამდენიმე ძირითადი პრობლემა აქვს: ტიპური ხედვის მონაცემთა ნაკრების შექმნა შრომატევადი და ძვირია, თან ისინი მხოლოდ ვიზუალური კონცეფციების ვიწრო სპექტრს ასწავლიან; სტანდარტული ხედვის მოდელები კარგია მხოლოდ ერთ ამოცანაზე და ახალ ამოცანასთან მისადაგება მნიშვნელოვან ძალისხმევას მოითხოვს; ხოლო მოდელებს, რომლებიც ბენჩმარკებზე კარგად მუშაობენ, სტრეს-ტესტებზე იმედგამაცრუებლად დაბალი შედეგიანობა აქვთ,^{1, 2, 3 და 4} რაც კომპიუტერულ ხედვაში სიღრმისეული სწავლების მთელ მიდგომას კითხვის ნიშნის ქვეშ აყენებს.

ჩვენ წარმოვადგენთ ნეირონულ ქსელს, რომელიც ამ პრობლემების მოგვარებას ისახავს მიზნად: ის იწვრთნება სურათების ფართო მრავალფეროვნებაზე ბუნებრივი ენის ზედამხედველობის მრავალფეროვან მონაცემებთან ერთად, რომლებიც ინტერნეტში უხვადაა ხელმისაწვდომი. დიზაინის მიხედვით, ქსელს შეიძლება ბუნებრივ ენაზე მიეცეს ინსტრუქცია, რათა შეასრულოს კლასიფიკაციის ბენჩმარკების დიდი მრავალფეროვნება ბენჩმარკის შედეგიანობისთვის პირდაპირი ოპტიმიზაციის გარეშე, GPT‑2‑ის⁵ და GPT‑3‑ის⁶ „zero-shot⁠(იხსნება ახალ ფანჯარაში)“ შესაძლებლობების მსგავსად. ეს მნიშვნელოვანი ცვლილებაა: რადგან ბენჩმარკისთვის პირდაპირ არ ვახდენთ ოპტიმიზაციას, ვაჩვენებთ, რომ ის ბევრად უფრო წარმომადგენლობითი ხდება: ჩვენი სისტემა ამ „მდგრადობის სხვაობას“ 75%-მდე ამცირებს, ამავდროულად კი ორიგინალ ResNet-50-ის⁷ შედეგიანობას უტოლდება ImageNet⁠(იხსნება ახალ ფანჯარაში) zero-shot-ზე, ორიგინალი 1.28M მონიშნული მაგალითებიდან არცერთის გამოყენების გარეშე.

CLIP (Contrastive Language–Image Pre-training) ეფუძნება ნულოვანი მცდელობა/სწავლების გადატანის, ბუნებრივი ენის ზედამხედველობისა და მულტიმოდალური სწავლების ფართო კვლევით მემკვიდრეობას. ნულოვანი მონაცემებით სწავლების იდეა ათ წელზე მეტ ხანს ითვლის⁸, მაგრამ ბოლო დრომდე ის უმეტესად კომპიუტერულ ხედვაში განიხილებოდა, როგორც გზაა განზოგადებისთვის მანამდე უნახავ ობიექტთა კატეგორიებზე.^{9 და 10} კრიტიკული მიგნება იყო ბუნებრივი ენის, როგორც მოქნილი პროგნოზირების სივრცის, გამოყენება განზოგადებისა და გადატანის შესაძლებლობისთვის. 2013 წელს რიჩარდ სოჩერმა და სტენფორდის თანაავტორებმა¹¹ შექმნეს კონცეფციის მტკიცებულება CIFAR-10-ზე მოდელის გაწვრთნით, რათა მას პროგნოზები გაეკეთებინა სიტყვათა ვექტორული ემბედინგების სივრცეში, და აჩვენეს, რომ ამ მოდელს ორი მანამდე უხილავი კლასის პროგნოზირებაც შეეძლო. იმავე წელს DeVISE-მა¹² ეს მიდგომა უფრო დიდ მასშტაბზე გადაიტანა და აჩვენა, რომ შესაძლებელი იყო ImageNet მოდელის დახვეწა ისე, რომ მას თავდაპირველი 1000-საგან შემდგარი სასწავლო ნაკრების მიღმა ობიექტების სწორად პროგნოზირებაც შეძლებოდა.

CLIP-ისთვის ყველაზე შთამაგონებელი იყო ანგ ლისა და მისი თანაავტორების ნამუშევარი FAIR-ში¹³, რომლებმაც 2016 წელს აჩვენეს, რომ ბუნებრივი ენის ზედამხედველობის გამოყენება შესაძლებელს ხდიდა ნულოვანი მცდელობა/სწავლების გადატანას კომპიუტერული ხედვის რამდენიმე არსებულ კლასიფიკაციის მონაცემთა ნაკრებზე, მაგალითად, კანონიკურ ImageNet მონაცემთა ნაკრებზე. ამას მათ მიაღწიეს ImageNet CNN-ის დახვეწით ისე, რომ მას 30 მილიონი Flickr ფოტოს სათაურების, აღწერებისა და ტეგების ტექსტიდან ვიზუალური კონცეფციების ბევრად უფრო ფართო ნაკრების (visual n-grams) პროგნოზირება შეძლებოდა, და ImageNet zero-shot-ზე 11.5% სიზუსტეს მიაღწიეს.

დაბოლოს, CLIP იმ ნაშრომების ჯგუფის ნაწილია, რომლებმაც გასულ წელს ბუნებრივი ენის ზედამხედველობიდან ვიზუალური წარმოდგენების სწავლება ხელახლა განიხილეს. ეს მიმართულება იყენებს უფრო თანამედროვე არქიტექტურებს, როგორიცაა ტრანსფორმერი³², და მოიცავს VirTex-ს³³, რომელმაც გამოიკვლია ავტორეგრესიული ენობრივი მოდელი, ICMLM-ს³⁴, რომელმაც masked language modeling შეისწავლა, და ConVIRT-ს³⁵, რომელმაც CLIP-ისთვის გამოყენებული იგივე კონტრასტული მიზანი სამედიცინო გამოსახულების სფეროში განიხილა.

ვაჩვენებთ, რომ მარტივი წინასწარი სწავლების ამოცანის მასშტაბირება საკმარისია, რათა გამოსახულებების კლასიფიკაციის მრავალ მონაცემთა ნაკრებზე კონკურენტული ნულოვანი მცდელობა/სწავლების შედეგიანობა მივიღოთ. ჩვენი მეთოდი ზედამხედველობის უხვად ხელმისაწვდომ წყაროს იყენებს: ინტერნეტში ნაპოვნ სურათებთან დაწყვილებულ ტექსტს. ეს მონაცემები გამოიყენება CLIP-ისთვის შემდეგი პროქსი სასწავლო ამოცანის შესაქმნელად: მოცემული სურათისთვის უნდა იწინასწარმეტყველოს, 32,768 შემთხვევითად ამორჩეული ტექსტური ფრაგმენტიდან რომელი იყო რეალურად დაწყვილებული მასთან ჩვენს მონაცემთა ნაკრებში.

ამ ამოცანის გადასაჭრელად ჩვენი ინტუიციაა, რომ CLIP მოდელებს დასჭირდებათ ისწავლონ სურათებში ვიზუალური კონცეფციების ფართო სპექტრის ამოცნობა და მათი სახელებთან დაკავშირება. შედეგად, CLIP მოდელები თითქმის ნებისმიერი ვიზუალური კლასიფიკაციის ამოცანაზე შეიძლება იქნას გამოყენებული. მაგალითად, თუ მონაცემთა ნაკრების ამოცანაა ძაღლებისა და კატების ფოტოების კლასიფიკაცია, თითოეული სურათისთვის ვამოწმებთ, CLIP მოდელი ტექსტურ აღწერას „a photo of a dog“ უფრო სავარაუდოდ უკავშირებს თუ „a photo of a cat“.

CLIP შეიქმნა იმისთვის, რომ შეემსუბუქებინა სტანდარტული სიღრმისეული სწავლების მიდგომის რამდენიმე მთავარი პრობლემა კომპიუტერულ ხედვაში:

ძვირადღირებული მონაცემთა ნაკრები: სიღრმისეული სწავლებისთვის ბევრი მონაცემია საჭირო, ხოლო ხედვის მოდელები ტრადიციულად ხელით მონიშნულ მონაცემთა ნაკრებზე იწვრთნება, რომელთა შექმნაც ძვირია და ზედამხედველობას მხოლოდ წინასწარ განსაზღვრული ვიზუალური კონცეფციების შეზღუდული რაოდენობისთვის იძლევა. ImageNet მონაცემთა ნაკრებმა, რომელიც ამ სფეროში ერთ-ერთი უდიდესი ძალისხმევა იყო, 22,000 ობიექტის კატეგორიისთვის 14 მილიონი გამოსახულების ანოტაციისთვის 25,000-ზე მეტი მუშაკი მოითხოვა. ამის საპირისპიროდ, CLIP სწავლობს ტექსტი–სურათის წყვილებიდან, რომლებიც უკვე საჯაროდ არის ხელმისაწვდომი ინტერნეტში. ძვირადღირებული დიდი მონიშნული მონაცემთა ნაკრების საჭიროების შემცირება ფართოდ არის შესწავლილი წინა ნამუშევრებში, განსაკუთრებით self-supervised learning-ში,^{14, 15 და 16} კონტრასტულ მეთოდებში,^{17, 18, 19, 20 და 21} self-training მიდგომებსა^{22 და 23} და გენერაციულ მოდელებში.^{24, 25, 26 და 27}

ვიწრო: ImageNet მოდელი კარგად პროგნოზირებს 1000 ImageNet კატეგორიას, მაგრამ „სტანდარტულად“ მხოლოდ ეს შეუძლია. თუ სხვა ამოცანის შესრულება გვინდა, ML სპეციალისტმა უნდა შექმნას ახალი მონაცემთა ნაკრები, დაამატოს გამოსავლის თავი და დახვეწოს მოდელი. ამის საპირისპიროდ, CLIP შეიძლება მოერგოს ვიზუალური კლასიფიკაციის მრავალ ამოცანას დამატებითი სასწავლო მაგალითების გარეშე. CLIP-ის ახალ ამოცანაზე მისასადაგებლად მხოლოდ ის გვჭირდება, რომ CLIP-ის ტექსტურ ენკოდერს ამ ამოცანის ვიზუალური კონცეფციების სახელები „ვუთხრათ“, და ის CLIP-ის ვიზუალური წარმოდგენებისთვის ხაზოვან კლასიფიკატორს დააბრუნებს. ამ კლასიფიკატორის სიზუსტე ხშირად სრულად ზედამხედველობით გაწვრთნილ მოდელებს კონკურენციას უწევს.

ქვემოთ ვაჩვენებთ სხვადასხვა მონაცემთა ნაკრებიდან აღებულ მაგალითებზე ნულოვანი მცდელობა/სწავლების CLIP კლასიფიკატორების შემთხვევით, წინასწარ შეურჩეველ პროგნოზებს.

დაბალი რეალური სამყაროს შედეგიანობა: ხშირად ვრცელდება ინფორმაცია, რომ სიღრმისეული სწავლების სისტემები ხედვის ბენჩმარკებზე აღწევენ ადამიანის დონეს ან მასაც კი აჭარბებენ^{28 და A}, თუმცა რეალურ გარემოში დანერგვისას მათი შედეგიანობა შეიძლება ბევრად დაბალი იყოს, ვიდრე ბენჩმარკიდან გამომდინარე მოლოდინი. სხვა სიტყვებით რომ ვთქვათ, არსებობს სხვაობა „ბენჩმარკის შედეგიანობასა“ და „რეალურ შედეგიანობას“ შორის. ჩვენი ვარაუდით, ეს სხვაობა იმიტომ ჩნდება, რომ მოდელები „თაღლითობენ“ და ოპტიმიზაციას მხოლოდ ბენჩმარკზე შედეგიანობისთვის აკეთებენ — დაახლოებით ისე, როგორც სტუდენტი, რომელმაც გამოცდა მხოლოდ წინა წლების საგამოცდო კითხვების დაზეპირებით ჩააბარა. ამის საპირისპიროდ, CLIP მოდელი შეიძლება შეფასდეს ბენჩმარკებზე მათ მონაცემებზე სწავლების გარეშე, ამიტომ ამგვარად „თაღლითობა“ არ შეუძლია. შედეგად, მისი ბენჩმარკის შედეგიანობა გაცილებით მეტად ასახავს მის რეალურ გარემოში მუშაობას. „თაღლითობის ჰიპოთეზის“ შესამოწმებლად, ასევე ვზომავთ, როგორ იცვლება CLIP-ის შედეგიანობა მაშინ, როცა მას ImageNet-ისთვის „სწავლა“ შეუძლია. როდესაც CLIP-ის მახასიათებლების თავზე ხაზოვანი კლასიფიკატორი ეწყობა, ის CLIP-ის სიზუსტეს ImageNet-ის სატესტო ნაკრებზე თითქმის 10%-ით ზრდის. თუმცა ეს კლასიფიკატორი 7 სხვა მონაცემთა ნაკრებისგან შემდგარ შეფასების პაკეტზე, რომელიც „მდგრად“ შედეგიანობას ზომავს, საშუალოდ არანაირად უკეთ არ მუშაობს.³⁰

1. CLIP ძალიან ეფექტიანია

CLIP სწავლობს გაუფილტრავი, ძალიან მრავალფეროვანი და ძალიან ხმაურიანი მონაცემებიდან და განკუთვნილია ნულოვანი მცდელობა/სწავლების რეჟიმში გამოსაყენებლად. GPT‑2‑დან და 3-დან ვიცით, რომ ასეთ მონაცემებზე გაწვრთნილ მოდელებს შეუძლიათ შთამბეჭდავი zero shot შედეგიანობის მიღწევა; თუმცა ასეთ მოდელებს მნიშვნელოვანი გამომთვლელი რესურსი სჭირდებათ. საჭირო რესურსის შესამცირებლად, ჩვენ ყურადღება გავამახვილეთ ალგორითმულ გზებზე, რათა ჩვენი მიდგომის სწავლების ეფექტიანობა გაგვეუმჯობესებინა.

ვახსენებთ ორ ალგორითმულ არჩევანს, რომლებმაც გამოთვლითი რესურსის მნიშვნელოვანი დაზოგვა მოგვცა. პირველი არჩევანი იყო ტექსტისა და გამოსახულებების დასაკავშირებლად კონტრასტული მიზნის მიღება.^{31, 17 და 35} თავდაპირველად ჩვენ გამოვიკვლიეთ გამოსახულებიდან ტექსტამდე მიდგომა, VirTex-ის მსგავსად,³³ მაგრამ ამ მიდგომის მასშტაბირებაში სირთულეებს წავაწყდით, რათა state-of-the-art შედეგიანობისთვის მიგვეღწია. მცირე და საშუალო მასშტაბის ექსპერიმენტებში აღმოვაჩინეთ, რომ CLIP-ის მიერ გამოყენებული კონტრასტული მიზანი ImageNet zero-shot კლასიფიკაციაში 4-დან 10-ჯერ უფრო ეფექტიანია. მეორე არჩევანი იყო Vision Transformer-ის მიღება,³⁶ რომელმაც სტანდარტულ ResNet-თან შედარებით გამოთვლით ეფექტიანობაში კიდევ 3-ჯერ მეტი მოგება მოგვცა. საბოლოოდ, ჩვენი საუკეთესო შედეგების მქონე CLIP მოდელი 256 GPU-ზე 2 კვირა იწვრთნება, რაც არსებული დიდი მასშტაბის გამოსახულების მოდელების მსგავსია.^{37, 23, 38 და 36}

2. CLIP მოქნილი და ზოგადია

რადგან ისინი ვიზუალური კონცეფციების ფართო სპექტრს ბუნებრივი ენიდან პირდაპირ სწავლობენ, CLIP მოდელები არსებულ ImageNet მოდელებზე მნიშვნელოვნად უფრო მოქნილი და ზოგადია. აღმოვაჩინეთ, რომ მათ შეუძლიათ ნულოვანი მცდელობა/სწავლებით მრავალი სხვადასხვა ამოცანის შესრულება. ამის დასადასტურებლად გავზომეთ CLIP-ის ნულოვანი მცდელობა/სწავლების შედეგიანობა 30-ზე მეტ სხვადასხვა მონაცემთა ნაკრებზე, მათ შორის ისეთ ამოცანებზე, როგორიცაა წვრილმარცვლოვანი ობიექტების კლასიფიკაცია, გეოლოკალიზაცია, ვიდეოებში მოქმედებების ამოცნობა და OCR.^B განსაკუთრებით, OCR-ის სწავლა საინტერესო ქცევის მაგალითია, რომელიც სტანდარტულ ImageNet მოდელებში არ გვხვდება. ზემოთ ვიზუალიზებულია თითოეული zero-shot კლასიფიკატორის შემთხვევითი, წინასწარ შეურჩეველი პროგნოზი.

ეს მიგნება ასევე აისახება ხაზოვანი პრობების გამოყენებით შესრულებულ სტანდარტულ შეფასებაში, რომელიც წარმოდგენების სწავლებას ზომავს. საუკეთესო CLIP მოდელი ჩვენს მიერ გამოცდილი 26 სხვადასხვა გადატანის მონაცემთა ნაკრებიდან 20-ზე აჭარბებს საუკეთესო საჯაროდ ხელმისაწვდომ ImageNet მოდელს — Noisy Student EfficientNet-L2-ს.²³

მიუხედავად იმისა, რომ CLIP ჩვეულებრივ კარგად მუშაობს გავრცელებული ობიექტების ამოცნობაში, მას უჭირს უფრო აბსტრაქტულ ან სისტემურ ამოცანებზე, როგორიცაა სურათში ობიექტების რაოდენობის დათვლა, და უფრო რთულ ამოცანებზე, როგორიცაა ფოტოზე უახლოესი მანქანის სიახლოვის პროგნოზირება. ამ ორ მონაცემთა ნაკრებზე ნულოვანი მცდელობა/სწავლების CLIP მხოლოდ მცირედით ჯობია შემთხვევით მიხვედრას. ნულოვანი მცდელობა/სწავლების CLIP-ს ასევე უჭირს ამოცანაზე სპეციფიკურ მოდელებთან შედარებით ძალიან წვრილმარცვლოვან კლასიფიკაციაში, მაგალითად, მანქანის მოდელებს შორის, თვითმფრინავების ვარიანტებს შორის ან ყვავილების სახეობებს შორის განსხვავების გარჩევაში.

CLIP-ს ასევე კვლავ სუსტი განზოგადება აქვს იმ გამოსახულებებზე, რომლებიც მის წინასწარი სწავლების მონაცემთა ნაკრებში არ ყოფილა. მაგალითად, მიუხედავად იმისა, რომ CLIP სწავლობს ქმედით OCR სისტემას, MNIST მონაცემთა ნაკრების ხელნაწერ ციფრებზე შეფასებისას ნულოვანი მცდელობა/სწავლების CLIP მხოლოდ 88% სიზუსტეს აღწევს, რაც ბევრად ჩამორჩება ამ მონაცემთა ნაკრებზე ადამიანის 99.75%-იან შედეგს. საბოლოოდ, დავაკვირდით, რომ CLIP-ის ნულოვანი მცდელობა/სწავლების კლასიფიკატორები შეიძლება მგრძნობიარე იყოს ფორმულირებისადმი და ზოგჯერ კარგ შედეგამდე მისასვლელად ცდისა და შეცდომის გზით „მოთხოვნების შექმნა“ სჭირდებოდეს.

CLIP ადამიანებს საშუალებას აძლევს, თავად შექმნან საკუთარი კლასიფიკატორები და ხსნის ამოცანაზე სპეციფიკური სასწავლო მონაცემების საჭიროებას. თუ როგორ არის ეს კლასები დაპროექტებული, შეიძლება ძლიერ გავლენას ახდენდეს როგორც მოდელის შედეგიანობაზე, ისე მოდელის მიკერძოებებზე. მაგალითად, აღმოვაჩინეთ, რომ როცა მიეწოდება ნიშნების ნაკრები, რომელიც მოიცავს Fairface³⁹ რასობრივ ნიშნებს^C და რამდენიმე უხეშ ტერმინს, როგორიცაა „criminal“, „animal“ და ა.შ., მოდელი 0–20 წლის ადამიანების გამოსახულებებს უხეშ კატეგორიაში დაახლოებით ~32.3% სიხშირით ანაწილებს. თუმცა, როდესაც შესაძლო კლასების სიას ვუმატებთ კლასს „child“, ეს ქცევა ~8.7%-მდე მცირდება.

ამასთან, რადგან CLIP-ს არ სჭირდება ამოცანაზე სპეციფიკური სასწავლო მონაცემები, მას შეუძლია ზოგიერთი ნიშური ამოცანის უფრო მარტივად გახსნა. ამ ამოცანების ნაწილმა შეიძლება კონფიდენციალურობასა და ზედამხედველობასთან დაკავშირებული რისკები წარმოშვას, და ამ შეშფოთებას CLIP-ის შედეგიანობის შესწავლით განვიხილავთ ცნობადი ადამიანების იდენტიფიკაციაზე. CLIP-ის top-1 სიზუსტე „რეალურ გარემოში“ ცნობილი ადამიანების გამოსახულებების კლასიფიკაციაში 59.2%-ია, როცა არჩევანი 100 კანდიდატიდან ხდება, და top-1 სიზუსტე 43.3%-ია, როცა არჩევანი 1000 შესაძლო ვარიანტიდან ხდება. მიუხედავად იმისა, რომ ამ შედეგების მიღწევა ამოცანაზე არამიბმული წინასწარი სწავლებით აღსანიშნავია, ეს შედეგიანობა ფართოდ ხელმისაწვდომ საწარმოო დონის მოდელებთან შედარებით კონკურენტული არ არის. CLIP-ის მიერ წარმოქმნილ გამოწვევებს დამატებით განვიხილავთ ჩვენს ნაშრომში⁠(იხსნება ახალ ფანჯარაში), და იმედი გვაქვს, ეს სამუშაო მომავალ კვლევას შეუწყობს ხელს ასეთი მოდელების შესაძლებლობების, ნაკლოვანებებისა და მიკერძოებების დახასიათებაზე. ჩვენ გვახარებს ამგვარ საკითხებზე კვლევით საზოგადოებასთან თანამშრომლობა.

CLIP-ით ჩვენ შევამოწმეთ, შეიძლება თუ არა ამოცანაზე არამიბმული წინასწარი სწავლება ინტერნეტის მასშტაბის ბუნებრივ ენაზე, რომელმაც ბოლო პერიოდში NLP-ში გარღვევა უზრუნველყო, გამოყენებულ იქნას სხვა სფეროებში სიღრმისეული სწავლების შედეგიანობის გასაუმჯობესებლადაც. ჩვენთვის შთამაგონებელია ის შედეგები, რაც ამ მიდგომის კომპიუტერულ ხედვაში გამოყენებით ჯერჯერობით ვნახეთ. GPT ოჯახის მსგავსად, CLIP წინასწარი სწავლებისას სწავლობს ამოცანების ფართო სპექტრს, რასაც ნულოვანი მცდელობა/სწავლების გადატანით ვაჩვენებთ. ასევე გვამხნევებს ჩვენი მიგნებები ImageNet-ზე, რომლებიც მიანიშნებს, რომ ნულოვანი მცდელობა/სწავლების შეფასება მოდელის შესაძლებლობების უფრო წარმომადგენლობითი საზომია.