CLIP: Isku xirka qoraalka iyo sawirrada

Waxaan soo bandhigaynaa shabakad neerfo ah oo la yiraahdo CLIP taas oo si hufan uga barata fikradaha muuqaalka kormeerka luuqadda dabiiciga ah. CLIP waxaa lagu dabaqi karaa cabbir kasta oo kala-soocid muuqaal ah adigoo si fudud u siinaya magacyada qaybaha muuqaalka ee la rabo in la aqoonsado, si la mid ah awoodaha “zero-shot” ee GPT‑2 iyo GPT‑3.

In kasta oo waxbarashada qotada dheer ay wax ka beddeshay aragga kombiyuutarka, hababka hadda jira waxay leeyihiin dhowr dhibaato oo waaweyn: xog-ururinta aragga ee caadiga ah waxay u baahan yihiin shaqo badan oo qaali ku ah samayntooda halka ay baraan keliya tiro cidhiidhi ah oo fikrado muuqaal ah; noocyada aragga ee caadiga ah waxay ku fiican yihiin hal hawl oo keliya, waxayna u baahan yihiin dadaal weyn si loogu waafajiyo hawl cusub; noocyada si fiican uga shaqeeya benchmark-yada ayaana leh waxqabad niyad-jab leh oo liita marka lagu sameeyo tijaabooyin culus,^{1, 2, 3, 4} taas oo shaki gelinaysa gebi ahaanba habka waxbarashada qotada dheer ee aragga kombiyuutarka.

Waxaan soo bandhigaynaa shabakad neerfo ah oo ujeedadeedu tahay inay wax ka qabato dhibaatooyinkan: waxaa lagu tabbabaray sawirro aad u kala duwan oo wata kormeer luuqad dabiici ah oo aad u kala duwan kana badan oo si weyn looga heli karo internetka. Naqshad ahaan, shabakadda waxaa lagu farikaraa luuqad dabiici ah inay qabato noocyo badan oo kala duwan oo benchmark-yo kala-soocid ah, iyada oo aan si toos ah loogu wanaajin waxqabadka benchmark-ka, si la mid ah awoodaha “zero-shot⁠(ku furmaa daaqad cusub)” ee GPT‑2⁵ iyo GPT‑3.⁶ Tani waa isbeddel muhiim ah: maadaama aan si toos ah loogu wanaajin benchmark-ka, waxaan muujineynaa inay noqoto mid aad uga wakiilnimo badan: nidaamkeennu wuxuu xirayaa “farqiga robustness-ka” ilaa 75% isagoo la jaanqaadaya waxqabadka ResNet-50 asalka ah⁷ ee ImageNet⁠(ku furmaa daaqad cusub) zero-shot iyada oo aan la isticmaalin midkoodna 1.28M tusaalooyinka calaamadeysan ee asalka ahaa.

CLIP (Contrastive Language–Image Pre-training) wuxuu ku dhisan yahay shaqo badan oo ku saabsan waxqabadka tooska ah, kormeerka luuqadda dabiiciga ah, iyo barashada multimodal. Fikradda barashada xog-la’aanta waxay soo bilaabatay in ka badan toban sano ka hor⁸ laakiin ilaa dhowaan inta badan waxaa lagu bartay aragga kombiyuutarka si ay u noqoto hab lagu gaarsiiyo guudmar qaybaha walxaha aan hore loo arag.^{9, 10} Aragti muhiim ah ayaa ahayd in luuqadda dabiiciga ah loo adeegsado meel saadaalin dabacsan ah si loo suurtageliyo guudmar iyo wareejin. Sannadkii 2013, Richard Socher iyo qoraayaal kale oo Stanford ka tirsan¹¹ ayaa sameeyay caddeyn fikradeed iyagoo tababbaray nooc ku saabsan CIFAR-10 si uu saadaal uga sameeyo meel ku-dhejis vector eray ah, waxayna muujiyeen in noocani saadaalin karo laba fasal oo aan hore loo arag. Isla sannadkaas DeVISE¹² ayaa ballaariyay habkan waxayna muujisay inay suurtagal tahay in si gaar ah loo hagaajiyo nooc ImageNet ah si uu ugu gaarsiiyo saadaalinta saxda ah ee walxaha ka baxsan 1000-kii qaybood ee tabbabarka asalka ahaa.

Shaqada ugu dhiirrigelinta badan ee CLIP waa shaqada Ang Li iyo wada-qorayaashiisa FAIR¹³ kuwaas oo sannadkii 2016 muujiyay isticmaalka kormeerka luuqadda dabiiciga ah si loo suurtageliyo wareejinta zero-shot ee dhowr xog-ururin kala-soocid arag kombiyuutar oo hore u jiray, sida xog-ururinta caanka ah ee ImageNet. Waxay taas ku gaareen iyagoo si gaar ah u hagaajiyay ImageNet CNN si uu u saadaaliyo tiro aad uga ballaaran oo fikrado muuqaal ah (visual n-grams) laga soo qaatay qoraalka cinwaannada, sharaxaadaha, iyo tags-ka 30 milyan oo sawir Flickr ah, waxayna gaareen 11.5% saxnaan ah oo ku saabsan ImageNet zero-shot.

Ugu dambayn, CLIP wuxuu ka mid yahay koox waraaqo cilmiyeed ah oo dib u eegay barashada matalaadaha muuqaalka laga helo kormeerka luuqadda dabiiciga ah sannadkii la soo dhaafay. Khadkan shaqo wuxuu isticmaalaa dhismayaal casri ah sida transformer³² waxayna ka mid yihiin VirTex,³³ oo sahamisay qaabeynta luuqadda autoregressive, ICMLM,³⁴ oo baaray qaabeynta luuqadda ee masked, iyo ConVIRT,³⁵ oo daraasaysay isla ujeeddada contrastive ee aan u isticmaalno CLIP balse ku jirta dhinaca sawir-qaadista caafimaadka.

Waxaan muujineynaa in ballaarinta hawl fudud oo wejiga hore ee tabbabarka ah ay ku filan tahay in lagu gaaro waxqabad zero-shot oo la tartami kara xog-ururin badan oo kala-soocid sawir ah. Habkeenna wuxuu isticmaalaa il kormeer oo si badan loo heli karo: qoraalka lala lammaaniyay sawirrada ee laga helo internetka oo dhan. Xogtan waxaa loo isticmaalaa in lagu abuuro hawsha tabbabareed ee wakiilka ah ee soo socota ee CLIP: marka sawir la siiyo, saadaali midka ka mid ah 32,768 qaybo qoraal ah oo si random ah loo soo xulay kaas oo dhab ahaantii lagu lammaaniyay xog-ururintayada.

Si hawshan loo xalliyo, dareenkeenna ayaa ah in noocyada CLIP ay u baahan doonaan inay bartaan aqoonsiga tiro badan oo fikrado muuqaal ah oo ku jira sawirrada ayna la xiriiriyaan magacyadooda. Natiijadaas awgeed, noocyada CLIP waxaa markaas lagu dabaqi karaa ku dhowaad hawl kasta oo kala-soocid muuqaal ah. Tusaale ahaan, haddii hawsha xog-ururintu tahay kala-soocidda sawirrada eyda iyo bisadaha, sawir kasta waxaan ka hubinnaa in nooc CLIP ahi saadaaliyo in sharaxaadda qoraalka “sawir ey ah” ama “sawir bisad ah” ay u badan tahay in lagu lammaaniyo.

CLIP waxaa loo naqshadeeyay si uu u yareeyo dhowr dhibaato oo waaweyn oo ku jira habka caadiga ah ee waxbarashada qotada dheer ee aragga kombiyuutarka:

Xog-ururin qaali ah: Waxbarashada qotada dheer waxay u baahan tahay xog badan, noocyada araggana dhaqan ahaan waxaa lagu tabbabaray xog-ururin si gacanta ah loo calaamadeeyay oo qaali ku ah dhisiddu isla markaana bixisa kormeer keliya tiro kooban oo fikrado muuqaal ah oo horay loo sii go’aamiyay. Xog-ururinta ImageNet, oo ka mid ah dadaallada ugu waaweyn ee goobtan, waxay u baahatay in ka badan 25,000 shaqaale si ay u calaamadeeyaan 14 milyan oo sawir oo loogu talagalay 22,000 qaybood oo walxo ah. Taas beddelkeeda, CLIP wuxuu ka barta lammaaneyaasha qoraal–sawir ee horay si dadweyne ah uga jira internetka. Yaraynta baahida loo qabo xog-ururin waaweyn oo calaamadeysan oo qaali ah waxaa si ballaaran u daraaseeyay shaqooyinkii hore, gaar ahaan is-barashada la kormeero nafteeda,^{14, 15, 16} hababka contrastive,^{17, 18, 19, 20, 21} hababka self-training,^{22, 23} iyo qaababka wax soo saarka.^{24, 25, 26, 27}

Cidhiidhi: Nooc ImageNet ah wuxuu ku fiican yahay saadaalinta 1000-ka qaybood ee ImageNet, balse intaas oo keliya ayuu “sanduuqa ka soo baxo” ku qaban karaa. Haddii aan rabno inaan fulinno hawl kale, khabiir ML ah waa inuu dhisaa xog-ururin cusub, ku daraa madax soo saarid, kadibna si gaar ah u hagaajiyaa nooca. Taas beddelkeeda, CLIP waxaa loo waafajin karaa inuu qabto hawlo badan oo kala duwan oo kala-soocid muuqaal ah isaga oo aan u baahnayn tusaalooyin tabbabareed dheeraad ah. Si CLIP loogu dabaqo hawl cusub, waxa kaliya ee aan u baahanahay waa inaan u “sheegno” qoraal-enkoodharka CLIP magacyada fikradaha muuqaalka ee hawsha, wuxuuna soo saari doonaa kala-soociye toosan oo matalaadaha muuqaalka ee CLIP ah. Saxnaanta kala-soociyahan badanaa waxay la tartantaa noocyada si buuxda loo kormeero.

Hoos waxaan ku muujineynaa saadaallo random ah oo aan si gaar ah loo xulan oo ka yimid kala-soociyeyaasha zero-shot CLIP ee tusaalooyin ka socda xog-ururin kala duwan.

Waxqabad daciif ah oo dunida dhabta ah: Nidaamyada waxbarashada qotada dheer waxaa badanaa lagu soo warramaa inay gaaraan waxqabad la mid ah bini’aadamka ama xitaa ka sarreeya^{28, A} marka lagu eego cabbirrada aragga, hase yeeshee marka lagu dabaqo xaaladaha dhabta ah waxqabadkoodu aad buu uga hooseyn karaa filashadii ay cabbirradani abuureen. Si kale haddii loo dhigo, waxaa jira farqi u dhexeeya “waxqabadka benchmark” iyo “waxqabadka dhabta ah.” Waxaan qiyaasaynaa in farqigan uu dhaco sababtoo ah noocyadu waxay “qiyaanaan” iyagoo keliya u wanaajinaya waxqabadka benchmark-ka, si la mid ah arday imtixaan ku baasay isagoo bartay oo keliya su’aalihii imtixaannadii sannadihii hore. Taas beddelkeeda, nooca CLIP waxaa lagu qiimeyn karaa benchmark-yada iyada oo aan lagu tabbabarin xogtooda, sidaas darteed sidan uma “qiyaami” karo. Tani waxay keentaa in waxqabadkiisa benchmark uu si aad uga wakiilnimo badan u noqdo waxqabadkiisa xaaladaha dhabta ah. Si loo xaqiijiyo “mala-awaalka qiyaanada”, waxaan sidoo kale cabbirnaa sida waxqabadka CLIP isu beddelo marka uu awoodo inuu “u barto” ImageNet. Marka kala-soociye toosan lagu habeeyo dusha astaamaha CLIP, wuxuu kor u qaadaa saxnaanta CLIP ee xogta tijaabada ImageNet ku dhowaad 10%. Hase yeeshee, kala-soociyahani celcelis ahaan kama wanaagsana guud ahaan xirmo qiimeyn ah oo ka kooban 7 xog-ururin oo kale oo cabbiraya waxqabadka “adag”.³⁰

1. CLIP waa mid aad u hufan

CLIP wuxuu ka barta xog aan la shaandhayn, aad u kala duwan, isla markaana aad u buuq badan, waxaana loogu talagalay in loo isticmaalo qaab zero-shot ah. Waxaan ka ognahay GPT‑2 iyo 3 in noocyada lagu tabbabaro xog noocan ah ay gaari karaan waxqabad zero-shot oo qancin leh; hase yeeshee, noocyadaas waxay u baahan yihiin xisaabin tabbabareed oo weyn. Si loo yareeyo xisaabinta loo baahan yahay, waxaan diiradda saarnay habab algoriitham ah oo lagu hagaajinayo hufnaanta tabbabarka ee habkeenna.

Waxaan soo sheegeynaa laba doorasho oo algoriitham ah oo horseeday keydin weyn oo xisaabin ah. Doorashada koowaad waa qaadashada ujeeddo contrastive ah oo lagu xiriirinayo qoraalka iyo sawirrada.^{31, 17, 35} Markii hore waxaan sahaminay hab sawir-ilaa-qoraal ah, oo la mid ah VirTex,³³ laakiin waxaan la kulannay dhibaatooyin ku saabsan ballaarinta si loo gaaro waxqabad heerka ugu sarreeya. Tijaabooyin yar ilaa dhexdhexaad ah, waxaan ogaanay in ujeeddada contrastive ee CLIP isticmaalo ay 4x ilaa 10x uga hufan tahay kala-soocidda zero-shot ImageNet. Doorashada labaad waxay ahayd qaadashada Vision Transformer,³⁶ taas oo na siisay faa’iido kale oo 3x ah oo hufnaanta xisaabinta ah marka loo eego ResNet caadi ah. Ugu dambayn, nooca CLIP ee noogu waxqabadka fiican wuxuu ku tabbabarmayaa 256 GPUs muddo 2 toddobaad ah taas oo la mid ah noocyada sawirrada waaweyn ee hadda jira.^{37, 23, 38, 36}

2. CLIP waa dabacsan oo guud

Sababtoo ah waxay si toos ah uga bartaan luuqadda dabiiciga ah fikrado muuqaal ah oo kala duwan, noocyada CLIP aad bay uga dabacsan yihiin ugana guud badan yihiin noocyada ImageNet ee hadda jira. Waxaan ogaanay inay awoodaan inay zero-shot ku qabtaan hawlo badan oo kala duwan. Si tan loo xaqiijiyo waxaan cabbirnay waxqabadka zero-shot ee CLIP in ka badan 30 xog-ururin oo kala duwan oo ay ku jiraan hawlo sida kala-soocidda walxaha si aad u faahfaahsan, geo-localization, aqoonsiga ficillada ee fiidyowyada, iyo OCR.^B Gaar ahaan, barashada OCR waa tusaale dabeecad xiiso leh oo aan ka dhicin noocyada caadiga ah ee ImageNet. Kor, waxaan ku muujineynaa saadaal random ah oo aan si gaar ah loo xulan oo ka socota kala-soociye kasta oo zero-shot ah.

Natiijadan sidoo kale waxay ka muuqataa qiimeyn caadi ah oo barashada matalaadda ah oo la adeegsanayo linear probes. Nooca CLIP ee ugu fiican wuxuu ka sarreeyaa nooca ImageNet ee ugu fiican ee si dadweyne ah loo heli karo, Noisy Student EfficientNet-L2,²³ 20 ka mid ah 26-ka xog-ururin wareejin ee kala duwan ee aan tijaabinay.

In kasta oo CLIP badanaa si fiican uga shaqeeyo aqoonsiga walxaha caamka ah, haddana wuxuu ku dhibtoodaa hawlo ka sii mala-awaalsan ama nidaamsan sida tirinta tirada walxaha ku jira sawir iyo hawlo ka sii adag sida saadaalinta inta uu u dhow yahay gaariga ugu dhow ee ku jira sawir. Labadan xog-ururin, zero-shot CLIP wax yar oo keliya ayuu kaga fiican yahay qiyaas random ah. Zero-shot CLIP sidoo kale wuu ku dhibtoodaa marka lala barbar dhigo noocyada hawl-gaar ah ee kala-soocid aad u faahfaahsan, sida kala saaridda moodooyinka baabuurta, noocyada kala duwan ee diyaaradaha, ama noocyada ubaxa.

CLIP sidoo kale weli wuxuu leeyahay awood guudmar oo liidata marka la eego sawirrada aan ku jirin xogtiisa wejiga hore ee tabbabarka. Tusaale ahaan, inkasta oo CLIP barto nidaam OCR oo awood leh, marka lagu qiimeeyo tirooyinka gacanta lagu qoray ee xog-ururinta MNIST, zero-shot CLIP wuxuu gaaraa oo keliya 88% saxnaan, taas oo aad uga hooseysa 99.75% ee bini’aadamka ee xog-ururintaas. Ugu dambayn, waxaan aragnay in kala-soociyeyaasha zero-shot ee CLIP ay u nuglaan karaan eray-bixinta ama weedhaynta, marmarna u baahan yihiin tijaabo iyo khalad “injineeriyadda weydiinta” si ay si fiican u shaqeeyaan.

CLIP wuxuu dadka u oggolaanayaa inay sameystaan kala-soociyayaal u gaar ah wuxuuna meesha ka saaraa baahida loo qabo xog tabbabareed oo hawl-gaar ah. Sida fasalladan loo qaabeeyo waxay si weyn u saameyn kartaa waxqabadka nooca iyo eexda nooca labadaba. Tusaale ahaan, waxaan ogaanay in marka la siiyo qaybo magacyo ah oo ay ku jiraan summadaha isirka ee Fairface^39 C iyo dhowr eray oo aad u xun sida “dambiile”, “xayawaan,” iwm, noocu u janjeero inuu sawirrada dadka da’doodu u dhexeyso 0–20 sano ku daro qaybta xun qiyaastii ~32.3%. Hase yeeshee, marka aan ku darno fasalka “cunug” liiska fasallada suurtagalka ah, dhaqankan wuxuu hoos ugu dhacaa ~8.7%.

Intaa waxaa dheer, maadaama CLIP uusan u baahnayn xog tabbabareed oo hawl-gaar ah, wuxuu fududeyn karaa hawlo gaar-gaar ah oo qaarkood si sahlan loo fuliyo. Qaar ka mid ah hawlahan waxay dhalin karaan khataro la xiriira asturnaanta ama la socodka, waxaana arrintan ku baarnay anagoo daraaseynayna waxqabadka CLIP ee aqoonsiga dadka caanka ah. CLIP wuxuu leeyahay saxnaan top-1 ah oo dhan 59.2% ee kala-soocidda sawirrada dadka caanka ah ee “duurjoogta” marka laga xulayo 100 musharrax, iyo saxnaan top-1 ah oo dhan 43.3% marka laga xulayo 1000 doorasho oo suurtagal ah. Inkasta oo ay mudan tahay in la gaaro natiijooyinkan iyadoo la adeegsanayo wejiga hore ee tabbabarka ee aan ku xirnayn hawl gaar ah, haddana waxqabadkani ma aha mid la tartami kara marka lala barbar dhigo noocyada heer-soo-saar ee si ballaaran loo heli karo. Waxaan si dheeraad ah ugu falanqeyneynaa caqabadaha uu CLIP keeno waraaqdeena⁠(ku furmaa daaqad cusub) waxaanan rajeyneynaa in shaqadani dhiirrigeliso cilmi-baaris mustaqbalka ku saabsan sifeynta awoodaha, gaabisyada, iyo eexaha noocyadan oo kale. Waxaan ku faraxsanahay inaan su’aalahan kala shaqeyno bulshada cilmi-baarista.

Iyada oo la adeegsanayo CLIP, waxaan tijaabinay in wejiga hore ee tabbabarka ee aan ku xidhneyn hawl gaar ah ee ku saabsan luuqadda dabiiciga ah ee heerka internetka, taas oo horseedday horumarro waaweyn oo dhawaan ka dhacay NLP, sidoo kale loo adeegsan karo in lagu hagaajiyo waxqabadka waxbarashada qotada dheer ee dhinacyo kale. Aad ayaan ugu faraxsanahay natiijooyinka aan illaa hadda ku aragnay marka aan habkan ku dabaqno aragga kombiyuutarka. Sida qoyska GPT, CLIP wuxuu barto hawlo kala duwan inta lagu jiro wejiga hore ee tabbabarka, taas oo aan ku muujinno wareejinta zero-shot. Sidoo kale waxaa na dhiirrigeliyay natiijooyinkayaga ku saabsan ImageNet oo tilmaamaya in qiimeynta zero-shot ay tahay cabbir si ka wakiilnimo badan u muujinaya awoodda nooc.