Image GPT

Waxaan ogaanay in, sida nooc transformer weyn oo lagu tabbabaray luqadda uu u soo saari karo qoraal isku xiran, isla noocaas saxda ah ee lagu tabbabaray taxanaha pixel-yaduna uu u soo saari karo dhammaystirro⁠ sawir iyo muunado⁠ isku xiran. Anagoo samaynayna xiriir ka dhexeeya tayada muunadda iyo saxnaanta kala soocidda sawirka, waxaan muujinaynaa in noocayaga wax soo saarka ee ugu fiican uu sidoo kale leeyahay sifooyin kula tartami kara shabakadaha convolutional-ka ugu sarreeya ee habka aan la kormeerin.

Waxbarashada aan la kormeerin iyo self-supervised,¹ ama waxbarashada aan lahayn xog ay bini'aadamku summadeeyeen, waa caqabad muddo dheer jirtay oo ka mid ah barashada mashiinka. Dhowaanahan, waxay guul cajiib ah ka gaartay luqadda, maadaama noocyada transformer² sida BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ iyo noocyo kale^{7, 8, 9, 10} ay gaareen waxqabadka ugu sarreeya hawlo luqadeed oo kala duwan. Si kastaba ha ahaatee, isla fasalka ballaaran ee noocyadani kuma aysan guulaysan soo saarista sifooyin xooggan oo loogu talagalay kala soocidda sawirka.¹¹ Shaqadeennu waxay ujeedadeedu tahay in la fahmo lana xiro farqigan.

Noocyada transformer sida BERT iyo GPT‑2 waa domain agnostic, taas oo macnaheedu yahay in si toos ah loogu dabaqi karo taxanayaal 1-D ah nooc kasta ha noqdee. Marka aan ku tabbabarno GPT‑2 sawirro loo furfuray taxanayaal dhaadheer oo pixel-yo ah, oo aan ugu yeerno iGPT, waxaan ogaanay in noocu u muuqdo inuu fahmayo sifooyinka sawirka 2-D sida muuqaalka shayga iyo qaybtiisa. Tani waxaa caddeyn u ah kala duwanaanta badan ee muunadaha sawirka isku xiran ee uu soo saaro, xitaa iyada oo aan la helin hagidda summadaha ay bini'aadamku bixiyeen. Caddayn dheeraad ah ahaan, sifooyinka nooca ayaa gaara waxqabad heer sare ah dhowr xog-ururin kala soocid ah iyo saxnaan aan la kormeerin oo ku dhow tan ugu sarraysa^A ee ImageNet.

1. Waxaan kaliya muujineynaa saxnaanta linear probe ee ImageNet ee iGPT‑XL maadaama tijaabooyin kale aysan dhammaan ka hor intaanan u baahnayn inaan u wareegno xarumo supercomputing oo kala duwan.
2. Bit-L, oo lagu tabbabaray JFT (300M sawir leh 18K fasal), wuxuu gaaray natiijo 99.3 ah.

Si loo muujiyo awoodda qaabeynta taxanaha ee wax soo saarka^{17, 18} iyo sequence modeling^{19, 20, 21, 22} sida algoriim waxbarasho guud-ujeeddo leh oo aan la kormeerin, waxaan si ula kac ah u isticmaalnaa isla qaab-dhismeedka transformer-ka sida GPT‑2 ee luqadda. Sidaas darteed, waxaan u baahanahay xisaab aad uga badan si aan u soo saarno sifooyin kula tartami kara kuwa ka yimaada shabakadaha convolutional ee ugu sarreeya ee aan la kormeerin.^{13, 23, 24, 25, 12} Hase yeeshee, natiijooyinkeenna waxay soo jeedinayaan in marka lala kulmo domain cusub oo aan la aqoon model priors-kiisa saxda ah, GPT‑2 weyn uu baran karo sifooyin heer sare ah iyada oo aan loo baahnayn go'aamo naqshadeed oo gaar u ah domain-ka.^{26, 27, 28}

Luqadda dhexdeeda, algoriimyada waxbarashada aan la kormeerin ee ku tiirsan saadaalinta erayada (sida GPT‑2 iyo BERT) waxay gaareen guul aad u weyn, iyagoo helay waxqabadka ugu sarreeya hawlo luqadeed oo aad u kala duwan. Mid ka mid ah sababaha suurtagalka ah ee guushan ayaa ah in tusaalooyinka hawlaha luqadeed ee daba socdaa si dabiici ah ugu muuqdaan qoraalka: su'aalaha waxaa inta badan raaca jawaabo (taas oo ka caawin karta su'aal-jawaabid), marinnadana waxaa inta badan raaca soo koobid (taas oo ka caawin karta soo koobidda). Taas beddelkeeda, taxanaha pixel-yadu si cad uma wataan summado loogu talagalay sawirrada ay leeyihiin.

Xitaa iyada oo aan jirin kormeerkan cad, haddana weli waxaa jira sabab GPT‑2 ee sawirrada loogu dabaqi karo: transformer ku filan oo weyn oo lagu tabbabaray saadaalinta pixel-ka xiga ayaa ugu dambayn baran kara inuu soo saaro muunado kala duwan^B oo leh walxo si cad loo garan karo. Marka uu taas barto, fikrad loo yaqaan “Falanqayn iyadoo la adeegsanayo Isku-dubarid”^{29, 30, C} ayaa soo jeedinaysa in noocu sidoo kale aqoon u yeelan doono qaybaha walxaha. Qaabab badan oo wax soo saar hore ah^{31, 32, 33, 34, 35, 36} waxaa dhiirrigeliyay fikraddan, dhawaanahanna BigBiGAN³⁷ wuxuu ahaa tusaale soo saaray muunado iyo sifooyin dhiirrigelin leh. Shaqadeenna gudaheeda, marka hore waxaan muujinaynaa in qaababka wax soo saarka ee ka fiican ay gaaraan waxqabad kala soocid oo ka xoog badan. Kadib, annagoo u wanaajinayna GPT‑2 awoodaha wax soo saar, waxaan gaaraynaa waxqabad kala soocid heer sare ah goobo badan, taas oo bixinaysa caddayn dheeraad ah oo ku saabsan falanqaynta iyadoo la adeegsanayo isku-dubarid.

Qaabeynta wax soo saarka ee taxanuhu waa algoriim waxbarasho oo guud oo aan la kormeerin: maadaama dhammaan noocyada xogta lagu meteli karo taxane bytes ah, transformer waxaa si toos ah loogu dabaqi karaa nooc kasta oo xog ah iyada oo aan loo baahnayn injineernimo dheeraad ah. Shaqadeennu waxay tijaabinaysaa awoodda guud ahaantan annagoo si toos ah ugu dabaqayna qaab-dhismeedka loo adeegsaday tabbabaridda GPT‑2 luqadda dabiiciga ah soo saarida sawirka. Waxaan si ula kac ah u doorannay inaan ka tanaasulno in si gacanta ah loogu daro aqoon gaar u ah sawirka oo ah convolutions³⁸ ama farsamooyin sida relative attention,³⁹ sparse attention,⁴⁰ iyo 2-D position embeddings.²⁷

Natiijada guud ahaantiisa awgeed, habkeenna wuxuu u baahan yahay xisaab aad uga badan si loo gaaro waxqabad tartan leh goobta aan la kormeerin. Runtii, hababka contrastive^{41, 42, 43, 44, 45, 13, 23, 24, 25, 12} ayaa weli ah hababka xisaab ahaan ugu wax ku oolka badan ee lagu soo saaro sifooyin tayo sare leh oo sawirro laga helo. Hase yeeshee, annagoo muujinayna in nooc transformer oo aan la kormeerin uu kula tartami karo shabakadaha convolutional ee ugu fiican ee aan la kormeerin,^{24, 25, 12} waxaan bixinaynaa caddayn ah in suurtagal tahay in aqoonta domain-ka ee gacanta lagu koodheeyay lagu beddelo xisaab. Domain-yo cusub,^{46, 47} oo aysan jirin aqoon badan oo gacanta lagu koodheeyo, kordhinta xisaabtu waxay u muuqataa farsamo ku habboon in la tijaabiyo.

Waxaan ku tabbabarnaa iGPT‑S, iGPT‑M, iyo iGPT‑L, transformers ka kooban 76M, 455M, iyo 1.4B halbeegyo siday u kala horreeyaan, ImageNet. Waxaan sidoo kale ku tabbabarnaa iGPT‑XL^D, oo ah transformer leh 6.8 bilyan halbeeg, isku darka ImageNet iyo sawirro ka yimid webka. Sababtoo ah kharashka xisaabeed ee weyn ee ku baxa qaabeynta taxane dhaadheer oo leh attention cufan, waxaan ku tabbabarnaa xallinno hoose oo ah 32x32, 48x48, iyo 64x64.

Iyadoo ay soo jiidanayso in laga shaqeeyo xallinno xitaa ka hooseeya si loo sii yareeyo kharashka xisaabeed, shaqooyin hore ayaa muujiyay in waxqabadka aadanaha ee kala soocidda sawirka uu si degdeg ah hoos ugu dhaco marka laga hoos maro cabbirradan.⁴⁸ Halkii, annagoo ka duulayna palettes-kii hore ee bandhigyada midabka,⁴⁹ waxaan abuurnaa palette midab oo 9-bit ah oo noo gaar ah si aan ugu metelno pixel-yada. Adeegsiga palette-kan wuxuu keenayaa dherer taxane gelin ah oo 3 jeer ka gaaban palette-ga caadiga ah ee (R, G, B), iyadoo haddana si daacad ah loo metelayo midabka.

Waxaa jira laba hab oo aan u isticmaalno qiimeynta waxqabadka nooca, labaduba waxay ku lug leeyihiin hawl kala soocid oo daba socota. Habka koowaad, oo aan ugu yeerno linear probe, wuxuu adeegsadaa nooca la tabbabaray si uu uga soo saaro sifooyin^E sawirrada ku jira xog-ururinta daba socota, ka dibna wuxuu la jaanqaadiyaa logistic regression summadaha. Habka labaad wuxuu sameeyaa fine-tuning^F ee nooca oo dhan xog-ururinta daba socota.

Maadaama saadaalinta pixel-ka xiga aysan si muuqata ugu habboonayn kala soocidda sawirka, sifooyinka lakabka ugu dambeeya laga yaabee inaysan ahayn kuwa ugu saadaalin fiican qaybta shayga. Natiijadeenna koowaad waxay muujinaysaa in tayada sifadu si xooggan u kororto, dabadeedna si khafiif ah u yaraato marka qoto-dheeraantu kordho. Dhaqankani wuxuu soo jeedinayaa in nooc wax soo saar ah oo transformer ahi ku shaqeeyo laba marxaladood: marxaladda koowaad, boos kasta wuxuu ka urursadaa xogta macnaha ku hareeraysan si uu u dhiso sifo sawir oo macneysan. Marxaladda labaad, sifadan macneysan ayaa loo adeegsadaa xallinta hawsha shuruudaysan ee saadaalinta pixel-ka xiga. Waxqabadka laba-marxaladood ee aan ku aragnay linear probe-yadeenna wuxuu xusuusinayaa shabakad neerfo oo kale oo aan la kormeerin, bottleneck autoencoder, oo si gacanta ah loo naqshadeeyay si sifooyinka dhexda ku yaal loo adeegsado.

Natiijadeenna xigta waxay dhisaysaa xiriirka ka dhexeeya waxqabadka wax soo saarka iyo tayada sifada. Waxaan ogaanay in kordhinta cabbirka noocyadeenna iyo sidoo kale tabbabaridda wareegyo badan ay keenaan waxqabad wax soo saar oo ka wanaagsan, taas oo si toos ah ugu tarjumaysa tayada sifada oo ka fiican.

Markaan qiimeyno sifooyinkeenna annagoo adeegsanayna linear probe-yada CIFAR-10, CIFAR-100, iyo STL-10, waxaan ka fiicnaanaa sifooyinka dhammaan algoriimyada wareejinta ee la kormeeray iyo kuwa aan la kormeerin. Natiijooyinkeenna sidoo kale waa kuwo xooggan marka la joogo goobta full fine-tuning.

Isbarbardhig saxnaanta linear probe iyo fine-tune ee u dhexeysa noocyadeenna iyo noocyada ugu waxqabadka sarreeya ee adeegsada wareejinta ImageNet ee aan la kormeerin ama la kormeeray. Waxaan sidoo kale ku darnay AutoAugment, oo ah nooca ugu waxqabadka sarreeya ee dhammaad-ilaa-dhammaad lagu tabbabaray CIFAR.

Iyadoo xiisaha waxbarashada aan la kormeerin iyo self-supervised ee ImageNet uu dib u soo laabtay, waxaan sidoo kale ku qiimeynaa waxqabadka noocyadeenna annagoo adeegsanayna linear probe-yada ImageNet. Tani waa goob si gaar ah u adag, maadaama aynaan ku tabbabarin xallinta gelinta caadiga ah ee ImageNet. Si kastaba ha ahaatee, linear probe lagu sameeyo 1536 sifo oo ka imanaya lakabka ugu fiican ee iGPT‑L ee lagu tabbabaray sawirro 48x48 ah wuxuu keenayaa 65.2% saxnaanta top-1, isagoo ka fiicnaanaya AlexNet.

Hababka contrastive badanaa waxay soo sheegaan natiijooyinkooda ugu fiican 8192 sifo, sidaas darteed si ku habboon waxaan isbarbardhig ugu qiimeyn lahayn iGPT oo leh embedding dimension dhan 8192. Si kastaba ha ahaatee, tabbabaridda nooc noocaas ahi aad bay qaali u tahay, sidaas darteed waxaan halkii ka isku darnaa sifooyinka lakabyo badan sidii qiyaas dhow. Nasiib darro, sifooyinkeenna waxay u janjeeraan inay isku xiran yihiin lakabyada oo dhan, sidaas darteed waxaan u baahan nahay tiro badan si aan u noqono kuwo tartan geli kara. Qaadashada 15360 sifo oo ka timid 5 lakab oo iGPT‑XL ah waxay keentaa 72.0% saxnaanta top-1, iyadoo ka fiicnaanaysa AMDIM, MoCo, iyo CPC v2, balse weli si muuqata uga hooseysa SimCLR.

Isbarbardhig saxnaanta linear probe ee u dhexeysa noocyadeenna iyo noocyada self-supervised ee ugu horreeya. Waxaan gaarnaa waxqabad tartan leh annagoo ku tabbabarayna xallin gelin aad uga hooseysa, inkastoo habkeenna uu u baahan yahay halbeegyo iyo xisaab badan.

Sababtoo ah noocyada luqadda ee la daboolay sida BERT ay ka fiicnaadeen qaababka wax soo saarka hawlaha luqadda intooda badan, waxaan sidoo kale qiimeynaa waxqabadka BERT ee noocyadeenna sawirka. Halkii aan noocayaga ku tabbabarilahayn inuu saadaaliyo pixel-ka xiga marka la siiyo dhammaan pixel-yadii ka horreeyay, waxaan daboolnaa 15% pixel-yada waxaana ku tabbabarnaa noocayaga inuu ka saadaaliyo kuwa aan la daboolin. Waxaan ogaanay in inkastoo waxqabadka linear probe ee noocyada BERT uu si weyn uga liito, haddana ay aad ugu fiican yihiin inta lagu jiro fine-tuning:

Iyadoo waxbarashada aan la kormeerin ay ballanqaaddo sifooyin heer sare ah iyada oo aan loo baahnayn xog bini'aadam calaamadeeyey, horumar weyn oo dhowaanahan ah ayaa lagu sameeyay qaabka dabacsan ee waxbarashada nus-kormeeran, kaas oo oggolaanaya xaddi kooban oo xog bini'aadam calaamadeeyey ah. Hababka nus-kormeeran ee guuleysta badanaa waxay ku tiirsan yihiin farsamooyin xeel dheer sida consistency regularization, data augmentation, ama pseudo-labeling, halka habab ku salaysan wax soo saar oo keliya^{54, 55} aysan sanado badan tartan gelin. Waxaan qiimeynaa iGPT‑L^G halbeeg tartan leh oo ku saabsan waaxdan hoose waxaana ogaanay in linear probe fudud oo lagu sameeyo sifooyinka sawirrada aan la augment-gareyn uu ka fiicnaado Mean Teacher⁵⁶ iyo MixMatch,⁵⁷ inkastoo uu ka hooseeyo FixMatch.⁵⁹

Isbarbardhig waxqabadka xog-yar ee CIFAR-10. Iyada oo la adeegsanayo sawirro badan oo ImageNet ah oo aan summad lahayn, iGPT‑L wuxuu awoodaa inuu ka fiicnaado hababka sida Mean Teacher iyo MixMatch balse weli wuxuu ka hooseeyaa hababka ugu heerka sarreeya. Habkeenna waxbarashada nus-kormeeran waa mid aad u fudud maadaama aan kaliya ku waafajino logistic regression classifier sifooyinka iGPT‑L anagoo aan isticmaalin wax data augmentation ah ama fine-tuning—taas oo ah farqi weyn marka loo eego hababka nus-kormeeran ee si gaar ah loo naqshadeeyay.

Iyadoo aan muujinay in iGPT uu awood u leeyahay barashada sifooyin sawir oo awood leh, haddana weli waxaa jira xaddidaadyo muhiim ah oo ku saabsan habkeenna. Maadaama aan isticmaalno sequence transformer guud oo loo adeegsaday GPT‑2 luqadda, habkeenna wuxuu u baahan yahay xaddi xisaabeed aad u badan: iGPT‑L waxaa la tabbabaray qiyaastii 2500 V100-days halka nooc MoCo24⁠ ah oo waxqabad la mid ah leh lagu tabbabari karo qiyaastii 70 V100-days.

Si la xiriirta arrintan, waxaan ku dayaleynaa gelinno xallin hoose leh annagoo adeegsanayna transformer, halka natiijooyinka ugu badan ee self-supervised ay adeegsadaan encoders ku salaysan convolutional oo si fudud u qaadan kara gelinno xallin sare leh. Qaab-dhismeed cusub, sida transformer miisaan-badan oo domain-agnostic ah, ayaa laga yaabaa in loo baahdo si loo sii ballaariyo. Marka la eego xaddidaadyadan, shaqadeennu inta badan waxay u adeegtaa caddayn-fikradeed muujinaysa awoodda noocyada luqadeed ee waaweyn ee ku salaysan transformer inay bartaan matalaado aan la kormeerin oo heer sare ah domain-yo cusub, iyada oo aan loo baahnayn aqoon domain oo hore loogu qoondeeyay. Si kastaba ha ahaatee, kharashka kheyraadka badan ee lagu tabbabaro noocyadan iyo saxnaanta sare ee hababka ku salaysan shabakadaha neerfaha convolutional ayaa ka horjoogsanaya in matalaadahani noqdaan kuwo wax ku ool ah oo loo adeegsado codsiyada dhabta ah ee dunida aragga gudaheeda.

Ugu dambayn, qaababka wax soo saarka waxay muujin karaan eexyo ka dhasha xogta lagu tabbabaray. Qaar badan oo eexyadaas ka mid ahi waa faa'iido, sida in la maleeyo in isku darka pixel-yo bunni iyo cagaar ah uu yahay laan caleemo daboolan, kadibna eexdaas loo adeegsado sii wadista sawirka. Laakiin qaar ka mid ah eexyadan waxay noqon doonaan kuwo waxyeello leh marka lagu eego aragti caddaalad iyo matalaad. Tusaale ahaan, haddii noocu yeesho aragti muuqaal ah oo saynisyahan ah oo u janjeerta ragga, markaas waxa laga yaabaa inuu si joogto ah u dhammaystiro sawirrada saynisyahannada dad u muuqda rag halkii uu ka soo saari lahaa isku dhaf jinsiyo kala duwan ah. Waxaan filaynaa in horumariyayaashu u baahan doonaan inay sii kordhiyaan feejignaanta ay siinayaan xogta ay ku quudiyaan nidaamyadooda iyo inay si fiican u fahmaan sida ay ula xiriirto eexyada ku jira noocyada la tabbabaray.

Waxaan muujinay in anagoo ka beddelaneyna aqoonta 2-D miisaan⁶⁰ iyo annagoo ka dooranayna sifooyinka saadaalinta qaybta dhexe ee shabakadda, sequence transformer uu kula tartami karo shabakadaha convolutional-ka ugu sarreeya ee kala soocidda sawirrada aan la kormeerin. Waxaa xusid mudan, waxaan natiijooyinkeenna ku gaarnay annagoo si toos ah ugu dabaqnay nooca luqadda GPT‑2 soo saarida sawirka. Natiijooyinkeenna waxay soo jeedinayaan in sababta oo ah fudaydkiisa iyo guud ahaantiisa, sequence transformer haddii la siiyo xisaab ku filan uu ugu dambayn noqon karo hab wax ku ool ah oo lagu barto sifooyin heer sare ah domain-yo badan.

Haddii aad ku faraxsan tahay inaad nagala shaqeyso aaggan cilmi-baarista, waan shaqaaleysiineynaa⁠!