Image GPT

Insibu li, bħalma mudell transformer kbir imħarreġ fuq il-lingwa jista’ jiġġenera test koerenti, l-istess mudell eżatt imħarreġ fuq sekwenzi ta’ pixels jista’ jiġġenera tlestijiet⁠ u kampjuni⁠ koerenti ta’ immaġnijiet. Billi nistabbilixxu korrelazzjoni bejn il-kwalità tal-kampjuni u l-eżattezza tal-klassifikazzjoni tal-immaġnijiet, nuru li l-aħjar mudell ġenerattiv tagħna fih ukoll karatteristiċi kompetittivi mal-aqwa networks konvoluzzjonali f’ambjent mhux issorveljat.

It-tagħlim mhux issorveljat u self-supervised,¹ jew tagħlim mingħajr data mmarkata mill-bniedem, huwa sfida li ilha teżisti fit-tagħlim awtomatiku. Dan l-aħħar, kiseb suċċess inkredibbli fil-lingwa, hekk kif mudelli transformer² bħal BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ u varjanti oħra^{7, 8, 9, u 10} kisbu prestazzjoni mill-aqwa fuq firxa wiesgħa ta’ kompiti tal-lingwa. Madankollu, l-istess klassi wiesgħa ta’ mudelli ma rnexxilhiex tipproduċi karatteristiċi b’saħħithom għall-klassifikazzjoni tal-immaġnijiet.¹¹ Ix-xogħol tagħna għandu l-għan li jifhem u jagħlaq din il-lakuna.

Mudelli transformer bħal BERT u GPT‑2 huma agnostiċi għad-dominju, jiġifieri jistgħu jiġu applikati direttament għal sekwenzi 1-D ta’ kwalunkwe forma. Meta nħarrġu GPT‑2 fuq immaġnijiet mifruxa f’sekwenzi twal ta’ pixels, li nsejħulha iGPT, insibu li l-mudell jidher li jifhem karatteristiċi tal-immaġni 2-D bħad-dehra tal-oġġetti u l-kategorija. Dan jidher mill-firxa diversa ta’ kampjuni koerenti ta’ immaġnijiet li jiġġenera, anke mingħajr il-gwida ta’ tikketti pprovduti mill-bniedem. Bħala prova oħra, il-karatteristiċi mill-mudell jiksbu prestazzjoni state-of-the-art fuq għadd ta’ datasets ta’ klassifikazzjoni u eżattezza mhux issorveljata kważi state-of-the-art^A fuq ImageNet.

1. Nuru biss l-eżattezza tal-linear probe fuq ImageNet għal iGPT‑XL peress li esperimenti oħra ma tlestewx qabel kellna ngħaddu għal faċilitajiet differenti ta’ supercomputing.
2. Bit-L, imħarreġ fuq JFT (300M immaġnijiet bi 18K klassi), kiseb riżultat ta’ 99.3.

Biex nenfasizzaw il-potenzjal tal-immudellar ġenerattiv^{17 u 18} tas-sekwenzi^{19, 20, 21, u 22} bħala algoritmu ta’ tagħlim mhux issorveljat għal skop ġenerali, apposta nużaw l-istess arkitettura transformer bħal GPT‑2 fil-lingwa. Bħala konsegwenza, neħtieġu ferm aktar compute sabiex nipproduċu karatteristiċi kompetittivi ma’ dawk mill-aqwa networks konvoluzzjonali mhux issorveljati.^{13, 23, 24, 25, u 12} Madankollu, ir-riżultati tagħna jissuġġerixxu li meta wieħed jiffaċċja dominju ġdid fejn il-priors korretti tal-mudell mhumiex magħrufa, GPT‑2 kbir jista’ jitgħallem karatteristiċi eċċellenti mingħajr il-ħtieġa ta’ għażliet ta’ disinn arkitettoniku speċifiċi għad-dominju.^{26, 27, u 28}

Fil-lingwa, algoritmi ta’ tagħlim mhux issorveljat li jiddependu fuq it-tbassir tal-kliem (bħal GPT‑2 u BERT) kellhom suċċess enormi, u kisbu prestazzjoni mill-aqwa fuq firxa wiesgħa ta’ kompiti tal-lingwa. Raġuni waħda possibbli għal dan is-suċċess hija li eżempji ta’ kompiti downstream tal-lingwa jidhru b’mod naturali fit-test: il-mistoqsijiet spiss ikunu segwiti bi tweġibiet (li jistgħu jgħinu fil-question-answering) u s-siltiet spiss ikunu segwiti b’sommarji (li jistgħu jgħinu fis-sommarizzazzjoni). B’kuntrast, sekwenzi ta’ pixels ma fihomx b’mod ċar tikketti għall-immaġnijiet li jappartjenu għalihom.

Anke mingħajr din is-superviżjoni espliċita, għad hemm raġuni għaliex GPT‑2 fuq l-immaġnijiet jista’ jaħdem: transformer kbir biżżejjed imħarreġ fuq it-tbassir tal-pixel li jmiss jista’ eventwalment jitgħallem jiġġenera kampjuni diversi^B b’oġġetti li jintgħarfu b’mod ċar. Ladarba jitgħallem jagħmel dan, idea magħrufa bħala “Analiżi permezz tas-Sinteżi”^{29, 30, u C} tissuġġerixxi li l-mudell ikun jaf ukoll dwar kategoriji ta’ oġġetti. Ħafna mudelli ġenerattivi bikrin^{31, 32, 33, 34, 35, u 36} kienu motivati minn din l-idea, u aktar reċentement, BigBiGAN³⁷ kien eżempju li pproduċa kampjuni u karatteristiċi inkoraġġanti. Fix-xogħol tagħna, l-ewwel nuru li mudelli ġenerattivi aħjar jiksbu prestazzjoni ta’ klassifikazzjoni aktar b’saħħitha. Imbagħad, billi nottimizzaw GPT‑2 għall-kapaċitajiet ġenerattivi, niksbu prestazzjoni ta’ klassifikazzjoni tal-ogħla livell f’ħafna kuntesti, u nipprovdu evidenza oħra għall-analiżi permezz tas-sinteżi.

L-immudellar ġenerattiv tas-sekwenzi huwa algoritmu universali ta’ tagħlim mhux issorveljat: peress li t-tipi kollha ta’ data jistgħu jiġu rrappreżentati bħala sekwenzi ta’ bytes, transformer jista’ jiġi applikat direttament għal kwalunkwe tip ta’ data mingħajr inġinerija addizzjonali. Ix-xogħol tagħna jittestja l-qawwa ta’ din il-ġeneralità billi japplika direttament l-arkitettura użata biex jitħarreġ GPT‑2 fuq lingwa naturali għall-ġenerazzjoni tal-immaġnijiet. Apposta għażilna li ma ndaħħlux bl-idejn ebda għarfien speċifiku għall-immaġnijiet fil-forma ta’ konvoluzzjonijiet³⁸ jew tekniki bħal attenzjoni relattiva,³⁹ attenzjoni skarsa,⁴⁰ u embeddings tal-pożizzjoni 2-D.²⁷

Bħala konsegwenza tal-ġeneralità tiegħu, il-metodu tagħna jeħtieġ ferm aktar compute biex jikseb prestazzjoni kompetittiva fl-ambjent mhux issorveljat. Tabilħaqq, il-metodi contrastive^{41, 42, 43, 44, 45, 13, 23, 24, 25, u 12} għadhom l-aktar metodi effiċjenti komputazzjonalment biex jipproduċu karatteristiċi ta’ kwalità għolja mill-immaġnijiet. Madankollu, billi nuru li mudell transformer mhux issorveljat huwa kompetittiv mal-aqwa networks konvoluzzjonali mhux issorveljati,^{24, 25, u 12} nipprovdu evidenza li huwa possibbli li tagħmel trade-off bejn għarfien tad-dominju kkodifikat bl-idejn u compute. F’oqsma ġodda,^{46 u 47} fejn ma hemmx ħafna għarfien x’jiġi kkodifikat bl-idejn, l-iskalar tal-compute jidher teknika xierqa biex tiġi ttestjata.

Aħna nħarrġu iGPT‑S, iGPT‑M, u iGPT‑L, transformers li fihom rispettivament 76M, 455M, u 1.4B parametri, fuq ImageNet. Inħarrġu wkoll iGPT‑XL^D, transformer ta’ 6.8 biljun parametru, fuq taħlita ta’ ImageNet u immaġnijiet mill-web. Minħabba l-ispiża komputazzjonali kbira tal-immudellar ta’ sekwenzi twal b’attenzjoni densa, nitħarrġu bir-riżoluzzjonijiet baxxi ta’ 32x32, 48x48, u 64x64.

Għalkemm huwa tentanti li naħdmu b’riżoluzzjonijiet saħansitra aktar baxxi biex innaqqsu aktar l-ispiża tal-compute, xogħol preċedenti wera li l-prestazzjoni tal-bniedem fil-klassifikazzjoni tal-immaġnijiet tibda tonqos malajr taħt dawn id-daqsijiet.⁴⁸ Minflok, ispirati mill-paletti bikrin tad-displays bil-kulur,⁴⁹ noħolqu l-paletta tagħna stess ta’ kulur ta’ 9 bits biex nirrappreżentaw il-pixels. L-użu ta’ din il-paletta jagħti tul ta’ sekwenza tal-input 3 darbiet iqsar mill-paletta standard (R, G, B), filwaqt li xorta jikkodifika l-kulur b’mod fidil.

Hemm żewġ metodi li nużaw biex nivvalutaw il-prestazzjoni tal-mudell, u t-tnejn jinvolvu kompitu ta’ klassifikazzjoni downstream. L-ewwel wieħed, li nirreferu għalih bħala linear probe, juża l-mudell imħarreġ biex jiġbed karatteristiċi^E mill-immaġnijiet fid-dataset downstream, u mbagħad jadatta regresżjoni loġistika mat-tikketti. It-tieni metodu jagħmel fine-tuning^F tal-mudell kollu fuq id-dataset downstream.

Peress li t-tbassir tal-pixel li jmiss mhuwiex ovvjament rilevanti għall-klassifikazzjoni tal-immaġnijiet, il-karatteristiċi mill-aħħar saff jistgħu ma jkunux l-aktar predittivi tal-kategorija tal-oġġett. L-ewwel riżultat tagħna juri li l-kwalità tal-karatteristiċi hija funzjoni li tiżdied b’mod qawwi, imbagħad tonqos ħafif skont il-fond. Din l-imġiba tissuġġerixxi li mudell ġenerattiv transformer jopera f’żewġ fażijiet: fl-ewwel fażi, kull pożizzjoni tiġbor informazzjoni mill-kuntest ta’ madwarha sabiex tibni karatteristika tal-immaġni kuntestwalizzata. Fit-tieni fażi, din il-karatteristika kuntestwalizzata tintuża biex issolvi l-kompitu kundizzjonali tat-tbassir tal-pixel li jmiss. Il-prestazzjoni osservata f’żewġ stadji tal-linear probes tagħna tfakkar f’network newrali ieħor mhux issorveljat, il-bottleneck autoencoder, li huwa mfassal manwalment sabiex jintużaw il-karatteristiċi fin-nofs.

Ir-riżultat li jmiss tagħna jistabbilixxi r-rabta bejn il-prestazzjoni ġenerattiva u l-kwalità tal-karatteristiċi. Insibu li kemm iż-żieda fl-iskala tal-mudelli tagħna kif ukoll it-taħriġ għal aktar iterazzjonijiet iwasslu għal prestazzjoni ġenerattiva aħjar, li tittraduċi direttament f’kwalità aħjar tal-karatteristiċi.

Meta nivvalutaw il-karatteristiċi tagħna billi nużaw linear probes fuq CIFAR-10, CIFAR-100, u STL-10, aħna naqbżu l-karatteristiċi mill-algoritmi kollha ta’ trasferiment sorveljat u mhux issorveljat. Ir-riżultati tagħna huma wkoll konvinċenti fl-ambjent sħiħ ta’ fine-tuning.

Tqabbil tal-eżattezzi tal-linear probe u fine-tune bejn il-mudelli tagħna u mudelli bl-aqwa prestazzjoni li jużaw trasferiment ImageNet mhux issorveljat jew sorveljat. Ninkludu wkoll AutoAugment, l-aqwa mudell imħarreġ end-to-end fuq CIFAR.

Minħabba r-rinaxximent tal-interess fit-tagħlim mhux issorveljat u self-supervised fuq ImageNet, nivvalutaw ukoll il-prestazzjoni tal-mudelli tagħna billi nużaw linear probes fuq ImageNet. Dan huwa ambjent partikolarment diffiċli, peress li ma nitħarrġux bir-riżoluzzjoni standard tal-input ta’ ImageNet. Minkejja dan, linear probe fuq il-1536 karatteristika mill-aħjar saff ta’ iGPT‑L imħarreġ fuq immaġnijiet 48x48 jagħti 65.2% eżattezza top-1, u jaqbeż lil AlexNet.

Metodi contrastive tipikament jirrappurtaw l-aħjar riżultati tagħhom fuq 8192 karatteristika, għalhekk idealment nivvalutaw iGPT b’dimensjoni ta’ embedding ta’ 8192 għat-tqabbil. Madankollu, it-taħriġ ta’ mudell bħal dan huwa għali wisq, għalhekk minflok ngħaqqdu karatteristiċi minn bosta saffi bħala approssimazzjoni. Sfortunatament, il-karatteristiċi tagħna għandhom tendenza li jkunu korrelati bejn is-saffi, għalhekk neħtieġu aktar minnhom biex inkunu kompetittivi. Meta nieħdu 15360 karatteristika minn 5 saffi f’iGPT‑XL niksbu 72.0% eżattezza top-1, u naqbżu lil AMDIM, MoCo, u CPC v2, iżda xorta nibqgħu lura minn SimCLR b’marġni deċenti.

Tqabbil tal-eżattezzi tal-linear probe bejn il-mudelli tagħna u l-mudelli self-supervised l-aktar avvanzati. Nilħqu prestazzjoni kompetittiva waqt li nitħarrġu b’riżoluzzjonijiet tal-input ħafna aktar baxxi, għalkemm il-metodu tagħna jeħtieġ aktar parametri u compute.

Minħabba li mudelli tal-lingwa masked bħal BERT qabżu lil mudelli ġenerattivi fuq ħafna kompiti tal-lingwa, nivvalutaw ukoll il-prestazzjoni ta’ BERT fuq il-mudelli tagħna tal-immaġni. Minflok nitħarrġu l-mudell tagħna biex ibassar il-pixel li jmiss mogħti l-pixels kollha ta’ qabel, inmaskjaw 15% tal-pixels u nitħarrġu l-mudell tagħna biex ibassarhom mill-oħrajn mhux immaskjati. Insibu li għalkemm il-prestazzjoni tal-linear probe fuq mudelli BERT hija ferm agħar, dawn jeċċellaw waqt il-fine-tuning:

Filwaqt li t-tagħlim mhux issorveljat iwiegħed karatteristiċi eċċellenti mingħajr il-ħtieġa ta’ data mmarkata mill-bniedem, sar progress sinifikanti reċenti taħt il-qafas aktar tolleranti tat-tagħlim semi-issorveljat, li jippermetti ammonti limitati ta’ data mmarkata mill-bniedem. Metodi semi-issorveljati ta’ suċċess spiss jiddependu fuq tekniki intelliġenti bħal consistency regularization, data augmentation, jew pseudo-labeling, u approċċi purament ibbażati fuq il-ġenerazzjoni^{54 u 55} ilhom ma jkunu kompetittivi għal snin. Aħna nivvalutaw iGPT‑L^G fuq benchmark kompetittiv għal dan is-subqasam u nsibu li linear probe sempliċi fuq karatteristiċi minn immaġnijiet mhux augmentati jaqbeż lil Mean Teacher⁵⁶ u MixMatch,⁵⁷ għalkemm jibqa’ lura minn FixMatch.⁵⁹

Tqabbil tal-prestazzjoni fuq CIFAR-10 b’ammont żgħir ta’ data. Billi jisfrutta ħafna immaġnijiet ImageNet mhux ittikkettati, iGPT‑L kapaċi jaqbeż metodi bħal Mean Teacher u MixMatch iżda xorta jibqa’ lura mill-metodi l-aktar avvanzati. L-approċċ tagħna għat-tagħlim semi-issorveljat huwa sempliċi ħafna peress li aħna nadattaw biss klassifikatur ta’ regresżjoni loġistika fuq il-karatteristiċi ta’ iGPT‑L mingħajr ebda data augmentation jew fine-tuning—differenza sinifikanti minn approċċi semi-issorveljati mfassla apposta.

Filwaqt li wrejna li iGPT kapaċi jitgħallem karatteristiċi qawwija tal-immaġni, għad hemm limitazzjonijiet sinifikanti fl-approċċ tagħna. Minħabba li nużaw is-sekwenza transformer ġenerika użata għal GPT‑2 fil-lingwa, il-metodu tagħna jeħtieġ ammonti kbar ta’ compute: iGPT‑L ġie mħarreġ għal madwar 2500 V100-jum filwaqt li mudell MoCo24⁠ bi prestazzjoni simili jista’ jitħarreġ f’madwar 70 V100-jum.

Marbut ma’ dan, aħna nimmudellaw inputs b’riżoluzzjoni baxxa bl-użu ta’ transformer, filwaqt li ħafna riżultati self-supervised jużaw encoders ibbażati fuq konvoluzzjonijiet li jistgħu faċilment jikkunsmaw inputs b’riżoluzzjoni għolja. Tista’ tkun meħtieġa arkitettura ġdida, bħal transformer multiskala agnostiku għad-dominju, sabiex inkomplu niskalaw. Minħabba dawn il-limitazzjonijiet, ix-xogħol tagħna primarjament iservi bħala dimostrazzjoni proof-of-concept tal-kapaċità ta’ mudelli kbar tal-lingwa bbażati fuq transformer biex jitgħallmu rappreżentazzjonijiet eċċellenti mhux issorveljati f’oqsma ġodda, mingħajr il-ħtieġa ta’ għarfien tad-dominju hardcoded. Madankollu, l-ispiża sinifikanti tar-riżorsi biex jitħarrġu dawn il-mudelli u l-eżattezza akbar ta’ metodi bbażati fuq networks newrali konvoluzzjonali jeskludu dawn ir-rappreżentazzjonijiet minn applikazzjonijiet prattiċi fid-dinja reali fid-dominju tal-viżjoni.

Fl-aħħar, il-mudelli ġenerattivi jistgħu juru preġudizzji li huma konsegwenza tad-data li ġew imħarrġa fuqha. Ħafna minn dawn il-preġudizzji huma utli, bħal meta wieħed jassumi li taħlita ta’ pixels kannella u ħodor tirrappreżenta fergħa miksija bil-weraq, u mbagħad juża dan il-preġudizzju biex ikompli l-immaġni. Iżda wħud minn dawn il-preġudizzji jkunu ta’ ħsara, meta jitqiesu mil-lenti tal-ġustizzja u r-rappreżentazzjoni. Pereżempju, jekk il-mudell jiżviluppa kunċett viżiv ta’ xjenzat li jxaqleb lejn l-irġiel, allura jista’ b’mod konsistenti jtemm immaġnijiet ta’ xjenzati b’persuni li jidhru rġiel, minflok taħlita ta’ ġeneri. Nistennew li l-iżviluppaturi jkollhom jagħtu attenzjoni dejjem akbar lid-data li jdaħħlu fis-sistemi tagħhom u jifhmu aħjar kif din tirrelata mal-preġudizzji fil-mudelli mħarrġa.

Urejna li billi nagħmlu trade-off bejn għarfien 2-D u skala⁶⁰ u billi nagħżlu karatteristiċi predittivi min-nofs tan-network, sekwenza transformer tista’ tkun kompetittiva mal-aqwa networks konvoluzzjonali għall-klassifikazzjoni mhux issorveljata tal-immaġnijiet. B’mod notevoli, ksibna r-riżultati tagħna billi applikajna direttament il-mudell tal-lingwa GPT‑2 għall-ġenerazzjoni tal-immaġnijiet. Ir-riżultati tagħna jissuġġerixxu li minħabba s-sempliċità u l-ġeneralità tiegħu, sekwenza transformer li tingħata biżżejjed compute tista’ fl-aħħar tkun mod effettiv biex jitgħallmu karatteristiċi eċċellenti f’ħafna oqsma.

Jekk tħossok eċitat biex taħdem magħna fuq dan il-qasam ta’ riċerka, qegħdin nirreklutaw⁠!