Image GPT

Kita nemokake yen, kaya model transformer gedhe sing dilatih ing basa bisa ngasilake teks sing runtut, model sing padha persis sing dilatih ing urutan piksel bisa ngasilake gambar pelengkapan⁠ lan sampel⁠ sing runtut. Kanthi netepake korélasi antarane kualitas sampel lan akurasi klasifikasi gambar, kita nuduhake manawa model generatif paling apik kita uga ngemot fitur sing saingan karo jaringan konvolusional paling apik ing setelan tanpa supervisi.

Sinau tanpa supervisi lan self-supervised,¹ utawa sinau tanpa data berlabel manungsa, wis dadi tantangan lawas ing machine learning. Bubar iki, pendekatan iki wis entuk sukses luar biasa ing basa, amarga model transformer² kaya BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ lan varian liyane^{7, 8, 9, 10} wis nggayuh kinerja paling dhuwur ing macem-macem tugas basa. Nanging, kelas model sing padha iki durung sukses ngasilake fitur sing kuwat kanggo klasifikasi gambar.¹¹ Karya kita tujuane kanggo mangerteni lan njembatani celah iki.

Model transformer kaya BERT lan GPT‑2 iku agnostik domain, tegese bisa langsung ditrapake marang urutan 1-D ing bentuk apa wae. Nalika kita nglatih GPT‑2 ing gambar sing diurai dadi urutan piksel dawa, sing kita sebut iGPT, kita nemokake manawa model kasebut katon ngerti karakteristik gambar 2-D kayata tampilan obyek lan kategori. Iki kabukten saka rentang manéka warna sampel gambar runtut sing diasilake, sanajan tanpa pandhuan label sing diwenehake manungsa. Minangka bukti tambahan, fitur saka model iki nggayuh kinerja state-of-the-art ing sawetara dataset klasifikasi lan akurasi tanpa supervisi sing meh state-of-the-art^A ing ImageNet.

1. Kita mung nuduhake akurasi linear probe ImageNet kanggo iGPT‑XL amarga eksperimen liyane durung rampung sadurunge kita kudu pindhah menyang fasilitas superkomputasi liyane.
2. Bit-L, sing dilatih ing JFT (300M gambar kanthi 18K kelas), nggayuh asil 99.3.

Kanggo nyorot potensi model generatif^{17, 18} urutan^{19, 20, 21, 22} minangka algoritma sinau tanpa supervisi serbaguna, kita kanthi sengaja nggunakake arsitektur transformer sing padha kaya GPT‑2 ing basa. Akibate, kita mbutuhake komputasi luwih akeh supaya bisa ngasilake fitur sing kompetitif karo fitur saka jaringan konvolusional tanpa supervisi paling apik.^{13, 23, 24, 25, 12} Nanging, asil kita nuduhake yen nalika ngadhepi domain anyar sing prior model sing bener durung dingerteni, GPT‑2 gedhe bisa sinau fitur apik banget tanpa perlu pilihan desain arsitektur khusus domain^{26, 27, 28}.

Ing basa, algoritma sinau tanpa supervisi sing gumantung marang prediksi tembung (kayata GPT‑2 lan BERT) wis banget sukses, nganti nggayuh kinerja paling dhuwur ing manéka tugas basa. Salah siji sebab sing mungkin kanggo sukses iki yaiku conto tugas basa hilir katon alami ing teks: pitakon asring diterusake jawaban (sing bisa mbantu pitakon-jawaban) lan paragraf asring diterusake ringkesan (sing bisa mbantu panyaruman). Kosok baline, urutan piksel ora kanthi cetha ngemot label kanggo gambar sing dadi duwèké.

Sanajan tanpa supervisi eksplisit iki, isih ana alesan kenapa GPT‑2 ing gambar bisa makarya: transformer sing cukup gedhe sing dilatih kanggo prediksi piksel sabanjure bisa pungkasane sinau ngasilake sampel^B sing manéka warna kanthi obyek sing cetha bisa dikenali. Sawise model sinau nglakoni iki, gagasan sing dikenal minangka “Analisis liwat Sintesis”^{29, 30, C} nuduhake yen model uga bakal ngerti kategori obyek. Akeh model generatif awal^{31, 32, 33, 34, 35, 36} dipacu dening gagasan iki, lan luwih anyar, BigBiGAN³⁷ dadi salah siji conto sing ngasilake sampel lan fitur sing njanjèkaké. Ing karya kita, dhisik kita nuduhake yen model generatif sing luwih apik nggayuh kinerja klasifikasi sing luwih kuwat. Banjur, liwat optimasi GPT‑2 kanggo kemampuan generatif, kita nggayuh kinerja klasifikasi tingkat paling dhuwur ing akèh setelan, menehi bukti luwih lanjut kanggo analisis liwat sintesis.

Pemodelan urutan generatif iku algoritma sinau tanpa supervisi universal: amarga kabeh jinis data bisa diwakili minangka urutan byte, transformer bisa langsung ditrapake marang jinis data apa wae tanpa rekayasa tambahan. Karya kita nguji kekuwatan saka keumuman iki kanthi langsung nerapake arsitektur sing digunakake kanggo nglatih GPT‑2 ing basa alami marang generasi gambar. Kita kanthi sengaja milih ora nambah kawruh khusus gambar apa wae ing bentuk konvolusi³⁸ utawa teknik kaya relative attention,³⁹ sparse attention,⁴⁰ lan embedding posisi 2-D.²⁷

Minangka akibat saka sifat umume, metode kita mbutuhake komputasi luwih akeh kanggo nggayuh kinerja kompetitif ing setelan tanpa supervisi. Pancen, metode kontrasif^{41, 42, 43, 44, 45, 13, 23, 24, 25, 12} isih dadi metode sing paling efisien sacara komputasi kanggo ngasilake fitur kualitas dhuwur saka gambar. Nanging, kanthi nuduhake yen model transformer tanpa supervisi kompetitif karo jaringan konvolusional tanpa supervisi paling apik,^{24, 25, 12} kita menehi bukti yen bisa ngorbanake kawruh domain sing dikode kanthi tangan kanggo komputasi. Ing domain anyar,^{46, 47} sing ora nduweni akeh kawruh kanggo dikode tangan, nambah skala komputasi katon dadi teknik sing pas kanggo diuji.

Kita nglatih iGPT‑S, iGPT‑M, lan iGPT‑L, transformer sing ngemot 76M, 455M, lan 1.4B parameter, ing ImageNet. Kita uga nglatih iGPT‑XL^D, transformer 6.8 milyar parameter, ing campuran ImageNet lan gambar saka web. Amarga biaya komputasi gedhe kanggo memodelake urutan dawa kanthi attention padhet, kita nglatih ing résolusi rendah 32x32, 48x48, lan 64x64.

Sanajan nyenengake kanggo makarya ing résolusi sing luwih murah maneh supaya biaya komputasi luwih suda, karya sadurunge wis nuduhake yen kinerja manungsa ing klasifikasi gambar wiwit mudhun kanthi cepet ing ngisor ukuran iki.⁴⁸ Nanging, kanthi inspirasi saka palet tampilan warna awal,⁴⁹ kita nggawe palet warna 9-bit dhewe kanggo makili piksel. Nggunakake palet iki ngasilake dawa urutan input 3 kaping luwih cekak tinimbang palet standar (R, G, B), nanging isih ngode warna kanthi setya.

Ana rong cara sing kita gunakake kanggo ngevaluasi kinerja model, loro-lorone nglibatake tugas klasifikasi hilir. Cara pisanan, sing kita sebut linear probe, nggunakake model sing wis dilatih kanggo ngekstrak fitur^E saka gambar ing dataset hilir, banjur nyocogake regresi logistik marang label-labele. Cara kapindho nyetel alus^F kabeh model ing dataset hilir.

Amarga prediksi piksel sabanjure ora mesthi ana gandhengané karo klasifikasi gambar, fitur saka lapisan pungkasan bisa uga dudu sing paling prediktif kanggo kategori obyek. Asil pisanan kita nuduhake yen kualitas fitur iku fungsi saka kedalaman sing mundhak tajem, banjur mudhun alon. Prilaku iki nuduhake yen model generatif transformer makarya ing rong fase: ing fase pisanan, saben posisi nglumpukake informasi saka konteks sakupenge kanggo mbangun fitur gambar sing dikontekstualake. Ing fase kapindho, fitur sing dikontekstualake iki digunakake kanggo ngrampungake tugas prediksi piksel sabanjure kondisional. Kinerja rong tahap sing diamati saka linear probe kita ngélingake marang jaringan saraf tanpa supervisi liyane, yaiku bottleneck autoencoder, sing dirancang kanthi manual supaya fitur ing tengah digunakake.

Asil sabanjure kita netepake hubungan antarane kinerja generatif lan kualitas fitur. Kita nemokake yen nambah skala model kita lan nglatih luwih akeh iterasi loro-lorone ngasilake kinerja generatif sing luwih apik, sing langsung nerjemah dadi kualitas fitur sing luwih apik.

Nalika kita ngevaluasi fitur kita nganggo linear probe ing CIFAR-10, CIFAR-100, lan STL-10, kita ngluwihi fitur saka kabeh algoritma transfer terawasi lan tanpa supervisi. Asil kita uga kuwat banget ing setelan fine-tuning lengkap.

Perbandingan akurasi linear probe lan fine-tune antarane model kita lan model paling apik sing nggunakake transfer ImageNet tanpa supervisi utawa terawasi. Kita uga nyakup AutoAugment, model paling apik sing dilatih end-to-end ing CIFAR.

Amarga minat marang sinau tanpa supervisi lan self-supervised ing ImageNet bali mundhak, kita uga ngevaluasi kinerja model kita nganggo linear probe ing ImageNet. Iki setelan sing utamané angel, amarga kita ora nglatih ing résolusi input ImageNet standar. Sanadyan mangkono, linear probe ing 1536 fitur saka lapisan paling apik iGPT‑L sing dilatih ing gambar 48x48 ngasilake akurasi top-1 65.2%, ngluwihi AlexNet.

Metode kontrasif biasane nglaporake asil paling apik ing 8192 fitur, mula saenane kita ngevaluasi iGPT nganggo dimensi embedding 8192 kanggo perbandingan. Nanging, nglatih model kaya ngono larang banget, mula kita malah nggabungake fitur saka pirang-pirang lapisan minangka pendekatan kira-kira. Sayange, fitur kita cenderung saling berkorelasi antar lapisan, mula kita butuh luwih akeh supaya kompetitif. Nggunakake 15360 fitur saka 5 lapisan ing iGPT‑XL ngasilake akurasi top-1 72.0%, ngluwihi AMDIM, MoCo, lan CPC v2, nanging isih kalah saka SimCLR kanthi selisih sing lumayan.

Perbandingan akurasi linear probe antarane model kita lan model self-supervised paling mutakhir. Kita nggayuh kinerja sing kompetitif nalika latihan ing résolusi input sing luwih murah, sanajan metode kita mbutuhake parameter lan komputasi luwih akeh.

Amarga model basa termask kaya BERT wis ngluwihi model generatif ing akèh tugas basa, kita uga ngevaluasi kinerja BERT ing model gambar kita. Tinimbang nglatih model kita kanggo prédhiksi piksel sabanjure adhedhasar kabeh piksel sadurunge, kita nutupi 15% saka piksel lan nglatih model kanggo prédhiksi saka piksel sing ora ditutupi. Kita nemokake yen sanajan kinerja linear probe ing model BERT luwih ala kanthi signifikan, model iki unggul nalika fine-tuning:

Sanajan sinau tanpa supervisi njanjèkaké fitur apik banget tanpa perlu data berlabel manungsa, kemajuan penting akhir-akhir iki wis dicapai ing kerangka sinau semi-supervisi sing luwih longgar, sing ngidini jumlah winates data berlabel manungsa. Cara semi-supervisi sing sukses asring gumantung marang teknik cerdas kayata regularisasi konsistensi, augmentasi data, utawa pseudo-labeling, lan pendekatan sing murni adhedhasar generatif^{54, 55} wis ora kompetitif pirang-pirang taun. Kita ngevaluasi iGPT‑L^G ing benchmark kompetitif kanggo subbidang iki lan nemokake yen linear probe sing prasaja ing fitur saka gambar tanpa augmentasi ngluwihi Mean Teacher⁵⁶ lan MixMatch,⁵⁷ nanging isih kalah saka FixMatch.⁵⁹

Perbandingan kinerja ing CIFAR-10 kanthi data sithik. Kanthi nggunakke akeh gambar ImageNet tanpa label, iGPT‑L bisa ngluwihi cara kayata Mean Teacher lan MixMatch nanging isih kalah saka cara paling apik. Pendekatan kita kanggo sinau semi-supervisi prasaja banget amarga kita mung nyocogake pengklasifikasi regresi logistik ing fitur iGPT‑L tanpa augmentasi data utawa fine-tuning—prabédan penting saka pendekatan semi-supervisi sing dirancang khusus.

Sanajan kita wis nuduhake yen iGPT bisa sinau fitur gambar sing kuwat, isih ana watesan penting ing pendekatan kita. Amarga kita nggunakake sequence transformer umum sing digunakake kanggo GPT‑2 ing basa, metode kita mbutuhake komputasi gedhe: iGPT‑L dilatih kira-kira 2500 V100-days déné model MoCo24⁠ sing kinerjane padha bisa dilatih kira-kira 70 V100-days.

Gandhengan karo kuwi, kita memodelake input résolusi rendah nganggo transformer, déné akèh asil self-supervised nggunakake encoder basis konvolusi sing gampang nampa input résolusi dhuwur. Arsitektur anyar, kayata transformer multiskala sing agnostik domain, bisa uga dibutuhake supaya bisa skala luwih adoh. Amarga watesan iki, karya kita utamané dadi demonstrasi bukti-konsep babagan kemampuan model basa gedhe basis transformer kanggo sinau representasi tanpa supervisi sing apik banget ing domain anyar, tanpa perlu kawruh domain sing di-hardcode. Nanging, biaya sumber daya sing gedhe kanggo nglatih model iki lan akurasi sing luwih dhuwur saka metode basis jaringan saraf konvolusional nggawe representasi iki ora praktis kanggo aplikasi nyata ing domain visi.

Pungkasan, model generatif bisa nampilake bias sing dadi akibat saka data sing digunakake kanggo nglatih. Akeh saka bias iki migunani, kayata nganggep gabungan piksel coklat lan ijo nggambarake dahan sing ketutupan godhong, banjur nggunakke bias iki kanggo nerusake gambar. Nanging sawetara bias iki bakal mbebayani yen dideleng saka sudut pandang keadilan lan representasi. Contoné, yen model ngembangake pemahaman visual babagan ilmuwan sing condhong lanang, mula bisa kanthi konsisten ngrampungake gambar ilmuwan nganggo wong sing katon lanang, tinimbang campuran gender. Kita ngarepake para pangembang kudu saya luwih merhatekake data sing diparingake menyang sistem lan luwih ngerti hubungane karo bias ing model sing wis dilatih.

Kita wis nuduhake manawa kanthi ngorbanake kawruh 2-D demi skala⁶⁰ lan kanthi milih fitur prediktif saka tengah jaringan, sequence transformer bisa saingan karo jaringan konvolusional paling apik kanggo klasifikasi gambar tanpa supervisi. Sing wigati, kita nggayuh asil iki kanthi langsung nerapake model basa GPT‑2 kanggo generasi gambar. Asil kita nuduhake yen amarga kesederhanaan lan sifat umume, sequence transformer sing diwenehi komputasi cukup bisa dadi cara efektif kanggo sinau fitur apik banget ing akeh domain.

Yen sampeyan semangat kerja bareng kita ing area riset iki, kita lagi mbukak lowongan⁠!