Image GPT

Otkrivamo da, kao što veliki model transformatora obučen na jeziku može da generiše koherentan tekst, isti taj model obučen na sekvencama piksela može da generiše koherentna dovršavanja slika⁠ i uzorke⁠. Uspostavljanjem korelacije između kvaliteta uzoraka i tačnosti klasifikacije slika, pokazujemo da naš najbolji generativni model sadrži i karakteristike konkurentne najboljim konvolucionim mrežama u nenadgledanom okruženju.

Nenadgledano i samonadgledano učenje,¹ odnosno učenje bez podataka koje su označili ljudi, dugotrajan je izazov mašinskog učenja. Nedavno je postiglo neverovatan uspeh u jeziku, jer su modeli transformatora² kao što su BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ i druge varijante^{7, 8, 9 и 10} ostvarili vrhunske performanse na širokom spektru jezičkih zadataka. Međutim, ista široka klasa modela nije bila uspešna u dobijanju snažnih karakteristika za klasifikaciju slika.¹¹ Naš rad ima za cilj da razume i premosti ovaj jaz.

Modeli transformatora kao što su BERT i GPT‑2 su domen-ski agnostični, što znači da se mogu direktno primeniti na 1-D sekvence bilo kog oblika. Kada GPT‑2 obučavamo na slikama razmotanim u duge sekvence piksela, što nazivamo iGPT, nalazimo da model izgleda razume 2-D karakteristike slike kao što su izgled objekta i kategorija. O tome svedoči raznovrstan raspon koherentnih uzoraka slika koje generiše, čak i bez smernica oznaka koje daju ljudi. Kao dodatni dokaz, karakteristike iz modela postižu najsavremenije performanse na brojnim skupovima podataka za klasifikaciju i gotovo najsavremeniju nenadgledanu tačnost^A na ImageNet-u.

1. Prikazujemo samo tačnost linearne probe na ImageNet-u za iGPT‑XL jer drugi eksperimenti nisu bili završeni pre nego što smo morali da pređemo na druga superračunarska postrojenja.
2. Bit-L, obučen na JFT-u (300M slika sa 18K klasa), postigao je rezultat od 99.3.

Da bismo istakli potencijal generativnog^{17 и 18} modelovanja sekvenci^{19, 20, 21 и 22} kao algoritma nenadgledanog učenja opšte namene, namerno koristimo istu arhitekturu transformatora kao GPT‑2 u jeziku. Kao posledica toga, potrebni su nam znatno veći računarski resursi da bismo proizveli karakteristike konkurentne onima iz najboljih nenadgledanih konvolucionih mreža.^{13, 23, 24, 25 и 12} Međutim, naši rezultati sugerišu da, kada se suočimo s novim domenom u kome ispravni priori modela nisu poznati, veliki GPT‑2 može naučiti odlične karakteristike bez potrebe za arhitektonskim izborima specifičnim za domen.^{26, 27 и 28}

У језику су алгоритми ненадгледаног учења који се ослањају на предвиђање речи (као што су GPT‑2 и BERT) били изузетно успешни, постижући врхунске перформансе на широком спектру језичких задатака. Један могући разлог за овај успех је то што се примери низводних језичких задатака природно појављују у тексту: питања често прате одговори (што може помоћи у одговарању на питања), а одломке често прате сажетци (што може помоћи у сажимању). Насупрот томе, секвенце пиксела не садрже јасно ознаке за слике којима припадају.

Чак и без овог експлицитног надзора, и даље постоји разлог зашто би GPT‑2 на сликама могао да функционише: довољно велики трансформатор обучен за предвиђање следећег пиксела могао би на крају да научи да генерише разноврсне^B узорке са јасно препознатљивим објектима. Када то научи, идеја позната као „анализа путем синтезе“^{29, 30 и C} сугерише да ће модел такође знати и за категорије објеката. Многи рани генеративни модели^{31, 32, 33, 34, 35 и 36} били су мотивисани овом идејом, а у новије време BigBiGAN³⁷ је био пример који је дао охрабрујуће узорке и карактеристике. У нашем раду најпре показујемо да бољи генеративни модели постижу јаче перформансе класификације. Затим, оптимизацијом GPT‑2 за генеративне могућности, постижемо врхунске перформансе класификације у многим поставкама, пружајући даље доказе за анализу путем синтезе.

Generativno modelovanje sekvenci je univerzalni algoritam nenadgledanog učenja: pošto svi tipovi podataka mogu biti predstavljeni kao sekvence bajtova, transformator se može direktno primeniti na bilo koji tip podataka bez dodatnog inženjeringa. Naš rad ispituje snagu ove opštosti direktnom primenom arhitekture korišćene za obučavanje GPT‑2 na prirodnom jeziku na generisanje slika. Namerno smo odlučili da odustanemo od ručnog kodiranja bilo kakvog znanja specifičnog za slike u obliku konvolucija³⁸ ili tehnika kao što su relativna pažnja,³⁹ retka pažnja,⁴⁰ i 2-D ugnežđivanja pozicija.²⁷

Kao posledica te opštosti, naš metod zahteva znatno više računarskih resursa da bi postigao konkurentne performanse u nenadgledanom okruženju. Zaista, kontrastivne metode^{41, 42, 43, 44, 45, 13, 23, 24, 25 и 12} su i dalje računarski najefikasnije metode za proizvodnju visokokvalitetnih karakteristika iz slika. Međutim, time što pokazujemo da je nenadgledani model transformatora konkurentan najboljim nenadgledanim konvolucionim mrežama,^{24, 25 и 12} pružamo dokaz da je moguće zameniti ručno kodirano znanje o domenu računarskim ресурсима. U novim domenima,^{46 и 47} gde nema mnogo znanja koje bi se ručno kodiralo, čini se da je skaliranje računarskih resursa prikladna tehnika za testiranje.

Obučavamo iGPT‑S, iGPT‑M i iGPT‑L, transformatore sa 76M, 455M i 1.4B parametara redom, na ImageNet-u. Takođe obučavamo iGPT‑XL^D, transformator sa 6.8 milijardi parametara, na mešavini ImageNet-a i slika sa veba. Zbog velikih računarskih troškova modelovanja dugih sekvenci sa gustom pažnjom, obučavamo na niskim rezolucijama 32x32, 48x48 i 64x64.

Iako je primamljivo raditi na još nižim rezolucijama kako bi se dodatno smanjili računarski troškovi, prethodni rad je pokazao da ljudske performanse na klasifikaciji slika počinju brzo da opadaju ispod ovih veličina.⁴⁸ Umesto toga, inspirisani ranim paletama boja na ekranima,⁴⁹ kreiramo sopstvenu 9-bitnu paletu boja za predstavljanje piksela. Korišćenje ove palete daje ulaznu sekvencu 3 puta kraću od standardne (R, G, B) palete, a ipak verno kodira boju.

Postoje dva метода која користимо за процену перформанси модела, а оба укључују низводни задатак класификације. Први, који називамо линеарном пробом, користи обучени модел за издвајање карактеристика^E из слика у низводном скупу података, а затим прилагођава логистичку регресију ознакама. Други метод фино прилагођава^F цео модел на низводном скупу података.

Пошто предвиђање следећег пиксела није очигледно релевантно за класификацију слика, карактеристике из завршног слоја можда нису најбољи предиктори категорије објекта. Наш први резултат показује да је квалитет карактеристика функција дубине која нагло расте, а затим благо опада. Ово понашање сугерише да генеративни модел трансформатора ради у две фазе: у првој фази, свака позиција прикупља информације из околног контекста како би изградила контекстуализовану карактеристику слике. У другој фази, ова контекстуализована карактеристика се користи за решавање задатка условног предвиђања следећег пиксела. Уочене перформансе у две фазе наших линеарних проба подсећају на још једну ненадгледану неуронску мрежу, аутоенкодер уског грла, који је ручно осмишљен тако да се користе карактеристике из средине.

Naš sledeći rezultat uspostavlja vezu između generativnih performansi i kvaliteta karakteristika. Otkrivamo da i povećanje obima naših modela i obučavanje tokom više iteracija dovode do boljih generativnih performansi, što se direktno prevodi u bolji kvalitet karakteristika.

Kada procenjujemo naše karakteristike pomoću linearnih proba na CIFAR-10, CIFAR-100 i STL-10, nadmašujemo karakteristike svih nadgledanih i nenadgledanih transfer algoritama. Naši rezultati su ubedljivi i u okruženju potpunog finog prilagođavanja.

Poređenje tačnosti linearne probe i finog prilagođavanja između naših modela i modela sa najboljim performansama koji koriste nenadgledani ili nadgledani ImageNet transfer. Uključujemo i AutoAugment, model sa najboljim performansama obučen od početka do kraja na CIFAR-u.

S obzirom na obnovljeno interesovanje za nenadgledano i samonadgledano učenje na ImageNet-u, takođe procenjujemo performanse naših modela pomoću linearnih proba na ImageNet-u. Ovo je posebno teško okruženje, jer ne treniramo na standardnoj ulaznoj rezoluciji za ImageNet. Ipak, linearna proba na 1536 karakteristika iz najboljeg sloja iGPT‑L obučenog na slikama 48x48 daje 65.2% top-1 tačnosti, nadmašujući AlexNet.

Kontrastivne metode obično prijavljuju svoje najbolje rezultate na 8192 karakteristike, pa bismo idealno procenili iGPT sa dimenzijom ugnježđivanja od 8192 radi poređenja. Međutim, obučavanje takvog modela je preskupo, pa umesto toga konkateniramo karakteristike iz više slojeva kao aproksimaciju. Nažalost, naše karakteristike imaju tendenciju da budu korelisane kroz slojeve, pa nam ih je potrebno više da bismo bili konkurentni. Uzimanje 15360 karakteristika iz 5 slojeva u iGPT‑XL daje 72.0% top-1 tačnosti, nadmašujući AMDIM, MoCo i CPC v2, ali i dalje zaostaje za SimCLR-om za pristojnu razliku.

Poređenje tačnosti linearne probe između naših modela i najsavremenijih samonadgledanih modela. Postižemo konkurentne performanse uz obuku na znatno nižim ulaznim rezolucijama, iako naš metod zahteva više parametara i računarskih resursa.

Pošto su maskirani jezički modeli poput BERT-a nadmašili generativne modele na većini jezičkih zadataka, procenjujemo i performanse BERT-a na našim modelima za slike. Umesto da treniramo naš model da predvidi sledeći piksel na osnovu svih prethodnih piksela, maskiramo 15% piksela i treniramo model da ih predvidi iz nemaskiranih. Otkrivamo da su, iako su performanse linearne probe na BERT modelima značajno slabije, oni odlični tokom finog prilagođavanja:

Иако ненадгледано учење обећава одличне карактеристике без потребе за подацима које су означили људи, значајан недавни напредак постигнут је у оквиру попустљивијег оквира полунaдгледаног учења, који дозвољава ограничене количине података означених од стране људи. Успешне полунaдгледане методе често се ослањају на домишљате технике као што су регуларизација конзистентности, аугментација података или псеудо-означавање, а приступи засновани искључиво на генеративним моделима^{54 и 55} нису били конкурентни годинама. Процењујемо iGPT‑L^G на конкурентном реперу за ову подобласт и откривамо да једноставна линеарна проба на карактеристикама из неаугментованих слика надмашује Mean Teacher⁵⁶ и MixMatch,⁵⁷ али је слабија од FixMatch-а.⁵⁹

Поређење перформанси на CIFAR-10 са мало података. Користећи велики број неозначених ImageNet слика, iGPT‑L успева да надмаши методе као што су Mean Teacher и MixMatch, али је и даље слабији од најсавременијих метода. Наш приступ полунaдгледаном учењу је веома једноставан јер само прилагођавамо класификатор логистичке регресије на карактеристикама iGPT‑L‑а без икакве аугментације података или финог прилагођавања — што је значајна разлика у односу на посебно осмишљене полунaдгледане приступе.

Иако смо показали да је iGPT способан да научи моћне карактеристике слика, наш приступ и даље има значајна ограничења. Пошто користимо генерички секвенцијални трансформатор који се користи за GPT‑2 у језику, наш метод захтева велике количине рачунарских ресурса: iGPT‑L је обучаван отприлике 2500 V100-дана, док се модел MoCo24⁠ са сличним перформансама може обучити за отприлике 70 V100-дана.

С тим у вези, ми моделирамо улазе ниске резолуције помоћу трансформатора, док већина самонадгледаних резултата користи енкодере засноване на конволуцијама који лако могу да обрађују улазе високе резолуције. Можда ће бити потребна нова архитектура, као што је доменски агностички вишеразмерни трансформатор, да би се даље скалирало. С обзиром на ова ограничења, наш рад првенствено служи као доказ концепта способности великих језичких модела заснованих на трансформаторима да науче одличне ненадгледане репрезентације у новим доменима, без потребе за унапред кодираним знањем о домену. Међутим, значајни трошкови ресурса за обуку ових модела и већа тачност метода заснованих на конволуционим неуронским мрежама искључују ове репрезентације из практичних примена у стварном свету у домену визије.

Коначно, генеративни модели могу испољавати пристрасности које су последица података на којима су обучени. Многе од тих пристрасности су корисне, као што је претпоставка да комбинација браон и зелених пиксела представља грану прекривену лишћем, а затим коришћење те пристрасности за наставак слике. Али неке од тих пристрасности биће штетне, када се посматрају кроз призму правичности и репрезентације. На пример, ако модел развије визуелну представу научника која је склона мушкарцима, онда би могао доследно да довршава слике научника људима који изгледају као мушкарци, уместо мешавином полова. Очекујемо да ће програмери морати да посвећују све већу пажњу подацима које уносе у своје системе и да боље разумеју како су они повезани са пристрасностима у обученим моделима.

Pokazali smo da, uz zamenu 2-D znanja za skalu⁶⁰ i izbor prediktivnih karakteristika iz sredine mreže, sekvencijalni transformator može biti konkurentan najboljim konvolucionim mrežama za nenadgledanu klasifikaciju slika. Posebno, naše rezultate postigli smo direktnom primenom GPT‑2 jezičkog modela na генерисање слика. Naši rezultati sugerišu da bi, zahvaljujući svojoj jednostavnosti i opštosti, sekvencijalni transformator uz dovoljno računarskih resursa mogao na kraju biti efikasan način za učenje odličnih karakteristika u mnogim domenima.

Ako vas uzbuđuje da radite s nama u ovoj oblasti istraživanja, zapošljavamo⁠!