Image GPT

Hem comprovat que, de la mateixa manera que un gran model transformador entrenat amb llenguatge pot generar text coherent, exactament el mateix model entrenat amb seqüències de píxels pot generar completaments⁠ d’imatges coherents i mostres⁠. En establir una correlació entre la qualitat de les mostres i la precisió de la classificació d’imatges, mostrem que el nostre millor model generatiu també conté característiques competitives amb les millors xarxes convolucionals en un context no supervisat.

L’aprenentatge no supervisat i auto-supervisat,¹ o l’aprenentatge sense dades etiquetades per humans, és un repte històric de l’aprenentatge automàtic. Recentment, ha tingut un èxit increïble en el llenguatge, ja que models transformadors² com BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ i altres variants^{7, 8, 9 i 10} han assolit un rendiment capdavanter en una àmplia varietat de tasques lingüístiques. Tanmateix, aquesta mateixa classe àmplia de models no ha tingut èxit a l’hora de produir característiques sòlides per a la classificació d’imatges.¹¹ El nostre treball pretén entendre i reduir aquesta bretxa.

Els models transformadors com BERT i GPT‑2 són independents del domini, cosa que significa que es poden aplicar directament a seqüències unidimensionals de qualsevol mena. Quan entrenem GPT‑2 amb imatges desplegades en llargues seqüències de píxels, cosa que anomenem iGPT, veiem que el model sembla entendre característiques d’imatge 2D com l’aparença i la categoria dels objectes. Això queda demostrat per l’àmplia gamma de mostres d’imatges coherents i diverses que genera, fins i tot sense la guia d’etiquetes proporcionades per humans. Com a prova addicional, les característiques del model assoleixen un rendiment d’última generació en diversos conjunts de dades de classificació i una precisió no supervisada gairebé d’última generació^A a ImageNet.

1. Només mostrem la precisió de la sonda lineal a ImageNet per a iGPT‑XL, ja que altres experiments no es van acabar abans que haguéssim de passar a diferents instal·lacions de supercomputació.
2. Bit-L, entrenat amb JFT (300M d’imatges amb 18K classes), va assolir un resultat de 99.3.

Per destacar el potencial del modelatge de seqüències^{19, 20, 21 i 22} generatiu^{17 i 18} com a algorisme d’aprenentatge no supervisat de propòsit general, fem servir deliberadament la mateixa arquitectura de transformador que GPT‑2 en llenguatge. Com a conseqüència, necessitem significativament més còmput per produir característiques competitives amb les de les millors xarxes convolucionals no supervisades.^{13, 23, 24, 25 i 12} Tanmateix, els nostres resultats suggereixen que, quan ens trobem davant d’un domini nou on no es coneixen les priors correctes del model, un GPT‑2 gran pot aprendre característiques excel·lents sense necessitat d’opcions de disseny arquitectònic específiques del domini^{26, 27 i 28}.

En el llenguatge, els algorismes d’aprenentatge no supervisat que es basen en la predicció de paraules (com GPT‑2 i BERT) han tingut un èxit enorme i han assolit un rendiment capdavanter en una àmplia varietat de tasques lingüístiques. Una possible raó d’aquest èxit és que els casos de tasques lingüístiques posteriors apareixen de manera natural en el text: les preguntes sovint van seguides de respostes (cosa que podria ajudar en preguntes-respostes) i els passatges sovint van seguits de resums (cosa que podria ajudar en la resumició). En canvi, les seqüències de píxels no contenen de manera clara etiquetes de les imatges a les quals pertanyen.

Fins i tot sense aquesta supervisió explícita, encara hi ha una raó per la qual GPT‑2 aplicat a imatges podria funcionar: un transformador prou gran entrenat en la predicció del píxel següent podria acabar aprenent a generar mostres diverses^B amb objectes clarament recognoscibles. Un cop ho aprengui, una idea coneguda com a «anàlisi per síntesi»^{29, 30 i C} suggereix que el model també coneixerà les categories d’objectes. Molts dels primers models generatius^{31, 32, 33, 34, 35 i 36} estaven motivats per aquesta idea i, més recentment, BigBiGAN³⁷ n’ha estat un exemple que ha produït mostres i característiques encoratjadores. En el nostre treball, primer mostrem que els models generatius millors aconsegueixen un rendiment de classificació més fort. Després, optimitzant GPT‑2 per a capacitats generatives, assolim un rendiment de classificació de primer nivell en molts contextos, cosa que aporta més proves a favor de l’anàlisi per síntesi.

El modelatge generatiu de seqüències és un algorisme universal d’aprenentatge no supervisat: com que tots els tipus de dades es poden representar com a seqüències de bytes, un transformador es pot aplicar directament a qualsevol tipus de dada sense enginyeria addicional. El nostre treball posa a prova el poder d’aquesta generalitat aplicant directament a la generació d’imatges l’arquitectura utilitzada per entrenar GPT‑2 amb llenguatge natural. Vam escollir deliberadament renunciar a codificar manualment qualsevol coneixement específic d’imatge en forma de convolucions³⁸ o tècniques com l’atenció relativa,³⁹ l’atenció dispersa⁴⁰ i els embeddings de posició 2D.²⁷

Com a conseqüència de la seva generalitat, el nostre mètode requereix significativament més còmput per aconseguir un rendiment competitiu en el context no supervisat. De fet, els mètodes contrastius^{41, 42, 43, 44, 45, 13, 23, 24, 25 i 12} continuen sent els mètodes computacionalment més eficients per produir característiques d’alta qualitat a partir d’imatges. Tanmateix, en mostrar que un model transformador no supervisat és competitiu amb les millors xarxes convolucionals no supervisades,^{24, 25 i 12} aportem proves que és possible intercanviar coneixement de domini codificat manualment per còmput. En dominis nous,^{46 i 47} on no hi ha gaire coneixement per codificar manualment, escalar el còmput sembla una tècnica adequada per provar.

Entrenem iGPT‑S, iGPT‑M i iGPT‑L, transformadors amb 76M, 455M i 1.4B paràmetres respectivament, amb ImageNet. També entrenem iGPT‑XL^D, un transformador de 6.8 mil milions de paràmetres, amb una barreja d’ImageNet i imatges del web. A causa de l’elevat cost computacional de modelar seqüències llargues amb atenció densa, entrenem amb les baixes resolucions de 32x32, 48x48 i 64x64.

Tot i que seria temptador treballar amb resolucions encara més baixes per reduir encara més el cost computacional, treballs previs han demostrat que el rendiment humà en classificació d’imatges comença a caure ràpidament per sota d’aquestes mides.⁴⁸ En lloc d’això, inspirats en les primeres paletes de color de pantalles,⁴⁹ creem la nostra pròpia paleta de color de 9 bits per representar els píxels. Fer servir aquesta paleta dona una longitud de seqüència d’entrada 3 vegades més curta que la paleta estàndard (R, G, B), alhora que continua codificant el color de manera fidel.

Hi ha dos mètodes que fem servir per avaluar el rendiment del model, i tots dos impliquen una tasca de classificació posterior. El primer, que anomenem sonda lineal, fa servir el model entrenat per extreure característiques^E de les imatges del conjunt de dades posterior i després ajusta una regressió logística a les etiquetes. El segon mètode ajusta fi^F tot el model al conjunt de dades posterior.

Com que la predicció del píxel següent no és òbviament rellevant per a la classificació d’imatges, és possible que les característiques de l’última capa no siguin les més predictives de la categoria de l’objecte. El nostre primer resultat mostra que la qualitat de les característiques és una funció que augmenta bruscament i després disminueix lleument amb la profunditat. Aquest comportament suggereix que un model generatiu transformador funciona en dues fases: en la primera fase, cada posició recopila informació del context que l’envolta per construir una característica d’imatge contextualitzada. En la segona fase, aquesta característica contextualitzada es fa servir per resoldre la tasca de predicció condicional del píxel següent. El rendiment observat en dues etapes de les nostres sondes lineals recorda una altra xarxa neuronal no supervisada, l’autoencoder de coll d’ampolla, que està dissenyat manualment perquè es facin servir les característiques del mig.

El nostre resultat següent estableix el vincle entre el rendiment generatiu i la qualitat de les característiques. Comprovem que tant augmentar l’escala dels nostres models com entrenar durant més iteracions dona lloc a un millor rendiment generatiu, cosa que es tradueix directament en una millor qualitat de les característiques.

Quan avaluem les nostres característiques mitjançant sondes lineals a CIFAR-10, CIFAR-100 i STL-10, superem les característiques de tots els algorismes de transferència supervisats i no supervisats. Els nostres resultats també són convincents en el context d’ajust fi complet.

Una comparació de les precisions de sonda lineal i ajust fi entre els nostres models i els models amb millor rendiment que fan servir transferència supervisada o no supervisada d’ImageNet. També hi incloem AutoAugment, el model amb millor rendiment entrenat d’extrem a extrem a CIFAR.

Atès el ressorgiment de l’interès per l’aprenentatge no supervisat i auto-supervisat a ImageNet, també avaluem el rendiment dels nostres models amb sondes lineals a ImageNet. Aquest és un context especialment difícil, ja que no entrenem amb la resolució d’entrada estàndard d’ImageNet. Tot i així, una sonda lineal sobre les 1536 característiques de la millor capa d’iGPT‑L entrenat amb imatges de 48x48 dona una precisió top-1 del 65.2%, superior a la d’AlexNet.

Els mètodes contrastius solen informar dels seus millors resultats amb 8192 característiques, així que idealment avaluaríem iGPT amb una dimensió d’embedding de 8192 per comparar-lo. Tanmateix, entrenar un model així és prohibitivament car, de manera que concatenem característiques de diverses capes com a aproximació. Malauradament, les nostres característiques tendeixen a estar correlacionades entre capes, així que en necessitem més per ser competitius. Agafant 15360 característiques de 5 capes a iGPT‑XL s’obté una precisió top-1 del 72.0%, superior a AMDIM, MoCo i CPC v2, però encara clarament per sota de SimCLR.

Una comparació de les precisions de sonda lineal entre els nostres models i els millors models auto-supervisats de l’estat de l’art. Aconseguim un rendiment competitiu tot entrenant amb resolucions d’entrada molt més baixes, tot i que el nostre mètode requereix més paràmetres i còmput.

Com que els models de llenguatge emmascarat com BERT han superat els models generatius en la majoria de tasques lingüístiques, també avaluem el rendiment de BERT en els nostres models d’imatge. En lloc d’entrenar el nostre model perquè predigui el píxel següent donats tots els píxels anteriors, emmascarem el 15% dels píxels i entrenem el model perquè els predigui a partir dels no emmascarats. Comprovem que, tot i que el rendiment de les sondes lineals en models BERT és significativament pitjor, aquests destaquen durant l’ajust fi:

Tot i que l’aprenentatge no supervisat promet característiques excel·lents sense necessitat de dades etiquetades per humans, recentment s’han fet progressos importants dins del marc més permissiu de l’aprenentatge semisupervisat, que permet quantitats limitades de dades etiquetades per humans. Els mètodes semisupervisats d’èxit sovint es basen en tècniques enginyoses com la regularització de consistència, l’augment de dades o el pseudoetiquetatge, i els enfocaments purament basats en la generació^{54 i 55} fa anys que no són competitius. Avaluem iGPT‑L^G en un punt de referència competitiu d’aquest subcamp i observem que una simple sonda lineal sobre característiques d’imatges no augmentades supera Mean Teacher⁵⁶ i MixMatch,⁵⁷ tot i que queda per sota de FixMatch.⁵⁹

Una comparació del rendiment a CIFAR-10 amb poques dades. Aprofitant moltes imatges d’ImageNet sense etiquetar, iGPT‑L és capaç de superar mètodes com Mean Teacher i MixMatch, però encara queda per sota dels mètodes capdavanters. El nostre enfocament de l’aprenentatge semisupervisat és molt simple, ja que només ajustem un classificador de regressió logística sobre les característiques d’iGPT‑L sense cap augment de dades ni ajust fi, una diferència important respecte dels enfocaments semisupervisats dissenyats específicament.

Tot i que hem demostrat que iGPT és capaç d’aprendre característiques d’imatge potents, encara hi ha limitacions importants en el nostre enfocament. Com que fem servir el transformador de seqüències genèric que s’utilitza per a GPT‑2 en llenguatge, el nostre mètode requereix grans quantitats de còmput: iGPT‑L es va entrenar durant aproximadament 2500 dies-V100, mentre que un model MoCo24⁠ amb un rendiment semblant es pot entrenar en aproximadament 70 dies-V100.

De manera relacionada, modelem entrades de baixa resolució amb un transformador, mentre que la majoria dels resultats auto-supervisats fan servir codificadors basats en convolucions que poden consumir fàcilment entrades d’alta resolució. Potser caldrà una arquitectura nova, com un transformador multiescala independent del domini, per continuar escalant. Tenint en compte aquestes limitacions, el nostre treball serveix principalment com una demostració de prova de concepte de la capacitat dels grans models de llenguatge basats en transformadors per aprendre representacions no supervisades excel·lents en dominis nous, sense necessitat de coneixement de domini codificat manualment. Tanmateix, l’elevat cost de recursos per entrenar aquests models i la major precisió dels mètodes basats en xarxes neuronals convolucionals impedeixen que aquestes representacions tinguin aplicacions pràctiques al món real en el domini de la visió.

Finalment, els models generatius poden mostrar biaixos que són conseqüència de les dades amb què s’han entrenat. Molts d’aquests biaixos són útils, com assumir que una combinació de píxels marrons i verds representa una branca coberta de fulles i després fer servir aquest biaix per continuar la imatge. Però alguns d’aquests biaixos seran perjudicials si es consideren des d’una perspectiva d’equitat i representació. Per exemple, si el model desenvolupa una noció visual de científic esbiaixada cap als homes, podria completar de manera sistemàtica imatges de científics amb persones de presentació masculina, en lloc d’una barreja de gèneres. Esperem que els desenvolupadors hagin de prestar cada vegada més atenció a les dades que introdueixen als seus sistemes i a entendre millor com es relacionen amb els biaixos dels models entrenats.

Hem demostrat que, substituint coneixement 2D per escala⁶⁰ i triant característiques predictives del mig de la xarxa, un transformador de seqüències pot competir amb les millors xarxes convolucionals per a la classificació no supervisada d’imatges. Cal destacar que hem obtingut aquests resultats aplicant directament el model de llenguatge GPT‑2 a la generació d'imatges. Els nostres resultats suggereixen que, per la seva simplicitat i generalitat, un transformador de seqüències amb prou còmput podria acabar sent una manera efectiva d’aprendre característiques excel·lents en molts dominis.

Si us fa il·lusió treballar amb nosaltres en aquesta àrea de recerca, estem contractant⁠!