GPT de imagen

Hemos observado que, del mismo modo que un modelo de transformador de gran tamaño entrenado con lenguaje puede generar texto coherente, si se entrena con secuencias de píxeles, el mismo modelo es capaz de generar imágenes⁠ y muestras⁠ de imágenes coherentes. Al establecer una correlación entre la calidad de la muestra y la precisión de la clasificación de imágenes, hemos demostrado que las características de nuestro mejor modelo generativo pueden competir con las principales redes convolucionales en un entorno no supervisado.

El aprendizaje no supervisado y autosupervisado¹, o el aprendizaje sin datos etiquetados por humanos, ha sido un desafío para el aprendizaje automático durante mucho tiempo. Recientemente, ha tenido mucho éxito con el lenguaje, ya que los modelos de transformador² como BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ y similares^{7, 8, 9 y 10} han logrado el máximo rendimiento en una gran variedad de tareas lingüísticas. Sin embargo, la misma amplia gama de modelos no ha logrado producir características sólidas para la clasificación de imágenes.¹¹ Nuestra labor tiene como objetivo comprender y cerrar esta brecha.

Los modelos de transformador como BERT y GPT‑2 son independientes del dominio, lo que significa que pueden aplicarse directamente a secuencias 1D de cualquier tipo. Cuando hemos entrenado GPT‑2 con imágenes desglosadas en largas secuencias de píxeles, a las que llamamos iGPT, hemos observado que el modelo parece comprender las características de la imagen 2D, como el aspecto y la categoría del objeto. Esto queda patente en la diversa gama de muestras de imágenes coherentes que genera, incluso sin la guía de etiquetas proporcionadas por humanos. Como prueba adicional, las características del modelo logran un rendimiento excepcional en varios conjuntos de datos de clasificación y una precisión no supervisada muy avanzada^A en ImageNet.

1. Solo hemos incluido la precisión de la sonda lineal ImageNet para iGPT‑XL, ya que otros experimentos no finalizaron antes de que tuviéramos que cambiarnos a otras instalaciones de supercomputación.
2. Bit-L, entrenado con JFT (300 millones de imágenes con 18 000 clases), logró un resultado de 99,3.

Para resaltar el potencial del modelado de secuencias^{19, 20, 21 y 22} generativo^{17 y 18} como algoritmo de aprendizaje general no supervisado, hemos utilizado deliberadamente la misma arquitectura de transformador que GPT‑2 en el lenguaje. Como consecuencia, necesitamos mucha más capacidad computacional para producir características capaces de competir con las de las principales redes convolucionales no supervisadas.^{13, 23, 24, 25 y 12} Sin embargo, nuestros resultados sugieren que, cuando nos enfrentamos a un nuevo dominio en el que se desconocen los modelos previos correctos, un GPT‑2 de gran tamaño puede aprender características excelentes sin la necesidad de opciones de diseño arquitectónico específicas del dominio^{26, 27 y 28}.

En el ámbito del lenguaje, los algoritmos de aprendizaje no supervisados ​​que se basan en la predicción de palabras (como GPT‑2 y BERT) han tenido un gran éxito y han obtenido un rendimiento máximo en una amplia gama de tareas lingüísticas. Parte de este éxito puede deberse a que las tareas lingüísticas posteriores aparecen de forma natural en el texto: las preguntas suelen ir seguidas de respuestas (lo que podría ayudar a responder a las preguntas) y los textos suelen ir seguidos de resúmenes (lo que podría ayudar a resumirlos). Por el contrario, las secuencias de píxeles no contienen etiquetas claras para las imágenes a las que pertenecen.

Incluso sin esta supervisión explícita, todavía hay una razón por la que GPT‑2 podría funcionar con imágenes: un transformador suficientemente grande entrenado en la predicción del siguiente píxel podría, con el tiempo, aprender a generar muestras diversas^B con objetos claramente reconocibles. Una vez que aprenda a hacerlo, la idea del «análisis por síntesis»^{29, 30 y C} sugiere que el modelo también conocerá las categorías de objetos. Muchos de los primeros modelos generativos^{31, 32, 33, 34, 35 y 36} estuvieron motivados por esta teoría y, más recientemente, BigBiGAN³⁷ ha sido un ejemplo que ha producido muestras y características alentadoras. En nuestro trabajo, hemos demostrado en primer lugar que los mejores modelos generativos logran un mejor rendimiento de clasificación. Posteriormente, al optimizar GPT‑2 para las capacidades generativas, hemos logrado un rendimiento de clasificación de alto nivel en numerosos entornos, lo que proporciona más pruebas del análisis por síntesis.

El modelado de secuencias generativas es un algoritmo universal de aprendizaje no supervisado: como todos los tipos de datos se pueden representar como secuencias de bytes, se puede aplicar directamente un transformador a cualquier tipo de datos sin ingeniería adicional. Nuestro trabajo ha puesto a prueba la potencia de esta generalidad aplicando directamente la arquitectura utilizada para entrenar GPT‑2 con lenguaje natural a la generación de imágenes. Hemos elegido deliberadamente renunciar a la codificación manual de cualquier conocimiento específico de la imagen en convoluciones³⁸ o técnicas como la atención relativa³⁹, la atención escasa⁴⁰ y las incrustaciones de posiciones 2D.²⁷

Como consecuencia de su generalidad, nuestro método requiere mucha más capacidad computacional para lograr un rendimiento competitivo en un entorno no supervisado. De hecho, los métodos contrastivos^{41, 42, 43, 44, 45, 13, 23, 24, 25 y 12} siguen siendo los métodos más eficaces a nivel computacional para producir características de gran calidad a partir de imágenes. Sin embargo, al demostrar que un modelo de transformador no supervisado puede competir con las mejores redes convolucionales no supervisadas^{24, 25 y 12}, hemos proporcionado pruebas de que es posible intercambiar conocimientos de dominio codificados manualmente por computación. En dominios nuevos^{46 y 47}, en los que no hay mucho conocimiento para codificar a mano, ampliar la computación resulta una técnica adecuada para realizar pruebas.

Hemos entrenado transformadores iGPT‑S, iGPT‑M e iGPT‑L que contienen parámetros de 76 millones, 455 millones y 1400 millones respectivamente en ImageNet. También hemos entrenado iGPT‑XL^D, un transformador de 6800 millones de parámetros, en una combinación de ImageNet e imágenes de la web. Debido al elevado coste computacional de modelar secuencias largas con mucha atención, el entrenamiento se realiza a resoluciones bajas de 32 x 32, 48 x 48 y 64 x 64.

Aunque resulta tentador trabajar con resoluciones más bajas para reducir aún más el coste computacional, nuestro trabajo anterior ha demostrado que el rendimiento humano en la clasificación de imágenes comienza a descender rápidamente por debajo de estos tamaños⁴⁸. En su lugar, inspirados por las primeras paletas de visualización de colores⁴⁹, hemos creado nuestra propia paleta de colores de 9 bits para representar píxeles. El uso de esta paleta produce una longitud de secuencia de entrada tres veces más corta que la paleta estándar (R, G, B), sin dejar de codificar el color fielmente.

Hemos utilizado dos métodos para evaluar el rendimiento del modelo, y ambos conllevan una tarea de clasificación posterior. El primero, al que denominamos sonda lineal, utiliza el modelo entrenado para extraer características^E de las imágenes en el conjunto de datos posterior y luego asigna una regresión logística a las etiquetas. El segundo método optimiza^F todo el modelo en el conjunto de datos posterior.

Dado que la predicción del siguiente píxel no resulta obviamente pertinente para la clasificación de imágenes, las características de la capa final pueden no ser las más predictivas de la categoría del objeto. Nuestro primer resultado indica que la calidad de las características es una función de la profundidad que aumenta considerablemente y luego disminuye ligeramente. Este comportamiento sugiere que un modelo generativo de transformador funciona en dos fases: en la primera fase, cada posición recopila información del contexto para crear una característica de imagen contextualizada. En la segunda fase, esta característica contextualizada se utiliza para resolver la tarea de predicción condicional del siguiente píxel. El rendimiento en dos etapas observado de nuestras sondas lineales recuerda a otra red neuronal no supervisada, el codificador automático de cuello de botella, que está diseñado manualmente para que se utilicen funciones intermedias.

Nuestro siguiente resultado establece el vínculo entre el rendimiento generativo y la calidad de las características. Hemos observado que tanto el aumento de la escala de nuestros modelos como el entrenamiento para más iteraciones da como resultado un mejor rendimiento generativo, lo que conlleva una mejor calidad de las funciones.

Cuando hemos evaluado nuestras características utilizando sondas lineales en CIFAR-10, CIFAR-100 y STL-10, hemos superado las funciones de todos los algoritmos de transferencia supervisados ​​y no supervisados. Nuestros resultados también son convincentes en un entorno de optimización total.

Una comparación de las precisiones de la sonda lineal y la optimización entre nuestros modelos y los modelos de mayor rendimiento que utilizan transferencia de ImageNet supervisada o no supervisada. También hemos incluido AutoAugment, el modelo de mayor rendimiento entrenado de extremo a extremo en CIFAR.

Dado el resurgimiento del interés en el aprendizaje autosupervisado y no supervisado en ImageNet, también hemos evaluado el rendimiento de nuestros modelos con sondas lineales en ImageNet. Este es un entorno particularmente exigente, ya que no entrenamos nuestros modelos con la resolución de entrada estándar de ImageNet. Sin embargo, una sonda lineal en las 1536 características de la mejor capa de iGPT‑L entrenada con imágenes de 48 x 48 produce una precisión superior al 65,2 %, superando a AlexNet.

Los métodos contrastivos obtienen los mejores resultados, por lo general, en 8192 características, por lo que lo ideal sería evaluar iGPT con una dimensión de incrustación de 8192 a modo de comparación. Sin embargo, los costes de entrenar un modelo de este tipo son extremadamente elevados, por lo que en su lugar aunamos características de múltiples capas para aproximarnos lo máximo posible. Lamentablemente, nuestras características tienden a estar correlacionadas entre capas, por lo que necesitamos más para que sean competitivas. El uso de 15 360 funciones de cinco capas en iGPT‑XL produce una precisión superior al 72,0 %, superando a AMDIM, MoCo y CPC v2, pero aún bastante por debajo de SimCLR.

Una comparación de las precisiones de las sondas lineales entre nuestros modelos y los modelos autosupervisados ​​más vanguardistas. Hemos logrado un rendimiento competitivo entrenando con resoluciones de entrada mucho más bajas, aunque nuestro método requiere más parámetros y cálculos.

Dado que los modelos de lenguaje enmascarado como BERT han superado a los modelos generativos en la mayoría de las tareas lingüísticas, también hemos evaluado el rendimiento de BERT en nuestros modelos de imágenes. En lugar de entrenar nuestro modelo para predecir el siguiente píxel a partir de todos los píxeles anteriores, hemos enmascarado el 15 % de los píxeles y hemos entrenado a nuestro modelo para predecirlos a partir de los píxeles desenmascarados. Hemos descubierto que, aunque el rendimiento de la sonda lineal en los modelos BERT es significativamente peor, estos sobresalen en la optimización:

Aunque el aprendizaje no supervisado promete excelentes características sin la necesidad de datos etiquetados por humanos, recientemente se han logrado avances significativos con el marco más permisivo de aprendizaje semisupervisado, que permite cantidades limitadas de datos etiquetados por humanos. Los métodos semisupervisados ​​de éxito suelen basarse en técnicas inteligentes como la regularización de la coherencia, el aumento de los datos o el pseudoetiquetado, mientras que los enfoques puramente generativos^{54 y 55} no han sido competitivos durante años. Hemos evaluado iGPT‑L^G en un punto de referencia competitivo para este subcampo y hemos observado que una sonda lineal simple en características de imágenes no aumentadas supera a Mean Teacher⁵⁶ y MixMatch⁵⁷, aunque tiene un rendimiento inferior a FixMatch.⁵⁹

Una comparación del rendimiento en CIFAR-10 con pocos datos. Al aprovechar muchas imágenes de ImageNet sin etiquetar, iGPT‑L es capaz de superar a métodos como Mean Teacher y MixMatch, pero su rendimiento sigue siendo inferior a los métodos más vanguardistas. Nuestro enfoque en lo referente al aprendizaje semisupervisado es muy simple, ya que solo ajustamos un clasificador de regresión logística a las características de iGPT‑L sin ningún aumento ni optimización de datos, una diferencia significativa con respecto a los enfoques semisupervisados ​diseñados especialmente.

Aunque hemos demostrado que iGPT es capaz de aprender potentes funciones de imagen, todavía existen limitaciones importantes en nuestro enfoque. Dado que usamos el transformador de secuencia genérico utilizado para GPT‑2 en el lenguaje, nuestro método requiere grandes capacidades computacionales: iGPT‑L se entrenó durante aproximadamente 2500 días V100, mientras que un modelo MoCo24⁠⁠ de rendimiento similar se puede entrenar en aproximadamente 70 días V100.

De manera similar, modelamos entradas de baja resolución con un transformador, mientras que la mayoría de los resultados autosupervisados ​​utilizan codificadores convolucionales que pueden consumir fácilmente entradas de alta resolución. Es posible que se necesite una nueva arquitectura, como un transformador multiescala independiente del dominio, para ampliar la escala. Dadas estas limitaciones, nuestro trabajo sirve principalmente como demostración de prueba de concepto de la capacidad que los modelos de lenguaje basados ​​en transformadores de gran tamaño tienen para aprender excelentes representaciones no supervisadas en dominios novedosos, sin la necesidad de conocimientos de dominio codificados. Sin embargo, el elevado coste de entrenar estos modelos y la mayor precisión de los métodos basados ​​en redes neuronales convolucionales excluyen estas representaciones de aplicaciones prácticas reales en el dominio de la visión.

Por último, los modelos generativos pueden mostrar sesgos como consecuencia de los datos con los que han sido entrenados. Muchos de estos sesgos son útiles, como asumir que una combinación de píxeles marrones y verdes representa una rama cubierta de hojas y usar el sesgo para continuar la imagen. Sin embargo, algunos de estos sesgos pueden afectar negativamente a la equidad y la representación. Por ejemplo, si el modelo desarrolla una noción visual de un científico que favorece a los hombres, podría generar constantemente imágenes de científicos hombres, en lugar de plasmar distintos géneros. Creemos que los desarrolladores deberán prestar cada vez más atención a los datos que introducen en sus sistemas y comprender mejor cómo se relacionan con los sesgos en los modelos entrenados.

Hemos demostrado que, al sacrificar conocimientos 2D en favor de la escala⁶⁰ y elegir características predictivas del medio de la red, un transformador de secuencia puede competir con las mejores redes convolucionales en la clasificación de imágenes no supervisada. En particular, hemos logrado nuestros resultados aplicando directamente el modelo de lenguaje de GPT‑2 a la generación de imágenes. Nuestros resultados sugieren que, debido a su simplicidad y generalidad, un transformador de secuencia con suficiente capacidad de computación podría, en última instancia, ser una forma eficaz de aprender características excelentes en muchos dominios.

Si deseas trabajar con nosotros en esta área de investigación, ¡tenemos vacantes⁠⁠!