GPT de imagen

Descubrimos que, así como un modelo transformador grande entrenado en lenguaje puede generar texto coherente, el mismo modelo exacto entrenado en secuencias de píxeles puede generar respuestas⁠ y muestras⁠ de imágenes coherentes. Al establecer una correlación entre la calidad de muestras y la exactitud de clasificación de imágenes, mostramos que nuestro mejor modelo generativo también contiene características competitivas con redes convolucionales superiores en el entorno no supervisado.

El aprendizaje no supervisado y autosupervisado ¹ o aprendizaje sin datos etiquetados por humanos, es un desafío de larga duración del aprendizaje automático. Recientemente, ha tenido un increíble éxito en lenguaje: modelos transformadores² como BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ y otras variantes^{7, 8, 9 y 10} han logrado un rendimiento superior en una amplia variedad de tareas de lenguaje. Sin embargo, la misma amplia clase de modelos no fue exitosa en la producción de características sólidas de clasificación de imágenes.¹¹ Nuestro trabajo tiene la finalidad de comprender y salvar estas diferencias.

Los modelos transformadores como BERT y GPT‑2 son independientes de dominio, lo que significa que pueden aplicarse directamente a secuencias de 1D de cualquier forma. Cuando entrenamos GPT‑2 en imágenes desenrolladas en secuencias largas de píxeles, que llamamos iGPT, descubrimos que el modelo parece comprender características de imágenes 2D como el aspecto y la categoría del objeto. Esto se evidencia por el diverso rango de muestras de imágenes coherentes que genera, incluso sin la orientación de etiquetas provistas por humanos. Como prueba adicional, las características del modelo alcanzan un rendimiento de última generación en una cantidad de conjuntos de datos sin clasificación y precisión casi sin supervisión de última generación^A en ImageNet.

1. Solo mostramos precisión de sonda lineal en ImageNet para iGPT‑XL dado que otros experimentos no terminaron antes de que necesitáramos pasar a diferentes instalaciones de supercomputación.
2. Bit-L, entrenado en JFT (300 millones de imágenes con 18 000 clases), alcanzaron un resultado de 99,3.

Para destacar el potencial de modelado de secuencia^{19, 20, 21 y 22} generativa^{17 y 18} como un algoritmo de aprendizaje no supervisado de propósito general, usamos deliberadamente la misma arquitectura transformadora como GPT‑2 en el lenguaje. Como consecuencia, requerimos significativamente más cómputos para producir características competitivas con aquellas de redes convolucionales no supervisadas superiores.^{13, 23, 24, 25 y 12} Sin embargo, nuestros resultados sugieren que cuando nos enfrentamos a un nuevo dominio donde se desconocen los antecedentes del modelo correcto, un GPT‑2 puede aprender características excelentes sin necesidad de opciones de diseño arquitectónicas específicas al dominio ^{26, 27 y 28}.

En lenguaje, algoritmos de aprendizaje no supervisado que dependen de la predicción de palabras (como GPT‑2 y BERT) han tenido gran éxito, ya que han alcanzado un rendimiento superior en una amplia variedad de tareas de lenguaje. Un posible motivo de este éxito es que las instancias de tareas de lenguaje de salida aparecen naturalmente en el texto: las preguntas a menudo son seguidas de respuestas (lo cual podría ayudar con la respuesta a preguntas) y los fragmentos a menudo son seguidos de resúmenes (lo cual podría ayudar con la recapitulación). Por el contrario, las secuencias de píxeles no contienen claramente etiquetas para las imágenes a las que pertenecen.

Incluso sin esta supervisión explícita, aún hay un motivo por el que GPT‑2 podría funcionar en imágenes: un transformador lo suficientemente grande entrenado en la predicción del siguiente píxel podría eventualmente aprender a generar muestras diversas^B con objetos claramente identificables. Una vez que aprenda a hacerlo, una idea conocida como “Análisis por síntesis”^{29, 30 y C} sugiere que el modelo también sabrá sobre categorías de objetos. Esta idea motivó a muchos modelos generativos preliminares^{31, 32, 33, 34, 35 y 36} y más recientemente, BigBiGAN³⁷ fue un ejemplo que produjo muestras y características favorables. En nuestro trabajo, primero mostramos que mejores modelos generativos logran un rendimiento de clasificación más sólido. Luego, gracias a la optimización de GPT‑2 para capacidades generativas, logramos un rendimiento de clasificación de primer nivel en muchos entornos, lo que brinda más pruebas para el análisis por síntesis.

El modelado generativo de secuencias es un algoritmo de aprendizaje no supervisado universal: dado que todos los tipos de datos se pueden representar como secuencias de bytes, un transformador puede aplicarse directamente a cualquier tipo de dato sin ingeniería adicional. Nuestro trabajo prueba el poder de esta generalización mediante la aplicación directa de la arquitectura usada para entrenar GPT‑2 en lenguaje natural para la generación de imágenes. Deliberadamente elegimos renunciar a la codificación manual de cualquier conocimiento específico de imágenes en forma de convoluciones³⁸ o técnicas como atención relativa,³⁹ atención dispersa,⁴⁰ e integraciones de posición 2D.²⁷

Como consecuencia de esta generalización, nuestro método requiere significativamente más cómputos para alcanzar un rendimiento competitivo en el entorno no supervisado. De hecho, los métodos contrastivos^{41, 42, 43, 44, 45, 13, 23, 24, 25 y 12} aún son los métodos más eficientes computacionalmente para producir características de alta calidad a partir de imágenes. Sin embargo, al mostrar que un modelo transformador no supervisado es competitivo con las mejores redes convolucionales no supervisadas^{24, 25 y 12}, proporcionamos evidencia de que es posible compensar conocimiento de dominio codificado manualmente para cómputo. En dominios nuevos^{46 y 47}, donde no hay mucho conocimiento para codificar manualmente, el escalado de cómputos parece una técnica apropiada para probar.

Entrenamos iGPT‑S, iGPT‑M e iGPT‑L, transformadores que contienen 76 millones, 455 millones y 1400 millones de parámetros respectivamente, en ImageNet. También entrenamos iGPT‑XL^D, un transformador de 6800 millones de parámetros, en una mezcla de ImageNet e imágenes de la web. Debido al gran costo computacional del modelado de secuencias largas con atención densa, entrenamos a bajas resoluciones de 32x32, 48x48 y 64x64.

Aunque resulta tentador trabajar a resoluciones incluso más bajas para reducir más el costo de cómputos, trabajos previos han demostrado que el rendimiento humano en clasificación de imágenes comienza a disminuir rápidamente por debajo de estos tamaños. ⁴⁸ En cambio, motivados por paletas de visualización de color preliminares,⁴⁹ creamos nuestra propia paleta de color de 9 bits para representar píxeles. Con esta paleta se genera una secuencia de entrada 3 veces más corta que la paleta estándar (R, G, B) mientras aún codificamos el color con exactitud.

Existen dos métodos que usamos para evaluar el rendimiento del modelo y ambos implican una tarea de clasificación posterior. El primero, al que hacemos referencia como una sonda lineal, utiliza el modelo entrenado para extraer las características^E a partir de las imágenes en el conjunto de datos de salida y, luego, se adaptan a una regresión logística a las etiquetas. El segundo método ajusta ^F todo el modelo en el conjunto de datos de salida.

Dado que la siguiente predicción de píxeles no es obviamente relevante a la clasificación de imágenes, es posible que las características de la capa final no sean las más predictivas de la categoría del objeto. Nuestro primer resultado muestra que la calidad de la característica es una función que aumenta drásticamente y luego desciende ligeramente de profundidad. Este comportamiento sugiere que un modelo generativo de transformador opera en dos fases: en la primera fase, cada posición recopila información de su contexto circundante para crear una característica de imagen contextualizada. En la segunda fase, esta característica contextualizada se usa para resolver la siguiente tarea de predicción de píxeles condicional. El rendimiento observado de dos etapas de nuestras sondas lineales es evocador de otra red neuronal no supervisada, el autocodificador cuello de botella, que está diseñado manualmente para que se usen las características en el medio.

Nuestro siguiente resultado establece el enlace entre rendimiento generativo y la calidad de las características. Descubrimos que tanto el aumento de la escala de nuestros modelos como el entrenamiento para más iteraciones producen mejor rendimiento generativo, lo cual se refleja directamente en mejor calidad de las características.

Cuando evaluamos nuestras características con sondas lineales en CIFAR-10, CIFAR-100 y STL-10, conseguimos mejores resultados de las características de todos los algoritmos de transferencia supervisada y no supervisada. Nuestros resultados también son convincentes en el entorno de ajuste fino completo.

Una comparación de sonda lineal y precisiones de ajuste fino entre nuestros modelos y modelos de alto rendimiento que utilizan transferencia no supervisada y supervisada en ImageNet. También incluimos AutoAugment, el mejor modelo de rendimiento entrenado de extremo a extremo en CIFAR.

Dado el resurgimiento de interés en aprendizaje no supervisado y autosupervisado en ImageNet, también evaluamos el rendimiento de nuestros modelos usando sondas lineales en ImageNet. Este es un entorno particularmente difícil, dado que no entrenamos en la resolución de entrada estándar de ImageNet. Pese a eso, una sonda lineal sobre las 1536 características de la mejor capa de iGPT‑L entrenado en imágenes de 48x48 arroja un 65,2 % de precisión número 1, y consigue mejores resultados que AlexNet.

Por lo general, los métodos contrastivos informan sus mejores resultados en 8192 características, por lo que lo ideal sería evaluar iGPT con una dimensión de integración de 8192 para comparar. Sin embargo, entrenar un modelo así es demasiado costoso, por lo que, en su lugar, unimos características de múltiples capas como una aproximación. Desafortunadamente, nuestras características tienden a estar correlacionadas a lo largo de capas, por lo que necesitamos más de estas para ser competitivos. Tomar 15 360 características a partir de 5 capas en iGPT‑XL arroja un 72,0 % de precisión número 1, y consigue mejores resultados que AMDIM, MoCo y CPC v2, pero aún obtener resultados inferiores que SimCLR en un margen decente.

Una comparación de precisiones de sonda lineal entre nuestros modelos y los modelos autosupervisados de última generación. Logramos un rendimiento competitivo mientras entrenamos a resoluciones de entrada mucho más bajas, aunque nuestro método requiere más parámetros y cómputos.

Debido a que los modelos de lenguaje enmascarados como BERT han conseguido mejores resultados que los modelos generativos en la mayoría de las tareas de lenguaje, también evaluamos el rendimiento de BERT en nuestros modelos de imagen. En lugar de entrenar nuestro modelo para predecir el siguiente píxel dados todos los píxeles anteriores, enmascaramos 15 % de los píxeles y entrenamos nuestro modelo para predecirlos de los desenmascarados. Descubrimos que, aunque el rendimiento de la sonda lineal en modelos BERT es significativamente peor, sobresalen durante el ajuste fino:

A pesar de las excelentes características de promesas de aprendizaje no supervisado sin necesidad de datos etiquetados por humanos, recientemente se lograron avances significativos bajo el marco flexible de aprendizaje semisupervisado, lo que permite cantidades limitadas de datos etiquetados por humanos. Los métodos semisupervisados exitosos a menudo dependen de técnicas más inteligentes, como regularización de consistencia, aumento de datos o seudoetiquetado, y los enfoques con base puramente generativa ^{54 y 55} no han sido competitivos durante años. Evaluamos iGPT‑L^G en una referencia competitiva para este subcampo y descubrimos que una sonda lineal simple sobre características a partir de imágenes aumentadas consigue mejores resultados que Mean Teacher⁵⁶ y MixMatch⁵⁷, aunque obtiene resultados inferiores a FixMatch.⁵⁹

Una comparación de rendimiento en CIFAR-10 de datos bajos. Al aprovechar muchas imágenes de ImageNet no etiquetadas, iGPT‑L es capaz de conseguir mejores resultados en métodos como Mean Teacher y MixMatch, pero todavía obtiene resultados inferiores en métodos de última generación. Nuestro enfoque para el aprendizaje semisupervisado es muy simple, dado que solo ajustamos un clasificador de regresión logística en características de iGPT‑L sin ningún aumento de datos o ajuste fino, una diferencia significativa de enfoques semisupervisados especialmente diseñados.

A pesar de que mostramos que iGPT es capaz de aprender potentes características de imágenes, aún existen limitaciones significativas a nuestro enfoque. Dado que usamos el transformador de secuencia genérica utilizado para GPT‑2 en lenguaje, nuestro método requiere grandes cantidades de cómputo: iGPT‑L recibió entrenamiento para casi 2500 días a V100, mientras que un modelo MoCo24⁠ de rendimiento similar se puede entrenar en casi 70 días a V100.

En relación con lo anterior, modelamos entradas de resolución baja usando un transformador, mientras que la mayoría de los resultados supervisados usan codificadores con base convolucional que pueden fácilmente consumir entradas a alta resolución. Es posible que una arquitectura nueva, como un transformador multiescala de dominio independiente, requiera escalar más. Dadas estas limitaciones, nuestro trabajo principalmente sirve como demostración de prueba de concepto de la capacidad de modelos de lenguaje basada en grandes transformadores para aprender excelentes representaciones no supervisadas en dominios noveles, sin necesidad de conocimiento de dominio preprogramado. Sin embargo, el significativo costo de recursos para entrenar estos modelos y la mayor precisión de red neurológica convolucional basada en métodos descarta estas representaciones de aplicaciones prácticas en el mundo real en el dominio de la visión.

Por último, los modelos generativos pueden mostrar sesgos que son consecuencia de los datos sobre los que se entrenaron. Muchos de estos sesgos son útiles, como suponer que una combinación de píxeles marrones y verdes representa una rama cubierta de hojas, y luego usar este sesgo para continuar la imagen. Pero algunos de estos sesgos serán nocivos cuando se consideren a través de una lente de imparcialidad y representación. Por ejemplo, si el modelo desarrolla una noción visual de un científico que sesga hombres, entonces podría completar de forma consistente imágenes de científicos con personas que presentan hombres, en lugar de una mezcla de géneros. Creemos que los desarrolladores deberán prestar más atención a los datos que alimentan en sus sistemas y comprender mejor cómo se relaciona a sesgos en modelos entrenados.

Demostramos que al compensar el conocimiento 2D para escala⁶⁰ y al seleccionar características predictivas desde el medio de la red, un transformador de secuencias puede ser competitivo con redes convolucionales superiores para la clasificación de imágenes no supervisadas. En especial, logramos nuestros resultados al aplicar directamente el modelo de lenguaje GPT‑2 a la generación de imágenes. Nuestros resultados sugieren que debido a su simplicidad y generalización, un transformador de secuencias con suficiente cómputo podría finalmente ser una forma eficaz de aprender excelentes características en muchos dominios.

Si te emociona trabajar con nosotros en esta área de investigación, estamos contratando⁠.