CLIP: conexión de texto e imágenes

Estamos introduciendo una red neuronal llamada CLIP, que aprende conceptos visuales de manera eficaz a partir de la supervisión del lenguaje natural. CLIP puede aplicarse en cualquier prueba comparativa de clasificación visual sencillamente indicando los nombres de las categorías visuales que deben reconocerse, de forma similar a las capacidades zero shot de GPT‑2 y GPT‑3.

En los últimos tiempos, el aprendizaje profundo ha revolucionado el campo de la visión artificial. No obstante, los métodos actuales presentan algunas deficiencias importantes. Los conjuntos de datos de visión estándar son caros y lentos de producir, y solo permiten entrenar un conjunto limitado de conceptos visuales. Además, los modelos estándar son eficaces para abordar tareas específicas, pero son complicados de adaptar a nuevas tareas. Finalmente, los modelos que obtienen buenos resultados en las pruebas comparativas presentan un rendimiento deficiente en condiciones de estrés,^{1, 2, 3 y 4} lo cual cuestiona la eficacia del modelo de aprendizaje profundo empleado para la visión artificial.

La red neuronal de OpenAI tiene la finalidad de poner punto final a estos problemas. Se entrena con una gran variedad de imágenes e integrando la supervisión de lenguaje natural a partir de conjuntos de datos ampliamente accesibles en internet. La red está diseñada para recibir instrucciones en lenguaje natural con el fin de que lleve a cabo una gran variedad de pruebas comparativas de clasificación, sin aplicar directamente optimizaciones de cara al rendimiento de las pruebas de referencia, de forma similar a las capacidades de entrenamiento zero shot⁠(se abre en una ventana nueva) de GPT‑2⁵ y GPT‑3.⁶. Esto supone un cambio importante porque, al no aplicar directamente optimizaciones para mejorar los resultados de las pruebas de rendimiento, el modelo se vuelve mucho más representativo: nuestro sistema reduce la diferencia de robustez en hasta un 75 % e iguala el rendimiento del modelo ResNet-50⁷ entrenado siguiendo el método zero shot con la base de imágenes ImageNet⁠(se abre en una ventana nueva), sin emplear ninguno de los 1,28 millones de ejemplos etiquetados originales.

CLIP (del inglés Contrastive Language–Image Pre-training) se nutre de los abundantes estudios sobre transferencia zero shot, supervisión del lenguaje natural y aprendizaje multimodal. El concepto del aprendizaje zero shot se remonta a más de una década.⁸ No obstante, hasta hace poco se estudiaba sobre todo en el campo de la visión artificial como un sistema para generalizar a categorías de objetos nunca vistas.^{9 y 10} Uno de los pilares fue aprovechar el lenguaje natural como espacio de predicción flexible para permitir la generalización y la transferencia. En 2013, Richard Socher y colaboradores de la universidad de Stanford¹¹ desarrollaron una prueba de concepto entrenando un modelo con CIFAR-10 para hacer predicciones en un espacio de incrustación de vectores de palabras. Los resultados revelaron que dicho modelo podía predecir dos clases nunca vistas. Ese mismo año, DeVISE¹² profundizó en este método y demostró que era posible optimizar un modelo de ImageNet para que adquiriera la capacidad de generalizar y predecir así objetos que no figuraban entre los 1000 del conjunto de datos de entrenamiento original.

Aún más inspirador para el nacimiento de CLIP fue el trabajo que Ang Li y coautores presentaron en FAIR,¹³ quienes en 2016 introdujeron el uso de la supervisión del lenguaje natural para habilitar la transferencia zero shot en varios conjuntos de datos de clasificación de visión artificial actuales, como el clásico conjunto de datos ImageNet. Para ello, optimizaron una CNN de ImageNet para que predijera un conjunto mucho más amplio de conceptos visuales (n-gramas visuales) a partir de texto (nombres, descripciones y etiquetas) procedente de 30 millones de fotos de Flickr, alcanzando una precisión del 11,5 % en ImageNet con zero shot.

Por último, CLIP está incluido en una serie de artículos del año pasado en los que se replantea el aprendizaje de representaciones visuales a partir de la supervisión del lenguaje natural. Esta línea de trabajo aplica arquitecturas más modernas, como la Transformer,³² e incluye VirTex,³³ que exploró el modelado del lenguaje autorregresivo; ICMLM,³⁴ que investigó el modelado enmascarado del lenguaje, y ConVIRT,³⁵ que estudió el mismo objetivo contrastivo que empleamos para CLIP, pero en el ámbito del diagnóstico por imagen.

Demostramos que basta con escalar una sencilla tarea de preentrenamiento para conseguir unos resultados zero shot competitivos en una gran variedad de conjuntos de datos de clasificación de imágenes. En nuestro método, partimos de una fuente de supervisión ampliamente disponible: el texto emparejado con imágenes de internet. Estos datos sirven para generar la siguiente tarea de entrenamiento proxy de CLIP: partiendo de una imagen, predecir cuál de los 32 768 fragmentos de texto muestreados aleatoriamente se asocia con ella en nuestro conjunto de datos.

Para resolver esta tarea, intuimos que los modelos CLIP tendrán que aprender a reconocer una gran variedad de conceptos visuales en imágenes y asociarlos con su denominación. Como resultado, los modelos CLIP podrán aplicarse a tareas de clasificación de imágenes casi arbitrarias. Por ejemplo, si un conjunto de datos tiene como objetivo distinguir entre fotos de perros y de gatos, podemos comprobar si, para cada imagen, el modelo CLIP predice el texto de la descripción que es más probable que vaya asociado con ella, como «una foto de un perro» o «una foto de un gato».

Diseñamos CLIP para abordar algunas deficiencias importantes de los métodos convencionales de aprendizaje profundo para la visión artificial.

Conjuntos de datos caros: el aprendizaje profundo requiere gran cantidad de datos y, tradicionalmente, los modelos para visión se han entrenado con conjuntos de datos etiquetados manualmente, que son muy caros de producir y solo proporcionan supervisión para una cantidad limitada de conceptos visuales específicos. Para crear el conjunto de datos ImageNet, uno de los más extensos en esta categoría, se contó con más de 25 000 trabajadores para etiquetar 14 millones de imágenes de 22 000 categorías de objetos. A diferencia de este sistema, CLIP aprende a partir de pares texto-imagen que son públicos en internet. Minimizar la dependencia de amplios conjuntos de datos etiquetados, cuya producción es muy laboriosa, ha sido objeto de estudio en múltiples publicaciones, entre las que destacan la del aprendizaje autosupervisado,^{14, 15 y 16} los métodos contrastivos,^{17, 18, 19, 20 y 21} los métodos de autoentrenamiento^{22 y 23} y el modelado generativo.^{24, 25, 26 y 27}

Generalización: el funcionamiento del modelo ImageNet es bueno a la hora de predecir las 1000 categorías de ImageNet, pero eso es todo lo que es capaz de hacer sin más optimizaciones. En caso de querer llevar a cabo cualquier otra tarea, el experto en ML tendrá que crear un nuevo conjunto de datos, definir un número de resultados y perfeccionar el modelo. Por el contrario, CLIP puede adaptarse para llevar a cabo multitud de tareas de clasificación visual sin necesidad de entrenamiento adicional. Para aplicar CLIP a una nueva tarea, basta con «decirle» al codificador de texto de CLIP los nombres de los conceptos visuales de la tarea para que genere un clasificador lineal de las representaciones visuales de CLIP. El nivel de precisión de dicho clasificador suele estar a la par de los modelos enteramente supervisados.

A continuación, mostramos predicciones aleatorias, sin selección manual, de los clasificadores zero shot de CLIP a partir de varios conjuntos de datos.

Rendimiento deficiente en escenarios reales: los sistemas de aprendizaje profundo suelen alcanzar un rendimiento equivalente al de un humano o incluso superior^{28 y A} en pruebas de referencia de visión. Sin embargo, puestos en práctica en el mundo real, los resultados pueden estar muy por debajo de los valores obtenidos en las pruebas. Dicho de otro modo, existe una brecha entre el «rendimiento en las pruebas comparativas» y el «rendimiento real». Sospechamos que esta diferencia se produce porque los modelos «hacen trampas» y buscan el máximo rendimiento en la prueba comparativa, de forma similar a cuando un estudiante aprueba un examen tras estudiar únicamente las preguntas que entraron en exámenes de otros años. Por el contrario, el modelo CLIP puede evaluarse en pruebas comparativas sin tener que entrenarse con sus datos, por lo que no puede comportarse de este modo. Como consecuencia, los resultados obtenidos en las pruebas comparativas son mucho más representativos de su rendimiento en un escenario real. Para contrastar la «hipótesis de las trampas», también evaluamos cómo influye en los resultados de CLIP la posibilidad de «estudiar» para ImageNet. Al añadir un clasificador lineal a las funciones de CLIP, la precisión del modelo mejora cerca de un 10 % en la prueba de ImageNet. Sin embargo, de media, el mismo clasificador no obtiene mejores resultados en un paquete de evaluación de otros siete conjuntos de datos que evalúan el nivel de «robustez».³⁰

1. CLIP es muy eficiente

CLIP puede aprender a partir de datos no filtrados, diversos y ruidosos, y está diseñado para usarse en escenarios zero shot. Sabemos por GPT‑2 y 3 que los modelos entrenados con este tipo de datos pueden alcanzar buenos resultados en condiciones zero shot. Sin embargo, dichos modelos exigen grandes recursos computacionales. Para minimizar estos requisitos, apostamos por una estrategia algorítmica con el fin de mejorar los resultados durante el proceso de entrenamiento.

Estas son las dos opciones algorítmicas que empleamos para optimizar los recursos computacionales. La primera opción fue definir un objetivo contrastivo para asociar el texto con las imágenes.^{31, 17 y 35} En un principio, nos planteamos un enfoque imagen-texto similar al de VirTex,³³ pero a la hora de escalarlo nos encontramos con varias dificultades. En experimentos a pequeña y mediana escala, descubrimos que el objetivo contrastivo que emplea CLIP es entre 4 y 10 veces más eficiente en la clasificación zero shot de ImageNet. La segunda opción fue adoptar el Transformer de visión,³⁶ que nos proporcionó una mejora adicional en la eficiencia computacional tres veces superior a la de una ResNet estándar. Como resultado, nuestro modelo CLIP más eficiente se entrena con 256 GPU durante dos semanas, similar a los modelos de imagen a gran escala actuales.^{37, 23, 38 y 36}

2. CLIP es flexible y genérico

Debido a que es capaz de aprender multitud de conceptos visuales a partir del lenguaje natural, los modelos CLIP son mucho más flexibles y genéricos que los modelos ImageNet actuales. Por ejemplo, hemos visto que son capaces de llevar a cabo muchas tareas distintas con un enfoque zero shot. Para contrastar este hallazgo, hemos evaluado el rendimiento zero shot de CLIP en más de 30 conjuntos de datos distintos, que abarcan tareas como la clasificación detallada de objetos, la geolocalización, el reconocimiento de acciones en vídeos y el OCR.^B En particular, el aprendizaje de OCR es un ejemplo de un comportamiento muy interesante que no se da en los modelos estándar de ImageNet. Arriba, vemos una predicción aleatoria, no seleccionada, para cada clasificador zero shot.

Este descubrimiento también se refleja en una evaluación del aprendizaje por representaciones estándar empleando sondas lineales. El mejor modelo CLIP supera al mejor modelo ImageNet disponible públicamente, el Noisy Student EfficientNet-L2,²³ en 20 de los 26 conjuntos de datos de transferencia que analizamos.

Aunque el modelo CLIP ha demostrado ser muy efectivo a la hora de reconocer objetos comunes, aún tiene dificultades con tareas más abstractas o sistemáticas, como contar el número de objetos que hay en una imagen, o con tareas más complejas, como determinar la distancia al coche más cercano en una imagen. En estos dos conjuntos de datos, el modelo CLIP con entrenamiento zero shot muestra un rendimiento ligeramente superior al de la predicción aleatoria. En comparación con los modelos para tareas específicas, CLIP también tiene dificultades con la clasificación de grupos muy detallados, como diferenciar entre modelos de coches, tipos de aeronaves o especies de flores.

Asimismo, tiene problemas para generalizar imágenes que no estaban incluidas en el conjunto de datos de preentrenamiento. Por ejemplo, si bien CLIP puede aprender un sistema de OCR competente, al evaluarlo con los dígitos escritos a mano del conjunto de datos MNIST, solo alcanza un 88 % de precisión en zero shot, muy por debajo del resultado del 99,75 % de los humanos. Para terminar, hemos observado que los clasificadores zero shot de CLIP son sensibles a la forma como se formulan o se redactan las etiquetas, y a menudo se necesita hacer ajustes adicionales en forma de ensayo y error para que el modelo rinda en estas situaciones.

CLIP permite a los usuarios crear sus propios clasificadores y no exige que los datos de entrenamiento sean específicos para la tarea en cuestión. La forma en la que se diseñan las clases puede influir notablemente tanto en el rendimiento como en los sesgos del modelo. Por ejemplo, hemos visto que cuando el modelo se entrena con un conjunto de etiquetas entre las cuales aparecen etiquetas raciales^C FairFace³⁹ y una serie de términos peyorativos, como «criminal» o «animal», hay un ~32,3 % más de probabilidades de que clasifique las imágenes de los individuos de 0 a 20 años en la categoría peyorativa. Sin embargo, cuando añadimos la clase «niño» a la lista de clases posibles, este comportamiento desciende hasta el ~8,7 %.

Además, dado que CLIP no precisa datos de entrenamiento específicos para cada tarea, puede facilitar tareas muy especializadas, algunas de las cuales pueden entrañar riesgos para la privacidad o la vigilancia. Abordaremos esta cuestión analizando el rendimiento de CLIP en la identificación de personajes famosos. En un escenario real, CLIP presenta una precisión del 59,2 % en la primera predicción de la clasificación de imágenes de famosos cuando le pedimos elegir entre 100 candidatos, y una precisión del 43,3 % en la primera predicción tras elegir entre 1000 opciones posibles. Por muy destacable que sea alcanzar estos resultados con un preentrenamiento que no tiene en cuenta las tareas, no pueden competir con los que ofrecen los modelos de producción del mercado. En nuestro artículo⁠(se abre en una ventana nueva), analizamos más a fondo los retos que plantea CLIP, y esperamos que nuestro trabajo inspire nuevas investigaciones sobre la descripción de las capacidades, las deficiencias y los sesgos de los modelos de estas características. Estamos deseando conocer las perspectivas de la comunidad científica con respecto a estas cuestiones.

A través de CLIP, hemos podido evaluar si el preentrenamiento con lenguaje natural procedente de internet y sin tareas específicas —que ha marcado un antes y un después en el campo del procesamiento del lenguaje natural— también puede servir para mejorar el rendimiento del aprendizaje profundo en otros ámbitos. Hasta ahora, los resultados que hemos obtenido en el campo de la visión artificial son muy prometedores. Como el resto de la familia GPT, CLIP es capaz de aprender una gran variedad de tareas durante la fase de preentrenamiento, hecho que hemos demostrado a partir de una transferencia zero shot. Asimismo, nuestros hallazgos sobre ImageNet también son reveladores, ya que apuntan a que la evaluación zero shot predice con mayor exactitud las capacidades de un modelo.