DALL·E: Bilder anhand von Text erstellen

DALL·E ist eine 12-Milliarden-Parameter-Version von GPT‑3⁠(wird in einem neuen Fenster geöffnet), trainiert, um mithilfe eines Datensatzes aus Text-Bild-Paaren Bilder anhand von Textbeschreibungen zu generieren. Wir haben erkannt, dass es über vielfältige Fähigkeiten verfügt, darunter das Erstellen vermenschlichter Versionen von Tieren und Objekten, die plausible Kombination nicht zusammenhängender Konzepte, die Darstellung von Text und die Transformation bestehender Bilder.

Siehe auch:  DALL·E 2⁠ generiert noch realistischere und genauere Bilder mit einer viermal höheren Auflösung.

GPT‑3 hat gezeigt, dass ein großes neuronales Netzwerk durch Sprache angewiesen werden kann, verschiedene Aufgaben zur Textgenerierung auszuführen. Image GPT⁠ hat gezeigt, dass derselbe Typ eines neuronalen Netzwerks auch zum Generieren von Bildern mit hoher Wiedergabetreue verwendet werden kann. Wir erweitern diese Erkenntnisse, um zu zeigen, dass die Manipulation visueller Konzepte durch Sprache mittlerweile in greifbarer Nähe ist.

DALL·E ist, genau wie GPT‑3, ein Transformer-Sprachmodell. Es empfängt sowohl den Text als auch das Bild als einen einzigen Datenstrom mit bis zu 1280 Tokens und wird mit Maximum-Likelihood trainiert, um alle Tokens nacheinander zu generieren. ^A

Dank dieses Trainingsverfahrens kann DALL·E nicht nur ein Bild von Grund auf neu generieren, sondern auch alle rechteckigen Bereiche eines bestehenden Bildes, die sich bis zur unteren rechten Ecke erstrecken, auf eine Weise regenerieren, die der Textaufforderung entspricht.

Wir wissen, dass die Arbeit mit generativen Modellen potenziell erhebliche und weitreichende Auswirkungen auf die Gesellschaft haben kann. Künftig möchten wir analysieren, wie Modelle wie DALL·E mit gesellschaftlichen Anliegen wie den wirtschaftlichen Auswirkungen auf bestimmte Arbeitsabläufe und Berufe, der Möglichkeit einer Verzerrung der Modellergebnisse und den längerfristigen ethischen Herausforderungen, die diese Technologie mit sich bringt, verknüpft sind.

Es zeigt sich, dass DALL·E in der Lage ist, plausible Bilder für eine große Vielfalt von Sätzen zu erstellen, die die Kompositionsstruktur von Sprache erkunden. Wir veranschaulichen dies im nächsten Abschnitt anhand einer Reihe interaktiver Grafiken. Die für jede Bildunterschrift in den Bildern gezeigten Beispiele werden durch die Auswahl der Top 32 von 512 nach einer Neubewertung mit CLIP⁠ ermittelt. Abgesehen von den Miniaturansichten und eigenständigen Bildern, die außerhalb erscheinen, verwenden wir jedoch keine selektive Auswahl.^B

Wir testen die Fähigkeit von DALL·E, mehrere Attribute eines Objekts zu ändern, sowie die Häufigkeit, in der es erscheint.

Die gleichzeitige Steuerung von mehreren Objekten, ihren Eigenschaften und ihren räumlichen Beziehungen stellt uns vor eine neue Herausforderung. Nehmen wir z. B. den Satz „Ein Igel mit einer roten Mütze, gelben Handschuhen, einem blauen Hemd und einer grünen Hose.“ Um diesen Satz korrekt zu interpretieren, muss DALL·E nicht nur jedes Kleidungsstück dem Tier richtig zuordnen, sondern auch die Assoziationen (Hut, rot), (Handschuhe, gelb), (Hemd, blau) und (Hose, grün) bilden, ohne sie zu verwechseln ^C

 Wir testen die Fähigkeit von DALL·E, dies für die relative Positionierung, das Stapeln von Objekten und die Steuerung mehrerer Eigenschaften umzusetzen.

Während DALL·E zwar ein gewisses Maß an Kontrolle über die Eigenschaften und Positionen einer kleinen Anzahl von Objekten bietet, kann die Erfolgsrate von der Formulierung der Bildunterschrift abhängen. Wenn mehr Objekte eingeführt werden, neigt DALL·E dazu, die Assoziationen zwischen den Objekten und ihren Farben zu verwechseln, und die Erfolgsrate nimmt stark ab. Wir stellen zudem fest, dass DALL·E in diesen Szenarien hinsichtlich der Umformulierung der Bildunterschrift schwankend ist: Alternative, semantisch gleichwertige Bildunterschriften führen häufig zu keinen richtigen Interpretationen.

Wir sehen, dass DALL·E auch die Kontrolle über den Blickwinkel einer Szene und den 3D-Stil ermöglicht, in dem eine Szene gerendert wird.

Um dies weiterzuentwickeln, testen wir die Fähigkeit von DALL·E, den Kopf einer bekannten Figur aus einer Reihe gleichmäßig verteilter Winkel wiederholt in jedem Winkel zu zeichnen. Dabei gelingt es uns, eine flüssige Animation des rotierenden Kopfes wiederherzustellen.

DALL·E scheint in der Lage zu sein, bestimmte Arten optischer Verzerrungen auf Szenen anzuwenden, wie wir an den Optionen „Fischaugenobjektiv-Ansicht“ und „Kugelpanorama“ erkennen können. Dies hat uns motiviert, seine Fähigkeit zum Generieren von Reflexionen zu erkunden.

Die Beispiele aus den Stilen „extreme Nahaufnahme“ und „X-Ray“ haben uns dazu veranlasst, die Fähigkeit von DALL·E, innere Strukturen mit Querschnittsansichten und äußere Strukturen mit Makrofotografien darzustellen, weiter zu untersuchen.

Die Aufgabe, Text in Bilder zu übersetzen, ist nicht genau genug bestimmt: Eine einzelne Bildunterschrift entspricht im Allgemeinen einer Unendlichkeit plausibler Bilder, sodass das Bild nicht eindeutig festgelegt ist. Betrachten wir beispielsweise die Bildunterschrift „Ein Gemälde eines Wasserschweins, das bei Sonnenaufgang auf einem Feld sitzt.“ Je nach Ausrichtung des Wasserschweins kann es notwendig sein, einen Schatten zu zeichnen, wenngleich dieses Detail nicht explizit erwähnt wird. Wir erkunden die Fähigkeit von DALL·E, Unterspezifizierungen in drei Fällen zu beheben: Ändern von Stil, Einstellung und Zeit; Zeichnen desselben Objekts in einer Vielzahl unterschiedlicher Szenarien; und Generieren eines Bilds eines Objekts mit darauf geschriebenem spezifischem Text.

Mit unterschiedlichem Verlässlichkeitsgrad bietet DALL·E über natürliche Sprache Zugriff auf eine Teilmenge der Funktionen einer 3D-Wiedergabe-Engine. Es kann die Eigenschaften einer kleinen Anzahl von Objekten und in begrenztem Umfang auch deren Anzahl sowie deren Anordnung zueinander selbstständig steuern. Es kann außerdem den Ort und Winkel kontrollieren, aus dem eine Szene gerendert wird, und bekannte Objekte unter Einhaltung präziser Vorgaben zu Winkel und Lichtverhältnissen generieren.

Anders als bei einer 3D-Wiedergabe-Engine, deren Eingaben eindeutig und detailliert angegeben werden müssen, kann DALL·E häufig „die Lücken füllen“, wenn aus der Bildunterschrift hervorgeht, dass das Bild ein bestimmtes Detail enthalten muss, das nicht explizit angegeben ist.

Als Nächstes erkunden wir den Einsatz der vorhergehenden Funktionen im Bereich Mode und Innenarchitektur.

Die kompositorische Natur von Sprache ermöglicht es uns, Konzepte zusammenzustellen, um sowohl reale als auch imaginäre Dinge zu beschreiben. Wir stellen fest, dass DALL·E auch die Fähigkeit besitzt, unterschiedliche Ideen zu kombinieren, um Objekte zu synthetisieren, von denen einige vermutlich in der Wirklichkeit nicht existieren. Wir untersuchen diese Fähigkeit in zwei Fällen: durch die Übertragung von Eigenschaften verschiedener Konzepte auf Tiere und durch die Entwicklung von Produkten, indem wir uns von nicht verwandten Konzepten inspirieren lassen.

Im vorherigen Abschnitt haben wir die Fähigkeit von DALL·E untersucht, bei der Generierung von Bildern von realen Objekten nicht zusammenhängende Konzepte miteinander zu kombinieren. Nun erkunden wir diese Fähigkeit im Kontext der Kunst anhand von drei Arten von Illustrationen: vermenschlichte Versionen von Tieren und Objekten, Tierchimären und Emojis.

GPT‑3 kann angewiesen werden, viele Arten von Aufgaben ausschließlich anhand einer Beschreibung und eines Hinweises auszuführen, um die in seinem Prompt angegebene Antwort zu generieren, ohne dass zusätzliches Training erforderlich ist. Wenn GPT‑3 beispielsweise den Prompt erhält „Hier ist der Satz ‚Eine Person geht mit ihrem Hund im Park spazieren‘ ins Französische übersetzt“, antwortet es: „un homme qui promène son chien dans le parc.“ Diese Funktion wird als Zero-Shot-Reasoning bezeichnet. DALL·E kann diese Fähigkeit auf den visuellen Bereich ausweiten und ist in der Lage, mehrere Arten von Bild-zu-Bild-Übersetzungsaufgaben auszuführen, wenn es entsprechend dazu aufgefordert wird.

Wir haben nicht mit der Entstehung dieser Fähigkeit gerechnet und haben keine Änderungen am neuronalen Netzwerk oder am Trainingsverfahren vorgenommen, um sie zu fördern. Durch diese Ergebnisse motiviert messen wir die Eignung von DALL·E für Probleme des analogen Denkens, indem wir es anhand der progressiven Matrizen von Raven testen, einem visuellen IQ-Test, der im 20. Jahrhundert geläufig war.

Wir sehen, dass DALL·E etwas über geografische Fakten, Sehenswürdigkeiten und Wohngegenden gelernt hat. Das Wissen über diese Konzepte ist in mancherlei Hinsicht überraschend präzise und in anderer Hinsicht fehlerhaft.

Wir erkunden DALL·Es Wissen über Konzepte, die sich über Zeit und Raum verändern.

DALL·E ist ein einfacher, reiner Decoder-Transformator, der sowohl den Text als auch das Bild als einen einzigen Datenstrom von 1280 Tokens empfängt – 256 für den Text und 1024 für das Bild – und diese autoregressiv modelliert. Die Aufmerksamkeitsmaske in jeder ihrer 64 Selbstaufmerksamkeitsebenen ermöglicht es jedem Bild-Token, alle Text-Tokens zu berücksichtigen. DALL·E nutzt die standardmäßige Kausalmaske für die Text-Tokens und spärliche Aufmerksamkeit für die Bild-Tokens, je nach Ebene entweder mit einem Zeilen-, Spalten- oder Faltungsaufmerksamkeitsmuster. Weitere Einzelheiten zur Architektur und zum Trainingsverfahren findest du in unserer Abhandlung⁠(wird in einem neuen Fenster geöffnet).

Die Text-zu-Bild-Synthese ist seit der Pionierarbeit von Reed et al.¹ ein aktives Forschungsgebiet. Der Ansatz verwendet ein GAN, das auf Texteinbettungen basiert. Die Einbettungen werden von einem Encoder erzeugt, der mit einem Kontrastverlust vorab trainiert wurde, ähnlich wie CLIP. StackGAN³ und StackGAN++⁴ verwenden Multi-Skalierungs-GANs, um die Bildauflösung zu erhöhen und die Wiedergabetreue zu optimieren. AttnGAN⁵ integriert die Aufmerksamkeit zwischen den Text- und Bildmerkmalen und schlägt als zusätzliches Ziel einen kontrastiven Verlust der Text-Bild-Merkmalsübereinstimmung vor. Der Vergleich mit unserer Neubewertung mit CLIP, die offline durchgeführt wird, ist hierbei interessant. Andere Arbeiten^{2, 6 und 7} integrieren zusätzliche Überwachungsquellen während des Trainings, um die Bildqualität zu verbessern. Nguyen et al. ⁸ und Cho et al. ⁹ untersuchen in ihrer Arbeit schließlich stichprobenbasierte Strategien zur Bildgenerierung, die vorab trainierte multimodale Unterscheidungsmodelle nutzen.

Ähnlich wie bei der in VQVAE-2⁠(wird in einem neuen Fenster geöffnet) verwendeten Ablehnungsstichprobe verwenden wir CLIP⁠, um die Top 32 von 512 Stichproben für jede Bildunterschrift in allen interaktiven visuellen Elementen neu zu bewerten. Dieses Verfahren kann auch als eine Art sprachgesteuerte Suche betrachtet werden¹⁶ und kann sich erheblich auf die Probenqualität auswirken.