DALL·E: Membuat gambar dari teks

DALL·E adalah versi GPT‑3⁠(terbuka di jendela baru) dengan 12 miliar parameter yang dilatih untuk membuat gambar dari deskripsi teks, menggunakan kumpulan data pasangan teks–gambar. Kami telah menemukan bahwa DALL·E memiliki rangkaian kemampuan yang beragam, termasuk menciptakan versi antropomorfis dari hewan dan objek, menggabungkan konsep yang tidak terkait dengan cara yang masuk akal, menyajikan teks, serta menerapkan transformasi pada gambar yang ada.

Lihat semua: DALL·E 2⁠, yang membuat gambar lebih realistis dan akurat dengan resolusi 4x lebih besar.

GPT‑3 menunjukkan bahwa bahasa dapat digunakan untuk menginstruksikan jaringan saraf besar untuk melakukan berbagai tugas pembuatan teks. Image GPT⁠ menunjukkan bahwa jenis jaringan saraf yang sama juga dapat digunakan untuk membuat gambar dengan fidelitas tinggi. Kami memperluas temuan-temuan ini untuk menunjukkan bahwa memanipulasi konsep visual melalui bahasa sekarang dapat dicapai.

Seperti GPT‑3, DALL·E adalah model bahasa transformer. DALL·E menerima teks dan gambar sebagai aliran data tunggal yang memuat hingga 1280 token, dan dilatih menggunakan kemungkinan maksimum untuk membuat semua token, satu demi satu. ^A

Prosedur pelatihan ini mengizinkan DALL·E tidak hanya membuat gambar dari awal, tetapi juga membuat ulang setiap wilayah persegi panjang dari gambar yang ada yang meluas ke sudut kanan bawah, dengan cara yang konsisten dengan prompt teks.

Kami menyadari bahwa pekerjaan yang melibatkan model generatif berpotensi memberikan dampak sosial yang signifikan dan luas. Di masa mendatang, kami berencana untuk menganalisis cara model seperti DALL·E berkaitan dengan masalah sosial seperti dampak ekonomi pada proses kerja dan profesi tertentu, potensi bias dalam keluaran model, serta tantangan etika jangka panjang yang tersirat oleh teknologi ini.

Kami menemukan bahwa DALL·E mampu membuat gambar yang masuk akal untuk berbagai macam kalimat yang menjelajahi struktur komposisi bahasa. Kami mengilustrasikan ini menggunakan rangkaian visual interaktif di bagian berikutnya. Sampel yang ditampilkan untuk setiap keterangan dalam visual diperoleh dengan mengambil 32 teratas dari 512 setelah diberi peringkat ulang dengan CLIP⁠, tetapi kami tidak menggunakan pemilihan manual, selain dari gambar mini dan gambar mandiri yang muncul di luar.^B

Kami menguji kemampuan DALL·E untuk mengubah beberapa atribut objek, serta seberapa sering objek muncul.

Mengendalikan beberapa objek, atributnya, dan hubungan spasialnya secara bersamaan menghadirkan tantangan baru. Misalnya, perhatikan frasa “landak yang memakai topi merah, sarung tangan kuning, kemeja biru, dan celana hijau”. Untuk menafsirkan kalimat ini dengan benar, DALL·E tidak hanya harus menyusun setiap potong pakaian dengan hewan secara benar, tetapi juga membentuk asosiasi (topi, merah), (sarung tangan, kuning), (kemeja, biru), dan (celana, hijau) tanpa mencampurnya ^C

 Kami menguji kemampuan DALL·E untuk melakukan ini dalam menentukan posisi relatif, menumpuk objek, dan mengendalikan beberapa atribut.

Meskipun DALL·E menawarkan beberapa tingkat pengendalian atas atribut dan posisi sejumlah kecil objek, tingkat keberhasilan dapat bergantung pada cara keterangan diungkapkan. Karena makin banyak objek yang diperkenalkan, DALL·E cenderung membingungkan asosiasi antara objek dan warnanya, serta tingkat keberhasilannya menurun tajam. Kami juga mencatat bahwa DALL·E rapuh sehubungan dengan penyusunan ulang keterangan dalam skenario ini: keterangan alternatif, yang setara secara semantik sering kali tidak menghasilkan penafsiran yang benar.

Kami menemukan bahwa DALL·E juga mengizinkan kontrol atas sudut pandang pemandangan dan gaya 3D tempat pemandangan ditampilkan.

Untuk mendorong ini lebih jauh, kami menguji kemampuan DALL·E untuk menggambar kepala tokoh terkenal secara berulang di setiap sudut dari serangkaian sudut yang diberi jarak sama, dan menemukan bahwa kami dapat memulihkan animasi halus dari kepala yang berputar.

DALL·E tampaknya mampu menerapkan beberapa jenis distorsi optik pada pemandangan, seperti kita lihat pada opsi “tampilan lensa mata ikan” dan “panorama bulat”. Ini memotivasi kami untuk menjelajahi kemampuannya dalam membuat refleksi.

Sampel dari gaya “tampilan jarak dekat ekstrem” dan “sinar-X” mengarahkan kami untuk lebih jauh menjelajahi kemampuan DALL·E dalam menyajikan struktur internal dengan tampilan penampang melintang, dan struktur eksternal dengan fotografi makro.

Tugas untuk menerjemahkan teks ke gambar kurang spesifik: satu keterangan pada umumnya berhubungan dengan jumlah gambar yang masuk akal dan tidak terbatas, sehingga gambar tersebut tidak ditentukan secara unik. Misalnya, perhatikan keterangan “lukisan kapibara yang sedang duduk di ladang saat matahari terbit”. Bergantung pada orientasi kapibara, mungkin perlu menggambar bayangan, meskipun detail ini tidak pernah disebutkan secara eksplisit. Kami menjelajahi kemampuan DALL·E untuk mengatasi kekurangan spesifikasi dalam tiga kasus: mengubah gaya, latar, dan waktu; menggambar objek yang sama dalam berbagai situasi yang berbeda; dan membuat gambar objek dengan teks tertentu yang tertulis di atasnya.

Dengan berbagai tingkat keandalan, DALL·E menyediakan akses ke sub-bagian dari kemampuan mesin rendering 3D melalui bahasa alami. DALL·E dapat mengendalikan secara mandiri atribut sejumlah kecil objek, dan hingga batas tertentu, jumlah objek yang ada, dan cara objek tersebut disusun sehubungan dengan satu sama lain. DALL·E juga dapat mengendalikan lokasi dan sudut pemandangan ditampilkan, serta dapat membuat objek yang diketahui sesuai dengan spesifikasi sudut dan kondisi pencahayaan yang tepat.

Berbeda dengan mesin rendering 3D, yang masukannya harus ditentukan secara jelas dan terperinci, DALL·E sering kali mampu “mengisi kekosongan” saat keterangan menyiratkan bahwa gambar harus memuat detail tertentu yang tidak dinyatakan secara eksplisit.

Selanjutnya, kami menjelajahi penggunaan kemampuan sebelumnya untuk mode dan desain interior.

Sifat komposisi bahasa memungkinkan untuk menyatukan konsep untuk menggambarkan hal nyata dan imajiner. Kami menemukan bahwa DALL·E juga memiliki kemampuan untuk menggabungkan ide yang berbeda untuk mempersatukan objek, beberapa di antaranya tidak mungkin ada di dunia nyata. Kami menjelajahi kemampuan ini dalam dua contoh: melakukan transfer kualitas dari berbagai konsep ke hewan, dan merancang produk dengan mengambil inspirasi dari konsep yang tidak berkaitan.

Pada bagian sebelumnya, kami telah menjelajahi kemampuan DALL·E untuk menggabungkan konsep yang tidak berkaitan saat membuat gambar objek dunia nyata. Di sini, kami menjelajahi kemampuan ini dalam konteks seni, untuk tiga jenis ilustrasi: versi antropomorfis hewan dan objek, chimera hewan, dan emoji.

GPT‑3 dapat diinstruksikan untuk melakukan berbagai jenis tugas hanya berdasarkan deskripsi dan isyarat untuk membuat jawaban yang diberikan dalam prompt, tanpa pelatihan tambahan. Misalnya, saat prompt dengan frasa “ini kalimatnya ‘seseorang sedang mengajak anjingnya jalan di taman’ yang diterjemahkan ke bahasa Prancis:”, GPT‑3 menjawab “un homme qui promène son chien dans le parc”. Kemampuan ini disebut dengan penalaran zero-shot. Kami menemukan bahwa DALL·E memperluas kemampuan ini ke domain visual, dan mampu melakukan beberapa jenis tugas terjemahan gambar ke gambar saat diberi prompt dengan cara yang benar.

Kami tidak mengantisipasi bahwa kemampuan ini akan muncul, dan tidak melakukan modifikasi pada jaringan saraf atau prosedur pelatihan untuk mendorongnya. Termotivasi hasil ini, kami mengukur kemampuan DALL·E untuk masalah penalaran analogis dengan mengujinya pada matriks progresif Raven, tes IQ visual yang digunakan secara luas pada abad ke-20.

Kami menemukan bahwa DALL·E telah mempelajari tentang fakta geografis, tempat terkenal, dan lingkungan sekitar. Pengetahuannya mengenai konsep ini secara mengejutkan tepat dalam beberapa hal dan cacat dalam hal lain.

Selain menjelajahi pengetahuan DALL·E tentang konsep yang bervariasi di berbagai ruang, kami juga menjelajahi pengetahuannya tentang konsep yang bervariasi seiring waktu.

DALL·E adalah transformer khusus dekoder sederhana yang menerima teks dan gambar sebagai aliran tunggal sebanyak 1280 token—256 token untuk teks dan 1024 token untuk gambar—dan membuat model semuanya secara autoregresi. Lapisan perhatian pada masing-masing dari 64 lapisan perhatian diri memungkinkan setiap token gambar memperhatikan semua token teks. DALL·E menggunakan lapisan kausal standar untuk token teks, dan perhatian yang jarang untuk token gambar dengan pola perhatian baris, kolom, atau konvolusional, bergantung pada lapisannya. Kami menyediakan detail selengkapnya tentang arsitektur dan prosedur pelatihan dalam makalah⁠(terbuka di jendela baru) kami.

Sintesis teks ke gambar telah menjadi bidang riset aktif sejak pekerjaan perintis Reed dkk.,¹ yang pendekatannya menggunakan GAN yang dikondisikan pada penyematan teks. Penyematan dihasilkan oleh enkoder yang telah dilatih menggunakan kehilangan kontras, tidak seperti CLIP. StackGAN³ dan StackGAN++⁴ menggunakan GAN multi-skala untuk meningkatkan skala resolusi gambar dan meningkatkan fidelitas visual. AttnGAN⁵ menggabungkan perhatian antara fitur teks dan gambar, serta mengusulkan kehilangan pencocokan fitur teks-gambar kontrastif sebagai tujuan tambahan. Ini menarik untuk dibandingkan dengan pemberian peringkat ulang kami dengan CLIP, yang dilakukan secara offline. Penelitian lain^{2, 6, 7} menggabungkan sumber pengawasan tambahan selama pelatihan untuk meningkatkan kualitas gambar. Terakhir, penelitian oleh Nguyen dkk.⁸ dan Cho dkk.⁹ menjelajahi strategi berbasis pengambilan sampel untuk pembuatan gambar yang memanfaatkan model diskriminatif multimodal yang telah dilatih sebelumnya.

Mirip dengan pengambilan sampel penolakan yang digunakan dalam VQVAE-2⁠(terbuka di jendela baru), kami menggunakan CLIP⁠ untuk memberikan peringkat ulang 32 dari 512 sampel teratas untuk setiap keterangan di semua visual interaktif. Prosedur ini juga dapat dilihat sebagai semacam pencarian yang dipandu bahasa¹⁶, dan dapat berdampak dramatis terhadap kualitas sampel.