DALL·E: متن سے تصاویر بنانا

DALL·E ایک 12-ارب پیرامیٹر ورژن ہے جو GPT‑3⁠(نئی ونڈو میں کھلتا ہے) پر مبنی ہے، جو متن کی وضاحتوں سے تصاویر پیدا کرنا کے لیے تربیت یافتہ ہے، اور یہ متن–تصویر جوڑوں کے ڈیٹا سیٹ کا استعمال کرتا ہے۔ ہم نے پایا ہے کہ اس میں مختلف صلاحیتوں کا مجموعہ ہے، جن میں جانوروں اور اشیاء کی انسان نما شکلیں بنانا، غیر متعلقہ تصورات کو ممکنہ طریقوں سے یکجا کرنا، متن کو پیش کرنا، اور موجودہ تصاویر پر تبدیلیاں لاگو کرنا شامل ہیں۔

مزید دیکھیں: DALL·E 2⁠، جو 4 گنا زیادہ ریزولیوشن کے ساتھ زیادہ حقیقت پسندانہ اور درست تصاویر پیدا کرتا ہے۔

GPT‑3 نے یہ ظاہر کیا کہ زبان کو استعمال کرتے ہوئے ایک بڑے نیورل نیٹ ورک کو مختلف ٹاسکس انجام دینے کی ہدایت دی جا سکتی ہے۔ Image GPT⁠ نے دکھایا کہ اسی قسم کا نیورل نیٹ ورک تصاویر کو اعلیٰ معیار کے ساتھ جنریٹ کرنے کے لیے بھی استعمال کیا جا سکتا ہے۔ ہم ان نتائج کو وسعت دیتے ہیں تاکہ یہ دکھایا جا سکے کہ زبان کے ذریعے بصری تصورات میں تبدیلی اب ممکن ہے۔

GPT‑3 کی طرح، DALL·E بھی ایک ٹرانسفارمر لینگویج ماڈل ہے۔ یہ متن اور تصویر دونوں کو ایک واحد ڈیٹا سلسلے کے طور پر وصول کرتا ہے جس میں 1280 تک ٹوکنز شامل ہوتے ہیں، اور زیادہ سے زیادہ امکان کے تحت تربیت یافتہ ہوتا ہے تاکہ تمام ٹوکنز کو ایک کے بعد ایک پیدا کیا جا سکے۔ ^A

یہ تربیتی طریقہ کار DALL·E کو نہ صرف ایک تصویر کو شروع سے جنریٹ کرنے کی اجازت دیتا ہے، بلکہ کسی موجودہ تصویر کے کسی بھی مستطیل علاقے کو دوبارہ پیدا کرنے کی بھی اجازت دیتا ہے جو نیچے دائیں کونے تک پھیلا ہوا ہو، اس طرح کہ یہ متن کے پرامپٹس کے ساتھ مطابقت رکھتا ہو۔

ہم تسلیم کرتے ہیں کہ جنریٹو ماڈلز پر مبنی کام میں نمایاں اور وسیع سماجی اثرات کی صلاحیت موجود ہے۔ مستقبل میں، ہم یہ تجزیہ کرنے کا پلان بناتے ہیں کہ DALL·E جیسے ماڈلز معاشرتی مسائل جیسے کہ کچھ کام کے عملوں اور پیشوں پر معاشی اثرات، ماڈل کے نتائج میں ممکنہ تعصب، اور اس ٹیکنالوجی کے طویل مدتی اخلاقی چیلنجز سے کیسے متعلق ہیں۔

ہمیں معلوم ہوا ہے کہ DALL·E جملے کی ایک بڑی قسم کے لیے قابل فہم تصاویر بنانے کے قابل ہے جو زبان کی ساختی ساخت کو دریافت کرتی ہے۔ ہم اگلے سیکشن میں انٹرایکٹو ویژول کی ایک سیریز کو استعمال کرتے ہوئے اس کی وضاحت کرتے ہیں۔ بصریات میں ہر کیپشن کے لیے دکھائے گئے ماڈلز CLIP⁠ کے ساتھ دوبارہ درجہ بندی کے بعد 512 میں سے اوپر کے 32 لے کر حاصل کیے جاتے ہیں، لیکن ہم تھمب نیلز اور آزادانہ طور پر ظاہر ہونے والی تصاویر کے علاوہ کسی بھی دستی انتخاب کا استعمال نہیں کرتے ہیں۔^B

ہم DALL·E کی کسی شے کی متعدد خصوصیات میں ترمیم کرنے کی صلاحیت کے ساتھ ساتھ اس کے ظاہر ہونے کی تعداد کی جانچ کرتے ہیں۔

بیک وقت متعدد اشیاء، ان کی خصوصیات، اور ان کے مکانی تعلقات کو کنٹرول کرنا ایک نیا چیلنج پیش کرتا ہے۔ مثال کے طور پر، اس جملے پر غور کریں "ایک ہیج ہاگ جو سرخ ٹوپی، پیلے دستانے، نیلی قمیض، اور سبز پتلون پہنے ہوئے ہے۔" اس جملے کی صحیح تشریح کرنے کے لیے، DALL·E کو نہ صرف ہر لباس کے ٹکڑے کو جانور کے ساتھ صحیح طور پر جوڑنا ہوگا، بلکہ ان کے ساتھ وابستگی بھی بنانی ہوگی (ٹوپی، سرخ)، (دستانے، پیلا)، (قمیض، نیلا)، اور (پتلون، سبز) بغیر انہیں ملائے ^C

 ہم DALL·E کی متعلقہ پوزیشننگ، اشیاء کو اسٹیک کرنے، اور متعدد خصوصیات کو کنٹرول کرنے کے لیے ایسا کرنے کی صلاحیت کی جانچ کرتے ہیں۔

اگرچہ DALL·E اشیاء کی ایک چھوٹی سی تعداد کے صفات اور پوزیشنوں پر قابو پانے کی کچھ سطح پیش کرتا ہے، کامیابی کی شرح اس بات پر منحصر ہو سکتی ہے کہ کیپشن کو کس طرح بیان کیا جاتا ہے۔ جیسے جیسے مزید اشیاء متعارف کرائی جاتی ہیں، DALL·E اشیاء اور ان کے رنگوں کے درمیان تعلق کو الجھانے کا شکار ہوتا ہے، اور کامیابی کی شرح تیزی سے کم ہوتی جاتی ہے۔ ہم یہ بھی نوٹ کرتے ہیں کہ DALL·E کیپشن کے دوبارہ بیان کے حوالے سے نازک ہے: متبادل، معنوی طور پر مساوی کیپشن اکثر درست تشریحات فراہم نہیں کرتے ہیں۔

ہمیں معلوم ہوا کہ DALL·E کسی منظر کے نقطہ نظر اور 3D انداز پر کنٹرول کرنے کی بھی اجازت دیتا ہے جس میں ایک منظر پیش کیا جاتا ہے۔

اس کو مزید آگے بڑھانے کے لیے، ہم DALL·E کی ہر زاویے پر مساوی فاصلہ والے زاویوں کی ترتیب سے ایک معروف شخصیت کے سر کو بار بار کھینچنے کی صلاحیت کی جانچ کرتے ہیں، اور یہ معلوم ہوتا ہے کہ ہم گھومنے والے سر کی ہموار حرکت پذیری کو بازیافت کر سکتے ہیں۔

ایسا لگتا ہے کہ DALL·E مناظر پر کچھ قسم کی نظری تحریفات کو لاگو کرنے کے قابل ہوتا ہے، جیسا کہ ہم آپشنز "فشائی لینس ویو" اور "ایک کروی پینوراما" کے ساتھ دیکھتے ہیں۔ یہ ہمیں اس کی عکاسی پیدا کرنے کی صلاحیت کو دریافت کرنے کی ترغیب دیتا ہے۔

"انتہائی قریب سے دیکھنے" اور "ایکسرے" طرز کے نمونوں نے ہمیں DALL·E کی اندرونی ڈھانچے کو کراس سیکشنل نظاروں کے ساتھ اور بیرونی ڈھانچے کو میکرو فوٹوگرافی کے ساتھ پیش کرنے کی صلاحیت کو مزید دریافت کرنے کی ترغیب دی۔

متن کو تصاویر میں تبدیل کرنے کا ٹاسک غیر معین ہے: ایک واحد کیپشن عام طور پر قابل فہم تصاویر کی لامحدودیت سے مطابقت رکھتا ہے، اس لیے تصویر کا انفرادی طور پر تعین نہیں کیا جاتا ہے۔ مثال کے طور پر، "طلوع آفتاب کے وقت میدان میں بیٹھے ہوئے کیپیبارا کی ایک پینٹنگ" کے عنوان پر غور کریں۔ا کاپیبارا کی سمت کے مطابق، سایہ بنانے کی ضرورت ہو سکتی ہے، حالانکہ یہ تفصیل کبھی واضح طور پر بیان نہیں کی جاتی۔ ہم DALL·E کی غیر واضحیت کو تین صورتوں میں حل کرنے کی صلاحیت کو دریافت کرتے ہیں: انداز، ترتیب اور وقت کو تبدیل کرنا؛ مختلف حالات میں ایک ہی چیز کو ڈرائنگ کرنا؛ اور کسی چیز کی تصویر بنانا جس پر مخصوص متن لکھا ہوا ہے۔

مختلف درجوں کی قابل اعتمادیت کے ساتھ، DALL·E قدرتی زبان کے ذریعے 3D رینڈرنگ انجن کی کچھ خصوصیات تک رسائی فراہم کرتا ہے۔ یہ آزادانہ طور پر اشیاء کی ایک چھوٹی سی تعداد کے اوصاف کو کنٹرول کر سکتا ہے، اور ایک محدود حد تک، ان کی تعداد کتنی ہے، اور انہیں ایک دوسرے کے حوالے سے کس طرح ترتیب دیا گیا ہے۔ یہ اس مقام اور زاویے کو بھی کنٹرول کر سکتا ہے جہاں سے کوئی منظر پیش کیا جاتا ہے، اور زاویہ اور روشنی کے حالات کے عین مطابق وضاحتوں کے مطابق معلوم اشیاء تیار کر سکتا ہے۔

3D رینڈرنگ انجن کے برعکس، جس کے ان پٹس کو غیر واضح طور پر اور مکمل تفصیل کے ساتھ بیان کیا جانا چاہیے، DALL·E اکثر "خالی جگہوں کو پُر کرنے" کے قابل ہوتا ہے، جب کیپشن یہ ظاہر کرتا ہے کہ تصویر میں ایک خاص تفصیل ہونی چاہیے جو واضح طور پر بیان نہیں کی جاتی ہے۔

آگے، ہم فیشن اور اندرونی ڈیزائن کے لیے پہلے کی صلاحیتوں کے استعمال کو دریافت کریں گے۔

زبان کی ترکیبی نوعیت ہمیں حقیقی اور خیالی چیزوں کو بیان کرنے کے لیے تصورات کو اکٹھا کرنے کی اجازت دیتی ہے۔ ہم یہ پاتے ہیں کہ DALL·E میں مختلف خیالات کو یکجا کر کے اشیاء تخلیق کرنے کی صلاحیت بھی موجود ہے، جن میں سے کچھ حقیقی دنیا میں موجود ہونے کا امکان نہیں رکھتی ہیں۔ ہم اس صلاحیت کو دو مواقع پر دریافت کرتے ہیں: مختلف تصورات سے خصوصیات کو منتقل کرنا جانوروں میں، اور غیر متعلقہ تصورات سے متاثر ہو کر مصنوعات کو ڈیزائن کرنا۔

پچھلے سیکشن میں، ہم نے DALL·E کی اس صلاحیت کو دریافت کیا کہ وہ غیر متعلقہ تصورات کو یکجا کرتے ہوئے حقیقی دنیا کی تصاویر پیدا کر سکتا ہے۔ یہاں، ہم آرٹ کے سیاق و سباق میں اس صلاحیت کو دریافت کرتے ہیں، تین قسم کی تصاویر کے لیے: جانوروں اور اشیاء کے انسان نما ورژن، جانوروں کی عفریتیں، اور ایموجیز۔

GPT‑3 کو صرف ایک وضاحت اور اشارے کے ذریعے مختلف قسم کے ٹاسکس انجام دینے کی ہدایت دی جا سکتی ہے، اور یہ بغیر کسی اضافی تربیت کے، اپنی پرامپٹس میں فراہم کردہ جواب کو پیدا کرنے کے قابل ہوتا ہے۔ مثال کے طور پر، جب جملہ "یہاں جملہ ہے کہ 'ایک شخص جو اپنے کتے کو پارک میں چہل قدمی کر رہا ہے' فرانسیسی میں ترجمہ کیا گیا ہے:" کے ساتھ پرامپٹ کیا جاتا ہے، تو GPT‑3 جواب دیتا ہے "un homme qui promène son chien dans le parc۔" اس صلاحیت کو زیرو شاٹ استدلال کہا جاتا ہے۔ ہم یہ پاتے ہیں کہ DALL·E اس صلاحیت کو بصری شعبہ تک بڑھاتا ہے، اور جب صحیح طریقے سے پرامپٹس کیا جائے تو یہ کئی قسم کے تصویر سے تصویر میں ٹاسک انجام دینے کے قابل ہوتا ہے۔

ہم نے اس صلاحیت کے ابھرنے کی توقع نہیں کی تھی، اور نہ ہی نیورل نیٹ ورک یا تربیتی طریقہ کار میں کوئی تبدیلی کی تھی تاکہ اس کی حوصلہ افزائی کی جا سکے۔ ان نتائج سے متاثر ہو کر، ہم DALL·E کی تجزیاتی استدلال کی صلاحیت کو جانچنے کے لیے Raven کے ترقی پسند میٹرکس پر اس کا تجربہ کرتے ہیں، جو 20 ویں صدی میں وسیع پیمانے پر استعمال ہونے والا بصری IQ ٹیسٹ تھا۔

ہمیں معلوم ہوا کہ DALL·E نے جغرافیائی حقائق، مقامات اور محلوں کے بارے میں سیکھا ہے۔ ان تصورات کا علم بعض پہلوؤں میں حیرت انگیز طور پر درست ہے اور دیگر میں خامیوں کا شکار ہے۔

DALL·E کے تصورات کے علم کو دریافت کرنے کے علاوہ جو خلا کے لحاظ سے مختلف ہوتے ہیں، ہم اس کے تصورات کے علم کو بھی دریافت کرتے ہیں جو وقت کے ساتھ مختلف ہوتے ہیں۔

DALL·E ایک سادہ ڈیکوڈر-صرف ٹرانسفارمر ہے جو متن اور تصویر دونوں کو 1280 ٹوکن کے ایک واحد سلسلے کے طور پر وصول کرتا ہے—256 متن کے لئے اور 1024 تصویر کے لئے—اور ان سب کو خودکار رجعت پسندانہ انداز میں ماڈل کرتا ہے۔ اس کی 64 خود-توجہ پرتوں میں سے ہر ایک پر توجہ ماسک، ہر تصویر ٹوکن کو تمام ٹیکسٹ ٹوکنز پر توجہ دینے کی اجازت دیتا ہے۔ DALL·E ٹیکسٹ ٹوکنز کے لیے معیاری کیژول ماسک استعمال کرتا ہے، اور تصویر ٹوکنز کے لیے اسپارس توجہ استعمال کرتا ہے، جو کہ پرت کے لحاظ سے یا تو قطار، ستون، یا مرغولہ دار توجہ پیٹرن ہوتا ہے۔ ہم اپنے فن تعمیر اور تربیت کے طریقہ کار کے بارے میں مزید تفصیلات اپنے مقالے⁠(نئی ونڈو میں کھلتا ہے) میں فراہم کرتے ہیں۔

متن سے تصویر کی ترکیب Reed وغیرہ کے علمبردار کام کے بعد سے تحقیق کا ایک فعال شعبہ رہا ہے۔ al,¹ جس کا نقطہ نظر ٹیکسٹ ایمبیڈنگ پر مشروط GAN استعمال کرتا ہے۔ ایمبیڈنگز ایک انکوڈر کے ذریعہ تیار کی جاتی ہیں جو ایک متضاد نقصان کا استعمال کرتے ہوئے پہلے سے تربیت یافتہ ہیں، CLIP کے برعکس نہیں۔ StackGAN³ اور StackGAN++⁴ تصویر کی ریزولوشن کو بڑھانے اور بصری دقتِ کار کو بہتر بنانے کے لیے ملٹی اسکیل GANs کا استعمال کرتا ہے۔ AttnGAN⁵ متن اور تصویری خصوصیات کے درمیان توجہ کو شامل کرتا ہے، اور ایک معاون مقصد کے طور پر متضاد ٹیکسٹ امیج فیچر سے مماثل نقصان کی تجویز پیش کرتا ہے۔ ہمارے CLIP کے ساتھ دوبارہ درجہ بندی کے مقابلے میں یہ دلچسپ ہے، جو آف لائن کیا جاتا ہے۔ دیگر کام^{2، 6، 7} تربیت کے دوران اضافی نگرانی کے ذرائع کو شامل کرتے ہیں تاکہ تصویر کے معیار کو بہتر بنایا جا سکے۔ آخر کار، Nguyen وغیرہ کا کام۔ al⁸ اور چو وغیرہ۔ al⁹ تصویر کی تخلیق کے لیے سیمپلنگ پر مبنی حکمت عملیوں کو دریافت کرتا ہے جو پہلے سے تربیت یافتہ ملٹی موڈل امتیازی ماڈلز استعمال کرتے ہیں۔

VQVAE-2⁠(نئی ونڈو میں کھلتا ہے) میں استعمال ہونے والے ردّی ماڈلز کی طرح، ہم CLIP⁠ کا استعمال کرتے ہیں تاکہ تمام انٹرایکٹو بصریات میں ہر کیپشن کے لیے 512 نمونوں میں سے بہترین 32 کو دوبارہ ترتیب دیں۔ اس طریقہ کار کو زبان کی رہنمائی میں تلاش¹⁶ کی ایک قسم کے طور پر بھی دیکھا جا سکتا ہے، اور یہ ماڈلز کے معیار پر ڈرامائی اثر ڈال سکتا ہے۔