Soo saarida sawirka ku xiran qoraal ee heeraraysan oo leh CLIP latents
Qaabab isbarbardhig ah sida CLIP ayaa la muujiyey inay bartaan matalaado adag oo sawirro ah kuwaas oo qabta macne iyo qaab labadaba. Si aan uga faa’iidaysanno matalaadahan ee soo saarida sawirka, waxaan soo jeedinaynaa nooc laba-marxaladood ah: prior soo saara CLIP image embedding marka la siiyo qoraal sharaxaad ah, iyo decoder soo saara sawir ku xiran image embedding-ka. Waxaan muujinaynaa in si cad loo soo saaro matalaadaha sawirku ay hagaajiso kala duwanaanshaha sawirka iyadoo ay jirto khasaaro aad u yar oo ku yimaadda photorealism-ka iyo isu ekaanshaha qoraalka. Decoders-keenna ku xiran matalaadaha sawirka waxay sidoo kale soo saari karaan kala duwanaanshooyin sawir ah oo ilaaliya macnihiisa iyo qaabkiisa labadaba, iyagoo beddelaya faahfaahinta aan muhiimka ahayn ee ka maqan matalaadda sawirka. Intaa waxaa dheer, booska wadajirka ah ee embedding-ka ee CLIP wuxuu suurageliyaa wax-ka-beddellada sawirka ee luqaddu hagto si waxqabadka tooska ah ah. Waxaan u adeegsannaa diffusion models decoder-ka, waxaanan tijaabinnaa noocyo autoregressive iyo diffusion models labadaba prior-ka, annagoo ogaanayna in kuwa dambe ay xisaab ahaan waxtar badan yihiin oo ay soo saaraan muunado tayo sare leh.
