Point-E: જટિલ પ્રોમ્પ્ટ્સમાંથી 3D પોઇન્ટ ક્લાઉડ્સ જનરેટ કરવાની એક સિસ્ટમ

ટેક્સ્ટ-આધારિત 3D ઑબ્જેક્ટ જનરેશન પરના તાજેતરના કાર્યએ આશાસ્પદ પરિણામો દર્શાવ્યા છે, પરંતુ અદ્યતન પદ્ધતિઓને સામાન્ય રીતે એક જ નમૂનો બનાવવા માટે ઘણા GPU-કલાકોની જરૂર પડે છે. આ અદ્યતન જનરેટિવ ઇમેજ મોડેલ્સથી બહુ વિપરીત છે, જે થોડા સેકન્ડો કે મિનિટોમાં નમૂનાઓ બનાવે છે. આ પેપરમાં, અમે 3D ઑબ્જેક્ટ જનરેશન માટેની એક વિકલ્પ પદ્ધતિનું અન્વેષણ કરીએ છીએ, જે એક જ GPU પર ફક્ત 1-2 મિનિટમાં 3D મોડલ્સ બનાવે છે. અમારી પદ્ધતિ પહેલા ટેક્સ્ટ-ટુ-ઇમેજ ડિફ્યુઝન મોડલનો ઉપયોગ કરીને એક કૃત્રિમ દૃશ્ય બનાવે છે, અને પછી જનરેટ થયેલી છબી પર આધારિત બીજા ડિફ્યુઝન મોડલનો ઉપયોગ કરીને 3D પોઇન્ટ ક્લાઉડ બનાવે છે. નમૂનાની ગુણવત્તા બાબતે અમારી પદ્ધતિ હજી અદ્યતન સ્તર સુધી પહોંચતી નથી, છતાં તે નમૂનાઓ બનાવવા માટે એકથી બે ક્રમ જેટલી વધુ ઝડપી છે, જે કેટલીક ઉપયોગી પરિસ્થિતિઓ માટે વ્યવહારુ સંતુલન આપે છે. અમે અમારા પૂર્વ-પ્રશિક્ષિત પોઇન્ટ ક્લાઉડ ડિફ્યુઝન મોડેલ્સ તેમજ મૂલ્યાંકન કોડ અને મોડેલ્સ આ https URL⁠(નવી વિન્ડોમાં ખૂલે છે) પર પ્રકાશિત કરીએ છીએ.