Point-E: күрделі көмексөздерден 3D нүктелер бұлттарын жасайтын жүйе

Жуырдағы мәтінге шартталған 3D нысандарды жасау саласындағы жұмыстар үміт күттіретін нәтижелер көрсеткенімен, озық әдістер әдетте бір ғана үлгіні жасау үшін бірнеше GPU-сағатты қажет етеді. Бұл үлгілерді бірнеше секунд не минут ішінде жасайтын озық генеративті кескін модельдерінен мүлде өзгеше. Бұл мақалада біз бір GPU-де небәрі 1-2 минутта 3D модельдер жасайтын 3D нысандарды жасаудың балама әдісін зерттейміз. Біздің әдіс әуелі мәтіннен кескінге диффузиялық модель арқылы бір синтетикалық көрініс жасайды, содан кейін жасалған кескінге шартталған екінші диффузиялық модель арқылы 3D нүктелер бұлтын құрады. Үлгі сапасы жағынан біздің әдіс әлі де озық деңгейге жетпесе де, одан үлгі алу жылдамдығы 10-100 есе жоғары, бұл кейбір қолдану жағдайлары үшін практикалық ымыраны ұсынады. Біз алдын ала жаттықтырылған нүктелер бұлтына арналған диффузиялық модельдерімізді, сондай-ақ бағалау кодын және модельдерін, осы https URL мекенжайында⁠(жаңа терезеде ашылады) жариялаймыз.