Point-E: სისტემა, რომელიც რთული მოთხოვნებიდან 3D წერტილოვან ღრუბლებს აგენერირებს

მიუხედავად იმისა, რომ ტექსტით განპირობებული 3D ობიექტების გენერაციის შესახებ ბოლოდროინდელმა ნაშრომებმა იმედისმომცემი შედეგები აჩვენა, უახლესი მეთოდები, როგორც წესი, ერთი ნიმუშის შესაქმნელად რამდენიმე GPU-საათს მოითხოვს. ეს მკვეთრად ეწინააღმდეგება უახლეს გენერაციული გამოსახულებების მოდელებს, რომლებიც ნიმუშებს წამებში ან წუთებში ქმნიან. ამ ნაშრომში ჩვენ განვიხილავთ 3D ობიექტების გენერაციის ალტერნატიულ მეთოდს, რომელიც 3D მოდელებს მხოლოდ 1-2 წუთში ქმნის ერთ GPU-ზე. ჩვენი მეთოდი ჯერ ტექსტიდან გამოსახულების დიფუზიური მოდელის გამოყენებით ერთ სინთეზურ ხედს აგენერირებს, შემდეგ კი გენერირებულ გამოსახულებაზე პირობადებული მეორე დიფუზიური მოდელით 3D წერტილოვან ღრუბელს ქმნის. მიუხედავად იმისა, რომ ნიმუშის ხარისხის მხრივ ჩვენი მეთოდი ჯერ კიდევ ჩამორჩება უახლეს მიდგომებს, ნიმუშების აღება მასით ერთიდან ორ რიგამდე უფრო სწრაფია, რაც ზოგიერთი გამოყენების შემთხვევისთვის პრაქტიკულ კომპრომისს გვთავაზობს. ჩვენ ვაქვეყნებთ წინასწარ გაწვრთნილ წერტილოვანი ღრუბლის დიფუზიურ მოდელებს, ასევე შეფასების კოდსა და მოდელებს, ამ https URL-ზე(იხსნება ახალ ფანჯარაში).


