Point-E: Sistem za generisanje 3D oblaka tačaka iz složenih instrukcija

Iako su nedavni radovi na generisanju 3D objekata uslovljenom tekstom pokazali obećavajuće rezultate, najsavremenije metode obično zahtevaju više GPU-sati da bi proizvele jedan uzorak. To je u oštroj suprotnosti sa najsavremenijim generativnim modelima slika, koji proizvode uzorke za nekoliko sekundi ili minuta. U ovom radu istražujemo alternativni metod za generisanje 3D objekata koji proizvodi 3D modele za samo 1-2 minuta na jednom GPU-u. Naš metod najpre generiše jedan sintetički prikaz pomoću difuzionog modela za pretvaranje teksta u sliku, a zatim proizvodi 3D oblak tačaka pomoću drugog difuzionog modela koji je uslovljen generisanom slikom. Iako naš metod i dalje zaostaje za najsavremenijim rešenjima u pogledu kvaliteta uzoraka, uzorkovanje je od jednog do dva reda veličine brže, što za neke slučajeve upotrebe predstavlja praktičan kompromis. Objavljujemo naše unapred obučene difuzione modele za oblake tačaka, kao i kod i modele za evaluaciju, na ovom HTTPS URL-u⁠(отвара се у новом прозору).