Model konsistensi

Model difusi wis majokake kanthi signifikan bidang generasi gambar, audio, lan video, nanging gumantung marang proses sampling iteratif sing nyebabake generasi alon. Kanggo ngatasi watesan iki, kita ngusulake model konsistensi, kulawarga model anyar sing ngasilake sampel kualitas dhuwur kanthi langsung memetakake noise menyang data. Model iki ndhukung generasi cepet siji-langkah miturut rancangan, nanging isih ngidini sampling multilangkah kanggo ijol komputasi karo kualitas sampel. Model iki uga ndhukung panyuntingan data conto tanpa latihan, kayata inpainting gambar, pewarnaan, lan super-resolution, tanpa mbutuhake latihan eksplisit kanggo tugas-tugas iki. Model konsistensi bisa dilatih kanthi nyuling model difusi sing wis dilatih sadurunge, utawa minangka model generatif mandiri. Liwat eksperimen ekstensif, kita nuduhake manawa model iki ngluwihi teknik distilasi sing wis ana kanggo model difusi ing sampling siji-langkah lan sawetara-langkah, kanthi nggayuh FID state-of-the-art anyar 3.55 ing CIFAR-10 lan 6.20 ing ImageNet 64x64 kanggo generasi siji-langkah. Nalika dilatih kanthi kapisah, model konsistensi dadi kulawarga anyar model generatif sing bisa ngluwihi model generatif siji-langkah non-adversarial sing wis ana ing benchmark standar kayata CIFAR-10, ImageNet 64x64, lan LSUN 256x256.