Teknik sing ditingkatake kanggo nglatih model consistency

Model consistency iku kulawarga anyar saka model generatif sing bisa nyampel data kualitas dhuwur sajrone siji langkah tanpa perlu latihan adversarial. Model consistency saiki nggayuh kualitas sampel optimal kanthi distilasi saka model difusi sing wis dilatih sadurunge lan nggunakke metrik sing disinaoni kayata LPIPS. Nanging, distilasi mbatesi kualitas model consistency mung nganti kualitas model difusi sing wis dilatih sadurunge, lan LPIPS nyebabake bias sing ora dikarepake ing evaluasi. Kanggo ngatasi tantangan iki, kita nampilake teknik sing ditingkatake kanggo latihan consistency, ing ngendi model consistency sinau langsung saka data tanpa distilasi. Kita nliti teori ing balik latihan consistency lan ngenali cacat sing sadurunge ora digatekake, sing banjur kita atasi kanthi mbusak Exponential Moving Average saka model consistency guru. Kanggo ngganti metrik sing disinaoni kaya LPIPS, kita nganggo loss Pseudo-Huber saka statistika robust. Kajaba iku, kita ngenalake jadwal noise lognormal kanggo objektif latihan consistency, lan ngusulake supaya total langkah diskretisasi digandakake saben jumlah iterasi latihan tartamtu. Digabung karo tuning hiperparameter sing luwih apik, modifikasi iki ndadekake model consistency bisa nggayuh skor FID 2.51 lan 3.25 ing CIFAR-10 lan ImageNet 64×64, kanthi urut, sajrone siji langkah sampling. Skor iki nandhani peningkatan 3.5× lan 4× dibandhingake karo pendekatan latihan consistency sadurunge. Liwat sampling rong langkah, kita luwih nyuda skor FID dadi 2.24 lan 2.77 ing rong dataset iki, ngluwihi skor sing dipikolehi liwat distilasi ing setelan siji langkah lan rong langkah, nalika nyepetake jarak antarane model consistency lan model generatif canggih liyane.