Consistency မော်ဒယ်များကို လေ့ကျင့်ရန် ပိုမိုကောင်းမွန်သော နည်းလမ်းများ

Consistency မော်ဒယ်များသည် adversarial training မလိုဘဲ အဆင့်တစ်ဆင့်တည်းဖြင့် အရည်အသွေးမြင့် ဒေတာကို sample လုပ်နိုင်သော ထုတ်လုပ်ပေးနိုင်သော မော်ဒယ်များ၏ ပေါ်ပေါက်စ မျိုးဆက်တစ်ခုဖြစ်သည်။ လက်ရှိ consistency မော်ဒယ်များသည် ကြိုတင်လေ့ကျင့်ထားသော diffusion မော်ဒယ်များမှ distillation လုပ်ယူခြင်းနှင့် LPIPS ကဲ့သို့သော learned metrics များကို အသုံးပြုခြင်းအားဖြင့် အကောင်းဆုံး sample quality ကို ရရှိနေသည်။ သို့သော် distillation သည် consistency မော်ဒယ်များ၏ အရည်အသွေးကို ကြိုတင်လေ့ကျင့်ထားသော diffusion မော်ဒယ်၏ အရည်အသွေးအထိသာ ကန့်သတ်ထားပြီး LPIPS သည် အကဲဖြတ်ရာတွင် မလိုလားအပ်သော bias ကို ဖြစ်စေသည်။ ဤစိန်ခေါ်မှုများကို ဖြေရှင်းရန် distillation မပါဘဲ consistency မော်ဒယ်များက ဒေတာမှ တိုက်ရိုက် သင်ယူသော consistency training အတွက် ပိုမိုကောင်းမွန်သော နည်းလမ်းများကို ကျွန်ုပ်တို့ တင်ပြထားသည်။ ကျွန်ုပ်တို့သည် consistency training ၏ နောက်ခံသီအိုရီကို နက်နက်ရှိုင်းရှိုင်း လေ့လာပြီး ယခင်က မမြင်မိခဲ့သော ချို့ယွင်းချက်တစ်ခုကို ဖော်ထုတ်ခဲ့ကာ teacher consistency model မှ Exponential Moving Average ကို ဖယ်ရှားခြင်းဖြင့် ၎င်းကို ဖြေရှင်းခဲ့သည်။ LPIPS ကဲ့သို့ learned metrics များကို အစားထိုးရန် robust statistics မှ Pseudo-Huber losses ကို ကျွန်ုပ်တို့ လက်ခံအသုံးပြုခဲ့သည်။ ထို့အပြင် consistency training objective အတွက် lognormal noise schedule ကို မိတ်ဆက်ခဲ့ပြီး သတ်မှတ်ထားသော training iterations အရေအတွက်တိုင်းတွင် total discretization steps ကို နှစ်ဆတိုးရန် အဆိုပြုထားသည်။ ပိုမိုကောင်းမွန်သော hyperparameter tuning နှင့် ပေါင်းစပ်လိုက်သောအခါ ဤပြင်ဆင်မှုများကြောင့် consistency မော်ဒယ်များသည် sampling step တစ်ဆင့်တည်းဖြင့် CIFAR-10 နှင့် ImageNet 64×64 ပေါ်တွင် FID score 2.51 နှင့် 3.25 ကို အသီးသီး ရရှိနိုင်သည်။ ဤ score များသည် ယခင် consistency training နည်းလမ်းများနှင့် နှိုင်းယှဉ်လျှင် 3.5× နှင့် 4× တိုးတက်မှုကို မှတ်သားစေသည်။ Two-step sampling မှတစ်ဆင့်လည်း ဤ dataset နှစ်ခုတွင် FID score များကို 2.24 နှင့် 2.77 အထိ ထပ်မံလျှော့ချနိုင်ခဲ့ပြီး one-step နှင့် two-step setting နှစ်မျိုးလုံးတွင် distillation ဖြင့် ရရှိသော ရလဒ်များကို ကျော်လွန်ကာ consistency မော်ဒယ်များနှင့် အခြား state-of-the-art ထုတ်လုပ်ပေးနိုင်သော မော်ဒယ်များအကြား ကွာဟချက်ကိုလည်း ပိုမိုကျဉ်းမြောင်းစေခဲ့သည်။