Сәйкестік модельдерін үйретудің жетілдірілген тәсілдері

Сәйкестік модельдері — қарсылас оқытуды қажет етпей, бір қадамда жоғары сапалы деректерді үлгілей алатын генеративті модельдердің жаңа бір тобы. Қазіргі сәйкестік модельдері алдын ала үйретілген диффузиялық модельдерден дистилляциялау және LPIPS сияқты үйренілетін метрикаларды қолдану арқылы үлгінің оңтайлы сапасына қол жеткізеді. Алайда дистилляция сәйкестік модельдерінің сапасын алдын ала үйретілген диффузиялық модельдің сапасымен шектейді, ал LPIPS бағалауда жағымсыз ығысуды туғызады. Осы қиындықтарды шешу үшін біз сәйкестікті үйретудің жетілдірілген әдістерін ұсынамыз, мұнда сәйкестік модельдері дистилляциясыз тікелей деректерден үйренеді. Біз сәйкестікті үйретудің негізіндегі теорияны тереңірек қарастырып, бұрын ескерілмеген бір кемшілікті анықтаймыз; оны оқытушы сәйкестік моделінен Exponential Moving Average әдісін алып тастау арқылы түзетеміз. LPIPS сияқты үйренілетін метрикалардың орнына біз орнықты статистикадағы Pseudo-Huber шығындарын қолданамыз. Бұған қоса, біз сәйкестікті үйрету мақсаты үшін логнормалды шу кестесін енгіземіз және оқыту итерацияларының белгілі бір санынан кейін жалпы дискреттеу қадамдарының санын екі еселеуді ұсынамыз. Гиперпараметрлерді жақсырақ баптаумен бірге бұл өзгерістер сәйкестік модельдеріне бір ғана үлгілеу қадамында CIFAR-10 және ImageNet 64×64 үшін тиісінше 2.51 және 3.25 FID көрсеткіштеріне жетуге мүмкіндік береді. Бұл көрсеткіштер сәйкестікті үйретудің алдыңғы тәсілдерімен салыстырғанда 3.5× және 4× жақсаруды білдіреді. Екі қадамды үлгілеу арқылы біз осы екі деректер жинағында FID көрсеткіштерін одан әрі 2.24 және 2.77-ге дейін төмендетеміз; бұл бір қадамды да, екі қадамды да баптауларда дистилляция арқылы алынған нәтижелерден асып түседі және сәйкестік модельдері мен заманауи өзге де генеративті модельдер арасындағы алшақтықты қысқартады.