Consistency загвар нь өрсөлдөөнт сургалт шаардалгүйгээр нэг алхмаар өндөр чанартай өгөгдөл семпллэх чадвартай, шинээр гарч буй үүсмэл загварын нэг бүл юм. Одоогийн consistency загварууд урьдчилан сургагдсан diffusion загвараас дистилл хийж, LPIPS зэрэг сурсан хэмжүүрийг ашигласнаар семплийн оновчтой чанарт хүрч байна. Гэвч дистилл нь consistency загварын чанарыг урьдчилан сургагдсан diffusion загварын түвшнээр хязгаарладаг бөгөөд LPIPS нь үнэлгээнд хүсээгүй хазайлт үүсгэдэг. Эдгээр сорилтыг шийдэхийн тулд бид consistency сургалтын сайжруулсан аргуудыг танилцуулж байна. Үүнд consistency загварууд дистиллгүйгээр өгөгдлөөс шууд суралцана. Бид consistency сургалтын онолыг гүнзгий судалж, өмнө нь анзаарагдаагүй нэгэн алдааг тодорхойлсон бөгөөд үүнийг teacher consistency загвараас Exponential Moving Average-ийг хассанаар зассан. LPIPS шиг сурсан хэмжүүрийг орлуулахын тулд бид бат бөх статистикаас Pseudo-Huber алдагдлыг хэрэглэсэн. Нэмж хэлэхэд, consistency сургалтын зорилгод lognormal шуугианы хуваарийг нэвтрүүлж, сургалтын тодорхой тооны давталт тутамд нийт дискретчлэлийн алхмуудыг хоёр дахин нэмэгдүүлэхийг санал болгож байна. Илүү сайн гиперпараметрийн тааруулалттай хослуулснаар эдгээр өөрчлөлт нь consistency загваруудад ганц семпллэх алхмаар CIFAR-10 болон ImageNet 64×64 дээр тус тус 2.51 ба 3.25 FID оноо авах боломж олгосон. Эдгээр оноо нь өмнөх consistency сургалтын аргуудтай харьцуулахад 3.5× болон 4× сайжруулалтыг илэрхийлж байна. Хоёр алхамт семплэлтээр бид эдгээр хоёр өгөгдлийн багц дээрх FID оноог цааш бууруулж 2.24 ба 2.77 болгосон бөгөөд энэ нь нэг алхамт болон хоёр алхамт нөхцөлд хоёуланд нь дистиллээр олдсон үзүүлэлтээс давж, мөн consistency загвар болон бусад тэргүүлэх түвшний үүсмэл загварын хоорондох зөрүүг багасгаж байна.
Ачаалж байна…
Yang Song, Prafulla Dhariwal