Consistency ਮਾਡਲਜ਼

ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਜ਼ ਨੇ ਚਿੱਤਰ, ਆਡੀਓ ਅਤੇ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਦੇ ਖੇਤਰਾਂ ਨੂੰ ਕਾਫੀ ਅੱਗੇ ਵਧਾਇਆ ਹੈ, ਪਰ ਇਹ ਇਕ ਦੁਹਰਾਈ ਜਾਣ ਵਾਲੀ ਸੈਂਪਲਿੰਗ ਪ੍ਰਕਿਰਿਆ ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜਿਸ ਕਰਕੇ ਜਨਰੇਸ਼ਨ ਧੀਮੀ ਹੋ ਜਾਂਦੀ ਹੈ। ਇਸ ਸੀਮਾ ਨੂੰ ਪਾਰ ਕਰਨ ਲਈ, ਅਸੀਂ consistency ਮਾਡਲਜ਼ ਦਾ ਪ੍ਰਸਤਾਵ ਕਰਦੇ ਹਾਂ, ਮਾਡਲਜ਼ ਦਾ ਇੱਕ ਨਵਾਂ ਪਰਿਵਾਰ ਜੋ ਸ਼ੋਰ ਨੂੰ ਸਿੱਧੇ ਡਾਟਾ ਨਾਲ ਮੈਪ ਕਰਕੇ ਉੱਚ ਗੁਣਵੱਤਾ ਵਾਲੇ ਸੈਂਪਲ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਡਿਜ਼ਾਇਨ ਅਨੁਸਾਰ ਤੇਜ਼ ਇਕ-ਕਦਮੀ ਜਨਰੇਸ਼ਨ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ, ਨਾਲ ਹੀ ਸੈਂਪਲ ਗੁਣਵੱਤਾ ਲਈ ਕੰਪਿਊਟ ਦੇ ਲੈਣ-ਦੇਣ ਵਾਸਤੇ ਬਹੁ-ਕਦਮੀ ਸੈਂਪਲਿੰਗ ਦੀ ਵੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ। ਇਹ ਜ਼ੀਰੋ-ਸ਼ਾਟ ਡਾਟਾ ਐਡਿਟਿੰਗ ਦਾ ਵੀ ਸਮਰਥਨ ਕਰਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ ਚਿੱਤਰ inpainting, colorization, ਅਤੇ super-resolution, ਬਿਨਾਂ ਇਨ੍ਹਾਂ ਕੰਮਾਂ ਉੱਤੇ ਸਪਸ਼ਟ ਟ੍ਰੇਨਿੰਗ ਦੀ ਲੋੜ ਤੋਂ। consistency ਮਾਡਲਜ਼ ਨੂੰ ਜਾਂ ਤਾਂ ਪਹਿਲਾਂ ਤੋਂ ਟ੍ਰੇਨ ਕੀਤੇ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਜ਼ ਨੂੰ ਡਿਸਟਿਲ ਕਰਕੇ, ਜਾਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਖੁਦਮੁਖਤਿਆਰ ਜਨਰੇਟਿਵ ਮਾਡਲਜ਼ ਵਜੋਂ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਵਿਸਤ੍ਰਿਤ ਪ੍ਰਯੋਗਾਂ ਰਾਹੀਂ, ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਇਹ ਇਕ- ਅਤੇ ਕੁਝ-ਕਦਮੀ ਸੈਂਪਲਿੰਗ ਵਿੱਚ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਜ਼ ਲਈ ਮੌਜੂਦਾ ਡਿਸਟਿਲੇਸ਼ਨ ਤਕਨੀਕਾਂ ਤੋਂ ਬਿਹਤਰ ਹਨ, ਅਤੇ ਇਕ-ਕਦਮੀ ਜਨਰੇਸ਼ਨ ਲਈ CIFAR-10 ਉੱਤੇ 3.55 ਅਤੇ ImageNet 64x64 ਉੱਤੇ 6.20 ਦਾ ਨਵਾਂ state-of-the-art FID ਹਾਸਲ ਕਰਦੇ ਹਨ। ਜਦੋਂ ਇਨ੍ਹਾਂ ਨੂੰ ਅਲੱਗ ਤੌਰ ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ consistency ਮਾਡਲਜ਼ ਜਨਰੇਟਿਵ ਮਾਡਲਜ਼ ਦਾ ਇੱਕ ਨਵਾਂ ਪਰਿਵਾਰ ਬਣ ਜਾਂਦੇ ਹਨ ਜੋ CIFAR-10, ImageNet 64x64 ਅਤੇ LSUN 256x256 ਵਰਗੇ ਮਿਆਰੀ benchmark ਉੱਤੇ ਮੌਜੂਦਾ ਇਕ-ਕਦਮੀ, non-adversarial ਜਨਰੇਟਿਵ ਮਾਡਲਜ਼ ਤੋਂ ਬਿਹਤਰ ਹੋ ਸਕਦੇ ਹਨ।