Reducción del Error de Ajuste Espacial en la Destilación de Modelos de Difusión de Denoising

Los modelos de Difusión de Denoising han exhibido capacidades notables en la generación de imágenes. Sin embargo, generar muestras de alta calidad requiere un gran número de iteraciones. La destilación del conocimiento para modelos de difusión es un método efectivo para abordar esta limitación con un proceso de muestreo acortado, pero causa una degradación en la calidad generativa. Basado en nuestro análisis con descomposición de sesgo-varianza y observaciones experimentales, atribuimos la degradación al error de ajuste espacial que ocurre en el entrenamiento tanto del modelo profesor como del modelo estudiante en la destilación. En consecuencia, proponemos el modelo de Destilación de Reducción de Error de Ajuste Espacial (SFERD). SFERD utiliza guía de atención del modelo profesor y un predictor de gradiente semántico diseñado para reducir el error de ajuste del estudiante. Empíricamente, nuestro modelo propuesto facilita la generación de muestras de alta calidad en unas pocas evaluaciones de función. Logramos un FID de 5.31 en CIFAR-10 y 9.39 en ImageNet 64x64 con solo un paso, superando los métodos de difusión existentes. Nuestro estudio proporciona una nueva perspectiva sobre la destilación de difusión al resaltar la capacidad intrínseca de denoising de los modelos.